使用高匿名IP一定不会被允许访问公开数据吗?

作者:IPIDEA

2022-03-24 16:43:22

服务器端从客户端发送请求的相关行为来识别是否使用了代理IP,识别的办法一般是分析访问请求行为是否反人类:访问频率超快,访问非常规律等。那么使用了高匿名IP代理还会被识别吗?


使用高匿名IP一定不会被允许访问公开数据吗.png


服务器端从客户端发送请求中的相关字段来识别是否使用代理IP,识别的办法就是抓数据包里的相关字段:REMOTE_ADDR,HTTP_VIA以及HTTP_X_FORWARDED_FOR三个字段。


使用高匿名代理IP发送请求时这3个字段的值,和没有使用代理IP发送请求时的值是一样的。所以服务器端无法从这3个字段来分辨是否使用代理IP,这也就是高匿名代理IP不被识别的原因。


但是,即使使用了高匿代理,也不能保证100%不被允许访问公开数据。因为爬虫工作量是非常巨大的,请求量会非常庞大,甚至一秒几十个几百个请求,远超正常人访问网页的速度。访问策略就会作出判断,该用户为非正常用户,对IP作出允许访问公开数据处理。这种情况并不是识别了客户端使用了代理IP,因为就算不使用高匿代理IP,是自己的真实IP在请求,这样的行为也一样会被允许访问公开数据。


高匿名代理IP不会被识别,但同时我们的请求行为应该尽量模拟正常用户行为,尽量不触发访问策略,这样就不会被允许访问公开数据。


IPIDEA提供的代理IP资源遍布全球220+国家与地区,每日高达9000万真实住宅IP资源,高速、高可用率,稳定配合爬虫工作。欢迎访问www.ipidea.net。


热门资讯