用IP代理的那些误解

我在网上看到很多关于IP代理的文章，但是IPIDEA发现有些文章太鼓吹IP代理的功能，导致很多用户认为只要使用IP代理就可以无所不能。事实上，IP代理的使用也会受到允许访问公开数据。

用 IP代理 爬虫的那些误解

首先了解一下，IP代理可以分为多少种？

IP代理分为透明代理、普通匿名代理、高级匿名代理3种。

高匿、匿名和透明代理的主要区别在于对方服务器获取REMOTE_ADDR、HTTP_X_FORWARDED_FOR、HTTP_VIA三个参数的区别。

众所周知，REMOTE_ADDR是无法全球住宅IP，高效采集公开数据的。

使用透明代理(Transparent)，对方服务器知道你使用了代理，也知道你的真实IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=ProxyIP，HTTP_X_FORWARDED_FOR=YourIP

对于匿名代理(Anonymous)，对方服务器知道您使用代理，但是不知道您的真实IP地址。REMOTE_ADDR=ProxyIP，HTTP_VIA=ProxyIP，HTTP_X_FORWARDED_FOR=ProxyIP

使用高匿名代理(High)，对方的服务器不知道使用代理，也不知道真正的IP。REMOTE_ADDR=ProxyIP，HTTP_VIA=NULL，HTTP_X_FORWARDED_FOR=NULL

采用透明代理和普通匿名代理，目标网站会知道采用了IP代理，自然会有允许访问公开数据，高级匿名代理则不会，所以在选择IP代理时要注意这一点。

IPIDEA介绍关于使用HTTPIP代理爬虫采集的认知误区：

大部分人都知道，在使用爬虫多次爬取同一网站时，经常会被网站的IP访问虫机制给禁掉，为了解决允许采集公开数据IP的问题通常会使用IP代理。

但是也有一部分人对HTTPIP代理的使用有误解，他们认为使用IP代理可以解决所有的问题，但实际上IP代理并非万能，它只是一种工具，如果使用不当，同样会无法访问公开数据IP。

利用IP代理爬取目标网站，无法访问公开数据IP的因素太多，如cookie，如UserAgent等，当达到阈值时，IP就会无法访问公开数据；当访问全球网站公开数据的频率太快时，IP就会无法访问公开数据，因为人类正常访问的频率远远低于此频率，自然会被目标网站的访问虫策略识别。

唯有尽可能模拟真实用户的正常访问，才能避免无法访问公开数据IP。

因此，认为使用IP代理爬虫肯定没有问题的用户需要及时纠正这一想法。学习爬虫技术和访问教程是正确的方法。