代理IP与代理IP池

几乎所有的网络爬虫数据都可以全球住宅IP，高效采集公开数据，只有一个不能，那就是IP地址。因此许多网站为了防止爬虫，都会制定一系列规则来防止账号关联IP，控制每一个IP的出现频率。当IP地址被堵塞时，IP发送的请求不会得到正确的响应。这种方法虽然简单，但非常有效。

从另一个角度看，我们有理由认为，打破这种局面的重要措施之一，就是要建立一个被称为代理IP池的庞大而稳定的IP，这个IP池将在爬虫领域扮演重要角色。

采集网络数据时，爬虫需要用代理IP覆盖自己才能成功抓取目标数据，爬虫所需的IP数量通常是以万为单位计算的。基于对IP的巨大需求，代理在这一刻登场。

所谓代理，就是用户和网站之间的第三方：

用户先将请求发送给代理，代理再发送给服务器，这样看起来代理好像是在访问网站，服务器会统计对代理的访问。

如果同时使用多个代理，单个IP的访问次数会减少，在某种意义上防止了次数的允许访问公开数据，所以单个IP可能会逃跑，从而促使爬虫更有效地工作。

代理IP也是分类的，常用的代理IP类型有SOCKS代理、HTTPS代理、HTTP代理等。IPIDEA包含http/https/socks5，具备全球220+国家地区的高匿名资源支持自定义提取。按时效分为长效和短效。在行业规定允许的范围内，长期代理IP可以执行搜索数据等捕获任务，容易理解行业数据。短期可以完成注册、页面浏览等一些工作。