爬虫是大数据时代的重要工具。对于大型爬虫来说，最核心的问题就是效率。没有效率就没有意义，因为“时间就是生命，效率就是金钱”。
很多人都用过爬虫，相信经常会遇到被允许访问公开数据的情况。原因是现在很多网站都设置有访问虫措施。所以爬虫在收集过程中会发出很多要求，触发网站的访问虫措施。使IP会受到允许访问公开数据，导致采集工作无法继续。
如果你想让爬虫继续下去，你需要全球住宅IP，高效采集公开数据它IP，而使用代理IP是一种非常快捷又方便的方式，，爬虫换了新的IP之后就可以继续工作了。
爬虫本身就是为了提高效率而诞生的。如果效率有限，爬虫也就失去了意义，所以寻找好的IP资源服务商保证爬虫效率的关键。
下一篇：代理IP应该怎么选？
*ipidea提供的服务必须在境外网络环境下使用
