为什么网络爬虫必须添加代理IP？

许多人认为网络爬虫必须添加代理IP没有代理IP没有出路；有人认为代理人IP没必要，这是为什么？不能直接使用采集工具吗？

有人说使用的收集器。收集其他网站的一些文章，然后筛选出适用的文章进行加工。从来没有使用过代理IP每天收集10,000篇文章。没有代理IP因此，网络爬虫不需要使用代理IP。

企业的日常任务每天需要抓取数十万个网页，但有人说。有时候，当有很多任务时，每天需要超过100万次攀爬和攀爬IP无法访问公开数据了。没有代理IP，根本做不到。没有代理。IP网络爬虫的根很难移动。网络爬虫必须使用代理IP。

这是有道理的，事实上。他们都用自己的经验来证明自己的观点。我认为爬虫的顺序本质上是一个浏览网页的用户，只是一个不遵守规则的独特用户。服务器通常不欢迎这种独特的用户通过各种方式发现和判断IP属性，无法高效采集公开数据它。最常见的事情是判断你访问的频率，因为普通人不会很快访问网页。如果发现ip如果访问过快，判断IP属性，无法高效采集公开数据访问ip。

也就是说，当业务量不是很大时，第一个用户。你也可以爬得很慢，工作频率不是很快，目标服务器也可以承受，不影响正常运行，所以没有代理IP可以完成日常业务量。

例如，当第二个用户的业务量很大时。每天有超过10万的数据和数百万的数据。如果你慢慢爬上去，你就无法完成你的日常任务。如果你加速攀爬，目标服务器将面临巨大的压力IP完成不了任务。那我该怎么办？我只能用代理。IP来解决。

一个IP短时间浏览100次，举栗子。目标服务器会认为浏览速度太快，导致浏览速度过快IP无法访问公开数据了。如果使用10个代理，IP短时间浏览10次，不容易被认为太快，然后无法访问公开数据杀。当业务量巨大时，使用代理IP往往事半功倍，这也是为什么没有代理人的原因IP网络爬虫没有理由。