爬虫代理IP使用的注意事项

一些网站为了防止被爬虫程序访问，会检测连接对象，如果是爬虫程序，不允许继续访问，所以为了要让程序可以正常运行，需要保护安全访问自己的爬虫程序的身份，自然离不开爬虫代理地址。那么爬虫代理IP要注意什么?

一、网络爬虫怎么用代理IP

1.打开Python3，导入urllib的request，调用ProxyHandler，它可以接收代理IP的参数。

2.把IP地址以字典的形式放入其中，设置键为http，当然有些是https的，然后后面是IP地址以及端口号，具体看个人的IP地址是什么类型的，不同IP端口号可能不同。

3.用build_opener()来构建一个opener对象。

4.调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就等同于我们自己重写。如果我们使用install_opener()，就可以把之前自定义的opener设置成全局的。

5.设置成全局之后，如果我们再使用urlopen来发送请求，那么发送请求使用的IP地址是代理IP，而不是本机的IP地址了。

二、使用代理IP注意事项

1.遇到错误

提示目标计算机积极拒绝，这就说明可能是代理IP无效，或者端口号错误，要使用有效的IP，如果是使用开放型IP，建议使用之前先进行有效检测。

2.降低访问速度

本来网络爬虫使用代理IP抓取公开数据，这会给服务器带来压力，过量的访问影响更是严重，这容易引起网站进行检测，从而导致使用的代理IP无法访问公开数据。如果降低访问速度，可以有效的防止无法访问公开数据，还可以降低对方的访问压力。

3.做好保护安全访问

网络爬虫即使使用真实的IP，但毕竟本身不是正在的用户m，要从各方面来保护安全访问成用户，例如浏览器提交请求头，不同的浏览器都有不同的user_agent，网络爬虫在访问时要注意使用不同的user_agent，从而允许访问公开数据网站检测客户端的访问虫机制。否则大量一样的user_agent访问，肯定被检测出来。IPIDEA全球http提供240＋国家地区的高匿名IP，保障数据的安全。

上文介绍了代理IP用法以及使用注意事项，正确的使用代理IP，网络爬虫才可以更好的完成任务。