常见的安全访问公开数据虫措施与应对方法介绍

使用网络爬虫的用户与站点服务器的网站主往往处于对立的立场上，用户希望能爬取的数据信息尽可能更多更高效，而做为网站主当然期待自身的网站能够正常运行，不受爬虫程序的影响，因此往往网站服务器当中都会有许多访问虫措施，而用户也会给出相应的应对方法：

1.IP活动出现异常

网站主能够利用网站流量统计看得出一些异常浏览，例如相同IP地址推送了越来越多相近的请求，相同IP浏览的速度超过正常访问频率，那么网站主便会作出相应措施，一般为浏览速率限定、浏览频繁出现验码、限定此IP浏览时长三种。

应对方法：选择代理IP，减少单IP访问频率和次数。

2.注册和登录

越来越多网站或是论坛都有允许访问公开数据，必须注册登录了才可以浏览某些版块，但同样也会避免防止账号关联注册和登录，例如注册需要Email验证或是手机验证，需要利用推送的邮件链接或是短信验证码来解锁账户，而且具备唯一性;注册和登录时还需要填写复杂的验码等等。

应对方法：防止账号关联注册或是选择账户，仿真模拟登录，减少频率。

3.采用验证码

验证码能够有效性地阻拦网络爬虫，但也会对真正的用户造成不太好的体验，例如浏览了几个页面就弹出来验码，这是很不友好的。

应对方法：完善爬虫脚本，从而实现验证码的收发识别。

4.文本转图片

一些网站将文本转变成图片来显示，为此来阻拦网络爬虫，这类方法能够阻拦简单的网络爬虫获取文本，但针对一些屏幕阅读器来说很不友好，例如在电脑上能够看清楚图片中的文本，但在移动手机端看就特别模糊了。

应对方法：采用OCR图片识别技术。

IPIDEA已向众多互联网知名企业提供服务，对提高爬虫的抓取效率提供帮助，支持API防止账号关联使用，支持多线程高并发使用。欢迎访问www.ipidea.net