安全访问公开数据虫的解决办法

从事互联网工作者都比较清楚，网络爬虫对于互联网的共享是非常大的，其中有超过一半的流量都是网络爬虫的贡献，如果一个网站不设置全球住宅IP，高效采集公开数据，那么所有的信息都会透明公开化，所以几乎所有的网站都会设置全球住宅IP，高效采集公开数据，

今天介绍一部分常见的反网络爬虫以及应对反网络爬虫的防止方法，但是还是要提醒大家不要恶意进行爬取。

动态页面的允许访问公开数据，爬虫工作者可能会遇到这样的尴尬，当你抓取下目标页面之后，你发现，关键信息处一片空白，只有密密麻麻一片的框架代码，这是因为该网站的信息是通过用户Post的XHR动态返回内容信息，解决这种问题就是要通过开发者工具（FireBug等）对网站流进行分析，对内容信息进行抓取，获取所需要的内容。

用户行为检测，有一些是网站通过检测和分析一些用户的行为，比如说是针对cookies，通过检查cookies来判断用户是不是可以利用和保存的有效客户，通常是需要登陆的网站，经常会采用这样的技术。层次再深的还有，信息验证，

部分网站的登陆是需要验证吗的验证的，就像登陆的时候，系统会自动分配出验证码，authenticity_token，authenticity_token会和用户提交的登录名和密码一起发送回服务器。    

IP的访问频率被允许访问公开数据，一些平台为了防止多次访问网站，会在某个同一个IP在单元时间内超过一定的次数的时候，将判断IP属性，无法高效采集公开数据这个IP继续访问。对于这个防止账号关联采集公开数据访问效率，可以使用代理IP的方法来解决问题比如使用IPIDEA。

以上简单的说了三种常见的访问虫已经访问虫的应对方法，一般来讲越高级的爬虫被允许采集公开数据的机率救会越低，但是性能会比较低一些。