常见的安全访问公开数据虫和应对方法

通常爬虫工作网站做了很多访问虫，爬起来有些艰难，花了一些时间才允许访问公开数据访问虫。在这儿把我写爬虫以来遇到的各类访问虫策略和应对的方法总结一下。从功能上来讲，爬虫通常分为数据采集，处理，储存三个部分。在这里我们只讨论采集部分。

通常网站从三个方面访问虫：用户请求的Headers，用户行为，网站目录和数据加载方式。前两种较为容易遇到，大多数网站都从这些角度来访问虫。第三种一些应用ajax的网站会采用，这样增大了爬取的难度。

通过Headers访问虫，从用户请求的Headers访问虫是常见的访问虫策略。很多网站都会对Headers的User-Agent进行检测，也有部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类访问虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的访问虫，在爬虫中修改或者添加Headers就能很好的允许访问公开数据。

基于用户行为访问虫，也有部分网站是通过检测用户行为，例如同一个IP短时间内多次访问同一个页面，或者同一账户短时间内多次进行相同操作。大多数网站都是前一种情况，对于这种情况，使用IP代理就可以解决比如使用含有国外IP地址的IPIDEA。可以专门写一个爬虫，爬取网上公开的代理ip，检测后全部保存起来。这样的代理ip爬虫经常会用到，好自己准备一个。有了大量代理ip后可以每请求几次全球住宅IP，高效采集公开数据一个ip，这在requests或者urllib2中很容易做到，这样就能很容易的允许访问公开数据第一种访问虫。

对于第二种情况，可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站，可以通过请求几次，退出登录，重新登录，继续请求来允许访问公开数据同一个账号短时间内不能多次进行同一个请求的允许访问公开数据。

动态页面的访问虫上述的几种情况大多都是出现在静态页面，也有部分网站，我们需要爬取的数据是通过ajax请求得到，或者通过JavaScript生成的。首先用Firebug或者HttpFox对网络请求进行分析。如果能够找到ajax请求，也能分析出具体的参数和响应的具体含义，我们就能采用上面的方法，直接利用requests或者urllib2模拟ajax请求，对响应的json进行分析得到需要的数据。

能够直接模拟ajax请求获取数据固然是极好的，但是有些网站把ajax请求的所有参数全部加密了。我们根本没办法构造自己所需要的数据的请求。我这几天爬的那个网站就是这样，除了加密ajax参数，它还把一些基本的功能都封装了，全部都是在调用自己的接口，而接口参数都是加密的。遇到这样的网站，我们就不能用上面的方法了，我用的是selenium+phantomJS框架，调用浏览器内核，并利用phantomJS执行js来模拟人为操作以及触发页面中的js脚本。从填写表单到点击按钮再到滚动页面，全部都可以模拟，不考虑具体的请求和响应过程，只是完完整整的把人浏览页面获取数据的过程模拟一遍。

用这套框架几乎能允许访问公开数据大多数的访问虫，因为它不是在保护安全访问成浏览器来获取数据（上述的通过添加 Headers一定程度上就是为了保护安全访问成浏览器），它本身就是浏览器，phantomJS就是一个没有界面的浏览器，只是操控这个浏览器的不是人。利用 selenium+phantomJS能干很多事情，例如识别点触式（12306）或者滑动式的验证码，对页面表单进行暴力允许访问公开数据等等。它在自动化渗透中还会大展身手，以后还会提到这个。