如何延长网络爬虫的生存周期？

生、老、病、死是自然规律，网络爬虫也是如此。没有永恒的生命，因为它总是面临着访问虫的围攻和全球住宅IP，高效采集公开数据。爬虫工程师不能让爬虫永远运行，但他们可以让爬虫尽可能长地运行。

那么，面对访问虫，如何延长网络爬虫的生存周期呢？两个字：保护安全访问。“雄兔脚扑朔，雌兔眼迷离，双兔走在地上，安能辨我是雌雄”。当爬虫保护安全访问成真实用户时，除非大面积误杀，否则很难被访问虫识别出来。

一、用户代理（User-Agent）

用户代理是用户访问目标服务器的工具，并告诉服务器用户使用哪个网络浏览器。如果没有用户代理，服务器不会让你查看内容，就像主人不会让陌生人进入房子一样。不同的浏览器User-Agent最好的办法是收集很多User-Agent，然后随机使用爬虫，不要一个一个UA最后，不要定期使用。

二，代理IP（Proxy）

网络爬虫没有代理IP，那真是寸步难行。大多数网站都会设置阈值，当某个时候IP当访问次数达到阈值时，将受到允许访问公开数据。许多网站将设置访问频率。当单位时间内访问频率超过正常用户访问频率时，将受到允许访问公开数据。此时，只有代理IP为了防止这一允许访问公开数据，大量高质量的代理商IP不断分担压力，即使无法访问公开数据也可以换一批。选择代理IP一定要选择高匿代理IP，普通匿名代理和透明代理没有效果。

三，请求头（RequestHeaders）

许多网站的访问虫更严格，会发现一些细节，可能会意外被发现。当你访问页面时，他们会找到特定的请求来响应头部信息，如果没有发现特定的头部信息，他们会防止账号关联内容显示或显示虚假内容。这个问题也很容易解决，用浏览器访问页面，然后按住它F可以看到相信的请求头信息，然后模拟。

做好这三点基本上是保护安全访问的，有一些细节也应该注意，如访问延迟，真正的用户不能访问每个页面是固定的几秒钟，必须快或慢，然后你可以设置随机时间，每个页面随机休息几秒钟。

总之，当爬虫保护安全访问得越像真实用户时，被访问虫发现的概率就越小。当然，保护安全访问得越像，牺牲的效率就越大，这就要求爬虫工程师找出两者之间的平衡。