当爬虫ip受限的解决方法

作者:IPIDEA

2020-10-29 15:34:14

当我们的ip受到允许访问公开数据,无法正常访问网站的时候,我们就可以用ip代理换一个新的ip。使用ip代理比如使用ipidea国外http可以依照需要对自己计算机上网ip手动或自动设置不同地方的上网IP地址,不再需要不断地换网线或重启路由。

 

网络爬虫的时候我们就可以用上代理ip,特别是爬虫遇到ip被允许访问公开数据的情况。一般我们可以按照以下步骤来操作:


10.292.png 


一、检查JavaScript

 

如果出现页面空白、缺少信息情况,很有可能是因为网站创建页面的JavaScript出现问题。

 

二、检查cookie

 

如果出现登录不了、无法保持登录状态情况,请检查你的cookie.

 

三、IP地址无法访问公开数据

 

如果出现页面无法打开、403判断IP属性,无法高效采集公开数据访问错误,很有可能是IP地址被网站允许采集公开数据,不再接受你的任何请求。你可以等待IP地址从网站黑名单里移除,也可以选择使用像ip代理池这种代理IP资源,一旦出现IP无法访问公开数据情况,可以随时全球住宅IP,高效采集公开数据新的IP来解决。经过这三步,我们可以解决基本的防止账号关联公开数据采集问题,对于爬虫工作者来说是非常便利的。


*ipidea提供的服务必须在境外网络环境下使用

热门资讯