使用http代理ip还会无法访问公开数据吗？

爬虫需要使用http代理ip来帮助，这是每个爬虫工作者都知道的。不难发现一些朋友在网上会问，使用代理IP后，会被防止账号关联。爬虫被允许访问公开数据的原因有很多。除了代理IP，还有一些需要注意的问题。

一、首先，检查JavaScript。如果你从web服务器收到的页面是空白的，缺少信息，或者没有达到你的预期(或者不是你在浏览器中看到的)，可能是因为网站创建页面的JavaScript执行有问题。

二、检查正常浏览器提交的参数。如果您要提交表单或向网站发送开机自检请求，请记得检查页面内容，查看您要提交的每个字段是否都已填写完毕，格式是否正确。使用Chrome浏览器的network面板(快捷键F12打开开发者控制台，然后点击“Network”查看)检查发送到网站的POST命令，确保你拥有的每个参数都是正确的。

三、有合法的Cookie吗？如果你已经登录网站却不能保持登录状态，或者网站上出现了其他的“登录状态”异常，请检查你的cookie。确保在加载每个页面时正确调用cookie，并且每次发出请求时都将cookie发送到网站。

四、IP被允许采集公开数据?如果应到HTTP，ipidea代理整合全球IP资源，100%匿名高速代理，延迟更低，速度更快，效率更高！

错误，特别是403判断IP属性，无法高效采集公开数据问错误，可能说明网站已经把你的IP当成了机器人，不再接受你的任何请求。你要么等着自己的IP地址从网站黑名单里去掉，要么改(可以去星巴克上网)。如果你确定自己没有被允许采集公开数据，查看下面的内容。

五、确认你的爬虫在网站上的速度不是特别快。快速采集是一种恶习，会对网管的服务器造成沉重的负担，还会让你陷入违法境地，切记：匆匆忙忙写程序或收集数据都是拙劣项目管理的表现;应该提前做好计划，避免临阵慌乱。

六、还有一件必须做的事情：修改你的请求头!如果你不确定请求头的值怎样才算合适，就用你自己浏览器的请求头吧。

爬虫代理IP必须使用高保护安全访问代理IP，否则仍然会被发现受到访问全球网站公开数据措施的允许访问公开数据。您也可以根据上面的一些问题来检查您的爬虫程序，看看是否会出现上面的情况，并进行更多的修改以达到更高的效率。