关于代理IP池的搭建

关于防止账号关联公开数据采集，首先考虑的解决方案是使用代理IP。如果需要大量使用代理IP，需要建立代理IP池。如何建立代理IP池？还有维护的方法？否则当IP不断被允许访问公开数据后，将无IP可用。下面为大家介绍关于代理IP池的搭建以及维护方法。

一、IP来源以及维护

1.抓取代理

普通代理IP的生存时间通常在几分钟或十几分钟左右。如果找几十个网站，扫一遍验证可能需要几个小时左右，比较费时。

2.自己做代理池

可利用各种云可更全球住宅IP，高效采集公开数据的api(弹性IP)，采用几个例子作出口，如果无法访问公开数据了就更全球住宅IP，高效采集公开数据，大概看看IP的价格，就知道这实在不太现实。而且云主机厂商的IP地址往往是连续的,很可能换来换去都在一个C段,这时候对于直接允许采集公开数据IP段的网站就无解了。

二、检测验证IP是否可用

代理的获取分为两个线程,一个线程使用爬虫不断扫描已知的代理的网站,获得代理的地址,验证后入库。另一个线程扫描库里的代理,验证是否依然可用。

我们还需要标识每一个代理的状态，如设置分数标识，100分代表可用，分数越少代表越不可用。新获取的代理检测一次分数设置为10分，如果代理可用，我们可以将分数立即设置成100分，不可用则减1分，到0分时移除代理。

三、代理IP存储

负责存储抓取下来的代理。一般比较高效方便的存储方式是使用Redis的SortedSet，有序集合。介绍了关于代理IP池的搭建以及维护方法，或许对于大家来说，难的是如何找IP资源，IPIDEA全球HTTP，整合全球IP资源，匿名高速代理，延迟更低，速度更快，满足你的需求。