代理IP池是如何设计的？

　　如果用户仍然是网络爬虫新手，他们可能不明白这意味着什么。浏览一些爬虫技术网站时，ip代理池这个词出现频率很高，下面ip通过代理池的设计流程，给大家详细介绍一下。

　　IPIDEA代理池设计教程：

　　代理池由四部分组成：

　　ProxyGetter:

　　代理获取接口，在网上免费找到IP每次调用提供商，都会抓取网站的最新代理放入DB，您可以添加额外的代理接口;

　　DB:

　　用于存放ip代理暂时只支持，现在只支持SSDB。至于为什么选择SSDB，你可以参考这篇文章。我个人认为SSDB是个不错的Redis如果没用过替代方案，SSDB，安装起来也很简单。

　　Schedule:

　　计划任务用户定期检测DB中间的代理可用性，删除不可用的代理。同时，通过ProxyGetter去获取最新代理放入DB。

　　ProxyApi:

　　由于代理池的外部接口现在相对简单，需要两个小时才能看到代理池的外部接口Flask，快乐的决定Flask这个功能是为爬虫提供的。get/delete/refresh等接口，方便爬虫直接使用。

　　到代码模块：

　　Python中高层次的数据结构、动态类型和动态绑定使其非常适合快速应用开发，并作为胶水语言连接现有软件部件。Python来搞这个ip代理池也很简单，代码分为六个模块：

　　Api:

　　api目前，接口相关代码api是由Flask实现代码也很简单。客户请求传递给客户端Flask，Flask调用ProxyManager包括实现get/delete/refresh/get_all。

　　Manager:

　　get/delete/refresh/get_all目前，代理池只负责管理接口的具体实现类别proxy，以后可能会有更多的功能，比如代理和爬虫的绑定，代理和账号的绑定。

　　DB:

　　目前，数据库采用数据库相关代码SSDB。以工厂模式实现代码，方便以后扩展其他类型的数据库。

　　Schedule:

　　与定期任务相关的代码，现在只实现定期高效管理新代码，验证可用代理，采用多流程方法。

　　ProxyGetter:

　　目前，许多免费代理每天只有60或70个可用代理更新这五个网站。当然，它也支持扩展代理界面。

　　Util:

　　存储一些公共模块方法或函数，包括GetConfig:读取配置文件config.ini的类，ConfigParse:集成重写ConfigParser使其对大小写敏感，Singleton:实现单例，LazyProperty:类属性惰性计算的实现。

　　其他文件:

　　配置文件:Config.ini,接口配置可用于数据库配置和代理访问GetFreeProxy添加新的代理获取方法，并在其中添加Config.ini可使用中注册。

　　上面就是ip代理池的组成部分，所以分解后，我相信大家可以直观地认识到代理池。当然，你也可以直接购买付费ip代理提取搭建。