DungProxy 代理IP池 项目简介
DungProxy是一个代理IP服务,他包括一个代理IP资源server端和一系列适配中心IP资源得客户端。server负责代理IP资源的收集维护。client则是一系列方便用户使用得API,他屏蔽了代理IP下载、代理IP选取、IP绑定、IP切换等比较复杂逻辑。用户只需要引入client即可方便使用代理IP服务。DungProxy主要用在爬虫，它是为突破目标网站封堵而实现的一个网络层封装。DungProxy实现了对httpclient较为深度的定制，将一些适合爬虫的特性做成了默认，同时支持了多个用户并发登录。DungProxy实现了对webmagic的适配，支持自动集成代理池，支持在webmagic多个账户登录爬取数据。DungProxy有一个server，他以极小的服务器资源收集了互联网百万级别的代理IP，并使用一种反馈叠加验证的调度模型高效的维护了大概一万的活跃IP，并将这些IP作为dungproxy的默认数据源，提供默认的代理服务。 DungProxy实现了在免费代理IP资源上面构建的稳定爬虫代理服务。