广域网分布式 Web 爬虫(二)
网格的特性使其能够支持广域网部署.
1.2分布式爬虫的基本结构和工作流程
由于爬虫要下载多个网页,而各个网页的下载过程之间依赖性较小,因此可以被并行化.为了高效地下载网
页,爬虫程序一般被设计为多线程和多进程协同的方式,而分布式爬虫是将多个具有抓取网页功能的Agent分
别部署于多个计算资源之上的爬虫程序.以下是分布式爬虫中每个Agent的大致工作流程(其中,左侧带*号的
两行代码可能需要多机协同完成).为了突出Agent对URL的处理,算法描述省略了域名解析、对网页和URL
的预处理以及解析网站的Robots.txt文件的过程.
URLSeen:用于存储已经抓取过的URL.
URL队列:用于存储待抓取的URL.
输入:初始URL列表.
Agent(初始URL列表){
将初始URL列表中的URL放入URL队列;
while(URL队列不为空){
从URL队列中取出一个URL;
将URL存入URLSeen;
下载URL指向的网页;
提取网页中含有的URL;
for(每一个新发现的URL){
if(URL应由本Agent负责){
}else{
if(URL不在URLSeen中&&URL不在URL队列中)
将URL放入URL队列;
通过一定的Web划分方法选择负责当前URL的Agent;
将URL发送至此Agent;
*
*
}
}
1.3广域网分布式Web爬虫的优势和挑战
广域网分布式Web爬虫与基于LAN的分布式爬虫或称局域网爬虫相比具有诸多优势:
(1)可扩展性
可扩展性是局域网爬虫的致命缺点,也是提出广域网分布式爬虫的主要原因.首先,广域网系统能够容纳更
多的计算资源,拥有更多的网络接入点.理论上,整体吞吐量可以无限扩展;局域网爬虫因其计算资源数量受到
LAN的限制,很难扩展到较大的规模,从而限制了系统整体吞吐量.其次,广域网系统是由若干个相对较小的机
群甚至单机节点组成,这使得资源添加和系统维护都变得相对简单.如果能够进一步利用分布在Internet上的个
人计算资源,则维护开销将大为降低;相比之下,在LAN中维护大规模机群的代价则非常昂贵,需要解决数据存
储、系统互连、机架结构、电源、散热等诸多问题.
(2)多网络接入点
爬虫在抓取网页时,HTTP请求和下载网页的过程需要占用系统网络接入点的大部分带宽.对基于LAN的
系统,随着机群规模的扩大,接入带宽将变为系统瓶颈.如果爬虫程序分布在不同的网络位置,就可以使用多个
网络接入点,理论上可以获得相当于这些接入点加和的总带宽.并且随着网络接入点数量的增加,系统的总带宽
也会相应增加,理论上带宽可以无限扩展.
}
}
