网络爬虫（Spider）Java实现原理
网络爬虫（Spider）Java实现原理
“网络蜘蛛”或者说“网络爬虫”，是一种能访问网站并跟踪链接的程序，通过它，可快速地画出一个网站所包含的网页地图信息。本文主要讲述如何使用Java编程来构建一个“蜘蛛”，我们会先以一个可复用的蜘蛛类包装一个基本的“蜘蛛”，并在示例程序中演示如何创建一个特定的“蜘蛛”来扫描相关网站并找出死链接。
*Java语言在此非常适合构建一个“蜘蛛”程序，其内建了对HTTP协议的支持，通过它可以传输大部分的网页信息；其还内建了一个HTML解析器，正是这两个原因使Java语言成为本文构建“蜘蛛”程序的首选。
文章后面
例1的示例程序，将会扫描一个网站，并寻找死链接。
*如何使用？
使用这个程序时需先输入一个URL并单击“Begin”按钮，程序开始之后，“Begin”按钮会变成“Cancel”按钮。在程序扫描网站期间，会在“Cancel”按钮之下显示进度，且在检查当前网页时，也会显示相关正常链接与死链接的数目，死链接将显示在程序底部的滚动文本框中。单击“Cancel”按钮会停止扫描过程，之后可以输入一个新的URL；如果期间没有单击“Cancel”，程序将会一直运行直到查找完所有网页，此后，“Cancel”按钮会再次变回“Begin”，表示程序已停止。
下面将演示示例程序是如何与可复用“Spider”类交互的，示例程序包含在例1的CheckLinks类中，这个类实现了ISpiderReportable接口，如例2所示，正是通过这个接口，蜘蛛类才能与示例程序相交互。在这个接口中，定义了三个方法：
第一个方法是“spiderFoundURL”，它在每次程序定位一个URL时被调用，如果方法返回true，表示程序应继续执行下去并找出其中的链接；
第二个方法是“spiderURLError”，它在每次程序检测URL导致错误时被调用（如“404页面未找到”）；
第三个方法是“spiderFoundEMail”，它在每次发现电子邮件地址时被调用。有了这三个方法，Spider类就能把相关信息反馈给创建它的程序了。
在begin方法被调用后，“蜘蛛”就开始工作了；为允许程序重绘其用户界面，“蜘蛛”是作为一个单独的线程启动的。点击“Begin”按钮会开始这个后台线程，当后台线程运行之后，又会调用“CheckLinks”类的run方法，而run方法是由Spider对象实例化时启动的，如下所示：
spider=newSpider(this);
spider.clear();
base=newURL(url.getText());
spider.addURL(base);
spider.begin();
首先，一个新的Spider对象被实例化，在此，需要传递一个“ISpiderReportable”对象给Spider对象的构造函数，因为“CheckLinks”类实现了“ISpiderReportable”接口，只需简单地把它作为当前对象（可由关键字this表示）传递给构造函数即可；其次，在程序中维护了一个其访问过的URL列表，而“clear”方法的调用则是为了确保程序开始时URL列表为空，程序开始运行之前必须添加一个URL到它的待处理列表中，此时用户输入的URL则是添加到列表中的第一个，程序就由扫描这个网页开始，并找到与这个起始URL相链接的其他页面；最后，调用“begin”方法开始运行“蜘蛛”，这个方法直到“蜘蛛”工作完毕或用户取消才会返回。
当“蜘蛛”运行时，可以调用由“ISpiderReportable”接口实现的三个方法来报告程序当前状态，程序的大部分工作都是由“spiderFoundURL”方法来完成的，当“蜘蛛”发现一个新的URL时，它首先检查其是否有效，如果这个URL导致一个错误，就会把它当作一个死链接；如果链接有效，就会继续检查它是否在一个不同的服务器上，如果链接在同一服务器上，“spiderFoundURL”返回true，表示“蜘蛛”应继续跟踪这个URL并找出其他链接，如果链接在另外的服务器上，就不会扫描是否还有其他链接，因为这会导致“蜘蛛”不断地浏览Internet，寻找更多、更多的网站，所以，示例程序只会查找用户指定网站上的链接。
构造Spider类
前面已经讲了如何使用Spider类，请看例3中的代码。使用Spider类及“ISpiderReportable”接口能方便地为某一程序添加“蜘蛛”功能，下面继续讲解Spider类是怎样工作的。
Spider类必须保持对其访问过的URL的跟踪，这样做的目的是为了确保“蜘蛛”不会访问同一URL一次以上；进一步来说，“蜘蛛”必须把URL分成三组：
第一组存储在“workloadWaiting”属性中，包含了一个未处理的URL列表，“蜘蛛”要访问的第一个URL也存在其中；
第二组存储在“workloadProcessed”中，它是“蜘蛛”已经处理过且无需再次访问的URL；
第三组存储在“workloadError”中，包含了发生错误的URL。
Begin方法包含了Spider类的主循环，其一直重复遍历“workloadWaiting”，并处理其中的每一个页面，当然我们也想到了，在这些页面被处理时，很可能有其他的URL添加到“workloadWaiting”中，所以，begin方法一直继续此过程，直到调用Spider类的cancel方法，或“workloadWaiting”中已不再剩有URL。这个过程如下：
cancel=false;
while(!getWorkloadWaiting().isEmpty()&&!cancel){
Objectlist[]=getWorkloadWaiting().toArray();
for(inti=0;(i
processURL((URL)list[i]);
}
当上述代码遍历“workloadWaiting”时，它把每个需处理的URL都传递“processURL”方法，而这个方法才是真正读取并解析URL中HTML信息的。
读取并解析HTML
Java同时支持访问URL内容及解析HTML，而这正是“processURL”方法要做的。在Java中读取URL内容相对还比较简单，下面就是“processURL”方法实现此功能的代码：
URLConnectionconnection=url.openConnection();
if((connection.getContentType()!=null)&&!connection.getContentType().toLowerCase().startsWith("text/")){
getWorkloadWaiting().remove(url);
getWorkloadProcessed().add(url);
log("Notprocessingbecausecontenttypeis:"+
connection.getContentType());
return;
}
首先，为每个传递进来的变量url中存储的URL构造一个“URLConnection”对象，因为网站上会有多种类型的文档，而“蜘蛛”只对那些包含HTML，尤其是基于文本的文档感兴趣。前述代码是为了确保文档内容以“text/”打头，如果文档类型为非文本，会从等待区移除此URL，并把它添加到已处理区，这也是为了保证不会再次访问此URL。在对特定URL建立连接之后，接下来就要解析其内容了。下面的代码打开了URL连接，并读取内容：
InputStreamis=connection.getInputStream();
Readerr=newInputStreamReader(is);
现在，我们有了一个Reader对象，可以用它来读取此URL的内容，对本文中的“蜘蛛”来说，只需简单地把其内容传递给HTML解析器就可以了。本例中使用的HTML解析器为SwingHTML解析器，其由Java内置，但由于Java对HTML解析的支持力度不够，所以必须重载一个类来实现对HTML解析器的访问，这就是为什么我们要调用“HTMLEditorKit”类中的“getParser”方法。但不幸的是，Sun公司把这个方法置为protected，唯一的解决办法就是创建自己的类并重载“getParser”方法，并把它置为public，这由“HTMLParse”类来实现，请看例4：
importjavax.swing.text.html.*;
publicclassHTMLParseextendsHTMLEditorKit{
publicHTMLEditorKit.ParsergetParser()
{
returnsuper.getParser();
}
}
这个类用在Spider类的“processURL”方法中，我们也会看到，Reader对象会用于读取传递到“HTMLEditorKit.Parser”中网页的内容：
HTMLEditorKit.Parserparse=newHTMLParse().getParser();
parse.parse(r,newParser(url),true);
请留意，这里又构造了一个新的Parser类，这个Parser类是一个Spider类中的内嵌类，而且还是一个回调类，它包含了对应于每种HTMLtag将要调用的特定方法。在本文中，我们只需关心两类回调函数，它们分别对应一个简单tag（即不带结束tag的tag，如
）和一个开始tag，这两类回调函数名为“handleSimpleTag”和“handleStartTag”。因为每种的处理过程都是一样的，所以“handleStartTag”方法仅是简单地调用“handleSimpleTag”，而“handleSimpleTag”则会负责从文档中取出超链接，这些超链接将会用于定位“蜘蛛”要访问的其他页面。在当前tag被解析时，“handleSimpleTag”会检查是否存在一个“href”或超文本引用：
Stringhref=(String)a.getAttribute(HTML.Attribute.HREF);
if((href==null)&&(t==HTML.Tag.FRAME))
href=(String)a.getAttribute(HTML.Attribute.SRC);
if(href==null)
return;
如果不存在“href”属性，会继续检查当前tag是否为一个Frame，Frame会使用一个“src”属性指向其他页面，一个典型的超链接通常为以下形式：
上面链接中的“href”属性指向其链接到的页面，但是“linkedpage.html”不是一个地址，它只是指定了这个Web服务器上一个页面上的某处，这称为相对URL，相对URL必须被解析为绝对URL，而这由以下代码完成：
URLurl=newURL(base,str);
这又会构造一个URL，str为相对URL，base为这个URL上的页面，这种形式的URL类构造函数可构造一个绝对URL。在URL变为正确的绝对形式之后，通过检查它是否在等待区，来确认此URL是否已经被处理过。如果此URL没有被处理过，它会添加到等待区，之后，它会像其他URL一样被处理。
相关的代码如下所示：
1.CheckLinks.java
importjava.awt.*;
importjavax.swing.*;
importjava.net.*;
importjava.io.*;
publicclassCheckLinksextendsjavax.swing.JFrameimplements
Runnable,ISpiderReportable{
publicCheckLinks()
{
//{{INIT_CONTROLS
setTitle("FindBrokenLinks");
getContentPane().setLayout(null);
setSize(405,288);
setVisible(true);
label1.setText("EnteraURL:");
getContentPane().add(label1);
label1.setBounds(12,12,84,12);
begin.setText("Begin");
begin.setActionCommand("Begin");
getContentPane().add(begin);
begin.setBounds(12,36,84,24);
getContentPane().add(url);
url.setBounds(108,36,288,24);
errorScroll.setAutoscrolls(true);
errorScroll.setHorizontalScrollBarPolicy(javax.swing.
ScrollPaneConstants.HORIZONTAL_SCROLLBAR_ALWAYS);
errorScroll.setVerticalScrollBarPolicy(javax.swing.
ScrollPaneConstants.VERTICAL_SCROLLBAR_ALWAYS);
errorScroll.setOpaque(true);
getContentPane().add(errorScroll);
errorScroll.setBounds(12,120,384,156);
errors.setEditable(false);
errorScroll.getViewport().add(errors);
errors.setBounds(0,0,366,138);
current.setText("CurrentlyProcessing:");
getContentPane().add(current);
current.setBounds(12,72,384,12);
goodLinksLabel.setText("GoodLinks:0");
getContentPane().add(goodLinksLabel);
goodLinksLabel.setBounds(12,96,192,12);
badLinksLabel.setText("BadLinks:0");
getContentPane().add(badLinksLabel);
badLinksLabel.setBounds(216,96,96,12);
//}}
//{{INIT_MENUS
//}}
//{{REGISTER_LISTENERS
SymActionlSymAction=newSymAction();
begin.addActionListener(lSymAction);
//}}
}
staticpublicvoidmain(Stringargs[])
{
(newCheckLinks()).setVisible(true);
}
publicvoidaddNotify()
{
//Recordthesizeofthewindowpriortocallingparent's
//addNotify.
Dimensionsize=getSize();
super.addNotify();
if(frameSizeAdjusted)
return;
frameSizeAdjusted=true;
//Adjustsizeofframeaccordingtotheinsetsandmenubar
Insetsinsets=getInsets();
javax.swing.JMenuBarmenuBar=getRootPane().getJMenuBar();
intmenuBarHeight=0;
if(menuBar!=null)
menuBarHeight=menuBar.getPreferredSize().height;
setSize(insets.left+insets.right+size.width,insets.top+
insets.bottom+size.height+
menuBarHeight);
}
//UsedbyaddNotify
booleanframeSizeAdjusted=false;
//{{DECLARE_CONTROLS
javax.swing.JLabellabel1=newjavax.swing.JLabel();
javax.swing.JButtonbegin=newjavax.swing.JButton();
javax.swing.JTextFieldurl=newjavax.swing.JTextField();
javax.swing.JScrollPaneerrorScroll=
newjavax.swing.JScrollPane();
javax.swing.JTextAreaerrors=newjavax.swing.JTextArea();
javax.swing.JLabelcurrent=newjavax.swing.JLabel();
javax.swing.JLabelgoodLinksLabel=newjavax.swing.JLabel();
javax.swing.JLabelbadLinksLabel=newjavax.swing.JLabel();
//}}
//{{DECLARE_MENUS
//}}
protectedThreadbackgroundThread;
protectedSpiderspider;
protectedURLbase;
protectedintbadLinksCount=0;
protectedintgoodLinksCount=0;
classSymActionimplementsjava.awt.event.ActionListener{
publicvoidactionPerformed(java.awt.event.ActionEventevent)
{
Objectobject=event.getSource();
if(object==begin)
begin_actionPerformed(event);
}
}
voidbegin_actionPerformed(java.awt.event.ActionEventevent)
{
if(backgroundThread==null){
begin.setLabel("Cancel");
backgroundThread=newThread(this);
backgroundThread.start();
goodLinksCount=0;
badLinksCount=0;
}else{
spider.cancel();
}
}
publicvoidrun()
{
try{
errors.setText("");
spider=newSpider(this);
spider.clear();
base=newURL(url.getText());
spider.addURL(base);
spider.begin();
RunnabledoLater=newRunnable()
{
publicvoidrun()
{
begin.setText("Begin");
}
};
SwingUtilities.invokeLater(doLater);
backgroundThread=null;
}catch(MalformedURLExceptione){
UpdateErrorserr=newUpdateErrors();
err.msg="Badaddress.";
SwingUtilities.invokeLater(err);
}
}
publicbooleanspiderFoundURL(URLbase,URLurl)
{
UpdateCurrentStatscs=newUpdateCurrentStats();
cs.msg=url.toString();
SwingUtilities.invokeLater(cs);
if(!checkLink(url)){
UpdateErrorserr=newUpdateErrors();
err.msg=url+"(onpage"+base+")\n";
SwingUtilities.invokeLater(err);
badLinksCount++;
returnfalse;
}
goodLinksCount++;
if(!url.getHost().equalsIgnoreCase(base.getHost()))
returnfalse;
else
returntrue;
}
publicvoidspiderURLError(URLurl)
{
}
protectedbooleancheckLink(URLurl)
{
try{
URLConnectionconnection=url.openConnection();
connection.connect();
returntrue;
}catch(IOExceptione){
returnfalse;
}
}
publicvoidspiderFoundEMail(Stringemail)
{
}
classUpdateErrorsimplementsRunnable{
publicStringmsg;
publicvoidrun()
{
errors.append(msg);
}
}
classUpdateCurrentStatsimplementsRunnable{
publicStringmsg;
publicvoidrun()
{
current.setText("CurrentlyProcessing:"+msg);
goodLinksLabel.setText("GoodLinks:"+goodLinksCount);
badLinksLabel.setText("BadLinks:"+badLinksCount);
}
}
}
2.ISpiderReportable.java
importjava.net.*;
interfaceISpiderReportable{
publicbooleanspiderFoundURL(URLbase,URLurl);
publicvoidspiderURLError(URLurl);
publicvoidspiderFoundEMail(Stringemail);
}
3.Spider.java
importjava.util.*;
importjava.net.*;
importjava.io.*;
importjavax.swing.text.*;
importjavax.swing.text.html.*;
publicclassSpider{
protectedCollectionworkloadError=newArrayList(3);
protectedCollectionworkloadWaiting=newArrayList(3);
protectedCollectionworkloadProcessed=newArrayList(3);
protectedISpiderReportablereport;
protectedbooleancancel=false;
publicSpider(ISpiderReportablereport)
{
this.report=report;
}
publicCollectiongetWorkloadError()
{
returnworkloadError;
}
publicCollectiongetWorkloadWaiting()
{
returnworkloadWaiting;
}
publicCollectiongetWorkloadProcessed()
{
returnworkloadProcessed;
}
publicvoidclear()
{
getWorkloadError().clear();
getWorkloadWaiting().clear();
getWorkloadProcessed().clear();
}
publicvoidcancel()
{
cancel=true;
}
publicvoidaddURL(URLurl)
{
if(getWorkloadWaiting().contains(url))
return;
if(getWorkloadError().contains(url))
return;
if(getWorkloadProcessed().contains(url))
return;
log("Addingtoworkload:"+url);
getWorkloadWaiting().add(url);
}
publicvoidprocessURL(URLurl)
{
try{
log("Processing:"+url);
//gettheURL'scontents
URLConnectionconnection=url.openConnection();
if((connection.getContentType()!=null)&&
!connection.getContentType().toLowerCase().startsWith("text/")){
getWorkloadWaiting().remove(url);
getWorkloadProcessed().add(url);
log("Notprocessingbecausecontenttypeis:"+
connection.getContentType());
return;
}
//readtheURL
InputStreamis=connection.getInputStream();
Readerr=newInputStreamReader(is);
//parsetheURL
HTMLEditorKit.Parserparse=newHTMLParse().getParser();
parse.parse(r,newParser(url),true);
}catch(IOExceptione){
getWorkloadWaiting().remove(url);
getWorkloadError().add(url);
log("Error:"+url);
report.spiderURLError(url);
return;
}
//markURLascomplete
getWorkloadWaiting().remove(url);
getWorkloadProcessed().add(url);
log("Complete:"+url);
}
publicvoidbegin()
{
cancel=false;
while(!getWorkloadWaiting().isEmpty()&&!cancel){
Objectlist[]=getWorkloadWaiting().toArray();
for(inti=0;(i<list.length)&&!cancel;i++)
processURL((URL)list[i]);
}
}
protectedclassParser
extendsHTMLEditorKit.ParserCallback{
protectedURLbase;
publicParser(URLbase)
{
this.base=base;
}
publicvoidhandleSimpleTag(HTML.Tagt,
MutableAttributeSeta,intpos)
{
Stringhref=(String)a.getAttribute(HTML.Attribute.HREF);
if((href==null)&&(t==HTML.Tag.FRAME))
href=(String)a.getAttribute(HTML.Attribute.SRC);
if(href==null)
return;
inti=href.indexOf('#');
if(i!=-1)
href=href.substring(0,i);
if(href.toLowerCase().startsWith("mailto:")){
report.spiderFoundEMail(href);
return;
}
handleLink(base,href);
}
publicvoidhandleStartTag(HTML.Tagt,
MutableAttributeSeta,intpos)
{
handleSimpleTag(t,a,pos);//handlethesameway
}
protectedvoidhandleLink(URLbase,Stringstr)
{
try{
URLurl=newURL(base,str);
if(report.spiderFoundURL(base,url))
addURL(url);
}catch(MalformedURLExceptione){
log("FoundmalformedURL:"+str);
}
}
}
publicvoidlog(Stringentry)
{
System.out.println((newDate())+":"+entry);
}
}
4.HTMLParse.java
importjavax.swing.text.html.*;
publicclassHTMLParseextendsHTMLEditorKit{
publicHTMLEditorKit.ParsergetParser()
{
returnsuper.getParser();
}
}