网络爬虫(Spider)Java实现原理

网络爬虫(Spider)Java实现原理

“网络蜘蛛”或者说“网络爬虫”,是一种能访问网站并跟踪链接的程序,通过它,可快速地画出一个网站所包含的网页地图信息。本文主要讲述如何使用Java编程来构建一个“蜘蛛”,我们会先以一个可复用的蜘蛛类包装一个基本的“蜘蛛”,并在示例程序中演示如何创建一个特定的“蜘蛛”来扫描相关网站并找出死链接。

*Java语言在此非常适合构建一个“蜘蛛”程序,其内建了对HTTP协议的支持,通过它可以传输大部分的网页信息;其还内建了一个HTML解析器,正是这两个原因使Java语言成为本文构建“蜘蛛”程序的首选。

文章后面

例1的示例程序,将会扫描一个网站,并寻找死链接。

*如何使用?

使用这个程序时需先输入一个URL并单击“Begin”按钮,程序开始之后,“Begin”按钮会变成“Cancel”按钮。在程序扫描网站期间,会在“Cancel”按钮之下显示进度,且在检查当前网页时,也会显示相关正常链接与死链接的数目,死链接将显示在程序底部的滚动文本框中。单击“Cancel”按钮会停止扫描过程,之后可以输入一个新的URL;如果期间没有单击“Cancel”,程序将会一直运行直到查找完所有网页,此后,“Cancel”按钮会再次变回“Begin”,表示程序已停止。

下面将演示示例程序是如何与可复用“Spider”类交互的,示例程序包含在例1的CheckLinks类中,这个类实现了ISpiderReportable接口,如例2所示,正是通过这个接口,蜘蛛类才能与示例程序相交互。在这个接口中,定义了三个方法:

第一个方法是“spiderFoundURL”,它在每次程序定位一个URL时被调用,如果方法返回true,表示程序应继续执行下去并找出其中的链接;

第二个方法是“spiderURLError”,它在每次程序检测URL导致错误时被调用(如“404页面未找到”);

第三个方法是“spiderFoundEMail”,它在每次发现电子邮件地址时被调用。有了这三个方法,Spider类就能把相关信息反馈给创建它的程序了。

在begin方法被调用后,“蜘蛛”就开始工作了;为允许程序重绘其用户界面,“蜘蛛”是作为一个单独的线程启动的。点击“Begin”按钮会开始这个后台线程,当后台线程运行之后,又会调用“CheckLinks”类的run方法,而run方法是由Spider对象实例化时启动的,如下所示:

spider=newSpider(this);

spider.clear();

base=newURL(url.getText());

spider.addURL(base);

spider.begin();

首先,一个新的Spider对象被实例化,在此,需要传递一个“ISpiderReportable”对象给Spider对象的构造函数,因为“CheckLinks”类实现了“ISpiderReportable”接口,只需简单地把它作为当前对象(可由关键字this表示)传递给构造函数即可;其次,在程序中维护了一个其访问过的URL列表,而“clear”方法的调用则是为了确保程序开始时URL列表为空,程序开始运行之前必须添加一个URL到它的待处理列表中,此时用户输入的URL则是添加到列表中的第一个,程序就由扫描这个网页开始,并找到与这个起始URL相链接的其他页面;最后,调用“begin”方法开始运行“蜘蛛”,这个方法直到“蜘蛛”工作完毕或用户取消才会返回。

当“蜘蛛”运行时,可以调用由“ISpiderReportable”接口实现的三个方法来报告程序当前状态,程序的大部分工作都是由“spiderFoundURL”方法来完成的,当“蜘蛛”发现一个新的URL时,它首先检查其是否有效,如果这个URL导致一个错误,就会把它当作一个死链接;如果链接有效,就会继续检查它是否在一个不同的服务器上,如果链接在同一服务器上,“spiderFoundURL”返回true,表示“蜘蛛”应继续跟踪这个URL并找出其他链接,如果链接在另外的服务器上,就不会扫描是否还有其他链接,因为这会导致“蜘蛛”不断地浏览Internet,寻找更多、更多的网站,所以,示例程序只会查找用户指定网站上的链接。

构造Spider类

前面已经讲了如何使用Spider类,请看例3中的代码。使用Spider类及“ISpiderReportable”接口能方便地为某一程序添加“蜘蛛”功能,下面继续讲解Spider类是怎样工作的。

Spider类必须保持对其访问过的URL的跟踪,这样做的目的是为了确保“蜘蛛”不会访问同一URL一次以上;进一步来说,“蜘蛛”必须把URL分成三组:

第一组存储在“workloadWaiting”属性中,包含了一个未处理的URL列表,“蜘蛛”要访问的第一个URL也存在其中;

第二组存储在“workloadProcessed”中,它是“蜘蛛”已经处理过且无需再次访问的URL;

第三组存储在“workloadError”中,包含了发生错误的URL。

Begin方法包含了Spider类的主循环,其一直重复遍历“workloadWaiting”,并处理其中的每一个页面,当然我们也想到了,在这些页面被处理时,很可能有其他的URL添加到“workloadWaiting”中,所以,begin方法一直继续此过程,直到调用Spider类的cancel方法,或“workloadWaiting”中已不再剩有URL。这个过程如下:

cancel=false;

while(!getWorkloadWaiting().isEmpty()&&!cancel){

Objectlist[]=getWorkloadWaiting().toArray();

for(inti=0;(i

processURL((URL)list[i]);

}

当上述代码遍历“workloadWaiting”时,它把每个需处理的URL都传递“processURL”方法,而这个方法才是真正读取并解析URL中HTML信息的。

读取并解析HTML

Java同时支持访问URL内容及解析HTML,而这正是“processURL”方法要做的。在Java中读取URL内容相对还比较简单,下面就是“processURL”方法实现此功能的代码:

URLConnectionconnection=url.openConnection();

if((connection.getContentType()!=null)&&!connection.getContentType().toLowerCase().startsWith("text/")){

getWorkloadWaiting().remove(url);

getWorkloadProcessed().add(url);

log("Notprocessingbecausecontenttypeis:"+

connection.getContentType());

return;

}

首先,为每个传递进来的变量url中存储的URL构造一个“URLConnection”对象,因为网站上会有多种类型的文档,而“蜘蛛”只对那些包含HTML,尤其是基于文本的文档感兴趣。前述代码是为了确保文档内容以“text/”打头,如果文档类型为非文本,会从等待区移除此URL,并把它添加到已处理区,这也是为了保证不会再次访问此URL。在对特定URL建立连接之后,接下来就要解析其内容了。下面的代码打开了URL连接,并读取内容:

InputStreamis=connection.getInputStream();

Readerr=newInputStreamReader(is);

现在,我们有了一个Reader对象,可以用它来读取此URL的内容,对本文中的“蜘蛛”来说,只需简单地把其内容传递给HTML解析器就可以了。本例中使用的HTML解析器为SwingHTML解析器,其由Java内置,但由于Java对HTML解析的支持力度不够,所以必须重载一个类来实现对HTML解析器的访问,这就是为什么我们要调用“HTMLEditorKit”类中的“getParser”方法。但不幸的是,Sun公司把这个方法置为protected,唯一的解决办法就是创建自己的类并重载“getParser”方法,并把它置为public,这由“HTMLParse”类来实现,请看例4:

importjavax.swing.text.html.*;

publicclassHTMLParseextendsHTMLEditorKit{

publicHTMLEditorKit.ParsergetParser()

{

returnsuper.getParser();

}

}

这个类用在Spider类的“processURL”方法中,我们也会看到,Reader对象会用于读取传递到“HTMLEditorKit.Parser”中网页的内容:

HTMLEditorKit.Parserparse=newHTMLParse().getParser();

parse.parse(r,newParser(url),true);

请留意,这里又构造了一个新的Parser类,这个Parser类是一个Spider类中的内嵌类,而且还是一个回调类,它包含了对应于每种HTMLtag将要调用的特定方法。在本文中,我们只需关心两类回调函数,它们分别对应一个简单tag(即不带结束tag的tag,如

)和一个开始tag,这两类回调函数名为“handleSimpleTag”和“handleStartTag”。因为每种的处理过程都是一样的,所以“handleStartTag”方法仅是简单地调用“handleSimpleTag”,而“handleSimpleTag”则会负责从文档中取出超链接,这些超链接将会用于定位“蜘蛛”要访问的其他页面。在当前tag被解析时,“handleSimpleTag”会检查是否存在一个“href”或超文本引用:

Stringhref=(String)a.getAttribute(HTML.Attribute.HREF);

if((href==null)&&(t==HTML.Tag.FRAME))

href=(String)a.getAttribute(HTML.Attribute.SRC);

if(href==null)

return;

如果不存在“href”属性,会继续检查当前tag是否为一个Frame,Frame会使用一个“src”属性指向其他页面,一个典型的超链接通常为以下形式:

上面链接中的“href”属性指向其链接到的页面,但是“linkedpage.html”不是一个地址,它只是指定了这个Web服务器上一个页面上的某处,这称为相对URL,相对URL必须被解析为绝对URL,而这由以下代码完成:

URLurl=newURL(base,str);

这又会构造一个URL,str为相对URL,base为这个URL上的页面,这种形式的URL类构造函数可构造一个绝对URL。在URL变为正确的绝对形式之后,通过检查它是否在等待区,来确认此URL是否已经被处理过。如果此URL没有被处理过,它会添加到等待区,之后,它会像其他URL一样被处理。

相关的代码如下所示:

1.CheckLinks.java

importjava.awt.*;

importjavax.swing.*;

importjava.net.*;

importjava.io.*;

publicclassCheckLinksextendsjavax.swing.JFrameimplements

Runnable,ISpiderReportable{

publicCheckLinks()

{

//{{INIT_CONTROLS

setTitle("FindBrokenLinks");

getContentPane().setLayout(null);

setSize(405,288);

setVisible(true);

label1.setText("EnteraURL:");

getContentPane().add(label1);

label1.setBounds(12,12,84,12);

begin.setText("Begin");

begin.setActionCommand("Begin");

getContentPane().add(begin);

begin.setBounds(12,36,84,24);

getContentPane().add(url);

url.setBounds(108,36,288,24);

errorScroll.setAutoscrolls(true);

errorScroll.setHorizontalScrollBarPolicy(javax.swing.

ScrollPaneConstants.HORIZONTAL_SCROLLBAR_ALWAYS);

errorScroll.setVerticalScrollBarPolicy(javax.swing.

ScrollPaneConstants.VERTICAL_SCROLLBAR_ALWAYS);

errorScroll.setOpaque(true);

getContentPane().add(errorScroll);

errorScroll.setBounds(12,120,384,156);

errors.setEditable(false);

errorScroll.getViewport().add(errors);

errors.setBounds(0,0,366,138);

current.setText("CurrentlyProcessing:");

getContentPane().add(current);

current.setBounds(12,72,384,12);

goodLinksLabel.setText("GoodLinks:0");

getContentPane().add(goodLinksLabel);

goodLinksLabel.setBounds(12,96,192,12);

badLinksLabel.setText("BadLinks:0");

getContentPane().add(badLinksLabel);

badLinksLabel.setBounds(216,96,96,12);

//}}

//{{INIT_MENUS

//}}

//{{REGISTER_LISTENERS

SymActionlSymAction=newSymAction();

begin.addActionListener(lSymAction);

//}}

}

staticpublicvoidmain(Stringargs[])

{

(newCheckLinks()).setVisible(true);

}

publicvoidaddNotify()

{

//Recordthesizeofthewindowpriortocallingparent's

//addNotify.

Dimensionsize=getSize();

super.addNotify();

if(frameSizeAdjusted)

return;

frameSizeAdjusted=true;

//Adjustsizeofframeaccordingtotheinsetsandmenubar

Insetsinsets=getInsets();

javax.swing.JMenuBarmenuBar=getRootPane().getJMenuBar();

intmenuBarHeight=0;

if(menuBar!=null)

menuBarHeight=menuBar.getPreferredSize().height;

setSize(insets.left+insets.right+size.width,insets.top+

insets.bottom+size.height+

menuBarHeight);

}

//UsedbyaddNotify

booleanframeSizeAdjusted=false;

//{{DECLARE_CONTROLS

javax.swing.JLabellabel1=newjavax.swing.JLabel();

javax.swing.JButtonbegin=newjavax.swing.JButton();

javax.swing.JTextFieldurl=newjavax.swing.JTextField();

javax.swing.JScrollPaneerrorScroll=

newjavax.swing.JScrollPane();

javax.swing.JTextAreaerrors=newjavax.swing.JTextArea();

javax.swing.JLabelcurrent=newjavax.swing.JLabel();

javax.swing.JLabelgoodLinksLabel=newjavax.swing.JLabel();

javax.swing.JLabelbadLinksLabel=newjavax.swing.JLabel();

//}}

//{{DECLARE_MENUS

//}}

protectedThreadbackgroundThread;

protectedSpiderspider;

protectedURLbase;

protectedintbadLinksCount=0;

protectedintgoodLinksCount=0;

classSymActionimplementsjava.awt.event.ActionListener{

publicvoidactionPerformed(java.awt.event.ActionEventevent)

{

Objectobject=event.getSource();

if(object==begin)

begin_actionPerformed(event);

}

}

voidbegin_actionPerformed(java.awt.event.ActionEventevent)

{

if(backgroundThread==null){

begin.setLabel("Cancel");

backgroundThread=newThread(this);

backgroundThread.start();

goodLinksCount=0;

badLinksCount=0;

}else{

spider.cancel();

}

}

publicvoidrun()

{

try{

errors.setText("");

spider=newSpider(this);

spider.clear();

base=newURL(url.getText());

spider.addURL(base);

spider.begin();

RunnabledoLater=newRunnable()

{

publicvoidrun()

{

begin.setText("Begin");

}

};

SwingUtilities.invokeLater(doLater);

backgroundThread=null;

}catch(MalformedURLExceptione){

UpdateErrorserr=newUpdateErrors();

err.msg="Badaddress.";

SwingUtilities.invokeLater(err);

}

}

publicbooleanspiderFoundURL(URLbase,URLurl)

{

UpdateCurrentStatscs=newUpdateCurrentStats();

cs.msg=url.toString();

SwingUtilities.invokeLater(cs);

if(!checkLink(url)){

UpdateErrorserr=newUpdateErrors();

err.msg=url+"(onpage"+base+")\n";

SwingUtilities.invokeLater(err);

badLinksCount++;

returnfalse;

}

goodLinksCount++;

if(!url.getHost().equalsIgnoreCase(base.getHost()))

returnfalse;

else

returntrue;

}

publicvoidspiderURLError(URLurl)

{

}

protectedbooleancheckLink(URLurl)

{

try{

URLConnectionconnection=url.openConnection();

connection.connect();

returntrue;

}catch(IOExceptione){

returnfalse;

}

}

publicvoidspiderFoundEMail(Stringemail)

{

}

classUpdateErrorsimplementsRunnable{

publicStringmsg;

publicvoidrun()

{

errors.append(msg);

}

}

classUpdateCurrentStatsimplementsRunnable{

publicStringmsg;

publicvoidrun()

{

current.setText("CurrentlyProcessing:"+msg);

goodLinksLabel.setText("GoodLinks:"+goodLinksCount);

badLinksLabel.setText("BadLinks:"+badLinksCount);

}

}

}

2.ISpiderReportable.java

importjava.net.*;

interfaceISpiderReportable{

publicbooleanspiderFoundURL(URLbase,URLurl);

publicvoidspiderURLError(URLurl);

publicvoidspiderFoundEMail(Stringemail);

}

3.Spider.java

importjava.util.*;

importjava.net.*;

importjava.io.*;

importjavax.swing.text.*;

importjavax.swing.text.html.*;

publicclassSpider{

protectedCollectionworkloadError=newArrayList(3);

protectedCollectionworkloadWaiting=newArrayList(3);

protectedCollectionworkloadProcessed=newArrayList(3);

protectedISpiderReportablereport;

protectedbooleancancel=false;

publicSpider(ISpiderReportablereport)

{

this.report=report;

}

publicCollectiongetWorkloadError()

{

returnworkloadError;

}

publicCollectiongetWorkloadWaiting()

{

returnworkloadWaiting;

}

publicCollectiongetWorkloadProcessed()

{

returnworkloadProcessed;

}

publicvoidclear()

{

getWorkloadError().clear();

getWorkloadWaiting().clear();

getWorkloadProcessed().clear();

}

publicvoidcancel()

{

cancel=true;

}

publicvoidaddURL(URLurl)

{

if(getWorkloadWaiting().contains(url))

return;

if(getWorkloadError().contains(url))

return;

if(getWorkloadProcessed().contains(url))

return;

log("Addingtoworkload:"+url);

getWorkloadWaiting().add(url);

}

publicvoidprocessURL(URLurl)

{

try{

log("Processing:"+url);

//gettheURL'scontents

URLConnectionconnection=url.openConnection();

if((connection.getContentType()!=null)&&

!connection.getContentType().toLowerCase().startsWith("text/")){

getWorkloadWaiting().remove(url);

getWorkloadProcessed().add(url);

log("Notprocessingbecausecontenttypeis:"+

connection.getContentType());

return;

}

//readtheURL

InputStreamis=connection.getInputStream();

Readerr=newInputStreamReader(is);

//parsetheURL

HTMLEditorKit.Parserparse=newHTMLParse().getParser();

parse.parse(r,newParser(url),true);

}catch(IOExceptione){

getWorkloadWaiting().remove(url);

getWorkloadError().add(url);

log("Error:"+url);

report.spiderURLError(url);

return;

}

//markURLascomplete

getWorkloadWaiting().remove(url);

getWorkloadProcessed().add(url);

log("Complete:"+url);

}

publicvoidbegin()

{

cancel=false;

while(!getWorkloadWaiting().isEmpty()&&!cancel){

Objectlist[]=getWorkloadWaiting().toArray();

for(inti=0;(i<list.length)&&!cancel;i++)

processURL((URL)list[i]);

}

}

protectedclassParser

extendsHTMLEditorKit.ParserCallback{

protectedURLbase;

publicParser(URLbase)

{

this.base=base;

}

publicvoidhandleSimpleTag(HTML.Tagt,

MutableAttributeSeta,intpos)

{

Stringhref=(String)a.getAttribute(HTML.Attribute.HREF);

if((href==null)&&(t==HTML.Tag.FRAME))

href=(String)a.getAttribute(HTML.Attribute.SRC);

if(href==null)

return;

inti=href.indexOf('#');

if(i!=-1)

href=href.substring(0,i);

if(href.toLowerCase().startsWith("mailto:")){

report.spiderFoundEMail(href);

return;

}

handleLink(base,href);

}

publicvoidhandleStartTag(HTML.Tagt,

MutableAttributeSeta,intpos)

{

handleSimpleTag(t,a,pos);//handlethesameway

}

protectedvoidhandleLink(URLbase,Stringstr)

{

try{

URLurl=newURL(base,str);

if(report.spiderFoundURL(base,url))

addURL(url);

}catch(MalformedURLExceptione){

log("FoundmalformedURL:"+str);

}

}

}

publicvoidlog(Stringentry)

{

System.out.println((newDate())+":"+entry);

}

}

4.HTMLParse.java

importjavax.swing.text.html.*;

publicclassHTMLParseextendsHTMLEditorKit{

publicHTMLEditorKit.ParsergetParser()

{

returnsuper.getParser();

}

}

相关推荐