使用Lucene进行全文检索(二)---得到有效的内容(转载)

转载:http://www.jscud.com/srun/news/viewhtml/3_2005_8/77.htm

在使用lucene对相关内容进行索引时,会遇到各种格式的内容,例如html,pdf,word等等,那么我们如何从这么文档中得到我们需要的内容哪?例如html的内容,一般我们不需要对html标签建立索引,因为那不是我们需要搜索的内容.这个时候,我们就需要从html内容中解析出我们所需要的内容.对于pdf,word文档,也是类似的要求.  总之,我们只需要从内容中提取出我们需要的文本来建立索引,这样用户就能搜索到需要的内容,然后访问对应的资源即可.

  lucene本身带的例子中有一个解析html的代码,不过不是纯java的,所以在网上我又找到了另外一个html解析器,网址如下:http://htmlparser.sourceforge.net.

对pdf解析的相关项目有很多,例如pdfbox.在pdfbox里面提出pdf的文本内容只需要一句话即可:

documentdoc=lucenepdfdocument.getdocument(file);

当然如果需要更高级的设置,就要使用pdfbox中pdftextstripper等类来实现更高级的操作了.

对word文档解析的相关有poi,网址是http://jakarta.apache.org/poi/.

htmlparser本身提供的功能很强大,我们下面主要来关注我们需要的功能.首先给出几个函数如下:

 /**

*解析一个html页面,返回一个html页面类.

*

*@paramresource文件路径或者网址

*/

publicstaticsearchhtmlpageparsehtmlpage(stringresource)

{

stringtitle="";

stringbody="";

try

{

            parser myparser = new parser(resource);

            //设置编码:根据实际情况修改             myparser.setencoding("gbk");

            htmlpage visitor = new htmlpage(myparser);

            myparser.visitallnodeswith(visitor);

            title = visitor.gettitle();

            body = combinenodetext(visitor.getbody().tonodearray());

}

catch(parserexceptione)

{

logman.error("parsehtmlpage"+resource+"error!");

        }

        searchhtmlpage result = new searchhtmlpage(title, body);

        return result;     }

    /**

*解析html内容,得到普通文本和链接的内容.

*

*@paramcontent要解析的内容

*@return返回解析后的内容

*/

publicstaticstringparsehtmlcontent(stringcontent)

{

parsermyparser;

        nodelist nodelist = null;

        myparser = parser.createparser(content, "gbk");

        nodefilter textfilter = new nodeclassfilter(textnode.class);         nodefilter linkfilter = new nodeclassfilter(linktag.class);

        //暂时不处理 meta         //nodefilter metafilter = new nodeclassfilter(metatag.class);

        orfilter lastfilter = new orfilter();         lastfilter.setpredicates(new nodefilter[] { textfilter, linkfilter });

        try

{

nodelist=myparser.parse(lastfilter);

}

catch(parserexceptione)

{

logman.warn("parsecontenterror",e);

        }

        //中场退出了

if(null==nodelist)

{

return"";

        }

        node[] nodes = nodelist.tonodearray();

        string result = combinenodetext(nodes);

returnresult;

    }

 //合并节点的有效内容

privatestaticstringcombinenodetext(node[]nodes)

{

        stringbuffer result = new stringbuffer();

        for (int i = 0; i < nodes.length; i++)

{

            node anode = (node) nodes[i];

            string line = "";

if(anodeinstanceoftextnode)

{

textnodetextnode=(textnode)anode;

//line=textnode.toplaintextstring().trim();

line=textnode.gettext();

}

elseif(anodeinstanceoflinktag)

{

                linktag linknode = (linktag) anode;

                line = linknode.getlink();

//过滤jsp标签

line=stringfunc.replace(line,"","");

            }

            if (stringfunc.istrimempty(line)) continue;

            result.append(" ").append(line);         }

        return result.tostring();

}

其中searchhtmlpage类是表示一个html页面的模型,包含标题和内容,代码如下:

packagecom.jscud.www.support.search;

/**

*搜索时解析html后返回的页面模型.

*

*@authorscud(飞云小侠)http://www.jscud.com

*

*/

publicclasssearchhtmlpage

{

/**标题*/

privatestringtitle;

/**内容*/

privatestringbody;

publicsearchhtmlpage(stringtitle,stringbody)

{

this.title=title;

this.body=body;

}

publicstringgetbody()

{

returnbody;

}

publicvoidsetbody(stringbody)

{

this.body=body;

}

publicstringgettitle()

{

returntitle;

}

publicvoidsettitle(stringtitle)

{

this.title=title;

}

}

当然,使用htmlparser解析html资源还有很多其他的方法,可以设置很多的条件来满足用户的解析要求,用户可以阅读其他的文章或者htmlparser的文档来了解,在此不多介绍.

  下一节讲解如何进行搜索.

相关推荐