教你使用solr搭建你的全文检索

　Solr是一个可供企业使用的、基于Lucene的开箱即用的搜索服务器。对Lucene不熟？那么建议先看看下面两篇文档：

实战Lucene，第1部分：初识Lucene：http://www.ibm.com/developerworks/cn/java/j-lo-lucene1/

用Lucene加速Web搜索应用程序的开发：http://www.ibm.com/developerworks/cn/web/wa-lucene2/

一、solr介绍

solr是基于LuceneJava搜索库的企业级全文搜索引擎，目前是apache的一个项目。它的官方网址在http://lucene.apache.org/solr/.solr需要运行在一个servlet容器里，例如tomcat5.5.solr在lucene的上层提供了一个基于HTTP/XML的WebServices，我们的应用需要通过这个服务与solr进行交互。

二、solr安装和配置

关于solr的安装和配置，这里也有两篇非常好的文档，作者同时也是LuceneJava项目的提交人和发言人：

使用ApacheSolr实现更加灵巧的搜索：http://www.ibm.com/developerworks/cn/java/j-solr1/index.html

http://www.ibm.com/developerworks/cn/java/j-solr2/index.html

下面主要说说需要注意的地方。

Solr的安装非常简单，下载solr的zip包后解压缩将dist目录下的war文件改名为solr.war直接复制到tomcat5.5的webapps目录即可。注意一定要设置solr的主位置。有三种方法。我采用的是在tomcat里配置java：comp/env/solr/home的一个JNDI指向solr的主目录（example目录下），建立/tomcat55/conf/Catalina/localhost/solr.xml文件。

<ContextdocBase="D:/solr.war"debug="0"crossContext="true"><Environmentname="solr/home"type="java.lang.String"value="D:/solr/solr"override="true"/></Context>

观察这个指定的solr主位置，里面存在两个文件夹：conf和data.其中conf里存放了对solr而言最为重要的两个配置文件schema.xml和solrconfig.xml.data则用于存放索引文件。

schema.xml主要包括types、fields和其他的一些缺省设置。

solrconfig.xml用来配置Solr的一些系统属性，例如与索引和查询处理有关的一些常见的配置选项，以及缓存、扩展等等。

上面的文档对这两个文件有比较详细的说明，非常容易上手。注意到schema.xml里有一个

<uniqueKey>url</uniqueKey>

的配置，这里将url字段作为索引文档的唯一标识符，非常重要。

三、加入中文分词

对全文检索而言，中文分词非常的重要，这里采用了qieqie庖丁分词（非常不错：））。集成非常的容易，我下载的是2.0.4-alpha2版本，其中它支持最多切分和按最大切分。创建自己的一个中文TokenizerFactory继承自solr的BaseTokenizerFactory.

/**

*CreatedbyIntelliJIDEA.

*User:ronghao

*Date:2007-11-3

*Time:14:40:59

*中文切词对庖丁切词的封装

*/

publicclassChineseTokenizerFactoryextendsBaseTokenizerFactory{

/**

*最多切分默认模式

*/

publicstaticfinalStringMOST_WORDS_MODE="most-words";

/**

*按最大切分

*/

publicstaticfinalStringMAX_WORD_LENGTH_MODE="max-word-length";

privateStringmode=null;

publicvoidsetMode(Stringmode){

if(mode==null||MOST_WORDS_MODE.equalsIgnoreCase(mode)

||"default".equalsIgnoreCase(mode)){

this.mode=MOST_WORDS_MODE;

}elseif(MAX_WORD_LENGTH_MODE.equalsIgnoreCase(mode)){

this.mode=MAX_WORD_LENGTH_MODE;

}

else{

thrownewIllegalArgumentException("不合法的分析器Mode参数设置:"+mode);

}

}

@Override

publicvoidinit(Mapargs){

super.init(args);

setMode(args.get("mode"));

}

publicTokenStreamcreate(Readerinput){

returnnewPaodingTokenizer(input,PaodingMaker.make(),

createTokenCollector());

}

privateTokenCollectorcreateTokenCollector(){

if(MOST_WORDS_MODE.equals(mode))

returnnewMostWordsTokenCollector();

if(MAX_WORD_LENGTH_MODE.equals(mode))

returnnewMaxWordLengthTokenCollector();

thrownewError("neverhappened");

}

}

在schema.xml的字段text配置里加入该分词器。

<fieldtypename="text"class="solr.TextField"positionIncrementGap="100"><analyzertype="index"><tokenizerclass="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory"mode="most-words"/><filterclass="solr.StopFilterFactory"ignoreCase="true"words="stopwords.txt"/><filterclass="solr.WordDelimiterFilterFactory"generateWordParts="1"generateNumberParts="1"catenateWords="1"catenateNumbers="1"catenateAll="0"/><filterclass="solr.LowerCaseFilterFactory"/><filterclass="solr.RemoveDuplicatesTokenFilterFactory"/></analyzer><analyzertype="query"><tokenizerclass="com.ronghao.fulltextsearch.analyzer.ChineseTokenizerFactory"mode="most-words"/><filterclass="solr.SynonymFilterFactory"synonyms="synonyms.txt"ignoreCase="true"expand="true"/><filterclass="solr.StopFilterFactory"ignoreCase="true"words="stopwords.txt"/><filterclass="solr.WordDelimiterFilterFactory"generateWordParts="1"generateNumberParts="1"catenateWords="0"catenateNumbers="0"catenateAll="0"/><filterclass="solr.LowerCaseFilterFactory"/><filterclass="solr.RemoveDuplicatesTokenFilterFactory"/></analyzer></fieldtype>

完成后重启tomcat，即可在http://localhost：8080/solr/admin/analysis.jsp

体验到庖丁的中文分词。注意要将paoding-analysis.jar复制到solr的lib下，注意修改jar包里字典的home.

四、与自己应用进行集成

Solr安装完毕，现在可以将自己的应用与solr集成。其实过程非常的简单，应用增加数据——>根据配置的字段构建add的xml文档——>post至solr/update.

应用删除数据à根据配置的索引文档唯一标识符构建delete的xml文档——>post至solr/update.

检索数据à构建查询xml—>get至/solr/select/——>对solr返回的xml进行处理——>页面展现。

具体的xml格式可以在solr网站找到。另外就是solr支持高亮显示，非常方便。

关于中文，solr内核支持UTF-8编码，所以在tomcat里的server.xml需要进行配置

<Connectorport="8080"maxHttpHeaderSize="8192"URIEncoding="UTF-8"…/>

另外，向solrPost请求的时候需要转为utf-8编码。对solr返回的查询结果也需要进行一次utf-8的转码。检索数据时对查询的关键字也需要转码，然后用“+”连接。

String[]array=StringUtils.split(query,null,0);

for(Stringstr:array){

result=result+URLEncoder.encode(str,"UTF-8")+"+";

}