Lucene入门简单说明

Lucene是apache组织的一个用java实现全文搜索引擎的开源项目。其功能非常的强大，api也很简单。总得来说用Lucene来进行搜索和操作数据库是差不多的(有点像)，Document可以看作是数据库的一行记录，Field可以看作是数据库的字段。用lucene实现搜索引擎就像用JDBC实现连接数据库一样简单。

1.到apache官网上下载目前的最新版本lucene-3.1.0,下载地址:http://www.apache.org/dyn/closer.cgi/lucene/java/

2.将lucene-core-3.1.0.jar包导到MyEclipse或Eclipse

3.在D:\test\luceneTest\docs目录下，随便建四个txt文件作测试数据源，随便起名啦，就1.txt,2.txt,3.txt,4.txt,内容依次如下:

[华人民共和国]

[有限公司]

[学习中]

[中国历史]

[美丽中国]

4.建立索引

package test.lucene;

import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.util.Date;

import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.SimpleFSDirectory;
import org.apache.lucene.util.Version;

public class TextFileIndexer {
    public static void main(String[] args) throws Exception {
        // 保存索引文件的地方
        String indexDir = "D:\\test\\luceneTest\\index";
        // 将要搜索TXT文件的地方
        String dateDir = "D:\\test\\luceneTest\\docs";
        // 创建Directory对象
        Directory dir = new SimpleFSDirectory(new File(indexDir));

        Analyzer luceneAnalyzer = new StandardAnalyzer(Version.LUCENE_31);
        IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_31, luceneAnalyzer);

        IndexWriter indexWriter = new IndexWriter(dir, config);

        File[] textFiles = new File(dateDir).listFiles();

        // 增加document到索引去
        for (int i = 0; i < textFiles.length; i++) {
                System.out.println("File " + textFiles[i].getCanonicalPath() + " 正在被索引.");
                String temp = FileReaderAll(textFiles[i].getCanonicalPath(), "GBK");
                System.out.println(temp);
                Document document = new Document();
                Field FieldPath = new Field("path", textFiles[i].getPath(), Field.Store.YES,
                    Field.Index.NO);
                Field FieldBody = new Field("body", temp, Field.Store.YES, Field.Index.ANALYZED,
                    Field.TermVector.WITH_POSITIONS_OFFSETS);
                document.add(FieldPath);
                document.add(FieldBody);
                indexWriter.addDocument(document);
        }
        // optimize()方法是对索引进行优化
        indexWriter.optimize();
       indexWriter.close();

        System.out.println("numDocs:"+indexWriter.numDocs());   
    }

    public static String FileReaderAll(String FileName, String charset) throws IOException {
        BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(
            FileName), charset));
        String line = new String();
        String temp = new String();

        while ((line = reader.readLine()) != null) {
            temp += line;
        }
        reader.close();
        return temp;
    }
}

索引的结果:

FileD:\test\luceneTest\docs\1.txt正在被索引.

华人民共和国

FileD:\test\luceneTest\docs\2.txt正在被索引.

有限公司

FileD:\test\luceneTest\docs\3.txt正在被索引.

学习中

FileD:\test\luceneTest\docs\4.txt正在被索引.

中国历史美丽中国

numDocs:4

5.建立好索引后就是查询

package test.lucene;

import java.io.File;
import java.io.IOException;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryParser.ParseException;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.search.ScoreDoc;
import org.apache.lucene.search.TopDocs;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.SimpleFSDirectory;
import org.apache.lucene.util.Version;

public class TestQuery {

    public static void main(String[] args) throws IOException, ParseException {
        //保存索引文件的地方
        String indexDir = "D:\\test\\luceneTest\\index";
        Directory dir = new SimpleFSDirectory(new File(indexDir));
        //创建 IndexSearcher对象，相比IndexWriter对象，这个参数就要提供一个索引的目录就行了
        IndexSearcher indexSearch = new IndexSearcher(dir);
        //创建QueryParser对象,第一个参数表示Lucene的版本,第二个表示搜索Field的字段,第三个表示搜索使用分词器
        QueryParser queryParser = new QueryParser(Version.LUCENE_31,
                "body", new StandardAnalyzer(Version.LUCENE_31));
        //生成Query对象
        Query query = queryParser.parse("中国");
        //搜索结果 TopDocs里面有scoreDocs[]数组，里面保存着索引值
        TopDocs hits = indexSearch.search(query, 10);
        //hits.totalHits表示一共搜到多少个
        System.out.println("找到了"+hits.totalHits+"个");
        //循环hits.scoreDocs数据，并使用indexSearch.doc方法把Document还原，再拿出对应的字段的值
        for (int i = 0; i < hits.scoreDocs.length; i++) {
            ScoreDoc sdoc = hits.scoreDocs[i];
            Document doc = indexSearch.doc(sdoc.doc);
            System.out.println(doc.get("path"));            
        }       
        indexSearch.close();
    }
}

其运行结果:

找到了3个

D:\test\luceneTest\docs\4.txt

D:\test\luceneTest\docs\3.txt

D:\test\luceneTest\docs\1.txt

注:可以看出结果并不好,因为我要查的是"中国",结果1.txt和3.txt也被列出来了,只因为其中含有其中一个字,网上查了一下,说StandardAnalyzer是可以用于中文分词,但它是一元分词,机械地将一个汉字做为一个词元来切分的,后面有时间看一下中文分词器

补充说明:Lucene其实很简单的,它最主要就是做两件事:建立索引和进行搜索

来看一些在lucene中使用的术语,这里并不打算作详细的介绍,只是点一下而已----因为这一个世界有一种好东西，叫搜索。

IndexWriter:lucene中最重要的的类之一，它主要是用来将文档加入索引，同时控制索引过程中的一些参数使用。

Analyzer:分析器,主要用于分析搜索引擎遇到的各种文本。常用的有StandardAnalyzer分析器,StopAnalyzer分析器,WhitespaceAnalyzer分析器等。

Directory:索引存放的位置;lucene提供了两种索引存放的位置，一种是磁盘，一种是内存。一般情况将索引放在磁盘上；相应地lucene提供了FSDirectory和RAMDirectory两个类。

Document:文档;Document相当于一个要进行索引的单元，任何可以想要被索引的文件都必须转化为Document对象才能进行索引。

Field：字段。

IndexSearcher:是lucene中最基本的检索工具，所有的检索都会用到IndexSearcher工具;

Query:查询，lucene中支持模糊查询，语义查询，短语查询，组合查询等等,如有TermQuery,BooleanQuery,RangeQuery,WildcardQuery等一些类。

QueryParser:是一个解析用户输入的工具，可以通过扫描用户输入的字符串，生成Query对象。

Hits:在搜索完成之后，需要把搜索结果返回并显示给用户，只有这样才算是完成搜索的目的。在lucene中，搜索的结果的集合是用Hits类的实例来表示的。

参考资料:

1.http://www.blogjava.net/liuwentao253/archive/2007/01/08/92401.html

2.http://lucene-group.group.iteye.com/group/wiki

3.http://www.chedong.com/tech/lucene.html