安科网

Lucene的使用

qiuzhuoxian

qiuzhuoxian

2012-02-19

关注 关注
如果你想快速查询你磁盘上文件，或查询邮件、Web页面，甚至查询存于数据库的数据，你都可以借助于Lucene来完成。但是要完成查询就必须先建立索引。首先从Lucene API说起：
1、 Lucene API（核心操作类）
 
IndexWriter创建和维护索引（向原索引中添加新Document，设置合并策略、优化等）
FSDirectory最主要用来存储索引文件的类，表示将索引文件存储到文件系统
Document索引和查询的原子单元，一个Document包含一系列Field
IndexReader一个抽象类，提供了访问索引的接口，当然访问索引也可以通过它的子类来完成
Analyzer分词类，它有一系列子类，都是用来将文本解析成TokenStream
Searcher用于查询索引的核心类
 2、创建索引
Directory dir = FSDirectory.open(new File("lucene.blog"));   

IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);   


Document doc = new Document();   


doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));   


doc.add(new Field("name", "kobe bryant", Field.Store.YES, Field.Index.NO));   

writer.addDocument(doc);   
writer.optimize();   
writer.close();  
Directory dir = FSDirectory.open(new File("lucene.blog"));  
IndexWriter writer = new IndexWriter(dir,new StandardAnalyzer(Version.LUCENE_29),true, IndexWriter.MaxFieldLength.UNLIMITED);  
Document doc = new Document();  
doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));  
doc.add(new Field("name", "kobe bryant", Field.Store.YES, Field.Index.NO));  
writer.addDocument(doc);  
writer.optimize();  
writer.close();  
 如上所示将索引文件存储于工作目录下lucene.blog文件夹 ，创建了Document，向Document里添加了两个Field id和name，然后使用IndexWriter的addDocument(Document)方法将其添加到索引目录下的索引文件中，然后使用IndexWriter的optimize()方法进行对索引文件优化，最后关闭IndexWriter;
3、通过IndexWriter删除索引中Document
Directory dir = FSDirectory.open(new File("lucene.blog"));   

IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);   


writer.deleteDocuments(new Term("id", "101"));   

writer.commit();   
writer.close();  
Directory dir = FSDirectory.open(new File("lucene.blog"));  
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);  
writer.deleteDocuments(new Term("id", "101"));  
writer.commit();  
writer.close();  
 如上先打开索引位置（工作目录下lucene.blog文件夹 ），然后直接调运IndexWriter的deleteDocuments(Term)方法删除上面2中创建的Document，注意必须调运commit()方法，上面2中之所以没有commit()是因为optimize()方法中存在默认Commit方法；
4、通过IndexWriter更新索引中Document
Directory dir = FSDirectory.open(new File("lucene.blog"));   

IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);   


Document doc = new Document();   


doc.add(new Field("id", "101", Field.Store.YES, Field.Index.ANALYZED)); // Field.Index.ANALYZED 


doc.add(new Field("name", "kylin soong", Field.Store.YES, Field.Index.ANALYZED));   


writer.updateDocument(new Term("id", "101"), doc);   

writer.commit();   
writer.close();  
Directory dir = FSDirectory.open(new File("lucene.blog"));  
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.UNLIMITED);  
Document doc = new Document();  
doc.add(new Field("id", "101", Field.Store.YES, Field.Index.NO));  
doc.add(new Field("name", "kylin soong", Field.Store.YES, Field.Index.NO));  
writer.updateDocument(new Term("id", "101"), doc);  
writer.commit();  
writer.close();  
 通过IndexWriter的updateDocument(Term, Document)来完成更新，具体是将包含Term("id", "101")的Document删除，然后将传入的Document添加到索引文件；
5、Field选项意义
Field field = new Field(   

        "101",   


        "kobe bryant",   

        Field.Store.YES,   
        Field.Index.ANALYZED,   
        Field.TermVector.YES);  
Field field = new Field(  
        "101",  
        "kobe bryant",  
        Field.Store.YES,  
        Field.Index.ANALYZED,  
        Field.TermVector.YES);  
  如上代码显示Field各属性设置情况，下面简单说明这些属性选项的意义
Field.Store.*决定是否将Field的完全值进行存储，注意：不能将整个文本内容存储，这样导致索引文件过大
 
Field.Store.YES存储，一旦存储，你可以用完整的Field的完全值作为查询条件查询（id:101）
Field.Store.NO不存储
 
 
 
 
 Field.Index.*控制Field的值是否可查询通过索引成的索引文件
 
Field.Index.ANALYZED用Analyzer将Field的值分词成多个Token
Field.Index.NOT_ANALYZED不对Field的值分词，将Field的值作为一个Token处理
Field.Index.ANALYZED_NO_NORMS类似ANALYZED，但不存常规信息到索引文件
Field.Index.NOT_ANALYZED_NO_NORMS类似NOT_ANALYZED，但不存常规信息到索引文件
Field.Index.NO不进行索引，Field的值不可被搜索
 如果你想要检索出唯一的terms在搜索时，或对搜索结果进行加亮处理等操作是Field.TermVector.*是必要的
 
Field.TermVector.YES记录唯一的terms，当重复发生时记下重复数，在不做额外处理
Field.TermVector.WITH_POSITIONS在上面基础上记录下位置
Field.TermVector.WITH_OFFSETS在TermVector.YES基础上记录偏移量
Field.TermVector.WITH_POSITIONS_OFFSETS在TermVector.YES基础上记录偏移量和位置
Field.TermVector.NO不做任何处理
 
 
 
 
 
 
 
 6、索引numbers
Document doc = new Document();   

NumericField field1 = new NumericField("id");   


field1.setIntValue(101);   

doc.add(field1);   

NumericField field2 = new NumericField("price");   


field1.setDoubleValue(123.50);   

doc.add(field2);  
Document doc = new Document();  
NumericField field1 = new NumericField("id");  
field1.setIntValue(101);  
doc.add(field1);  
NumericField field2 = new NumericField("price");  
field1.setDoubleValue(123.50);  
doc.add(field2);  
 如上所示为索引numbers方法；
7、索引Date和Time
Document doc = new Document();   

doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));   


doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));   

Calendar cal = Calendar.getInstance();   

cal.setTime(new Date());   


doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH)));  
Document doc = new Document();  
doc.add(new NumericField("timestamp").setLongValue(new Date().getTime()));  
doc.add(new NumericField("day").setIntValue((int) (new Date().getTime()/24/3600)));  
Calendar cal = Calendar.getInstance();  
cal.setTime(new Date());  
doc.add(new NumericField("dayOfMonth").setIntValue(cal.get(Calendar.DAY_OF_MONTH)));  
 实质上对Date和Time的处理是将Date和Time转化为numbers来处理，注意：当然也可以把Date和Time以及上面的numbers当做字符串来处理，不过这样影响查询；
 8、IndexWriter的其他同法
Directory dir = FSDirectory.open(new File("lucene.blog"));   

IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.LIMITED);   


writer.setMaxFieldLength(1);   


MergePolicy policy = new LogByteSizeMergePolicy(writer);   

writer.setMergePolicy(policy);   

writer.optimize(5);   

writer.close();  
Directory dir = FSDirectory.open(new File("lucene.blog"));  
IndexWriter writer = new IndexWriter(dir, new StandardAnalyzer(Version.LUCENE_29), true, IndexWriter.MaxFieldLength.LIMITED);  
writer.setMaxFieldLength(1);  
MergePolicy policy = new LogByteSizeMergePolicy(writer);  
writer.setMergePolicy(policy);  
writer.optimize(5);  
writer.close();  
 如上IndexWriter.MaxFieldLength.LIMITED设定了Field截取功能，如果Field值相当长，而你只想索引Field值的前固定个字符，可以用Field截取功能来实现；IndexWriter的setMergePolicy(policy)，可以设定合并策略，另外optimize(int maxNumSegments)方法可以通过参数设定优化成的Segment个数；
9、根据确定的term查询
IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);   

IndexSearcher searcher = new IndexSearcher(reader);    


Term term = new Term("id","101");   


Query query = new TermQuery(term);   


TopDocs topDocs = searcher.search(query, 10);   

System.out.println(topDocs.totalHits);   
ScoreDoc[] docs = topDocs.scoreDocs;   

System.out.println(docs[0].doc + " " + docs[0].score);   


Document doc = searcher.doc(docs[0].doc);   


System.out.println(doc.get("id"));  
IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);  
IndexSearcher searcher = new IndexSearcher(reader);   
Term term = new Term("id","101");  
Query query = new TermQuery(term);  
TopDocs topDocs = searcher.search(query, 10);  
System.out.println(topDocs.totalHits);  
ScoreDoc[] docs = topDocs.scoreDocs;  
System.out.println(docs[0].doc + " " + docs[0].score);  
Document doc = searcher.doc(docs[0].doc);  
System.out.println(doc.get("id"));  
 如上示例显示了一个Lucene查询的基本方法，IndexSearcher是核心的查询类，IndexReader 可以读取索引文件，IndexSearcher有一系列重载的Search（）方法，可以根据传入不同参数进行不同查询处理，ScoreDoc数组保存查询结果，和相关得分；
10、根据QueryParser查询，并收集查询结果
IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);   

IndexSearcher searcher = new IndexSearcher(reader);   


Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);   


QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);   


String queryString = "kobe";   

Query query = parser.parse(queryString);   

TopScoreDocCollector collector = TopScoreDocCollector.create(10, false);   

searcher.search(query, collector);   
ScoreDoc[] hits = collector.topDocs().scoreDocs;   

for(int i = 0 ; i < hits.length ; i ++) {   

Document  doc = searcher.doc(hits[i].doc);   

String name = doc.get("name");   


if (name != null) {   

    System.out.println(name);   
}   
}  
IndexReader reader = IndexReader.open(FSDirectory.open(new File("lucene.blog")),true);  
IndexSearcher searcher = new IndexSearcher(reader);  
Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_29);  
QueryParser parser = new QueryParser(Version.LUCENE_29,"name",analyzer);  
String queryString = "kobe";  
Query query = parser.parse(queryString);  
TopScoreDocCollector collector = TopScoreDocCollector.create(10, false);  
searcher.search(query, collector);  
ScoreDoc[] hits = collector.topDocs().scoreDocs;  
for(int i = 0 ; i < hits.length ; i ++) {  
Document  doc = searcher.doc(hits[i].doc);  
String name = doc.get("name");  
if (name != null) {  
    System.out.println(name);  
}  
}  
如上为一个使用QueryParser查询关键字“kobe”的实例，另外还对查询结果进行了收集
11、使用Lucene图形化工具Luke来操作索引
Luke使用非常简单：
下载：http://code.google.com/p/luke/ 点击下载最新版本，下载完成直接点击下载的jar包，就可以进入图形化操作界面，选择索引的目录就可以对索引进行图形化操作

lucene font font-size text-decoration 索引 apache

qiuzhuoxian

qiuzhuoxian

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

十张图说清Elasticsearch原理！

说到 Elasticsearch，其中最明显的一个特点就是 near real-time 准实时，当文档存储在 Elasticsearch 中时，将在 1 秒内以几乎实时的方式对其进行索引和完全搜索。Segment：也叫段，类似于倒排索引，相当于一个数据

renjinlong 2020-09-03

MAC OS 10.15 Lucene 源码分析环境搭建

lucene-solr 的github 项目中的 README 其实已经讲得很清楚了，但搭一个大项目的环境还是耗时耗力的。如果出现下载失败的问题，不用担心，重试就好。3，安装ant，我这里安装的是：Apache Ant version 1.10.8 com

Jacry 2020-07-04

由于Elasticsearch是在 Lucene 基础上构建

本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。为什么写Elasticsearch系列文章？后面会说到，Elasticsearch是搜索引擎，但不简单只能使用在搜索领域，他可以作用的场景非常多。Elastic 于 2018 年 6

IceStreamLab 2020-06-26

Spring Boot 教程 - Elasticsearch

它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，

mengyue 2020-06-09

全文搜索Lucene之倒排索引

倒排索引源于实际应用中需要根据属性的值来查找记录。带有倒排索引的文件我们称为倒排索引文件，简称倒排文件。Lucerne使用的是倒排文件索引结构。

PasserbyX 2020-05-16

Elasticsearch用得好，下班下得早！

入行 Elastic-Stack 技术栈很久了，为了免于知识匮乏眼光局限，有必要到外面的世界看看，丰富自己的世界观。哪些应用场景下使用 Elasticsearch 最佳?Elasticseach 从做搜索引擎开始，到现在主攻大数据分析领域，逐步进化成了一个

mameng 2020-05-12

Elasticsearch对垒8大竞品技术，孰优孰劣？

李猛，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用;业

心丨悦 2020-05-06

1.elasticsearch单节点部署

就是一个jar包，里面包含了封装好的各种建立倒排索引，以及进行搜索的代码，包含各种算法，我们就用java开发的时候，引入lucene jar，然后基于lucene的api去进行开发就可以了，我们就可以将已有的数据数据建立索引，lucene会在本地磁盘上面，

编码之路 2020-05-03

lucene和Elasticsearch

归结为一句话倒排指的是把的关系颠倒为。nohup npm run start > /dev/null 2>&1 & 启动elasticsearch-head，访问9100端口

mengyue 2020-05-02

ES索引的一些长度限制

一个ES索引最大可以支持多少个shard？理论上无限扩展，我推测最大应该是java array的最大长度：Integer.MAX_VALUE。一个ES shard最多可以索引2,147,483,519个document。可以看到一个document创建多个

qiuzhuoxian 2020-02-23

Lucene

我们生活中的数据总体分为两类：结构化数据和非结构化数据。将非结构化数据的一部分信息提取出来，重新组织，使其变得具有一定的结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的母的。这部分从非结构化数据中提取的然后重新组织的信息，我们称之为索引。Lu

编码之路 2020-02-20

lucene&amp;solr全文检索_7solr后台界面的介绍

Logging：solr的运行日志，如果出现问题会告诉你什么问题。Core Admin:solr core 的管理界面。solr core是solr 的一个独立运行实例单位，他可以对外提供索引和搜索服务，一个solr工程可以运行多个solrcore，一个c

lionelf 2020-02-03

lucene&amp;solr全文检索_3查询索引

创建完索引之后，我们需要查询。// 第一步：创建一个java工程，并导入jar包。// 2）指定一个分析器，对文档内容进行分析。Directory directory =FSDirectory.open;//创建document

TyCoding 2020-02-01

Lucene、Solr、ElasticSearch、hibernate-search四部曲

直到昨天，在工作中刚刚得知Lucene、Solr。本质区别在于：1、Lucene是搜索库，不是独立的应用程序，而Solr是。此外Hibernate Search能够根据需要进行同步或异步的索引更新。Lucene的目的是为软件开发人员提供一个简单易用的工具包

heniancheng 2020-01-31

ElasticSearch

ES=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。Elasticsearch也使用Java开发并使用Lucen

某某某 2020-01-30

《从Lucene到Elasticsearch全文检索实战》的P184页

其次，他说使用了books.json,在P183页说保存为books.json这个文件是直接放在curl解压缩后的文件夹的bin目录下的。汗，我第一次，关于这个问题搞了半天，之前我一直使用Kibana的，坑。后来百度看到有人说这个都出现localhost:

PinkBean 2020-01-29

es lucene搜索及聚合流程源码分析

SearchContext包含Query，Aggregator等重要信息。索引结构为倒排。Aggregator此时仅根据request创建AggregatorFactory，用于后续创建Aggregator。当shard下数据发生变化时，应当清空cache

某某某 2020-01-12

Net Core使用Lucene.Net和盘古分词器 实现全文检索

Lucene.net是Lucene的.net移植版本，是一个开源的全文检索引擎开发包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，是一个高性能、可伸缩的文本搜索引擎库。它的功能就是负责将文本数据按照某种分词算

编码之路 2020-01-01

Solr与JDK对应版本关系，Tomcat与JDK版本对应关系

　　最新在部署solrCloud集群，由于自己机器上用的JDK都是JDK1.7的，然后我就从网上下载了最新下载了最先的solr6.6.0和最新的Tomcat9.0，部署了一下，开始报错，提示solr和JDK版本不兼容，Tomcat和JDK版本不兼容，所以在

itmale 2020-01-01

全文检索Lucene

索引一次创建可以多次使用，表现为每次查询速度都很快。把非结构化数据进行字符串拆分，得到一个单词的列表，基于单词列表创建一个索引，然后查询索引，根据单词和文档的对应关系找到文档列表，这个过程就叫做全文索引

PasserbyX 2020-01-01
qiuzhuoxian

qiuzhuoxian

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号