lucene里面的过滤

分别是关于分词和分页的知识,虽然当成插曲写,但是其内容还是比较重要的,因为那些知识在实际的运用以及开发中用的还是比较常见,所以还是要用心的了解一下。

散仙今天要写的是关于过滤方面的知识,也就是Filter,如果了解Solr的朋友们,肯定都会知道Solr里面fq这个参数,这个参数的作用其实就是lucene里面的过滤,对一些q参数查询的结果集,做过滤或者限制返回一些我们需要的内容,可以理解成缩小搜索空间的一种策略。

在这里散仙先介绍下查询与过滤的区别和联系,其实查询(各种Query)和过滤(各种Filter)之间非常相似,可以这样说只要用Query能完成的事,用过滤也都可以完成,它们之间可以相互转换,最大的区别就是使用过滤返回的结果集不带评分操作,而使用Query返回的结果都是带相关性评分的,所以当我们如果有一些跟评分操作没有关系的业务,优先使用Filter操作,将会获取更好的性能,其实这也是Solr里面的q参数跟fq参数的区别。

下面,开始进入正题,在这之前,散仙还是喜欢老生常谈的先来了解一下Lucene里面有关于Filter的整体知识

下面,我们来看下具体的在代码里怎么实现,先来看下我们的测试数据

Java代码复制代码收藏代码

1.idscorebooknameenametypepricedate

2.11飘渺之旅pmzl小说52.23201005

3.21三国演义sgyy小说36.13201207

4.31数据库实战sjksz技术77.13200811

5.41编程宝典bcbd技术100.3200501

6.51职场关系论zcgxl职场36.59200501

7.61健康生活jksh生活20.47200008

8.71看清本质kqbz社会10.37201004

9.81编程,编程bcbc社会10.37201004

核心代码

Java代码复制代码收藏代码

1.//使用过滤器最后一个为true时包含边界部分,为false时不包含边界部分

2.//倒数第二个为true时,包含查询边界,为false时不包含

3.TermRangeFilterfilter=newTermRangeFilter("ename",newBytesRef("h"),newBytesRef("n"),true,true);

4.TopDocstopDocs=searcher.search(newMatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码复制代码收藏代码

1.61健康生活jksh生活20.47200008

2.71看清本质kqbz社会10.37201004

核心代码

Java代码复制代码收藏代码

1.NumericRangeFilter<Double>filter=NumericRangeFilter.newDoubleRange("price",10D,40D,true,false);

2.TopDocstopDocs=searcher.search(newMatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码复制代码收藏代码

1.21三国演义sgyy小说36.13201207

2.51职场关系论zcgxl职场36.59200501

3.61健康生活jksh生活20.47200008

4.71看清本质kqbz社会10.37201004

5.81编程,编程bcbc社会10.37201004

核心代码

Java代码复制代码收藏代码

1.//使用缓存过滤

2.Filterfilter=FieldCacheRangeFilter.newDoubleRange("price",20D,50D,true,true);

3.TopDocstopDocs=searcher.search(newMatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码复制代码收藏代码

1.21三国演义sgyy小说36.13201207

2.51职场关系论zcgxl职场36.59200501

3.61健康生活jksh生活20.47200008

核心代码

Java代码复制代码收藏代码

1.//缓存域过滤特定的类别

2.Filterfilter=newFieldCacheTermsFilter("type",newString[]{"技术","社会"});

3.TopDocstopDocs=searcher.search(newMatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码复制代码收藏代码

1.31数据库实战sjksz技术77.13200811

2.41编程宝典bcbd技术100.3200501

3.71看清本质kqbz社会10.37201004

4.81编程,编程bcbc社会10.37201004

核心代码

Java代码复制代码收藏代码

1.//使用QueryWrapperFilter类包装一个Query

2.QueryWrapperFilterfilter=newQueryWrapperFilter(newTermQuery(newTerm("type","技术")));

3.TopDocstopDocs=searcher.search(newMatchAllDocsQuery(),filter,10000);//默认无排序方式

输出结果

Java代码复制代码收藏代码

1.31数据库实战sjksz技术77.13200811

2.41编程宝典bcbd技术100.3200501

最后我来看下,如何继承Filter基类,来定制我们自己的filter,自定义的Filter,虽然某些时候,功能很强大灵活,但是有几个缺点,我们的了解1,保证是内容不重复的字段,例如主键,如果重复,默认返回第一个作为结果集显示2,保证不能被分词的内容,如果是分词的字段,则可能会出现一些不正确的结果。

自定义Filter类

Java代码复制代码收藏代码

1.packagecom.sanjiesanxian.test;

2.

3.importjava.io.IOException;

4.importjava.util.BitSet;

5.

6.importorg.apache.lucene.analysis.tokenattributes.CharTermAttribute;

7.importorg.apache.lucene.index.AtomicReaderContext;

8.importorg.apache.lucene.index.DocsEnum;

9.importorg.apache.lucene.index.Term;

10.importorg.apache.lucene.search.DocIdSet;

11.importorg.apache.lucene.search.Filter;

12.importorg.apache.lucene.util.AttributeSource;

13.importorg.apache.lucene.util.Bits;

14.importorg.apache.lucene.util.DocIdBitSet;

15.importorg.apache.lucene.util.FixedBitSet;

16.importorg.apache.lucene.util.OpenBitSet;

17.

18./***

19.*^_^^_^^_^

20.*QQ交流探讨群:324714439

21.*自定义过滤器

22.*@author三劫散仙

23.**/

24.publicclassMyCustomFilterextendsFilter{

25.

26.publicMyCustomFilter(){

27.//TODOAuto-generatedconstructorstub

28.}

29.

30.privateString[]terms;//限制返回的数据字典

31.publicMyCustomFilter(String...terms){

32.//TODOAuto-generatedconstructorstub

33.this.terms=terms;

34.}

35.@Override

36.publicDocIdSetgetDocIdSet(AtomicReaderContextarg0,Bitsarg1)

37.throwsIOException{

38.FixedBitSetbits=newFixedBitSet(arg0.reader().maxDoc());//获取没有所有的docid包括未删除的

39.intbase=arg0.docBase;//段的相对基数,保证多个段时相对位置正确

40.//intlimit=base+arg0.reader().maxDoc();//计算最大限制值

41.for(Strings:terms){

42.DocsEnumdoc=arg0.reader().termDocsEnum(newTerm("id",s));//必须是唯一的不重复

43.//保证是单个不重复的term,如果重复的话,默认会取第一个作为返回结果集,分词后的term也不适用自定义term

44.if(doc.nextDoc()!=-1){

45.bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面

46.}

47.}

48.returnbits;

49.}

50.

51.

52.

53.

54.

55.

56.

57.

58.}

测试查询代码

Java代码复制代码收藏代码

1.MyCustomFilterfilter=newMyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项

2.TopDocstopDocs=searcher.search(newMatchAllDocsQuery(),filter,10000);

输出结果

Java代码复制代码收藏代码

1.21三国演义sgyy小说36.13201207

2.31数据库实战sjksz技术77.13200811

3.51职场关系论zcgxl职场36.59200501

自定义过滤器虽然有缺点,但是某些场景下却能发挥很灵活的作用,特别是对没有分词的字段进行过滤操作。

关于Lucene过滤部分的使用,散仙就介绍到这里,这些功能其实没什么难的,弄清理论,在练习几遍,就能很快学会了

相关推荐