安科网

Elasticsearch编程操作

JavaWinner

JavaWinner

2020-02-27

关注 关注

1.创建工程导入依赖

<dependency>
      <groupId>org.elasticsearch</groupId>
      <artifactId>elasticsearch</artifactId>
      <version>5.6.8</version>
    </dependency>
    <dependency>
      <groupId>org.elasticsearch.client</groupId>
      <artifactId>transport</artifactId>
      <version>5.6.8</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.logging.log4j/log4j-to-slf4j -->
    <dependency>
      <groupId>org.apache.logging.log4j</groupId>
      <artifactId>log4j-to-slf4j</artifactId>
      <version>2.13.0</version>
    </dependency>
    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-api</artifactId>
      <version>1.7.25</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.slf4j/slf4j-simple -->
    <dependency>
      <groupId>org.slf4j</groupId>
      <artifactId>slf4j-simple</artifactId>
      <version>1.7.25</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.12</version>
    </dependency>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.12</version>
    </dependency>

2.创建索引

@Test
    //创建索引
    public void createIndex() throws Exception{
        // 创建Client连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings).addTransportAddress(
                new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300));
        //创建名称为blog1的索引
        client.admin().indices().prepareCreate("blog1").get();
        //释放资源
        client.close();
    }

Elasticsearch编程操作

Elasticsearch编程操作

注意：此时创建的索引是没有mapping映射的

Elasticsearch编程操作

3.创建映射mapping

@Test
    //创建映射mapping
    public void createMapping() throws Exception {
        // 创建Client连接
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings).addTransportAddress(
                new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),9300));
        // 添加映射
        /**
         格式：
         "mappings" : {
            "article" : {
            "dynamic" : "false",
                "properties" : {
                    "id" : { "type" : "string" },
                    "content" : { "type" : "string" },
                    "author" : { "type" : "string" }
                }
             }
         }
         */
        XContentBuilder builder = XContentFactory.jsonBuilder()
                .startObject()
                    .startObject("article")
                        .startObject("properties")
                            .startObject("id")
                                .field("type", "integer").field("store", "yes")
                            .endObject()
                            .startObject("title")
                                .field("type", "string").field("store", "yes").field("analyzer", "ik_smart")
                            .endObject()
                            .startObject("content")
                                .field("type", "string").field("store", "yes").field("analyzer", "ik_smart")
                            .endObject()
                        .endObject()
                    .endObject()
                .endObject();
        // 创建映射
        PutMappingRequest mapping = Requests.putMappingRequest("blog1")
                .type("article").source(builder);
        client.admin().indices().putMapping(mapping).get();
        //释放资源
        client.close();
    }

Elasticsearch编程操作

 Elasticsearch编程操作

4.建立文档document

4.1 建立文档（通过XContentBuilder）

@Test
    //创建文档(通过XContentBuilder)
    public void createXContentBuilder() throws Exception{
        // 创建Client连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),
                        9300));
        //创建文档信息
        XContentBuilder builder = XContentFactory.jsonBuilder()
                .startObject()
                .field("id", 1)
                .field("title", "ElasticSearch是一个基于Lucene的搜索服务器")
                .field("content",
                        "它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用\n" +
                                "Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到\n" +
                                "实时搜索，稳定，可靠，快速，安装使用方便。")
                                .endObject();
                    // 建立文档对象
                    /**
                     * 参数一blog1：表示索引对象
                     * 参数二article：类型
                     * 参数三1：建立id
                     * */
                 client.prepareIndex("blog1", "article", "1").setSource(builder).get();
                 //释放资源
                 client.close();
    }

Elasticsearch编程操作

 Elasticsearch编程操作

4.2 建立文档（使用Jackson转换实体）

1）创建Article实体

package com.wish.elasticSear;

public class Article {
    private Integer id;
    private String title;
    private String content;

    public Integer getId() {
        return id;
    }
    public void setId(Integer id) {
        this.id = id;
    }
    public String getTitle() {
        return title;
    }
    public void setTitle(String title) {
        this.title = title;
    }
    public String getContent() {
        return content;
    }
    public void setContent(String content) {
        this.content = content;
    }
}

2）导入Jackson的依赖

<!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-core -->
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-core</artifactId>
      <version>2.8.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind -->
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-databind</artifactId>
      <version>2.8.1</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-annotations -->
    <dependency>
      <groupId>com.fasterxml.jackson.core</groupId>
      <artifactId>jackson-annotations</artifactId>
      <version>2.8.1</version>
    </dependency>

3）代码实现

@Test
    //创建文档(通过实体转json)
    public void createJson() throws Exception{
    // 创建Client连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),
                        9300));
        // 描述json 数据
        //{id:xxx, title:xxx, content:xxx}
        Article article = new Article();
        article.setId(2);
        article.setTitle("搜索工作其实很快乐");
        article.setContent("我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，\n" +
                "                我们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开始并扩\n" +
                "                展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这\n" +
                "                些问题和更多的问题。");

        ObjectMapper objectMapper=new ObjectMapper();
        client.prepareIndex(
                "blog1","article",article.getId().toString()
        ).setSource(
                objectMapper.writeValueAsString(article).getBytes(),XContentType.JSON
        ).get();
        client.close();
    }

Elasticsearch编程操作

 Elasticsearch编程操作

5.查询文档操作

 5.1关键词查询

@Test
    //关键词查询
    public void testTermQuery() throws Exception {
        //1、创建es客户端连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),
                        9300));
        //2、设置搜索条件
        SearchResponse searchResponse = client.prepareSearch("blog1")
                .setTypes("article")
                .setQuery(QueryBuilders.termQuery("content", "搜索")).get();
        //3、遍历搜索结果数据
        SearchHits hits = searchResponse.getHits(); // 获取命中次数，查询结果有多少对象
        System.out.println("查询结果有：" + hits.getTotalHits() + "条");
        Iterator<SearchHit> iterator = hits.iterator();
        while (iterator.hasNext()) {
            SearchHit searchHit = iterator.next(); // 每个查询对象
            System.out.println(searchHit.getSourceAsString()); // 获取字符串格式打印
            System.out.println("title:" + searchHit.getSource().get("title"));
        }
        //4、释放资源
        client.close();
    }

Elasticsearch编程操作

 5.2 字符串查询

@Test
    //字符串查询
    public void testStringQuery() throws Exception {
        //1、创建es客户端连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),
                        9300));
        //2、设置搜索条件
        SearchResponse searchResponse = client.prepareSearch("blog1")
                .setTypes("article")
                .setQuery(QueryBuilders.queryStringQuery("搜索")).get();
        //3、遍历搜索结果数据
        SearchHits hits = searchResponse.getHits(); // 获取命中次数，查询结果有多少对象
        System.out.println("查询结果有：" + hits.getTotalHits() + "条");
        Iterator<SearchHit> iterator = hits.iterator();
        while (iterator.hasNext()) {
            SearchHit searchHit = iterator.next(); // 每个查询对象
            System.out.println(searchHit.getSourceAsString()); // 获取字符串格式打印
            System.out.println("title:" + searchHit.getSource().get("title"));
        }
        //4、释放资源
        client.close();

    }

Elasticsearch编程操作

 5.3 使用文档ID查询文档

@Test
    //使用文档ID查询文档
    public void testIdQuery() throws Exception {
        //1、创建es客户端连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),
                        9300));
        //client对象为TransportClient对象
        SearchResponse response = client.prepareSearch("blog1")
                .setTypes("article")
        //设置要查询的id
                .setQuery(QueryBuilders.idsQuery().addIds("1"))
        //执行查询
                .get();
        //取查询结果
        SearchHits searchHits = response.getHits();
        //取查询结果总记录数
        System.out.println(searchHits.getTotalHits());
        Iterator<SearchHit> hitIterator = searchHits.iterator();
        while(hitIterator.hasNext()) {
            SearchHit searchHit = hitIterator.next();
        //打印整行数据
            System.out.println(searchHit.getSourceAsString());
        }
    }

Elasticsearch编程操作

6 .查询文档分页操作

1）批量插入数据

@Test
    //批量插入50条数据
    public void continuousInsertion() throws Exception {
        // 创建Client连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new
                        InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300));
        ObjectMapper objectMapper = new ObjectMapper();
        for (int i = 1; i <= 50; i++) {
            // 描述json 数据
            Article article = new Article();
            article.setId(i);
            article.setTitle(i + "搜索工作其实很快乐");
            article.setContent(i
                    + "我们希望我们的搜索解决方案要快，我们希望有一个零配置和一个完全免费的搜索模式，我\n" +
                    "                    们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开始并扩展\n" +
                    "                    到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这些\n" +
                    "                    问题和更多的问题。");
            // 建立文档
            client.prepareIndex("blog1", "article", article.getId().toString())
                    //.setSource(objectMapper.writeValueAsString(article)).get();
                    .setSource(objectMapper.writeValueAsString(article).getBytes(), XContentType.JSON).get();
           
        }
        //释放资源
        client.close();
    }

Elasticsearch编程操作

 Elasticsearch编程操作

2）分页查询

@Test
    //分页查询
    public void pagingQuery() throws Exception {
        // 创建Client连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"), 9300));
        // 搜索数据
        SearchRequestBuilder searchRequestBuilder =
                client.prepareSearch("blog1").setTypes("article")
                        .setQuery(QueryBuilders.matchAllQuery());//默认每页10条记录
        // 查询第2页数据，每页20条
        //setFrom()：从第几条开始检索，默认是0。
        //setSize():每页最多显示的记录数。
        searchRequestBuilder.setFrom(0).setSize(5);
        SearchResponse searchResponse = searchRequestBuilder.get();
        SearchHits hits = searchResponse.getHits(); // 获取命中次数，查询结果有多少对象
        System.out.println("查询结果有：" + hits.getTotalHits() + "条");
        Iterator<SearchHit> iterator = hits.iterator();
        while (iterator.hasNext()) {
            SearchHit searchHit = iterator.next(); // 每个查询对象
            System.out.println(searchHit.getSourceAsString()); // 获取字符串格式打印
            System.out.println("id:" + searchHit.getSource().get("id"));
            System.out.println("title:" + searchHit.getSource().get("title"));
            System.out.println("content:" + searchHit.getSource().get("content"));
            System.out.println("‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐‐");
        }
        //释放资源
        client.close();
    }

Elasticsearch编程操作

 Elasticsearch编程操作

 Elasticsearch编程操作

7.查询结果高亮操作

1).什么是高亮显示

在进行关键字搜索时，搜索出的内容中的关键字会显示不同的颜色，称之为高亮

2).高亮显示的html分析

Elasticsearch编程操作

 3).高亮显示代码实现

@Test
    //高亮查询
    public void highlightQuery() throws Exception {
        // 创建Client连接对象
        Settings settings = Settings.builder().put("cluster.name", "my‐elasticsearch").build();
        TransportClient client = new PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("127.0.0.1"),
                        9300));
        // 搜索数据
        SearchRequestBuilder searchRequestBuilder = client
                .prepareSearch("blog1").setTypes("article")
                .setQuery(QueryBuilders.termQuery("title", "搜索"));
        //设置高亮数据
        HighlightBuilder hiBuilder = new HighlightBuilder();
        hiBuilder.preTags("<font style=‘color:red‘>");
        hiBuilder.postTags("</font>");
        hiBuilder.field("title");
        searchRequestBuilder.highlighter(hiBuilder);
        //获得查询结果数据
        SearchResponse searchResponse = searchRequestBuilder.get();
        //获取查询结果集
        SearchHits searchHits = searchResponse.getHits();
        System.out.println("共搜到:" + searchHits.getTotalHits() + "条结果!");
        //遍历结果
        for (SearchHit hit : searchHits) {
            System.out.println("String方式打印文档搜索内容:");
            System.out.println(hit.getSourceAsString());
            System.out.println("Map方式打印高亮内容");
            System.out.println(hit.getHighlightFields());
            System.out.println("遍历高亮集合，打印高亮片段:");
            Text[] text = hit.getHighlightFields().get("title").getFragments();
            for (Text str : text) {
                System.out.println(str);
            }
        }
        //释放资源
        client.close();
    }

Elasticsearch编程操作

elasticsearch log4j

JavaWinner

JavaWinner

0 关注 0 粉丝 0 动态

关注 关注

相关推荐

Elasticsearch py客户端库安装及使用方法解析

elasticsearch-py是一个官方提供的low-level的elasticsearch python客户端库。因为它只是对elasticsearch的rest API接口做了一层简单的封装，因此提供了最大的灵活性，但是于此同时使用起来就不是太方便。

newbornzhao 2020-09-14

ElasticSearch最全详细使用教程

本文介绍了ElasticSearch的必备知识：从入门、索引管理到映射详解。Green - everything is good ，即最佳状态。Yellow - all data is available but some replicas are not

做对一件事很重要 2020-09-07

十张图说清Elasticsearch原理！

说到 Elasticsearch，其中最明显的一个特点就是 near real-time 准实时，当文档存储在 Elasticsearch 中时，将在 1 秒内以几乎实时的方式对其进行索引和完全搜索。Segment：也叫段，类似于倒排索引，相当于一个数据

renjinlong 2020-09-03

ElasticSearch 交互使用

tcp 0 0 10.0.0.121:5601 0.0.0.0:* LISTEN 88636/node

李玉志 2020-08-19

django 对接elasticsearch实现全文检索

# python manage.py rebuild_index #数据库有多少条数据，全部会被同步到es中。object = BookSerializer # 只读,不可以进行反序列化。fields = # text 由索引类进行返回, object

明瞳 2020-08-19

Spring Boot 集成 Elasticsearch 实战

可以在 ES 官方文档中发现，ES 为 Java REST Client 提供了两种方式的 Client：Java Low Level Client 和 Java High Level REST Client。低级别客户端，它允许通过 HTTP 请求与 E

李玉志 2020-08-19

如何对 ElasticSearch 集群进行压力测试

当 ElasticSearch 的业务量足够大，比如每天都会产生数百 GB 数据的时候，你就会自然而然的需要一个性能更强的 ElasticSearch 集群。特别是当你使用的场景是一些典型的大量数据进入的场景，比如网站日志、用户行为记录、大型电商网站的站内

mengyue 2020-08-07

操作ElasticSearch插件和可视化工具 Kibana

当 ElasticSearch 的实例并运行，您可以使用 localhost:9200,基于 JSON 的 REST API 与ElasticSearch 进行通信。在 ElasticSearch 自己的文档中，所有示例都使用 curl。但是，当使用 AP

molong0 2020-08-06

Elasticsearch实战 | match_phrase搜不出来，怎么办？

title=公路局正在治理解放大道路面积水问题。实际应用中可能需要： 1）检索关键词”理解”、”解放”、”道路”、“理解放大”，都能搜出这篇文档。标准分析仪是默认分析仪，如果没有指定，则默认使用该分词器。但，会出现冗余数据非常多。针对要求2），排除matc

AFei00 2020-08-03

Elasticsearch聚合后分页深入详解

不支持，看看Elasticsearch员工如何解读。这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下： 1）性能角度——聚合分页会在大量的记录中产生性能问题。2）正确性角度——聚合的文档计数不准确。所以奇怪的事情

molong0 2020-08-03

Elasticsearch大文件检索性能提升20倍实践（干货）

ES建立索引完成全文检索的前提是将待检索的信息导入Elaticsearch。项目中，有时候需要将一些扫描件、PDF文档、Word、Excel、PPT等文档内容导入Elasticsearch。比如：将《深入理解Elasticsearch》这边书导入ES，而这

wenwentana 2020-08-03

重磅 | 死磕Elasticsearch方法论认知清单（国庆更新版）

每个人都会犯错，别再让相同的错误一再发生，别再让我们为那些错误付出沉痛的代价。清单不是写在纸上的，而是印在心上的。我们别无选择，清单，正在一步步变革我们的生活，变革这个复杂的世界......——[美] 阿图-葛尔德《清单革命》。实战 | Elasticse

YYDU 2020-08-03

Elasticsearch实战 | 必要的时候，还得空间换时间!

另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。数据处理层的聚合结果存入ES中的指定索引，同时将每个聚合主题相关的数据存入每个document下面的某个field下。

sifeimeng 2020-08-03

Elasticsearch索引增量统计及定时邮件实现

如何以相对简单的图形化效果展示数据的增量呢？本文给出思路和实现。2）crontab实现定时任务处理。步骤1，步骤2数据可以Excel统计得出。步骤3:Excel生成图表。3）开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。

心丨悦 2020-08-03

如何在Linux下安装部署分布式全文搜索引擎

Elasticsearch是一个开源的分布式全文本搜索和分析引擎。它支持RESTful操作，并允许您实时存储，搜索和分析大量数据。Elasticsearch是最流行的搜索引擎之一，可为具有复杂搜索要求的应用程序提供动力，例如大型电子商务商店和分析应用程序。

liangwenrong 2020-07-31

ElasticSearch的下载、安装使用

下载ik中文分词器。浏览器访问是否启动成功。安装ik中文分词插件。解压分词插件包—->放到es的plugins目录下—->重新启动es即可

sifeimeng 2020-08-01

我也是才知道ElasticSearch条件更新是这么玩的

ElasticSearch 的使用度越来越普及了，很多公司都在使用。有做日志搜索的，有做商品搜索的，有做订单搜索的。大部分使用场景都是通过程序定期去导入数据到 ElasticSearch 中，或者通过 CDC 的方式来构建索引。在这种场景下，更新数据都是单

mengyue 2020-07-30

读写成功率达99.999%，提升ElasticSearch系统稳定性的秘密

ElasticSearch 是一个分布式的开源搜索和分析引擎，因其功能强大、简单易用而被应用到很多业务场景。在生产环境使用 ES 时，如果未进行优化则服务的稳定性可能得不到保障，目前我们使用 ES 作为账单平台的基础组件为微信支付提供服务时就遇到这种问题。

tigercn 2020-07-29

es快照备份到minio

用 API 删除快照很重要，而不能用其他机制。因为快照是增量的，有可能很多快照依赖于过去的段。deleteAPI 知道哪些数据还在被更多近期快照使用，然后会只删除不再被使用的段。但是，如果你做了一次人工文件删除，你将会面临备份严重损坏的风险，因为你在删除的

IceStreamLab 2020-07-29

Elasticsearch是一把梭，用起来再说？！

我们这边es 都是我们在推,很多开发不会用或者用的不规范！问题3：不评估可行性和高可用性，先搞起来。如下图，某公司26岁的程序员王某的Elasitcsearch一把梭用法，能很形象的说出了问题产生的根因。2019年12月初安全事件《Elasticsearc

IceStreamLab 2020-07-29
JavaWinner

JavaWinner

W3CSchool教程
HTML 教程
CSS 教程
Bootstrap 教程
Javascript 教程
jQuery 教程
后端教程
C 教程
Java 教程
PHP 教程
Python 教程
Go 教程
移动开发
Android 教程
Swift 教程
Kotlin 教程
jQuery Mobile 教程
ionic 教程
关于我们
新闻动态
联系方式
招聘英才
安科实验室
帮助与反馈

安科网(Ancii)，中国第一极客网

Copyright © 2013 - 2019 Ancii.com

京ICP备18063983号 京公网安备11010802014868号