ElasticSearch个人学习笔记狂神说_狂神说elasticsearch笔记-CSDN博客

本文链接：https://blog.csdn.net/m0_52640724/article/details/124559916

ES安装

介绍：ELK是Elasticsearch、Logstash、Kibana的合体，市面上也成为Elastic Stack，是一个日志分析架构技术栈总称

声明：JDK版本1.8+才可以

安装：ElasticSearch客户端、可视化界面，整合的时候版本要对应

1.下载es

官网：https://www.elastic.co/cn/

华为云镜像：
ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D
logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D
kibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=D

暂时先下载了7.6.2版本

修改配置文件

修改jvm的内存为256m 初始是1g

运行elasticsearch.bat

访问localhost:9200
在这里插入图片描述

2. 安装可视化界面es head

网址：https://github.com/mobz/elasticsearch-head

# Running with built in server
git clone git://github.com/mobz/elasticsearch-head.git
cd elasticsearch-head`
npm install
npm run start

`open` http://localhost:9100/

This will start a local webserver running on port 9100 serving elasticsearch-head

# Running with docker
for Elasticsearch 5.x: `docker run -p 9100:9100 mobz/elasticsearch-head:5`
for Elasticsearch 2.x: `docker run -p 9100:9100 mobz/elasticsearch-head:2`
for Elasticsearch 1.x: `docker run -p 9100:9100 mobz/elasticsearch-head:1`
for fans of alpine there is `mobz/elasticsearch-head:5-alpine`

`open` http://localhost:9100/

此时打开控制台，发现报跨域错误
在这里插入图片描述

配置跨域

打开elasticsearch.yml，输入

http.cors.enabled: true
http.cors.allow-origin: "*"

配置完成后将显示es节点

新建索引

索引当成一个数据库，文档当成库里的数据，这个head当成一个数据展示工具，后面所有的查询操作都在Kibana中进行
在这里插入图片描述

3. 安装Kibana

网址：kibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=D

版本要和ES版本一致

启动比较耗时，访问localhost:5601
打开Dev tools页面，可以测试连接
汉化：打开kibana.yml，添加i18n.locale: “zh-CN”

ES核心概念

1. 总体概述

Elasticsearch是面向文档的，ES中的一切都是JSON。关系型数据库和 Elasticsearch对比：
在这里插入图片描述
Mysql存数据：建库 – 建表 – 建行(对应具体数据) – 写入字段

ES存数据：建索引 – 建立types(慢慢被弃用) – 创建文档(对应具体数据)

物理设计：

ES在后台把每个索引划分成多个分片，每个分片可在集群中不同的服务器之间迁移，他一个人就是一个集群，不存在单个的ES

逻辑设计：

一个索引类型包含多个文档：文档1、文档2.当索引一篇文档时，可通过这样的顺序找到他：索引 – 类型 – 文档ID，通过这个组合我们就能所引导某个具体的文档。

2. 文档

文档就是一条条数据，类似行：

user:
1  zhangsan  18
2  wangwu    19
3  zhaoliu   20

ES是面向文档的，所以索引搜索数据的最小单位就是文档。文档重要属性：

自我包含，一篇文章同时包含字段和对应的值，即包含key:value
可以使层次型的，一个文档中包含文档，复杂的逻辑实体就是这么来的
灵活的结构，文档不依赖预先定义的模式，我们知道关系型数据库中，要提前定义字段才能使用，在elasticsearch中，对于字段是非常灵活的，有时候,我们可以忽略该字段，或者动态的添加一个新的字段。

3. 类型

类型是文档的逻辑容器，类似表，就像关系型数据库一样，表格是行的容器。类型中对于字段的定义称为映射，比如name映射为字符串类型。我们说文档是无模式的，它们不需要拥有映射中所定义的所有字段，比如新增一个字段，那么elasticsearch是怎么做的呢?

elasticsearch会自动的将新字段加入映射，但是这个字段的不确定它是什么类型，elasticsearch就开始猜，如果这个值是18，那么elasticsearch会认为它是整形。但是elasticsearch也可能猜不对，所以最安全的方式就是提前定义好所需要的映射，这点跟关系型数据库殊途同归了，先定义好字段，然后再使用。

4. 索引

索引是映射类型的容器，类似数据库， elasticsearch中的索引是一个非常大的文档集合。索引存储了映射类型的字段和其他设置。然后它们被存储到了各个分片上了。我们来研究下分片是如何工作的。

5. 物理设计：节点和分片如何工作

创建新索引

一个集群至少有一个节点，而一个节点就是一个elasricsearch进程，节点可以有多个索引默认的，如果你创建索引，那么索引将会有个5个分片(primary shard ,又称主分片)构成的，每一个主分片会有一个副本(replica shard，又称复制分片)

上图是一个有3个节点的集群，可以看到主分片和对应的复制分片都不会在同一个节点内，这样有利于某个节点挂掉了，数据也不至于失。实际上，一个分片是一个Lucene索引（一个ElasticSearch索引包含多个Lucene索引） ，一个包含倒排索引的文件目录，倒排索引的结构使得elasticsearch在不扫描全部文档的情况下，就能告诉你哪些文档包含特定的关键字。不过，等等，倒排索引是什么鬼?

6. 倒排索引

搜索的核心需求是全文检索，全文检索简单来说就是要在大量文档中找到包含某个单词出现的位置，在传统关系型数据库中，数据检索只能通过 like 来实现，例如需要在酒店数据中查询名称包含公寓的酒店，需要通过如下 sql 实现：

select * from hotel_table where hotel_name like '%公寓%';

这种实现方式实际会存在很多问题：

无法使用数据库索引，需要全表扫描，性能差
搜索效果差，只能首尾位模糊匹配，无法实现复杂的搜索需求
无法得到文档与搜索条件的相关性

正排索引：是以文档对象的唯一 ID 作为索引，以文档内容作为记录的结构。

倒排索引：Inverted index，指的是将文档内容中的单词作为索引，将包含该词的文档 ID 作为记录的结构。

在这里插入图片描述

例子

有两个文档

文档 id	content
1	苏州街维亚大厦
2	桔子酒店苏州街店

生成倒排索引：

首先进行分词，这里两个文档包含的关键词有：苏州街、维亚大厦…
然后按照单词来作为索引，对应的文档 id 建立一个链表，就能构成上述的倒排索引结构。

Word	文档 id
苏州街	1,2
维亚大厦	1
维亚	1
桔子	2
酒店	2
大赛	1

有了倒排索引，能快速、灵活地实现各类搜索需求。整个搜索过程中我们不需要做任何文本的模糊匹配。

例如，如果需要在上述两个文档中查询 苏州街桔子 ，可以通过分词后 苏州街 查到 1、2，通过桔子查到 2，然后再进行取交取并等操作得到最终结果。

在这里插入图片描述

在ES中，索引（库）被分为多个分片，每个分片是一个Lucene的索引。所以一个ES索引是由多个Lucene索引组成的

IK分词器

1. 配置

下载网址：https://github.com/medcl/elasticsearch-analysis-ik/releases
新建文件夹“ik”，放到es的plugin文件夹中，将文件解压到ik里
重启es
可以通过elasticsearch-plugin list命令查看加载的插件

2. 测试

有两种模式：ik_smart(最少切分) 和 ik_max_word(最细粒度划分)

GET _analyze
{
  "analyzer": "ik_smart",
  "text": "中国共产党"
}
//结果
{
  "tokens" : [
    {
      "token" : "中国共产党",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

GET _analyze
{
  "analyzer": "ik_max_word",
  "text": "中国共产党"
}
//结果
{
  "tokens" : [
    {
      "token" : "中国共产党",
      "position" : 0
    },
    {
      "token" : "中国",
      "position" : 1
    },
    {
      "token" : "国共",
      "position" : 2
    },
    {
      "token" : "共产党",
      "position" : 3
    },
    {
      "token" : "共产",
      "position" : 4
    },
    {
      "token" : "党",
      "position" : 5
    }
  ]
}

3. 添加自定义词汇到词典中

elasticsearch/plugins/ik/config/IKAnalyzer.cfg.xml

<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">herb_names.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords"></entry>
</properties>

elasticsearch/plugins/ik/config/herb_names.dic

麻黄
桂枝
荆芥
...

REST风格操作

基本Rest命令说明

method	url地址	描述
PUT（创建,修改）	localhost:9200/索引名称/类型名称/文档id	创建文档（指定文档id）
POST（创建）	localhost:9200/索引名称/类型名称	创建文档（随机文档id）
POST（修改）	localhost:9200/索引名称/类型名称/文档id/_update	修改文档
DELETE（删除）	localhost:9200/索引名称/类型名称/文档id	删除文档
GET（查询）	localhost:9200/索引名称/类型名称/文档id	查询文档通过文档ID
POST（查询）	localhost:9200/索引名称/类型名称/文档id/_search	查询所有数据

测试

1. 创建索引

Deprecation: [types removal] Specifying types in document index requests is deprecated, use the typeless endpoints instead (/{index}/doc/{id}, /{index}/doc, or /{index}/_create/{id}).

//已弃用方式：
PUT /test1/type1/1
{
   "name" : "流柚",
   "age" : 18
}

//替换：
PUT /test1/_doc/1
{
    "name": "流油",
    "age": 18
}

结果：
在这里插入图片描述

2. 字段数据类型

字符串类型
- text、keyword
  - text：支持分词，全文检索,支持模糊、精确查询,不支持聚合,排序操作;text类型的最大支持的字符长度无限制,适合大字段存储；
  - keyword：不进行分词，直接索引、支持模糊、支持精确匹配，支持聚合、排序操作。keyword类型的最大支持的长度为——32766个UTF-8类型的字符,可以通过设置ignore_above指定自持字符长度，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。
数值型
- long、Integer、short、byte、double、float、half float、scaled float
日期类型
- date
te布尔类型
- boolean
二进制类型
- binary
等等…

3. 指定字段的类型

设置规则

PUT /test2
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text"
      },
      "age": {
        "type": "long"
      },
      "birthday": {
        "type": "date"
      }
    }
  }
}

通过GET获取建立的规则

GET /test2

添加数据

PUT /test2/_doc/1
{
  "name": "这里就叫卢本伟广场好了",
  "age": 19,
  "birthday": "2022-12-19"
}

如果自己的文档字段没有被指定，那么ElasticSearch就会给我们默认配置字段类型

扩展：通过GET _cat/xx 可以获取ElasticSearch的当前的很多信息！

GET _cat/indices
GET _cat/aliases
GET _cat/allocation
GET _cat/count
GET _cat/fielddata
GET _cat/health
GET _cat/indices
GET _cat/master
GET _cat/nodeattrs
GET _cat/nodes
GET _cat/pending_tasks
GET _cat/plugins
GET _cat/recovery
GET _cat/repositories
GET _cat/segments
GET _cat/shards
GET _cat/snapshots
GET _cat/tasks
GET _cat/templates
GET _cat/thread_pool

4. 修改

旧的方法（使用put覆盖原来的值）
- 版本+1（_version）
- 但是如果漏掉某个字段没有写，那么更新是没有写的字段，会消失

PUT /test2/_doc/1
{
  "name": "这里就叫卢本伟广场",
  "birthday": "2022-12-19"
}

es-head中对应记录的age字段消失

新的方法（使用post的update）
- version不会改变
- 需要注意doc
- 不会丢失字段

POST /test2/_doc/2/_update
{
  "doc": {
    "age": 122,
    "birthday": "1919-10-10"
  }
}

没有指定"name"并不会导致他的“name”丢失

5. 删除

删除索引
DELETE /test1
删除文档
DELETE /test2/_doc/1

6. 查询

简单查询

GET /test2/_doc/_search?q=birthday:2022-12-19

匹配查询
- match：匹配（会使用分词器解析（先分析文档，然后进行查询））
- _source：过滤字段，即要获取的字段
- sort：排序
- form、size 分页

GET /test2/_doc/_search   (现在不用写_doc，直接GET /test2/_serach 就行)
{
  "query": {
    "match": {
      "name": "中国饭"
    }
  },
  "_source": [  //获取name 和 age
    "name",
    "age"
  ],
  "sort": [
    {
      "age": {
        "order": "asc"
      }
    }
  ],
  "from": 0,  //from是第几个开始 不是第几页
  "size": 15  //一页多少个
}

匹配的方法与sql的like不同
在这里插入图片描述

多条件查询（bool)
- must 相当于 and
- should 相当于 or
- must_not 相当于 not (... and ...)
- filter 过滤

GET /test2

ElasticSearch个人学习笔记 狂神说