【Elasticsearch】一次排查 iK 分词器查询慢分词多内容大的问题记录

最新推荐文章于 2024-05-03 09:29:53 发布

九师兄

最新推荐文章于 2024-05-03 09:29:53 发布

阅读量539

点赞数

CC 4.0 BY-SA版权

分类专栏： 2025最新-大数据-Elasticsearch 文章标签： elasticsearch IK 分词器慢查询内容多

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/117025490

2025最新-大数据-Elasticsearch 专栏收录该内容

565 篇文章 ¥79.90 ¥99.00

订阅专栏

本文记录了排查并解决Elasticsearch中使用IK分词器导致查询慢的问题。通过对索引结构和查询方式进行分析，提出通过设置额外查询条件、添加摘要字段和采用多阶段查询优化策略来提升查询性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

1.概述

我的问题如下：1.ES中有1.2亿的数据，有些column是用来做聚合索引，有些是文本字段，用来做查询。

2.而且ES没有做集群，全部数据放在了一台服务器上，内存32G，如今在前端页面上进行条件匹配、搜索查询非常之慢，一条查询10几秒返回，想请教一下如何优化？问题出在哪里？

大致就是一个索引mapping很长，这里只是一部分

PUT tb_wenshu_search_fix

PUT tb_wenshu_search_fix/_mapping/_doc
{
   
   
  "properties": {
   
   
    "ah":

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

九师兄

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

订阅专栏

优化查询性能和处理大量分词的问题：iK分词器的大数据排查记录

DevEnigma的博客

08-31

287

通过对iK分词器的查询性能和处理大量分词的问题进行排查和优化，我们能够显著提升系统的性能和稳定性。近期我们遇到了一个关于iK分词器的问题，涉及到查询速度较慢以及处理大量分词内容时的性能问题。为了解决这个问题，我们进行了一系列的排查和优化工作。在处理大数据量和复杂分词内容的场景下，我们发现iK分词器的查询速度较慢，而且处理分词的性能也不尽如人意。通过使用批处理方式，我们能够有效地提高分词处理的速度，从而更好地应对大数据量和复杂分词内容的场景。优化查询性能和处理大量分词的问题：iK分词器的大数据排查记录。

ElasticSearch ik分词器的安装使用

邓邓子的博客

01-27

2006

1、下载下载链接：https://github.com/medcl/elasticsearch-analysis-ik，选择与自己es版本对应的ik版本下载我下载的版本是7.15.2，https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.15.2 以下操作建议在es用户下进行 2、解压 unzip -d es elasticsearch-analysis-ik-7.15.2.zip 3、在es home目录下创建ik文件

参与评论您还未登录，请先登录后发表或查看评论

Elasticsearch7.30 结合ik分词器使用过程中的问题整理

qq_41734582的博客

11-20

1572

Elasticsearch7.30 使用过程中的问题整理我在使用Elasticsearch7.30 结合ik分词器时不生效遇到的坑上代码需要注意的地方: 我在使用Elasticsearch7.30 结合ik分词器时不生效遇到的坑在使用es分词器的时候,配置了ik分词器,不过在后来的实际应用中发现ik分词器并没有真正生效,后来查了一些资料,是要在创建创建索引的时候,就要指定好这个索引的默认...

华为大数据平台6.7.1版本的ik分词器缺陷导致时间偏移错误的解决方案

这个屌人啥也没有…

06-15

380

1.下载6.6.1版本IK分词器： https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v6.6.1 2.将以前集成的IK分词目录移走备份（注意不要备份在此plugins目录），路径如下： /opt/huawei/Bigdata/FusionInsight_Elasticsearch_6.5.1.*/install/FusionInsight-Elasticsearch-6.7.1/elasti...

ElasticSearch-使用IK分词器进行分词

见证自己学习,成长的记录

06-24

2088

找到并且打开IKAnalyzer.cfg分词器配置文件自己自定义新建一个dic文件,一个dic就算一个字典,ik自带的字典是远远不够用的，我们需要手动去创建字典新增字典项内容并且保存然后把我们自定义配置的字典加入到配置文件让字典生效配置完之后保存,然后重启es,注意观察,在重启es的时候会发现黑窗口已经加载我们自定义的字典weiyihe.dic重启kibana,再次测试使用过自定义字典之后魏一鹤是否被分割不管是哪种分词,魏一鹤都没被分割！说明我们自定义字典配置成功！

python 大批量文本分词以及词频统计（高效处理案例）

大蛇王的博客

11-25

1万+

环境：python3.6 库：jieba，xlwt，xlwings，collections 前两天有个需求要对一张表里的中文语句进行分词，并统计每个词语出现的次数。表格1231.xlsx大致内容如下：由于表格内容过大，约有100W条数据，普通读取表格的方式效率非常慢，所以这次用的方法是xlwings， xlwings是目前看来操作excel最快速、做的比较完善的一个库，优化...

elasticsearch的ik中文分词器

11-04

1. **下载分词器**: 从官方仓库或第三方源获取适合Elasticsearch版本的IK分词器，如`elasticsearch-analysis-ik-6.3.2.zip`。 2. **解压分词器**: 解压缩下载的文件，将解压后的`plugins`目录下的`analysis-ik`目录...

elasticsearch的ik分词器

12-22

Elasticsearch（ES）是一款强大的开源搜索引擎，而IK分词器是其中非常重要的一个插件，专为中文处理设计，旨在提供高效的中文分词功能。IK分词器全称为“Intelligent Chinese Analyzer for Elasticsearch”，其核心...

ik-analyzer-solr-master_ik分词器_pocket7ce_源码_

10-03

对于开发者来说，拥有源码可以深入了解ik分词器的工作原理，进行定制化开发，或者排查可能遇到的问题。 **核心功能与特性** 1. **动态词典加载**：Ik Analyzer支持动态加载和更新词典，方便维护和扩展。 2. **智能...

spark + ansj 对大数据量中文进行分词

mach_learn的专栏

05-14

8551

目前的分词器大部分都是单机服务器进行分词，或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢，相对spark来说代码书写较繁琐。本文使用spark + ansj对存储在hdfs中的中文文本数据进行分词。

中文分词器性能比较

weixin_30737363的博客

05-23

217

摘要：本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。前提： Solr提供了一整套的数据检索方案...

中文分词算法之词典机制性能优化与测试

03-23

350

在之前的两篇博文中文分词算法之基于词典的正向最大匹配算法和中文分词算法之基于词典的逆向最大匹配算法中，我们对分词实现和词典实现都做了优化，本文对词典实现做进一步优化，并和之前的多个实现做一个对比，使用的词典下载地址，使用的测试文本下载地址。优化TrieV3的关键在于把虚拟根节点（/）的子节点（词表首字母）提升为多个相互独立的根节点，并对这些根节点建立索引。优化的依据是根节点（...

elasticsearch 基于ik分词器的分词查询和模糊匹配

朝立的博客

05-05

5107

将查询的内容分解，提取。例如文档数据库，就会被分词器 分解为文档，数据，数据库等查询返回更加有广度。类似 mysql 语法中的 like ‘%value%’此处简单梳理一下最常用的查询。查询会将分词解析出的分词。根据具体字段精确查询内容。ES查询条件分词查询。类似于百度的分词查询。

为什么Elasticsearch查询变得这么慢了？

最新发布

2401_84159688的博客

05-03

1099

/查询条件,我们可以使用SearchSourceBuilder工具来实现。“attachment.author.keyword”: “测试”学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！//精确匹配QueryBuilders.termQuery()“name”: “文档数据库”“text”:“文档数据库”“111”: “数据库”,“111”: “文档”,“111”: “数据”,“111”: “库”,// 根据字段精准查询。

IK分词器

weixin_43766390的博客

08-18

1176

分词∶即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词，比如“我爱中国"会被分为"我""爱""中""国”，这显然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题。 IK提供了两个分词算法：ik_smart和ik_max_word，其中ik smart为最少切分，ik_max_word为最细粒度划分!ik_max_word: 会将文本做最细粒度的拆分，比如会将"中华人民共

elasticsearch自定义分词器实现like模糊匹配查询，代替使用通配符模糊搜索慢的实现

lnkToKing的博客

10-25

7900

前段时间第一次使用es实现全文索引功能，由于第一次使用，所以只想实现类似数据库 LIKE ‘%关键字%’这样的就可以了。简单研究了一下es之后，发现将字段类型指定为keyword或查询字段加上.keyword，然后再通过*实例模糊匹配，如下面查询，就可以实现类似LIKE ‘%关键字%’的搜索。 GET /my_index/_doc/_search { "query": { "query_s...

Elasticsearch搜索中文分词优化-ik_max_word,和ik_smart模式

yinni11的博客

02-25

1万+

Elasticsearch 中文搜索时遇到几个问题: 当搜索关键词如：“人民币”时，如果分词将“人民币”分成“人”，“民”，“币”三个单字，那么搜索该关键词会匹配到很多包含该单字的无关内容,但是如果将该词分词成一个整词“人民币”，搜索单字如“人”字又不会匹配到包含“人民币”关键词的内容,怎么解决这个问题,既保证覆盖度又保证准确度? 搜索“RMB”时只会匹配到包含“RMB”关键词的内...

Elasticsearch 5.6.8 配合 IK 分词器和 Kibana 实现数据分析

### 知识点：Elasticsearch、IK分词器和Kibana #### Elasticsearch Elasticsearch是一个基于Lucene构建的开源搜索引擎，以其分布式、易于扩展、支持近实时搜索等特性而受到广泛应用。其主要功能包括全文搜索、结构...

【Elasticsearch】一次 排查 iK 分词器 查询慢 分词多 内容大 的问题记录

1.概述

【Elasticsearch】一次排查 iK 分词器查询慢分词多内容大的问题记录