ES 分片对检索速度的影响

增加 Elasticsearch 索引的分片数量可以提高系统的吞吐量和并行性，但并不一定会使查询速度变得更快。选择合适的分片数量需要考虑索引的大小、查询模式、硬件资源以及集群的整体架构等因素。通常来说，在正常情况下，建议保持默认的分片数量（通常是 5 或 1）并在实际性能测试中进行调整。

Elasticsearch（ES）凭借6大核心优化成为高性能搜索引擎：1）分布式分片架构实现并行计算；2）倒排索引快速定位文档；3）文件系统缓存热数据内存计算；4）近实时搜索1秒可查；5）多层智能缓存减少重复计算；6）硬件与JVM优化。相比Solr和MySQL，ES在索引速度、查询延迟和扩展性上表现更优。要最大化性能需合理分片（20-50GB/片）、利用缓存、配置SSD硬件及优化查询语句。本文深入解析了ES的极速原理及实践优化方案。

0、引言本文翻译自Elasticsearch20170918热乎的官方博客，原作者：Christian Dahlqvist。 在构建Elasticsearch集群的初期如果集群分片设置不合理，可能在项目的中后期就会出现性能问题。Elasticsearch是一个非常通用的平台，支持各种各样的用例，并且为数据组织和复制策略提供了巨大灵活性。这种灵活性使得作为ELK新手的你将数据组织成索引和分片变得困难。

java的调用接口：client.prepareSearch(“index”).setPreference(“_primary”)。指定_primary 或者_primary_first(线上优先选择这个) 防止每次在主分片和从分片轮训结果不一致。elasticsearch可以使用preference参数来指定分片查询的优先级。

目录 1.简介 1.1.使文本可以被搜索 不可变性 1.2.动态索引 删除和更新 1.3.近实时搜索 refeash API 1.4.持久化变更 flush API 1.5.合并段 optimize API 1.简介 分片到底是什么，它怎样工作？ 为什么搜索是近实时的？ 为什么文档的CRUD操作是实时的？ ES怎样保证更新持久化，即使断电也不会丢失？ 为什么删除文...

本文内容参考了田雪松老师编著的《ElasticSearch作为一个搜索引擎，会存储海量的数据。而存储海量的数据，就要解决如何存储的问题，并且保证数据不会丢失，同时还需要保证数据检索的效率，尽可能不会因为数据的增加而影响检索速度。

了解分片的基本原理，对Elasticsearch性能调优有帮助。

一.分片 　　分片包括主分片和副本分片，主分片的数量在创建索引时就固定下来了，无法更改主分片数量。 1.es的分片是使用在索引上，数据量少的建议使用1个分片，每个分片最好不超过30GB。你认为你的数据能达到200GB, 我们推荐你最多分配7到8个分片。 2.过多的分片也需要额外的成本： 　　1)每个分片本质上就是一个Lucene索引, 因此会消耗相应的文件句柄, 内存和CPU资源。 　　2)每个...

es关于在集群中特大搜索范围的问题，源码中存在串性的问题。通过修改参数提升N倍。

对于搜索集群而言，小节点多节点化一般是最佳实践。对于OLAP/日志集群而言，难以避免使用大节点（单节点高配置），因为太多节点容易造成master的压力。对于OLAP集群而言单节点可能存在数百甚至数千shard。此时我们就需要考虑一个问题，当我们增大shard数量，想利用ES的并发能力提高性能的时候，是否可以达到预期？

Segments（段）：ES将索引划分为多个段，每个段包含部分文档。当新文档被添加到索引中时，ES会创建新的段。老数据存在于旧的段中，而新数据存在于新的段中。查询旧数据比查询新数据快是因为旧的段被更频繁地访问和缓存，而新的段可能还没有被完全加载或缓存，导致查询速度较慢。Merge（合并）操作：ES的合并操作会将多个段合并为一个更大的段，以优化查询性能。当有新文档被索引时，ES需要执行合并操作来压缩段数量。

​ 在我之前的文章 “Elasticsearch：如何提高查询性能” 及 “Elasticsearch：提升 Elasticsearch 性能” 里，我详细描述了如何提高搜索的性能。在今天的文章里，我从另外一个视角来描述如何调整搜索的速度。希望对大家有所帮助。

行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

es为什么查询速度快? es采用的是倒排索引,这种索引方式和我们的正常索引不太一样。大数据量(亿级别)查询能达到毫秒和秒级别的速度。下面就让我们来了解一下

1、es简介 2、es优缺点 3、es使用 4、es可以解决的问题 5、es举例 6、es执行结果截图 7、es数据增量方案 8、使用es搜索 　　一、es简介 　　　　es是一个是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 　　　　它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 　　　　es是一个建立在全文搜索引擎...

1.概述 官网：Tune for search speededit 将内存分配给文件系统缓存 Elasticsearch严重依赖于文件系统缓存，以加快搜索速度。通常，您应该确保至少有一半的可用内存分配给文件系统缓存，以便Elasticsearch可以将索引的热区保留在物理内存中。 使用更快的硬件编辑 如果您的搜索受I / O限制，则应研究为文件系统缓存提供更多内存（请参阅上文）或购买速度更快的驱动器。特别是，已知SSD驱动器的性能要比旋转磁盘好。始终使用本地存储，例如NFS或SMB应避免使用远程文件系统。.

面试题 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？ 面试官心理分析 这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~1...