Elastic 中国社区官方博客

关于 Elastic Stack 及相关的任何技术

  • 博客(2465)
  • 资源 (9)
  • 收藏
  • 关注

原创 Elastic 线下 Meetup 将于 2025 年 9 月 6 号下午在成都举行

2025年9月6日,ElasticMeetup成都站将在腾讯成都大厦举办。活动由Elastic、腾讯和新智锦绣联合主办,聚焦AI驱动的搜索技术发展。主要内容包括:Elastic社区布道师刘晓国讲解向量搜索和RAG技术;腾讯云专家张小伟介绍ESServerless日志分析方案;Elastic架构师李捷分享AgenticRAG构建经验。活动包含主题演讲、茶歇交流及抽奖环节,需提前实名报名。

2025-07-31 11:02:20 1651

原创 Elastic:如何成为一名 Elastic 认证工程师,Elastic 认证分析师及 Elastic 认证可观测性工程师

Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计,Elasticsearch 雄踞排行榜第一名,并且市场还在不断地扩大:能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证,在业界也得到了很高的认知度。得到认证的工程师,必须除了具有丰富的 Elastic Stack 知识,而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书,也代表了个人及公司的荣誉。针对个人的好处是,你可以..

2020-10-28 11:54:13 25879 19

原创 Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习:1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................

2020-02-25 20:01:55 165871 98

原创 Elastic:培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全

在这篇文章中,我将会把我写的有些内容录制成视频,供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装:优酷,腾讯 Elastic Stack docker 部署:优酷,腾讯 Elasticsearch中的一些重要概念(Cluster/Shards/Replica/Document/Type/Index):优酷,腾讯 开始使用El...............

2020-01-06 15:31:54 17765 12

原创 Elasticsearch 简介

Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时,Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起,就形成了 ELK软件栈。他们三个共同形成了一个强大的...

2019-08-08 16:04:31 174782 32

翻译 Elastic CEO 表示向量数据库 “从来不是一门生意”,正值 Pinecone 出售谈判期间

Elastic CEO驳斥向量数据库商业模式,称Pinecone"从不是独立业务"。Elastic最新财报显示业绩强劲,收入增长20%至4.15亿美元,云业务增长24%。CEO Kulkarni强调公司专注于非结构化数据的"搜索AI"定位,认为向量数据库仅是功能而非独立业务。他对比Snowflake和Databricks的结构化数据处理优势,指出Elastic的混合搜索方法(结合关键词、向量和重排序)更具优势。Kulkarni还强调开源战略的价值,认为提供选择权是赢得

2025-09-06 10:19:07 28

原创 什么是上下文工程 (Context Engineering)?

摘要:上下文工程是为大语言模型提供精准信息的一系列实践,确保其输出准确可靠。文章介绍了五个关键组件:1) RAG架构模式,通过检索系统增强LLM结果;2) 提示工程,优化输入指令;3) 记忆管理,包括对话历史和长期记忆;4) 结构化输出,便于系统集成;5) 工具调用,扩展LLM能力。作者指出合理组合这些元素能有效解决LLM的幻觉、知识局限等问题,并分享了Elasticsearch在构建AI应用中的实践案例。文章最后提供了相关资源链接,供读者深入探索这一新兴领域。

2025-09-06 08:00:00 543

原创 转变数据交互:在 Amazon Bedrock AgentCore Runtime 上部署 Elastic 的 MCP 服务器以构建 agentic AI 应用程序

本文介绍了Elastic与AWS合作开发的解决方案,通过在Amazon Bedrock Agent Core Runtime平台上部署Elastic的Model Context Protocol (MCP)服务器,将复杂的数据库查询转化为自然语言对话。该方案结合Elasticsearch搜索功能与AWS无服务器AI基础设施,使业务分析师等用户能通过简单英文提问获取精确数据。MCP协议支持动态工具发现和结构化响应,Amazon Bedrock提供安全认证和会话管理。文章详细介绍了从部署ECR容器到配置Pyth

2025-09-05 16:25:08 725

原创 Elasticsearch 的 JVM 基础知识:指标、内存和监控

本文介绍了Elasticsearch中JVM的核心概念及内存管理机制。作为基于Java的搜索引擎,Elasticsearch依赖JVM提供平台无关的运行环境。文章详细解析了JVM堆内存结构(新生代Eden/Survivor区、老年代)和G1垃圾回收器的工作原理,并提供了通过Elasticsearch API(如_nodes/_all/jvm)和JDK工具(jstat)监控JVM指标的方法。虽然Elasticsearch默认JVM设置已优化大多数场景,但了解这些机制有助于排查内存问题(如OOM错误)。最后强调

2025-09-04 10:07:59 1286

原创 Elasticsearch:向量搜索过滤 - 保持相关性

本文探讨了Elasticsearch和Apache Lucene中向量搜索的过滤机制。文章指出,仅靠向量搜索无法满足精准搜索需求,必须结合过滤条件来缩小结果范围。作者详细比较了精确搜索和近似搜索两种方式的过滤实现:精确搜索通过预过滤提升性能,而近似搜索则存在前过滤和后过滤两种策略,各有优缺点。文中还介绍了文档级安全过滤等优化方法,并建议根据过滤条件严格程度选择搜索方式。最后强调,合理运用过滤技术对构建高效、准确的搜索系统至关重要。

2025-09-04 09:40:25 1174

原创 转型 IT 服务台:Elastic 的 Search AI 平台如何强化 Salesforce Service Cloud

Elastic公司利用其Search AI平台优化Salesforce Service Cloud的IT支持服务,通过两种路径提升效率:AI实时解答和工单升级处理。该方案集成ElasticGPT与Salesforce工作流,自动填充工单信息并减少人工干预,同时通过可观测性工具监控性能。案例展示了该技术如何将企业知识库与即时AI支持结合,在保持人工处理复杂问题的同时显著提升支持效率。Elastic强调这一"customer zero"实践验证了生成式AI在企业支持系统中的实用价值,并展示了

2025-09-03 08:01:51 779

原创 可观测性差距:为什么你的监控策略还没准备好应对即将到来的变化

摘要:随着系统架构从单体应用转向微服务和Kubernetes,可观测性差距日益凸显。传统监控工具难以应对指数级增长的复杂性,采样数据会丢失关键信号。OpenTelemetry通过供应商中立性和标准化元数据解决了基础问题,而关联技术(如traceID)和wide-events数据结构能实现跨信号的无缝调查。AI驱动的分析利用丰富上下文可大幅缩短故障诊断时间。建议优先评估日志质量、采用OpenTelemetry,并投资现代化存储架构而非粗暴采样,以应对持续增长的复杂性挑战。 (149字)

2025-09-02 10:34:52 836

原创 在 Elasticsearch 中使用用户行为分析:使用 UBI 和 search-ui 创建一个应用程序

本文介绍了如何在Elasticsearch中使用用户行为洞察(UBI)功能,通过search-ui构建一个图书搜索应用来收集用户行为数据。内容包括:1)加载示例图书数据;2)创建search-ui应用程序并集成Elasticsearch连接器;3)配置后端服务处理UBI事件;4)实现搜索和点击结果时的UBI事件跟踪;5)收集用户设备、位置等附加信息。该方案将用户行为数据自动索引到ubi_queries和ubi_events两个索引中,通过唯一ID关联,帮助开发者分析用户行为并优化搜索体验。

2025-09-02 07:56:12 1106

原创 Observability:如何在隔离环境中部署 Elastic Agents

本文介绍了在隔离网络环境中部署ElasticAgent的自动化解决方案artifacts-bundler。该工具通过批量下载官方artifact、智能打包并支持本地NGINX容器部署,解决了受限环境下的更新难题。文章详细演示了从下载到部署的全流程,包括裸机/容器两种部署方式,并强调了ETag配置等关键技术细节。该方案已成功应用于政府、医疗等安全敏感领域,将原本数小时的手工操作简化为单一命令,显著提升了隔离环境下的ElasticStack部署效率。

2025-08-31 10:03:33 813

原创 Elasticsearch:Semantic text 字段类型

文章摘要:介绍了Elasticsearch中semantic_text字段类型的核心功能与应用场景,该字段通过自动生成向量嵌入支持语义搜索,兼容稀疏和密集向量。重点解析了推理端点配置、文本自动分块机制、查询方式及版本特性差异,包括9.1.0的BBQ量化支持和9.2的chunks格式优化。同时涵盖了安装部署、模型加载、端点管理、长文本处理策略(如E5模型的512token限制)以及字段映射的注意事项,最后指出当前版本在嵌套字段和跨集群功能上的局限性。

2025-08-30 12:36:21 1303

原创 Burgan Bank Türkiye 如何借助 Elastic 改造可观测性和安全性

**摘要:**Burgan Bank Türkiye通过部署Elastic技术实现IT系统可观测性革新,将事件响应时间缩短90%。该银行最初在OpenShift上遇到存储限制后,转向裸机部署Elastic集群,构建包含APM、日志和机器学习节点的混合架构。其创新包括本地化AI助手(基于Qwen模型)用于自然语言查询,以及数据掩码等安全措施。通过Elastic的机器学习功能,银行能主动检测交易异常,并与SolarWinds等系统集成形成端到端监控。与合作伙伴Gantek的战略协作保障了架构灵活性,支持银行业务

2025-08-30 10:29:58 1124

原创 Elasticsearch logsdb 索引模式和 TSDS 的业务影响

Elasticsearch 8.19和9.1版本在存储引擎方面取得重大突破,通过logsdb索引模式和时间序列数据流(TSDS)功能实现了70%以上的存储优化和19%的吞吐量提升。这些改进使企业能存储更多数据而不增加成本,提高系统可观测性,降低平均修复时间(MTTR),并支持AI分析。Enterprise版还支持synthetic_source功能,无需存储原始JSON文档。这些优化让企业能以更低成本实现数据统一管理,支持合规需求,并为AI应用提供更丰富的数据基础。

2025-08-30 10:12:44 835

原创 使用 ES|QL COMPLETION + 一个 LLM 在 5 分钟内编写一个 Chuck Norris 事实生成器

摘要:Elasticsearch的新功能ES|QL COMPLETION命令结合LLM(如GPT-4o),只需几行代码就能将数据转化为创意输出。文章演示了如何构建Chuck Norris事实生成器:先设置LLM推理端点,然后用ES|QL查询检索电影数据、构建提示词并调用LLM生成内容。这一功能展示了Elasticsearch在检索增强生成(RAG)方面的强大能力,可用于摘要、内容生成等多种场景。目前该功能处于技术预览阶段,开发者可自由尝试不同应用。

2025-08-29 09:46:24 957

原创 将 agents 连接到 Elasticsearch 使用模型上下文协议 - docker

本文介绍了如何安装和配置Elasticsearch MCP Server,实现通过自然语言与Elasticsearch交互。主要内容包括:安装Elasticsearch和Kibana 9.1.2版本;获取API key;安装Claude Desktop客户端;通过Docker部署MCP服务器,支持stdio协议和环境变量配置;设置Claude Desktop连接MCP服务器;最后展示了使用自然语言查询航班索引数据的示例,验证了MCP服务器的功能。该方案简化了Elasticsearch查询,无需编写复杂的DS

2025-08-28 15:48:39 1401

原创 探索 Vertex AI 与 Elasticsearch

本文介绍了如何将Vertex AI与Elasticsearch集成来创建RAG应用。主要内容包括:1)配置Gemini模型并在Kibana Playground中使用;2)创建GCP服务账号并设置权限;3)部署Elasticsearch集群;4)创建AI Connector连接Vertex AI;5)上传测试数据并生成嵌入向量;6)在Playground中测试RAG功能,实现基于索引数据的问答。文章重点展示了使用gemini-2.5-flash-lite模型的完整流程,说明了Elasticsearch 9.

2025-08-28 08:59:55 1287 2

原创 Elasticsearch:默认更轻量 - 从 source 中排除向量

Elasticsearch最新版本(v9.2)及Serverless环境默认不再将向量字段(dense/sparse/rank_vector)存储在_source中。这一优化可减少约50%存储空间、提升索引性能,同时保持所有功能完整性。系统会在需要时自动"回填"向量数据(如更新/恢复时),用户也可通过fields参数或_source选项显式获取向量值。基准测试显示该改进显著降低I/O和资源消耗,特别适合高吞吐量场景。对于需要保留原始精度的特殊情况,仍可通过配置禁用该优化。现有索引不受影响

2025-08-27 07:25:00 882

原创 使用 LLMs 快速构建 Elastic connector:一个 Crawl4AI 教程

本文介绍了如何利用LLM和AI工具快速构建自定义Elastic连接器。作者以Crawl4AI爬虫为例,展示了通过结构化提示让AI生成符合Elastic Connector框架的代码的全过程。文章详细说明了prompt的关键要素:明确上下文、功能需求和技术细节,并演示了如何配置连接器、测试运行以及增强语义搜索能力。这种方法将原本需要数天的开发工作缩短至几分钟,让开发者能更专注于业务价值而非底层实现。最终产出的连接器可自动同步网页内容到Elasticsearch,并支持语义搜索功能。

2025-08-26 09:58:15 770

原创 推进数据成熟度旅程的 3 个步骤

《三步推进数据成熟度之旅》摘要:企业数据作为可再生资源,其价值随成熟度提升而增长。文章提出三阶段发展路径:1)初级阶段通过收集基本数据生成回顾性报告;2)中级阶段实现全数据捕获与分析,应用机器学习自动化任务;3)高级阶段整合跨部门数据,构建统一解决方案以打破信息孤岛。强调数据成熟度是持续过程,需不断优化以提升运营韧性、安全性和客户体验。文中提及Elastic相关技术方案,同时声明第三方AI工具的使用风险。(149字)

2025-08-24 17:58:35 776

原创 你在四阶段数据成熟度旅程中处于哪个阶段?

数据是企业最有价值的可再生资产,能够通过多次使用创造新价值。文章提出数据成熟度的4个等级框架:1)获取采集数据;2)分析获取可操作洞察;3)探索自动化流程;4)协作转型,利用AI创造新业务机会。研究表明,实时提取数据价值的组织实现收入增长的概率是其他组织的8倍。企业应结合搜索和AI技术处理复杂数据,推动数字化转型。无论处于哪个阶段,投资工具和培养数据驱动文化对加速成熟度至关重要。(149字)

2025-08-24 17:49:10 992

原创 用数据驱动的洞察释放业务增长:来自 IT 领导者的 5 个经验

摘要:IT领导者正通过AI和数据驱动洞察保持竞争优势。文章提出五大经验:1)优先数据洞察以推动创新;2)确保数据质量满意度;3)评估数据成熟度;4)在良好数据基础上应用GenAI;5)拥抱GenAI获取竞争优势。研究表明,80%高管预期AI将提升生产力,但需先建立稳健数据基础。93%企业已投资GenAI,但成功关键在于数据质量与战略对齐。组织需减少数据孤岛,实现实时分析,才能充分发挥AI潜力。(149字)

2025-08-24 17:33:48 856

原创 生成式 AI 字段现在在 ECS 中可用,实现与 OTel 的一致性和兼容性

摘要:Elastic推出Elastic Common Schema(ECS)9.1.0测试版,新增生成式AI(GenAI)监控字段,与OpenTelemetry(OTel)标准保持兼容。该功能帮助用户统一不同AI供应商的日志数据,支持监控AI模型请求、响应上下文及安全审计等场景。ECS与OTel的双向整合既保留了现有工作流,又提供了标准化的AI应用监控方案。目前GenAI字段处于测试阶段,未来可能调整。该方案适用于各类AI应用的观测性保障和安全防护需求。

2025-08-24 16:49:07 834

原创 传统 AI 与生成式 AI:IT 领导者指南

传统AI与生成式AI的核心差异及应用 摘要:人工智能领域主要分为传统AI和生成式AI两大类。传统AI基于规则运行,擅长分析数据和自动化任务,应用于欺诈检测、预测分析等领域。生成式AI则能创造新内容,如文本、图像、代码等,正在改变内容创作、客户服务等行业。两者在能力、应用和实施要求上存在显著差异:传统AI依赖结构化数据和预设规则,生成式AI需要海量数据和强大算力。随着AI技术快速发展,企业需根据业务需求选择合适方案,同时应对伦理、安全等挑战。Elastic等公司正通过AI解决方案推动行业创新。

2025-08-23 14:27:02 1052

原创 Elasticsearch:什么是神经网络?

神经网络是机器学习的重要子集,通过模拟人脑结构由互连节点组成多层网络,能够学习和适应复杂数据模式。其核心工作原理包括前向传播和反向传播,通过调整权重优化预测准确性。主要类型包括前馈网络、卷积网络、循环网络等,分别适用于不同任务。神经网络优势在于处理复杂数据、并行计算和模式识别能力,广泛应用于图像识别、自然语言处理、医疗诊断等领域。尽管存在训练资源需求高、可解释性差等挑战,神经网络仍是推动AI发展的关键技术,Elastic等平台已将其整合到搜索和数据分析解决方案中。

2025-08-23 09:20:07 1027 1

原创 什么是 AI(人工智能)?

AI 是一个总称,指为执行通常需要人类智能的任务(如理解语言或识别模式)而构建的工具和系统。AI 赋予机器理解、交流、学习、解决问题和创造的能力。AI 是多个学科的产物,包括计算机科学、数据科学、语言学、神经科学、哲学(尤其是逻辑学研究)和心理学。

2025-08-23 08:29:21 1312

原创 使用 Ragas 评估你的 Elasticsearch LLM 应用

摘要:本文介绍了如何使用Ragas评估框架结合Elasticsearch来评估检索增强生成(RAG)解决方案的质量。通过Goodreads书籍数据集示例,展示了如何创建Elasticsearch索引、执行向量搜索、生成答案和基准答案,并利用Ragas的三个核心指标(context_precision、faithfulness和context_recall)进行评估。文章详细说明了环境设置、数据处理流程和评估方法,并分析了结果输出,指出评估框架的局限性及改进方向。最后强调Ragas等评估工具可作为判断LLM应

2025-08-22 08:56:48 1059

原创 加速你的故障排查:使用 Elasticsearch 构建家电手册的 RAG 应用

本文介绍了如何利用Elasticsearch构建检索增强生成(RAG)应用来解决家电问题。通过上传嵌入式模型、创建语义文本索引、设置LLM推理端点等步骤,实现了一个能解析PDF手册、存储文本向量并智能回答用户问题的系统。该应用将用户查询转换为向量进行语义搜索,结合检索到的上下文生成准确回答。文章详细说明了PDF处理、嵌入生成、语义查询等关键技术实现,展示了Elasticsearch在语义搜索和生成式AI应用中的强大功能。

2025-08-21 13:57:12 1126

原创 使用 FastAPI 的 WebSockets 和 Elasticsearch 来构建实时应用

​在本文中,我们学习了如何使用 Elasticsearch 和 FastAPI 基于搜索创建实时通知。我们选择了一个固定的产品列表来发送通知,但你可以探索更多自定义流程,让用户选择自己想要接收通知的产品或查询,甚至使用 Elasticsearch 的 percolate 查询根据产品规格配置通知。我们还尝试了一个接收通知的单用户池。使用 WebSockets,你可以选择向所有用户广播,或者选择特定用户。一个常见的模式是定义用户可以订阅的 “消息组”,就像群聊一样。

2025-08-20 15:41:57 1359

原创 Security:Agentic 框架总结

摘要:Elastic Security Labs探讨了如何通过Agentic框架构建高效AI增强安全系统。该框架使AI代理能动态分析警报、收集上下文并优化检测规则,显著提升警报分级效率。文章指出需解决代理设计、系统集成、质量保证等工程挑战,强调AI应作为安全分析师的辅助工具而非替代品。通过自动化常规任务,人类专家可专注于复杂决策。完整技术细节详见白皮书《Agentic框架:构建AI增强安全系统的实践考量》。(149字)

2025-08-18 11:18:52 379

原创 Elastic 的托管 OTLP 端点:为 SRE 提供更简单、可扩展的 OpenTelemetry

Elastic宣布推出托管OTLP端点,简化OpenTelemetry数据摄取流程。该功能支持原生OTLP数据存储,自动扩展处理突发流量,并提供统一的日志、指标和追踪处理。开发者可通过SDK或Collector直接发送数据,无需管理基础设施。该服务现已在ElasticCloud Serverless上线,帮助用户简化可观测性管道并提升故障修复效率。

2025-08-18 10:55:41 935

原创 Elasticsearch:使用 Gradio 来创建一个简单的 RAG 应用界面

Gradio 是一个快速构建机器学习模型网页界面的工具。本文展示了如何使用 Gradio 为基于 Elasticsearch 和 DeepSeekR1 的 RAG 问答系统创建交互式界面。代码示例演示了如何设置 Elasticsearch 连接、处理语义搜索查询,并通过 OpenAI 接口生成回答。通过简单的 Gradio 界面,用户可以输入关于《爱丽丝梦游仙境》的问题,系统会从书中检索相关段落并生成回答。运行脚本后,可在本地浏览器访问问答界面,支持中英文提问。

2025-08-15 16:57:11 562

原创 Elasticsearch 分片和副本:实用指南

作者:来自 Elastic掌握 Elasticsearch 分片和副本的概念并学习如何优化它们。节点、集群和分片 - Elasticsearch 101 课程想获得 Elastic 认证吗?了解下一次的时间!Elasticsearch 拥有大量新功能,可帮助你为自己的用例构建最佳搜索解决方案。深入查看我们的以了解更多信息,开始,或立即在上尝试 Elastic。Elasticsearch 通过在 Lucene 之上构建分布式系统来增强 Lucene 的功能,从而解决可扩展性和容错问题。

2025-08-15 09:00:23 1140

原创 Elasticsearch:如何使用 Qwen3 来做向量搜索

本文介绍了如何使用Qwen3嵌入模型结合Elasticsearch实现语义搜索。首先需要安装Elasticsearch和Kibana,然后通过Python脚本将文本数据(如阿里巴巴和百度的介绍)使用Qwen3模型向量化后存入Elasticsearch。索引包含4096维的向量字段,采用余弦相似度进行搜索。通过示例展示了如何查询"阿里巴巴法定代表人"、"中国搜索引擎公司"等关键词,系统能准确返回相关度最高的文本内容。该方法利用大语言模型的语义理解能力,实现了基于内容的智

2025-08-14 19:58:36 585 1

原创 失败存储:查看未成功的内容

Elastic推出全新"失败存储"功能,可捕获并索引处理失败的日志数据,解决数据丢失难追踪的问题。该功能通过将失败文档存入专用索引,提供数据摄取问题的可见性,支持调试模式变化和监控数据质量。用户可为单个或批量数据流启用该功能,并通过ES|QL和Kibana工具分析失败原因。失败数据默认保留30天,支持数据生命周期管理。该功能从Elastic 9.1和8.19版本开始提供,将逐步在日志索引上默认启用。

2025-08-14 09:28:48 1257

原创 Elastic 获得 2025 年 Google Cloud DORA “以 AI 构建未来架构” 奖

Elastic荣获2025年Google Cloud DORA"以AI构建未来架构"奖,表彰其运用DORA原则在软件交付和运营性能上的显著提升。通过整合Google Cloud的AI工具,Elastic在部署频率、变更交付周期、变更失败率和平均恢复时间等关键指标上取得突破,同时实现20%运营成本降低和25%碳足迹减少。作为首家直接集成到Vertex AI的ISV,Elastic将AI深度融入产品开发与内部运营,推动生成式AI在搜索、安全和可观测性领域的创新应用。这一合作成果展示了云原生技

2025-08-14 09:06:30 869

原创 如何使用 Ollama 在本地设置并运行 Qwen3

本文介绍了如何在本地使用Ollama安装和运行Qwen3大语言模型,并构建基于Gradio的交互式应用。Qwen3是阿里巴巴开源的先进模型,支持100多种语言,在推理、编码和翻译任务中表现优异。教程详细讲解了通过Ollama命令行安装Qwen3、不同参数规模的模型选择、以及三种使用方式:终端交互、API调用和Python集成。重点展示了如何用Gradio创建具有两种功能的Web应用:可切换思维模式的推理界面和多语言翻译工具。本地运行Qwen3具有隐私保护、低延迟、成本低等优势,适合开发智能应用原型。

2025-08-13 21:31:48 1886

02-阿里云Elasticsearch向量引擎百亿级数据优化实践 魏子珺 杭州 20250419

深度解析阿里云 Elasticsearch 向量引擎从8.0到8.x最新版本的技术跃迁,揭秘 Elasticsearch 向量引擎如何处理百亿级向量数据。分享向量引擎与文本搜索、AI 模型的无缝整合方案,探讨如何通过混合检索能力优化 RAG(检索增强生成)、Deep Search 等企业级场景。

2025-04-19

00-Elastic Pioneer-项目

内容概要:Elastic China Pioneer Program(先锋者计划)是Elastic中国发起的大使招募计划,旨在汇聚生态伙伴、用户及开发者力量,共同推广Elastic搜索技术。该计划明确了Pioneer的使命为传播Elastic技术魅力、分享应用心得,助力Elastic在中国市场的发展。Pioneer可通过发表演讲、撰写文章、录制视频、GitHub代码贡献、提供解决方案等方式获取积分,不同形式的贡献对应不同分值。活动设有严格的审核机制,确保公平公正,参与者可凭作品质量获得相应积分,有广泛影响力的贡献还能得到额外奖励。此外,该计划还设立了月度和年度榜单机制,月度榜单每月评选一次,年度榜单前三名可获直通Elastic ON新加坡站等丰厚奖励,所有奖励均与积分挂钩,鼓励持续贡献。 适合人群:热爱Elastic技术,愿意为其发声的生态伙伴、广大用户及社区开发者。 使用场景及目标:①通过多种方式宣传推广Elastic技术,扩大其在中国市场的影响力;②激励更多人参与到Elastic的技术生态建设中来,推动Elastic技术的发展。 其他说明:活动期间,Elastic官方有权对提交内容进行二次加工、修改、传播,优秀内容将通过官方渠道推广分享。

2025-04-19

Elasticsearch 8.17 Logsdb:企业降本增效利器 程地华 线上 20250416

内容概要:本文介绍了Elasticsearch 8.17 LogsDB作为企业降本增效的利器,主要针对传统日志存储面临的高昂成本和低效查询性能的问题。Elasticsearch 8.17 LogsDB通过多种优化技术,如合成源优化、压缩算法优化、索引排序优化、块编解码器优化、压缩和分段合并优化,显著降低了日志数据的存储需求,提升了查询效率。具体而言,合成源优化去除了不必要的行存,压缩算法优化实现了快速无损压缩,索引排序优化提高了存储效率,块编解码器优化针对不同字段提供不同的编码策略,压缩优化了词典,分段合并优化则通过删除冗余信息节省空间。性能对比显示,LogsDB在系统日志、应用程序日志和审计日志三种类型的日志存储优化效果显著。应用场景包括大规模日志存储、企业级日志管理和实时日志监控与分析。 适合人群:从事日志管理和数据分析的技术人员,尤其是关注日志存储成本和查询性能的企业IT管理者和技术团队。 使用场景及目标:①大规模日志存储:显著减少存储空间,降低存储成本;②企业级日志管理:提高存储效率,优化查询性能,简化管理流程;③实时日志监控与分析:高效处理和查询海量日志数据,快速发现和解决问题。 其他说明:本文详细介绍了如何创建索引生命周期、索引模板、数据流以及配置写入等具体操作步骤,为企业提供了完整的实施指南。通过这些优化措施,企业可以在整个索引生命周期中持续受益,进一步降低总拥有成本。

2025-04-17

04 - 腾讯云 ES AI 搜索优化实践 - 刘忠奇 武汉 20250329

内容概要:本文详细介绍了腾讯云Elasticsearch(ES)在AI搜索优化方面的实践成果。首先探讨了一站式RAG(检索增强生成)架构的应用案例,如微信读书‘AI问书’和敦煌数字藏经阁,展示了其在智能检索、问答系统等方面的能力。接着阐述了向量裁剪技术,通过多种索引方式(无向量索引、Flat向量索引、HNSW向量索引等)显著降低了存储成本,最高可达90%。最后介绍了多算法融合排序框架,包括rank_fusion、score_fusion和rerank_fusion三种方法,提升了搜索结果的准确性和召回率。此外,还涉及了嵌入推理、对话推理等功能模块,进一步增强了系统的灵活性和实用性。 适合人群:从事搜索引擎开发的技术人员,尤其是对Elasticsearch及其AI增强功能感兴趣的研究者和从业者。 使用场景及目标:①希望通过RAG架构实现高效智能检索和问答系统的开发人员;②需要降低向量存储成本的数据科学家和技术经理;③希望提高搜索结果质量和用户体验的产品经理和运营人员。 其他说明:文中提到的具体技术细节和应用场景有助于读者深入了解腾讯云ES在AI搜索领域的最新进展和技术优势。

2025-03-31

02 - ES 在绿盟企业安全平台的应用实践 - 陆攀 武汉 20250329

内容概要:本文详细介绍了Elasticsearch(ES)在绿盟企业安全平台中的大规模应用及其优化路径。首先概述了安全大数据分析的典型场景和所面临的技术挑战,如PB级别的数据量、Ad-hoc查询性能、集群稳定性和运维成本等问题。接着阐述了ES集群的具体应用场景,包括日志查询、仪表盘展示和事件告警等功能模块。针对这些问题,文中提出了多项优化措施,如多实例部署、角色分离、master节点升级、_id移除到堆外、引入混合存储等方法,有效提升了系统的稳定性和性能。最后还讨论了写入性能方面的改进,如避免多盘陷阱、采用本地写入方式、实施预判引擎以及调整动态mapping设置等。 适合人群:从事信息安全领域的技术人员,尤其是负责大型分布式系统架构设计和技术选型的专业人士。 使用场景及目标:适用于需要处理海量日志数据的企业级安全平台建设,旨在提高数据分析效率、增强系统可靠性和降低运营维护难度。 其他说明:本文不仅提供了理论指导,还分享了许多实际案例和具体实施方案,对于希望深入了解ES集群管理和调优的读者来说非常有价值。

2025-03-31

01 - AI 驱动 - 搜索的未来 -刘晓国 武汉 20250329

内容概要:本文由Elastic中国社区首席布道师刘晓国主讲,探讨了AI驱动的搜索技术的发展方向,特别是Elasticsearch在向量搜索和语义搜索方面的创新。文章详细介绍了向量搜索的基本概念、实现方法以及具体应用场景,如图片相似度搜索、混合搜索、语义搜索等。此外,还讨论了Elasticsearch在硬件加速、模型管理、推理API等方面的最新进展,以及如何通过Retrieval Augmented Generation (RAG) 技术提升搜索质量和安全性。 适合人群:对AI驱动的搜索技术感兴趣的开发者、数据科学家、企业IT决策者。 使用场景及目标:适用于需要高效、精准搜索的企业级应用,尤其是涉及大规模非结构化数据处理的场景。目标是帮助用户更好地理解和应用最新的搜索技术,提升业务效率和用户体验。 其他说明:文中提供了丰富的技术细节和实例,包括向量相似度计算、模型训练与部署、搜索架构优化等方面的内容。同时,还提到了Elasticsearch与其他AI工具和服务的集成,如OpenAI的CLIP模型、HuggingFace等。

2025-03-31

05 -Elasticsearch 存算分离架构在小米的应用实践 - 周明裕 郑钧元 武汉 20250329

介绍了 ElasticSearch 服务存算分离架构在小米的技术演进过程和实现思路,日志场景可实现单集群 50% 成本优化,提升整体技术性价比

2025-03-31

03 - Agentic RAG 构建之路 - 李捷 武汉 20250329

内容概要:本文详细介绍了Elasticsearch(ES)作为构建Agentic RAG(检索增强生成)系统的理想引擎的原因。首先探讨了传统RAG系统的局限性,然后重点阐述了ES如何通过其强大的查询规划、工具使用、动态查询规划以及数据超融合等功能克服这些问题。文中还展示了具体的案例研究,如财务风险报告、生产线良品率分析、市场销售情况评估等,强调了ES在处理复杂查询、多源数据融合和实时数据分析方面的卓越表现。此外,文章讨论了ES提供的多种查询语言和支持的广泛功能,如多模态嵌入、GPU加速、自动分块策略等,进一步证明了它在构建高效、灵活的Agentic RAG系统中的独特地位。 适合人群:对构建高级检索增强生成系统感兴趣的开发者和技术决策者,尤其是那些希望利用Elasticsearch提升数据处理能力和智能化水平的专业人士。 使用场景及目标:适用于需要处理大量异构数据的企业,旨在提高数据检索效率、增强分析能力、优化业务流程。具体应用场景包括但不限于财务风险管理、生产质量监控、市场营销分析等。 其他说明:文章不仅深入剖析了技术细节,还提供了实际操作指南和最佳实践建议,帮助读者更好地理解和应用

2025-03-31

02-GraphRAG 和 Elasticseach 8 的创新实践 - 徐胜 上海 20250222

主要分享结合 Elasticsearch 8 的最新特性和微软的最新技术 GraphRAG,来实现垂域知识库的智能体知识问答的方法和技术案例。Elasticsearch 8 里面的混合检索和多路召回技术,和知识图谱完美结合,实现了更优秀的问答效果。

2025-03-03

01-AI 驱动 - 搜索的未来 - 刘晓国 上海 20250222

内容概要:本文探讨了AI驱动的未来搜索技术,特别是通过Elasticsearch实现的向量搜索和语义搜索。首先介绍了为何需要向量搜索及其基本概念,随后深入讲解了Elasticsearch中的向量搜索实现细节、向量相似度测量方法,以及如何整合图像和文本搜索。接着,描述了向量和经典搜索混合的方法,强调了RAG(检索增强生成)的作用。最后,文章讨论了Elasticsearch在硬件加速方面的进步及未来的发展方向,如稀疏向量搜索和学习排序等新技术的应用。 适合人群:熟悉搜索引擎和机器学习的基础知识的技术爱好者和专业工程师。 使用场景及目标:帮助开发者理解和掌握最新的AI驱动搜索技术,包括搭建高效能的语义和向量搜索系统,以及优化搜索结果的相关性和速度。同时,探索将这些先进技术应用于实际项目中解决具体业务问题的可能性。 其他说明:文中提供了许多具体的示例,如基于变压器模型的文字向量表示,图片相似度查找实例,并展示了使用Elastic Stack实现复杂混合搜索的实际操作。还涉及到一些高级特性,如KNN查询、ELSER模型训练、以及Retriever API的设计原理。

2025-03-03

04-Elasticsearch 在 AI 驱动下的检索新特性 - 槐新 上海 20250222

内容概要:本文详细介绍了阿里云 Elasticsearch 在 AI 技术推动下所发展的新型搜索能力。涵盖了语义搜索、多模态搜索、RAG(检索增强生成)、AI 助理等方面的新特性和技术进步。特别是在向量搜索方面,阿里云 ES 向量增强版能够高效处理结构化和非结构化数据,将其转化为向量形式,极大提升了搜索效率和精度。此外,还探讨了性能瓶颈及解决方法,以及弹性架构、数据安全性等重要特点,展现了该产品的高性能、低成本和技术灵活性。 适合人群:对于希望深入了解现代搜索技术和向量索引的技术开发者、工程师、研究学者及有兴趣了解前沿科技的应用程序管理员。 使用场景及目标:适用于需要处理大量文本、图像、音频视频等多媒体资料的企业和个人用户。旨在提高搜索系统的智能化水平,帮助企业更快更准地获取所需信息,并优化用户体验。例如,在客服、电商、医疗等领域实施多模态检索和服务机器人等功能,可显著增强业务竞争力。 其他说明:文中提到多个具体案例和技术细节,如性能测试、硬件加速指令的应用、模型量化的优势等,强调了技术的实际应用价值和发展趋势。同时展示了与第三方平台的良好协作,提供了丰富的接口和支持,方便用户的集成与

2025-03-03

03-基于 ES 与 LLM 技术构建 B站大数据运维智能体实践 - 张勋祥 上海 20250222

内容概要:本文由哔哩哔哩资深开发工程师张勋祥讲解了基于Elasticsearch(ES)和大型语言模型(LLM)技术,为解决B站庞大的运维挑战所采取的策略。首先,介绍了当前面临的业务现状,即大量问题咨询以及多样化计算引擎带来的复杂运维问题,这些问题使得自动化运维变得尤为迫切。其次,在详细的场景分析基础上提出并实施了一套智能运维系统。该系统依托于私域知识库来解答咨询和支持故障诊断等功能,涵盖Flink、Spark等多个主流组件,显著提升了处理效率与准确性。此外,针对关键的技术难题如查询改写优化等问题,文中分享了一系列有效的解决手段。最后展示了具体应用场景,如对Flink的作业断流现象进行分析。同时对未来发展规划进行了探讨,强调将继续推进运维智能化水平。 适用人群:适用于有兴趣于大数据架构下智能运维解决方案的研发人员和技术经理,特别是从事Flink、Spark等领域工作的人群。 使用场景及目标:本研究旨在为面临大规模分布式系统的团队提供有价值的见解和技术指导,帮助他们更好地理解和应用智能运维方法论来应对复杂场景中的各类运维挑战。 其他说明:文章提供了丰富的图表及案例分析,便于读者直观地掌握

2025-03-03

03-Elasticsearch 在 AI 检索与 Serverless 模式成本优化的新特性 王亚宁 北京 20241214

本次议题将深入探讨 Elasticsearch 在 AI 检索和 Serverless 模式方面的最新进展,重点介绍如何利用这些新特性提升检索体验、快速搭建企业级 RAG 服务,以及在日志场景如何通过 Serverless 模式实现显著的成本优化和性能提升。

2024-12-17

01-AI 驱动 - 搜索的未来 刘晓国 北京 20241214

内容概要:本文由Elastic中国社区首席布道师刘晓国在北京2024年12月14日的演讲内容整理而成,重点介绍了AI驱动的Elasticsearch向量搜索与语义搜索技术。文章首先探讨了向量搜索的需求背景,包括经典搜索的局限性和向量搜索的优势。随后,详细讲解了向量相似度的基础知识,如稀疏向量和密集向量,以及Elasticsearch如何实现向量搜索。文章还涵盖了Retrievers的使用方法,以及如何在Elasticsearch中使用第三方嵌入模型,如OpenAI的CLIP模型。此外,还介绍了Elasticsearch向量引擎的最新进展,包括硬件加速、向量量化和并发查询改进等方面。最后,讨论了RAG(检索增强生成)的架构及其在生成式人工智能中的应用,特别是如何结合私有数据和大型语言模型(LLM)来解决特定领域的问题。 适合人群:大数据处理、搜索引擎和自然语言处理方向的工程师及研究者。 使用场景及目标:① 了解和掌握Elasticsearch向量搜索和语义搜索的实现方法和技术细节;② 探索如何在企业级应用中集成和使用这些技术;③ 理解RAG架构在生成式人工智能中的应用。 阅读建议:本文内容较为深入,涉及较多的技术细节和实际操作,建议读者在阅读过程中配合官方文档和示例代码,以便更好地理解和实践相关技术。

2024-12-16

04 - 降本增效的利器,认识一个不同的 Elastic 顾鹏飞 北京 20241214

内容概要:本文介绍了Elastic作为一个领先的AI搜索引擎公司,其全球布局及在中国区的业务生态。强调了Elastic解决方案帮助企业从全量规模化的数据中快速获取价值,提升效率,降低成本。文中详细阐述了Elastic三大核心方案(可观测性、安全和搜索)的具体功能及其如何帮助企业构建灵活的解决方案。同时,文档还介绍了Elastic的两项关键技术——跨集群复制(CCR)和可搜索快照(searchable snapshot),这两项技术大大提升了企业在混合云环境下的容灾能力和存储成本的优化。 适合人群:对Elastic及其技术感兴趣的企业决策者、IT技术专家及数据科学家。 使用场景及目标:帮助企业利用Elastic的技术方案提升数据处理和分析能力,优化IT基础设施,降低成本,提高运营效率,更好地应对复杂多变的数据安全和性能需求。 阅读建议:本文详细介绍了Elastic的各项技术和实际应用案例,读者可以通过具体案例深入了解Elastic的技术优势和实施效果。

2024-12-16

02-Kibana 构建高级可视化 包春喜 北京 20241214

内容概要:本文详细介绍了Kibana在构建高级可视化中的应用,涵盖Elastic Geo类型(geo_point和geo_shape)的定义和使用方法,以及Elastic Maps的介绍。此外,文章还详细讲解了Vega的声明式语法及其在Kibana中的应用场景,帮助读者了解如何通过编写Vega语句实现复杂的自定义可视化。 适合人群:熟悉Kibana和Elasticsearch的基础操作,希望深入了解地理空间数据可视化和自定义图表的技术人员。 使用场景及目标:①在Elasticsearch中定义和使用geo_point和geo_shape类型;②利用Elastic Maps进行地理空间数据的分析和可视化;③通过Vega创建复杂的自定义图表,满足特定的可视化需求。 其他说明:文章提供了详细的示例代码和实际应用案例,帮助读者更好地理解和应用Kibana的高级可视化功能。

2024-12-16

02-Elasticsearch 8.x 向量搜索使用详解 杭州 1.6 2024

内容概要:本文详细介绍了 Elasticsearch 8.x 版本中的向量搜索技术和优化方法。首先概述了传统暴力搜索和HNSW & KNN的对比,强调了HNSW在大数据量下的性能优势。接着讨论了向量搜索在具体应用中的多种操作,如多个kNN字段的向量搜索、聚合查询、滤波器在近似kNN搜索中的重要性和效果。此外,还涉及了使用 RRFRanking 算法对混合搜索引擎的结果进行排序,以及使用第三方机器学习模型进行语义搜索的方法和技术细节。最后,提到了Elastic训练的稀疏召回模型ELSER及其优势。 适合人群:Elasticsearch 开发者,数据科学家,搜索系统架构师。 使用场景及目标:①优化向量搜索性能,特别是在大规模索引上的查询速度;②理解并向量化搜索引入更多高级功能,如语义搜索和混合评分机制。 其他说明:文中提供了多个实践案例和优化技巧,有助于读者快速掌握 Elasticsearch 在复杂搜索场景中的应用。

2024-12-10

高管指南:如何将生成式AI融入运营

内容概要:本文是一本高管指南,详细介绍如何将生成式 AI 技术融入业务运营,从理论基础到实践步骤,涵盖了生成式 AI 的定义、发展现状及其关键技术。文章通过具体的行业案例,展示了生成式 AI 在电信、金融、零售等多个行业中的应用效果,提出了一套六步走的具体实施方案,强调了从试验到正式实施过程中需要注意的关键点,如数据安全、模型选择和管治等问题。 适合人群:企业高管、技术负责人、项目经理和其他希望了解如何利用生成式 AI 提升业务效能的读者。 使用场景及目标:本文适用于企业在数字化转型过程中,希望通过生成式 AI 优化业务流程、提高工作效率和客户满意度的各种场景。目标是帮助企业和团队在实际运营中有效应用生成式 AI,实现业务增长和技术进步。 其他说明:生成式 AI 的实施需要考虑数据隐私和安全问题,同时还需要团队的合作和技能培训。通过逐步推进和不断迭代,最终实现生成式 AI 的全面融合,为企业带来更大的商业价值。

2024-12-05

Elastic帮助企业发挥数据的作用

内容概要:本文详细探讨了IT领导者如何通过实时数据分析解决方案来提升企业的数字客户体验、运营弹性和网络安全性。具体介绍了数据挑战和业务复杂性增加的原因,提出了搜索驱动型解决方案的优势和应用场景,并列举了多个实际案例来说明其效果。同时,文中对比了传统方法与搜索驱动型解决方案的优劣,强调了后者在实时性和易用性方面的显著优势。 适合人群:对企业IT管理和数据分析感兴趣的IT专业人士、项目经理和技术负责人。 使用场景及目标:① 改善数字客户体验,确保系统稳定性和安全性;② 优化数据处理和检索速度,减少数据孤岛;③ 实现统一的平台管理和灵活的架构部署,提高运营效率;④ 利用Machine Learning和AIOps技术实现智能化数据分析。 其他说明:文章通过实例展示了Elastic的解决方案,包括Elastic可观测性、Elastic安全性和Elastic企业搜索,为企业提供了具体的实施路径和方法。阅读过程中,可以通过实际案例更好地理解技术的实际应用和带来的效益。

2024-12-05

Elastic最新产品及解决方案

内容概要:本文介绍 Elastic 的最新产品及解决方案,帮助企业解决数据挑战并加速商业成功。主要内容包括数据孤岛和重复数据的问题及其解决方案、提升用户体验、降低安全风险和优化运营等方面的措施。强调了通过Elastic提供的全面可观测、安全和搜索解决方案来实现业务成长的具体方法和技术优势。文中还详细介绍了Elastic的技术架构、功能特点以及与其他产品的对比,展示了Elastic作为行业领导者的地位和市场表现。 适用人群:企业管理者、IT决策者、数据分析专家、网络安全专业人员和研发工程师。 使用场景及目标:旨在帮助企业和组织更好地利用数据资产,具体应用场景涵盖了日志管理、APM监控、安全分析、AI/ML模型构建等多个方面,目的是构建弹性业务流程、提高运营效率、保障信息安全和改善客户体验。 其他说明:Elastic提供了一个强大而灵活的数据平台,通过整合各类先进的技术如机器学习、实时分析等,为企业提供了广泛的服务范围,包括但不限于搜索引擎优化、安全性增强和业务智能化。此外,它还支持多种部署模式(公有云、私有云和本地部署)以满足不同类型客户的个性化需求。

2024-12-05

01-ES AI Assistant集成 DeepSeek-Qwen3,搭建智能运维助手 - 槐新 线上 20250903

内容概要:本文介绍了如何通过集成DeepSeek和Qwen3大语言模型,基于Elasticsearch构建智能运维助手AI Assistant。重点阐述了Agentic RAG(检索增强生成)技术相较于传统RAG的优势,包括多轮交互、动态决策、多源数据协同和工具调用能力,提升复杂任务处理效率。结合Elasticsearch的向量检索、文本搜索与机器学习能力,AI Assistant可实现自然语言驱动的集群诊断、查询语句生成、可视化分析及运维建议,显著降低技术门槛。文章还提供了从服务开通到Connector配置的完整操作流程,并通过多个场景演示了其在集群运维、日志分析和DSL生成中的实际应用。; 适合人群:具备一定Elasticsearch使用经验的运维工程师、搜索开发人员及对AI智能运维感兴趣的中高级技术人员;熟悉大模型应用与RAG技术的技术决策者或架构师。; 使用场景及目标:①利用自然语言实现Elasticsearch集群状态诊断与优化建议;②自动生成DSL查询语句并解释执行结果;③基于日志和业务数据进行智能分析与可视化图表生成;④提升运维效率,实现异常检测、根因分析与自动化响应。; 阅读建议:建议结合阿里云Elasticsearch 8.15及以上版本实践,按照文档步骤配置Connector并进行交互测试,重点关注Agentic RAG在真实运维场景中的动态规划与多工具协同能力,同时可拓展至安全分析与业务洞察领域。

2025-09-03

01-ElasticsearchCCR详解 线上 刘琪 20250820

本次直播,我们将深入浅出,从 Elasticsearch CCR(跨集群复制)功能的底层原理到实际操作,带你全面掌握这一运维利器!无论你是运维新手还是资深专家,都能从中收获实用技巧,轻松应对高可用、高可靠的业务场景! - 深度解析:揭秘 CCR 核心机制,透彻理解数据复制全流程 - 实战演练:从零到精通,现场演示配置与优化技巧 - 场景方案:两地三中心高可用架构的最佳实践 - 互动答疑:直击数据同步与指标汇总痛点,实时解答你的疑问

2025-08-21

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806

内容概要:本文详细介绍了基于Elasticsearch的地理位置检索技术,特别是“搜索附近”的应用场景。文章首先介绍了讲师背景,包括丰富的行业经验和多个知名平台的认证。接着阐述了地理位置检索在实际生活中的多种应用,如地理围栏、社交APP的“附近的人”、疫情追踪、物流追踪等。随后对比了不同技术方案(MySQL/PostgreSQL、Redis GEO、Elasticsearch、MongoDB、PostGIS)在查询性能、扩展性、功能性和适用数据量方面的优劣,强调了Elasticsearch在复杂搜索和地理信息处理上的优势。最后深入讲解了Elasticsearch支持的地理位置检索类型,包括`geo_point`、`geo_shape`和`geo_polygon`,并展示了具体的使用案例和技术细节。 适合人群:具备一定编程基础,尤其是对地理信息系统和Elasticsearch感兴趣的开发人员和技术爱好者。 使用场景及目标:①实现基于地理位置的搜索功能,如“搜索附近的XX”(医院、外卖、学校、商场等);②构建地理围栏,监控用户是否进入特定区域;③进行实时轨迹分析和安全预警;④优化LBS(基于位置的服务)系统的性能和扩展性。 阅读建议:本文不仅提供了Elasticsearch地理位置检索的技术实现方法,还对比了多种技术方案,因此在阅读时应重点关注Elasticsearch的优势及其具体应用场景,并结合实际项目需求选择合适的技术方案。此外,对于地理坐标系统(如WGS84、GCJ-02、BD-09等)的理解也有助于更好地掌握地理位置检索技术。

2025-08-07

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806.zip

01-基于Elastic地理位置检索-搜索附近 j九川 线上 20250806.zip

2025-08-07

02-腾讯云 ES 百亿级 AI Search 优化实践 陈曦 深圳 20250727

分享腾讯云 ES 如何通过文本语义理解、向量空间建模与AI推理能力的三位一体架构,助力 IMA/微信读书/视频号等头部产品实现多模态检索能力。在生成式AI重塑产业格局的当下,我们正推动搜索技术从「信息匹配」向「认知理解」的范式转移,打造业界领先的「搜索即服务」智能基座。

2025-07-30

03-Elastic - Agentic RAG 构建之路 李捷 深圳 20250727

内容概要:本文详细介绍了Elastic-Agentic RAG的构建路径及其优势。RAG(Retrieval-Augmented Generation)是一种结合检索和生成模型的技术,而Agentic RAG进一步增强了这种能力,使其能够处理更复杂的企业级应用场景。文章首先探讨了RAG的局限性,指出传统的RAG主要局限于特定的知识库检索,难以应对多源数据融合、复杂格式处理以及实时数据查询等问题。接着,文章阐述了构建Agentic RAG所需的引擎,强调了其需要具备的进阶能力,如多步推理、动态任务规划、复杂数据处理和跨源协作检索等。此外,文中还展示了Elasticsearch在生成式AI应用中的全面功能,包括创建向量嵌入、混合搜索、灵活选择嵌入模型、过滤和切片等功能,突出了Elasticsearch相较于其他向量数据库的优势。最后,文章通过案例研究,如微信读书的智能阅读实践和敦煌数字藏经阁的RAG问答实践,展示了Elastic-Agentic RAG的实际应用效果,如提高客户和员工满意度、降低风险和总拥有成本等。 适合人群:对企业级AI应用感兴趣的IT专业人士、数据科学家、架构师以及希望了解如何利用AI技术优化业务流程的管理人员。 使用场景及目标:①解决企业内部复杂的数据处理和查询需求,如财务风险报告、生产良品率分析等;②实现多源数据的无缝整合,打破数据孤岛,提高数据利用率;③通过智能化的查询和分析工具,提升业务决策的速度和准确性;④构建高效、安全、可扩展的AI基础设施,支持企业的长期发展。 其他说明:Elastic-Agentic RAG不仅是一个技术解决方案,更是企业数字化转型的重要工具。它帮助企业更好地理解和利用自身

2025-07-30

01-AI 驱动 - 搜索的未来 刘晓国 深圳 20250727

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-07-30

04-Elasticsearch 在日志系统的应用 石樊 深圳 20250727

内容概要:本文详细介绍了富途网络科技有限公司在其日志系统中应用Elasticsearch(ES)的经验,涵盖日志系统的架构、遇到的问题及其解决方案,以及引入ES serverless的原因和效果。富途的日志系统包括SDK、公共组件、Nginx及第三方日志的采集,支持JSON、行采集、分隔符采集等多种格式,确保日志的结构化和字段一致性。针对日志流量波动导致的ES稳定性问题,采用kafka弹性流量、logstash容器自动扩缩容、ES serverless等措施,解决了写入延迟和索引滚动时的短暂写入阻塞。此外,还解决了日志写入时的类型冲突问题,并通过引入ES serverless降低了运维复杂度和成本。未来,富途计划利用ES的文本分类聚合功能,支持日志聚类和AI分析。 适用人群:从事日志系统开发、运维的技术人员,尤其是对Elasticsearch有需求或正在使用的企业IT团队。 使用场景及目标:①解决日志系统中常见的流量波动、类型冲突等问题;②优化日志系统的性能和成本;③探索日志系统的未来发展,如日志聚类和AI分析。 其他说明:本文不仅提供了技术实现的具体方法,还分享了

2025-07-30

Elasticsearch 可搜索快照 - 降本增效的实践与探索 线上 夏乔 20250717

内容概要:本文详细介绍了Elasticsearch可搜索快照技术,旨在解决大规模Elasticsearch集群中历史归档数据带来的高存储成本、低访问效率和大运维压力的问题。文章首先分析了痛点,包括TB级数据积累导致的历史归档数据占比高、存储成本高、访问效率低等问题。接着介绍了现有Hot-Warm-Cold架构结合ILM的局限性,并提出可搜索快照作为改进方案。可搜索快照允许直接在低成本对象存储上的快照数据中进行搜索,无需预先恢复索引,具有降低存储成本、计算与存储分离、可在线访问归档数据和简化运维等优势。文章还详细解释了可搜索快照的工作原理,包括快照创建、挂载、按需加载和缓存机制。 适合人群:Elasticsearch集群管理员、运维工程师、系统架构师和技术决策者。 使用场景及目标:①适用于日志、指标、APM数据的长期归档与分析;②用于合规性与审计;③作为灾难恢复的只读副本;④支持跨集群搜索历史数据;⑤通过计算与存储分离,实现资源独立扩展,降低运维压力。 其他说明:本文不仅介绍了可搜索快照的技术细节,还通过实际案例展示了其在降本增效方面的显著效果。建议读者结合自身集群情况,评估并实施可搜索快照,以优化数据管理和降低总体拥有成本。

2025-07-18

【大数据知识库】基于Qwen2.5-14B与Elasticsearch的智能问答系统设计:传统检索与向量检索对比及RAG架构应用

内容概要:本文详细介绍了基于Qwen2.5-14B与Elasticsearch的大数据知识库智能问答系统。首先,文章对比了传统检索和向量检索的特点,指出向量检索在语义理解和复杂查询方面的优势。接着,阐述了RAG(检索增强生成)架构的工作流程及其核心价值,包括提高回答准确性、实时更新知识库、减少生成内容的虚构风险等。最后,重点介绍了基于大模型和Elasticsearch构建的智能问答系统的技术方案和实测效果,展示了其在处理多格式文档、专业术语理解等方面的高效性,并提出了进一步优化的方向,如模型微调、向量化改进和文档切分粒度调整。 适合人群:对大数据处理、自然语言处理和智能问答系统感兴趣的开发人员、数据科学家和技术爱好者。 使用场景及目标:①构建针对非公开文档的高效、精准、自然语言交互式智能知识问答系统;②支持多格式文档的统一处理与检索;③提升企业内部知识管理和信息获取的效率;④应用于客服机器人、知识问答、技术支持、教育与学习等领域。 其他说明:本文不仅介绍了技术原理,还提供了具体的实施步骤和代码示例,如使用FSCrawler进行文档摄取、利用text2vec模型进行向量化等。此外,文章强调了系统在实测中的高效性和准确性,并展望了未来的技术优化方向,鼓励读者结合自身业务场景深入探索和实践。

2025-07-10

01-AI 驱动 - 搜索的未来 刘晓国 南京 20250628

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-06-28

【AIOps领域】基于M02-双 MCP 赋能ES Luke 南京 20250628CP框架的Elasticsearch与Kibana智能根因分析系统设计:提升企业数据洞察效率和自动化运维能力

内容概要:本文介绍了在双 MCP框架下,Elasticsearch (ES) 和 Kibana 新一代 AIOps 实践的发展和应用。文章首先概述了项目背景,指出尽管 ES 已经在自动化根因分析、动态数据洞察等方面展现了巨大潜力,但其在 AI 领域的应用尚未得到充分挖掘。接着,文章详细解释了 MCP(模型上下文协议)的概念及其重要性,强调它是 AI 助手与外部数据源无缝交互的关键协议,类似于 AI 领域的“USB-C”或“HTTP”协议。MCP 定义了应用程序和 AI 模型间交换上下文信息的标准方式,简化了 AI 应用的开发和集成。文中还展示了如何通过 MCP 实现 ES 和 Kibana 的智能交互,具体包括资源读取、工具调用、提示模板等功能,并通过实际案例演示了利用 LLM 和 MCP 快速处理安全事件的流程。最后,文章展望了未来的发展方向,如开源 ES 的大模型记忆模块和开发专门的 MCP 客户端。 适合人群:对 AIOps、Elasticsearch、Kibana 或 AI 技术感兴趣的 IT 专业人员,特别是那些希望提高数据分析效率、优化系统管理和提升安全性的技术人员。 使用场景及目标:①利用 MCP 实现 ES 和 Kibana 与 LLM 的无缝对接,加速故障排查和根因分析,将工作量从数小时甚至几天缩短至分钟级别;②通过自然语言交互方式,使 AI 能够理解和生成数据洞察,优化数据可视化;③构建高效的数据驱动 AI 解决方案,提升企业在复杂 IT 环境中的问题诊断和优化能力。 其他说明:文章由 AI 解决方案架构师 Luke Azmat Ablat 主讲,他专注于 ES 在 AI 领域的应用,曾主导多个相关项目并推动了 ES/Kibana MCP Server 开源项目的发展。读者可以通过官方 GitHub 获取更多关于 MCP 社区和项目的最新进展。

2025-06-28

03-Elasticsearch 数据流转之道 - 从写入到查询的技术探秘 尚雷.南京 20250628

内容概要:本文深入探讨了Elasticsearch的数据流转机制,从写入到查询的全过程进行了技术剖析。首先强调了关注数据流转的重要性,包括性能优化、瓶颈识别、资源配置和成本控制。接着介绍了Elasticsearch如何基于PacificA算法进行改进,以适应互联网级别的数据架构需求。文章详细解析了Elasticsearch的写入和读取流程,包括路由机制、刷新与合并操作,以及不同写入模式的选择。最后通过实际案例展示了性能优化的具体方法,如合理设置副本数量、优化索引大小和管理操作系统缓存。 适合人群:具备一定Elasticsearch使用经验的开发人员和技术管理人员,尤其是对性能优化和架构设计有需求的用户。 使用场景及目标:①理解Elasticsearch内部机制,识别性能瓶颈并进行优化;②掌握写入和查询流程,合理配置系统资源;③通过实际案例学习如何优化索引、副本设置和缓存管理,提高系统稳定性和响应速度。 阅读建议:本文内容较为深入,建议读者结合自身应用场景,重点关注与自身业务相关的性能优化部分,并尝试在实际环境中应用所学知识,进行针对性的调整和测试。

2025-06-28

04-ES日志集群大规模迁移实践-李猛-南京-20250618

内容概要:本文详细介绍了ES(Elasticsearch)日志集群的大规模迁移实践,由Elastic Stack实战专家李猛分享。迁移背景涵盖现有集群架构、日志规模、性能需求及新集群架构特点。针对迁移方案,文中对比了Reindex、Backup&Restore、Logstash/三方工具以及CCR四种方法,最终确定以CCR为主、Reindex为辅的组合策略。迁移实践中,重点讲述了CCR配置、任务脚本编写与执行的具体步骤。同时,针对迁移过程中遇到的新旧集群并行切换、CCR并行与索引限制、旧集群架构限制、迁移时间段限制、超大索引、数据一致性及硬件问题进行了深入剖析。最后,探讨了ES运维工具包(如数据比对脚本、CCR创建+取消工具)的应用。 适合人群:具备一定Elasticsearch使用经验,从事日志管理、运维工作的技术人员。 使用场景及目标:①了解ES日志集群大规模迁移的完整流程与关键步骤;②掌握不同迁移方案的选择依据及其优缺点;③解决迁移过程中可能遇到的技术难题;④提升ES集群运维效率与稳定性。 阅读建议:本文内容详实,技术细节丰富,在阅读时应重点关注迁移方案的选择依据、实际操作步骤以及遇到的问题和解决方案。建议读者结合自身实际情况,参考文中提供的具体案例和技术手段,逐步理解和掌握ES日志集群迁移的相关知识。

2025-06-28

腾讯云 ES AI 搜索优化实践 刘忠奇 线上 20250605

1. RAG 架构的搜索增强实践 2. 自研 v-pack 插件向量增强技术解析 * 存储降本九成:向量裁剪技术 * 准召提升手段:多算法融合排序框架

2025-06-05

ES/Ksibana 双MCP框架下的新一代AiOps实践 Luke 线上 20250521

内容概要:本文介绍了Elasticsearch和Kibana在双MCP框架下实现的新一代AIOps实践。作者Luke Azmat Ablat是AI解决方案架构师,专注于Elasticsearch在AI领域的应用,特别是在低资源语言搜索体验和复杂混合搜索方面的优化。文中强调了MCP(模型上下文协议)的重要性,它由Anthropic提出并被广泛认可,旨在统一AI模型与外部数据源的交互方式。通过MCP协议,Elasticsearch和Kibana能更好地结合LLM能力,实现分钟级别的故障排查和根因分析,极大提升了AIOps效率。具体应用包括实时搜索、可视化管理和智能交互,涵盖从集群状态检查到异常区域深度调查等多个场景。; 适合人群:对AI运维(AIOps)、Elasticsearch和Kibana有研究兴趣或工作需求的技术人员,尤其是从事IT运维、数据管理和AI开发的专业人士。; 使用场景及目标:①利用MCP协议整合Elasticsearch和Kibana,实现高效的自动化根因分析;②通过自然语言交互简化集群管理和数据分析流程;③优化数据洞察,提高故障排查速度,从数小时甚至数天缩短到几分钟。; 其他说明:本文不仅探讨了技术理论,还提供了实战演示,展示了如何在现有环境中部署和使用MCP框架。未来计划包括开源大模型记忆模块和支持中英混合搜索等功能,进一步扩展Elasticsearch的应用范围。

2025-05-22

03-Elasticsearch跨境电商搜索优化实践 欧阳楚才 杭州 20250419

内容概要:本文由欧阳楚才分享,主要介绍了Elasticsearch在跨境电商搜索优化中的实践。文章首先指出跨境电商搜索面临的问题,如搜索词意图丰富、分词准确性、搜索关键词多义等,随后详细阐述了搜索业务架构,包括意图识别、类目预测、实体识别、同义词扩展、分词处理、尺寸识别、停用词过滤、词干提取等方面的技术细节。接着,文章探讨了搜索召回和排序机制,强调了通过字段加权计算相关性评分和点击率预测CTR模型来优化搜索结果的重要性。最后,还涉及了性能压测、商品属性字段聚合优化以及数据埋点等内容,旨在提升搜索服务的整体性能和用户体验。; 适合人群:从事跨境电商、搜索引擎优化、Elasticsearch技术应用的相关从业人员,尤其是有一定Elasticsearch基础的研发人员和技术管理者。; 使用场景及目标:①理解和解决跨境电商搜索中的常见问题,如搜索词意图识别、多语种分词、关键词多义性等;②掌握通过类目预测、实体识别、同义词扩展等方法提高搜索召回率和准确性的技术手段;③学习如何通过性能压测、数据埋点等手段优化搜索服务的性能和用户体验。; 其他说明:本文提供了丰富的实际案例和技术细节,建议读者结合自身业务场景进行实践,并参考文中提供的具体配置和优化方法,不断调整和改进搜索系统。

2025-04-19

01-AI 驱动 - 搜索的未来 刘晓国 杭州 20250419

1)为什么需要向量搜索? 2)RAG 是什么? 3)Elastic 在向量搜索上的最新进展 4)案例分析

2025-04-19

05-ES AI Assistant集成 DeepSeek QwQ,搭建智能运维助手 槐新 杭州 20250419与应用场景演示

内容概要:本文详细介绍了如何通过集成DeepSeek/QwQ模型搭建基于Elasticsearch(ES)的智能运维助手,以提升运维效率和问题解决能力。文章首先阐述了大语言模型(LLM)在知识问答场景中的局限性,如幻觉问题、知识受限等,进而引出检索增强生成(RAG)技术的优势,包括实时更新知识库、可解释性和减少幻觉。接着,文章介绍了新一代AI搜索应用——Agentic RAG,它通过引入人工智能代理,实现了多源协同检索、多轮交互和复杂任务处理的能力。此外,文章还展示了Elasticsearch的功能及其与DeepSeek/QwQ的深度集成,具体包括实时状态诊断、动态生成可视化数据看板、智能查询构建等。最后,通过几个实际应用场景的演示,如集群运维、可视化分析和DSL查询生成,展示了该智能运维助手的强大功能。 适合人群:具有运维经验的IT工程师、系统管理员以及对Elasticsearch和AI技术感兴趣的开发者。 使用场景及目标:①通过自然语言指令自动构建精准查询语句,实现查询构建-执行-优化的全流程自动化;②辅助集群运维和索引管理,提供智能建议,降低技术门槛;③进行可视化分析,帮助用户快速理解日志信息,生成相关图表;④支持多模态向量搜索,提升搜索精度和开发体验。 阅读建议:由于本文涉及大量技术细节和实际操作步骤,建议读者在阅读时结合实际案例进行理解和实践,尤其是对Elasticsearch和AI技术的应用有初步了解的读者,可以通过动手实验加深理解。

2025-04-19

04-Higress x Elasticsearch构建更智能的AI网关 程治玮 20250419

介绍 Higress AI 网关在推理服务场景下提供的多模型适配、故障切换、多租户管理、Token 限流与内容安全等核心能力,并深度集成 Elasticsearch 实现语义化缓存、RAG 搜索和可观测等高级功能。

2025-04-19

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除