【微服务】mysql + elasticsearch数据双写设计与实现

置顶 已于 2023-11-09 18:11:20 修改
阅读量9.9k 收藏 132
点赞数 113
分类专栏： 微服务治理与项目实战 mysql入门到项目实战高手 ElasticSearch 入门到项目实战高手 文章标签： mysql与es双写 mysql+es双写设计与实现 mysql与es双写方案
于 2023-11-04 18:37:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangcongyi420/article/details/134195062
版权
本文介绍了在微服务背景下，为何采用MySQL+Elasticsearch双写策略，分析了单用MySQL的问题和直接使用Elasticsearch的局限。文章详细探讨了双写方案设计要点，包括全新设计与中途调整架构的考量、全表映射与关键字段存储的选择以及数据一致性保障的方法。此外，还阐述了数据迁移的整体方案和实施步骤，帮助读者理解如何在实际项目中落地实施MySQL+Elasticsearch的双写方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、前言

二、为什么使用mysql+es双写

2.1 单用mysql的问题

2.2 为什么不直接使用es

2.2.1 非关系型表达

2.2.2 不支持事务

2.2.3 多字段将造成性能低下

三、mysql+es双写方案设计要点

3.1 全新设计 VS 中途调整架构

3.2 全表映射 VS 关键字段存储

3.2.1 最大程度发挥es性能

3.2.2 选择mysql还是es作为数据托底

3.3 数据一致性保障

3.3.1 同步双写

3.3.2 异步双写

3.3.3 定期同步

3.3.4 数据订阅

四、mysql+es双写方案数据迁移

4.1 数据迁移整体方案

4.1.1 创建索引

4.1.2 双写改造

4.1.3 数据迁移

4.1.4 搜索服务上线

4.2 数据迁移补充说明

五、方案实施

5.1 前置准备

5.1.1 搭建环境

5.1.2 创建数据表

5.1.3 插入初始化数据

5.1.4 创建一个索引

5.2 搭建springboot工程

5.2.1 引入基础依赖

5.2.2 核心配置文件

5.2.3 es客户端连接配置

5.2.3 mybatis文件

5.2.4 业务实现类

5.2.4 相关测试

5.3 双写业务实现

5.4 数据搜索

5.5 数据迁移

六、写在文末

一、前言

在很多电商网站中，对商品的搜索要求很高，主要体现在页面快速响应搜索结果。这就对服务端接口响应速度提出了很高的要求。而商品数据存储离不开mysql，在高并发场景下，尤其是数据规模达到一定量级，mysql的性能瓶颈一定会出现，为了满足极致的搜索速度，往往需要借助第三方存储，比如nosql数据库，当然主流的搭配还是使用搜索引擎来完成，于是在很多场景下，会选择mysql+elasticsearch来满足这个场景下对搜索的要求。

如下是一个典型的使用mysql+es实现数据双写的应用场景。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
手把手实现MySQL与Elasticsearch数据双写与搜索方案
漠然
03-23 408
/ getters​写路径：采用双写+异步补偿机制，保证最终一致性读路径：根据查询复杂度智能路由，兼顾事务与搜索性能生产就绪：包含监控、告警、自动恢复等企业级特性Elasticsearch官方文档Spring Data最佳实践。
elasticsearch结合mysql使用
Baron0071的博客
12-22 7467
elasticsearch-MySQL 1.系统原理 要通过elasticsearch实现数据检索,首先要将数据导入elasticsearch,并实现数据源与elasticsearch数据同步.这里使用的数据源是Mysql数据库.目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：logstash-input-jdbc,go-mysql-elasticsearch, elasticsearch-jdbc。 系统原理： Elasticsearch：一个基于Luc
技术分析 | 浅析MySQL与ElasticSearch的组合使用
老叶茶馆
09-10 2370
*GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。1. 导入2. ElasticSearch入门2.1. ElasticSearch介绍2.2. ElasticSearch的安装2.3. ElasticSearch概念入门2.4. ElasticSearch简单操作2.5. MySQL与ElasticSearch的实际应用3. 小结1. 导入假设有一业务场景：现有一电...
ElasticSearch同步MySql
1.02^365=1377.41
07-01 9745
ElasticSearch同步Mysql的插件选择了elasticsearch-jdbc,理由是活跃度高，持续更新,最新版本兼容elasticsearch-2.3.3.一、下载下载地址：https://github.com/jprante/elasticsearch-jdbc 下载后解压,里面有bin、lib2个目录. 二、mysql配置确保mysql能用，在mysql中新建一个test数据库m
elasticsearch 实现与mysql 数据同步
weixin_42422661的博客
02-26 2260
1.安装mysql-connector-java 插件（需与mysql 版本一致）mysql8相关的安装可以看下另一篇博客。3.pipelines.yml 配置。1.下载安装logstash。2.logstash 配置。3.canal(阿里云)
elasticsearch如何结合mysql一起使用？
夏寻的博客
06-02 1291
elasticsearch如何结合mysql一起使用？
mysql + elasticsearch数据双写设计与实现
t194978的博客
12-25 1714
在很多电商网站中，对商品的搜索要求很高，主要体现在页面快速响应搜索结果。这就对服务端接口响应速度提出了很高的要求。而商品数据存储离不开mysql，在高并发场景下，尤其是数据规模达到一定量级，mysql的性能瓶颈一定会出现，为了满足极致的搜索速度，往往需要借助第三方存储，比如nosql数据库，当然主流的搭配还是使用搜索引擎来完成，于是在很多场景下，会选择mysql+elasticsearch来满足这个场景下对搜索的要求。如下是一个典型的使用mysql+es实现数据双写的应用场景。
微服务重构：Mysql+DTS+Kafka+ElasticSearch解决跨表检索难题
Diligence is the mother of success.
09-10 1903
1、背景在微服务拆分过程里，会对数据库模块重新进行建模拆分，导致部分表和数据，出现物理隔离，导致跨库JOIN的SQL不可行，并在数据检索上也有性能损耗的风险。下面我们来一起探讨一下，具体的解决方案。1.1 方案比较业界一般解决方案包括不限于下面几个方案实现手段优点缺点应用程序层面改造通过子查询、UNION ALL或进行JOIN操作来实现类似的效果灵活性高、易于实现：可以根据具体需求定制查询逻辑性能...
基于Vue+SpringCloud博客的设计与实现-微服务基础版本组件1.0版本博客采用Vue+SpringCloud前后分离
05-07
* 中间件：Mybatis（分页插件）+Redis（缓存缓解流量）+Redisson（分布式锁）+RabbitMQ（延迟队列）+Elasticsearch（高亮分页排序）+websocket（监听连接传送数据） * 支付：写了支付宝，后续有时间会完善微信，一共...
基于Golang+Kratos+MySQL+Redis+Kafka+elk+Opentracing实现的微服务项目
07-28
在微服务中，MySQL通常用于存储持久化数据，支持事务处理和复杂查询。 4. **Redis**：Redis是一个高性能的键值数据库，常用于缓存和消息队列。在本项目中，Redis可能被用作缓存以提高读取速度，或作为发布/订阅系统...
mysql数据导入elasticsearch并支持SQL查询
03-02
支持定时任务导入mysql数据到elasticsearch 支持SQL语句查询elasticsearch，提供dubbo服务接口 定时任务支持quartz与lts方式
elasticsearch同步mysql方案
小丁的博客
09-20 2379
根据具体需求，也可以编写自定义的Python、Shell等脚本来实现MySQL到Elasticsearch的数据同步。这种方法需要一定的编程能力，但可以更灵活地处理同步过程中的各种情况。编写自定义应用程序，使用JDBC从MySQL读取数据，并使用Elasticsearch的REST API或客户端库将数据同步到Elasticsearch。你可以编写自定义的脚本来读取 MySQL 数据，并使用 Elasticsearch 的 REST API 将数据同步到 Elasticsearch。
Redis,Mysql双写一致性方案
MinisterZ的博客
12-10 327
Redis数据更新，是先更新数据库还是先更新缓存? 但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议。 先做一个说明，从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案。这种方案下，我们可以对存入缓存的数据设置过期时间，所有的写操作以数据库为准，对缓存操作只是尽最大努力即可。 也就是说如果数据库写成功，缓存更新失败，那么只要到达过期时间，则后面的读请求自然会从数据库中读取新值然后回填缓存。因此，接下来讨论的思路不依赖于给缓
Mysql到TiDB迁移，双写数据库兜底方案
京东科技开发者
12-27 781
TiDB 作为开源 NewSQL 数据库的典型代表之一，同样支持 SQL，支持事务 ACID 特性。在通讯协议上，TiDB 选择与 MySQL 完全兼容，并尽可能兼容 MySQL 的语法。因此，基于 MySQL 数据库开发的系统，大多数可以平滑迁移至 TiDB，而几乎不用修改代码。对用户来说，迁移成本极低，过渡自然。
MySQL 和 Elasticsearch 之间的数据同步
最新发布
weixin_45226922的博客
02-25 2040
MySQL 和 Elasticsearch 之间的数据同步是常见的需求，通常用于将结构化数据从关系型数据库同步到 Elasticsearch 以实现高效的全文搜索、聚合分析和实时查询。
Elasticsearch配合mysql实现全文搜索(二) 安装Logstash 和配置
ITfooter的专栏
02-03 2284
Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件 1.下载和安装Logstash 目前最新版 6.1.3  这里使用 TAR.GZ 源码安装 cd /opt wget https://artifacts.elastic.co/downloads/logstash/l
mysql数据迁移到elasticsearch以及elasticsearch的使用
程序猿学社的博客
10-16 1720
myql表结构改为es结构联合存储 mysql存关键的条件数据，es存具体的数据，通过mysql的主键去批量查询数据
MySQL 到 Elasticsearch 实时数据同步实操分享
2401_87214954的博客
09-19 1270
1.点击 Tapdata Cloud 操作后台左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择MySQL。1.同第一步操作，点击左侧菜单栏的【连接管理】，然后点击右侧区域【连接列表】右上角的【创建连接】按钮，打开连接类型选择页面，然后选择 Elasticsearch。Tapdata Cloud 有三种校验模式，我常用最快的快速count校验 ，只需要选择到要校验的表，不用设置其他复杂的参数和条件，简单方便。若指定时区，则使用指定后的时区设置。
Spring Boot微服务实战：ES+MySQL+Kafka网站搭建教程
MyBatis作为持久层框架，课程会详细介绍其与Spring Boot的集成，以及如何编写SQL映射和事务管理，从而实现数据访问和操作。同时，Spring Data JPA作为一种更高级的ORM解决方案，也会被提及，它提供了更简洁的编程...
评论 189
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值