mybatis流式游标查询-导出DB大数据量查询OOM问题

最新推荐文章于 2024-04-12 10:36:21 发布
最新推荐文章于 2024-04-12 10:36:21 发布
阅读量1.4k 收藏 16
点赞数 23
CC 4.0 BY-SA版权
分类专栏： spring java mybatis 文章标签： mybatis 数据库 性能优化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42740540/article/details/137235278
本文探讨了Mysql中不同数据处理类型的优缺点，特别是游标查询和流式查询在处理大数据量时如何避免内存溢出。作者还提供了MyBatis中如何利用流式查询和游标来优化查询性能的方法，以及注意事项和使用场景总结。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题场景

Mysql数据处理类型分以下三种

com.mysql.cj.protocol.a.result.ResultsetRowsStatic：普通查询，将结果集一次性全部拉取到内存

com.mysql.cj.protocol.a.result.ResultsetRowsCursor：游标查询，将结果集分批拉取到内存，按照fetchSize大小拉取，会占用当前连接直到连接关闭。在mysql那边会建立一个临时表写入磁盘（查询结束后由mysql回收处理），会导致mysql server磁盘io飙升。

com.mysql.cj.protocol.a.result.ResultsetRowsStreaming:流式查询，将结果集一条一条的拉取进内存，比较依赖网络，可能会造成网络阻塞。占用当前mysql连接。

 

所以在普通查询大数据量时如果JVM内存不够用会出现OOM异常。如下测试方案

数据量20w，一条数据大概2K。

虚拟机参数 -Xmx256m -Xms256m

（1）普通查询，大概接近200多M就GC释放

(2)

最低0.47元/天 解锁文章

200万优质内容无限畅学
Mybatis动态SQL查询 --（附实战案例--8888个字--88质量分）
qq_53317005的博客
03-27 3844
Mybatis动态SQL查询--（附实战案例），详细介绍了动态查询的要用到的各种标签及其用法
mybatis-generator-core-1.3.2
12-25
在Java开发领域，MyBatis Generator（MBG）是一个强大的工具，它极大地简化了数据访问层的编码工作。MyBatis Generator Core 1.3.2是这个框架的一个版本，专门用于自动生成MyBatis相关的代码，包括实体类、Dao接口...
MyBatis中使用流式查询避免数据量过大导致OOM
bobozai86的博客
08-23 4912
今天mybatis查询数据库中大量的数据，程序抛出： java.lang.OutOfMemoryError: Java heap space 看下日志，是因为一次查询数据量过大导致JVM内存溢出了，虽然可以配置JVM大小，但是指标不治本，还是需要优化代码。网上查看大家都是流式查询，这里记录下解决的过程。 1、Mapper.xml配置 select语句需要增加fetchSize属性，底层是...
使用mybatis-plus流式查询解决文件导出出现oom的问题
最新发布
程序猿的博客
04-12 1435
MybatisPlus的流式查询功能为开发者在处理大数据量场景时提供了强大且高效的解决方案。通过合理设置流式查询参数，既能保证系统的内存利用率，又能确保数据处理的高效进行。掌握并善用流式查询，无疑将为您的项目开发增添一份有力保障。
Mybatis集成MySQL使用游标查询处理大批量数据
WannaRunning的博客
01-18 2136
随着用户量的上升表数据已经上千万，每天扫描处理的数量也超百万，limit分页出现了慢sql，任务执行时间也达不到预期了。上述方案出现瓶颈后考虑放弃limit方案，使用游标的方式进行全量数据的获取，这样一来SQL执行快任务执行也快。在设置了useCursorFetch=true后,需要在SQL中指定fetchSize，即一次获取的数据量。基于数据的时间范围查询，给符合条件的用户推送积分即将到期的提醒。下面是基于上面的SQL做大量数据查询后写入文件的代码示例。
MyBatis查询接口返回大量数据导致OOM
走在命运的左岸
10-04 1万+
MyBatis查询接口返回大量数据导致OOM 异常描述 接口调试过程中发现程序运行中断，DEBUG跟踪到Mapper中的查询接口报错，没有接收到返回值且抛出 out of memory 异常 异常定位 逐步DEBUG，对比传入底层的参数及最终的执行的SQL，发现WHERE条件均没有传参，即此时是全表查询，且数据量很大，导致了OOM异常的发生 异常反思 接口复用性：Mapper.ja...
MyBatis 游标查询大量数据
长安明月的博客
06-28 1万+
  当查询百万级或千万级大数据量的时候，MyBatis 普通查询（一次性查询出所有数据，将查询后的结果集全部塞给客户端）可能会 OOM(OutOfMemoryError)。使用游标可以节省内存消耗，不需要一次性取出所有数据，只需一次查询指定 fetchSize 的数据，直到把数据全部处理完。以下是项目中的demo。   数据库表 tbl_mgm_menu 中已构造出大量数据（如何构造大量测试数据，见上一篇博客《MySQL - 使用存储过程快速制造大量测试数据》），springboot + mybatis 项
MyBatis如何实现流式查询的示例代码
08-19
MyBatis流式查询示例代码 MyBatis是一个流行的持久层框架，它提供了多种方式来实现数据库的交互操作，其中流式查询是一种非常重要的机制，它能够降低内存使用，提高查询效率。在本文中，我们将详细介绍MyBatis如何...
mybatis游标查询和流式查询
09-28
mybatis游标查询和流式查询是处理大数据量查询时常用的两种技术。 mybatis游标查询是通过游标来逐行获取查询结果，可以有效地减少内存的占用，避免OOM（Out of Memory）的问题。在MySQL 8.0中，需要在jdbc驱动链接...
Mybatis/Mybatis-Plus 使用流式查询优化大量数据导出
Dream_xun的专栏
08-03 1万+
前言 相信小伙伴们工作当中肯定会经常遇到导出数据的需求，做这个导出需求的话相信大家肯定很多人用easypoi工具包，这个工具包用起来是真的方便，爽。但是如果数据量大，产品又要你导出很多数据，这时候就不爽了，因为如果数据量大的话，服务器配置又不是很高，那么很容易就把服务器导挂了。今天就教大家一招（有能力的小伙伴也可以自行研究使用其它方式优化导出），使用mybatis/mybatis-plus中的流式查询结合阿里的easyexcel做到一边查询一边写入流的方式优化大量数据导出，这样做写入流后的数据内存就可
java设置游标输出参数_mybatis中调用输出参数为游标的存储过程，及存储函数的调用...
weixin_39622562的博客
02-23 281
1.mybatis中调用存储过程存储过程CREATE OR REPLACE procedure getStudentByScore(scores IN NUMBER,students OUT SYS_REFCURSOR) isbeginOPEN students FOR SELECT * from student WHERE score = scores;end getStudentByScore...
Springboot+Mysql流式查询——避免内存溢出（OOM）
qq_39231899的博客
12-07 2615
话说笔者最近在做一个数据迁移的功能，说白了就是数据导出导入嘛。寻思着这还不简单，没想到第一步就GG了。 具体就是在数据库查询返回数据集时，由于数据集过大（大约几十万条吧）导致出现了内存溢出，即后台报错OOM。面对这种问题我们的第一反应肯定是将结果分页返回。但是分页却不得不考虑到几个问题：首先就是每页的大小，需要经过测试来确定一个合适的值，如果页面过大仍然可能出现内存溢出的问题；其次就是对于结果超大的数据集，在分页时偏移性能、查询开销和结果预加载似乎真的会损害分页方法的效率，简而言之就是会比较慢。 经过一翻查
mybatis使用流式查询避免一次性查询数据量过大导致OOM（内存溢出）
热门推荐
ratel的博客
12-05 1万+
开发中难免会遇到大批量数据的导出，比如几十万条数据，而服务器的内存过小则导致内存溢出，这篇文章将带你领略使用mybatis的流式查询来减小内存压力。
mybatisPlus、BigExcelWriter大数据量流式查询并导出
weixin_44792849的博客
08-06 1762
对于大量数据输出，采用EasyExcel.write()或者hutool的ExcelWriter容易引起内存溢出，因此有了BigExcelWriter。Oracle的fetchSize建议设置成1000，MySQL的fetchSize建议设置成Integer.MIN_VALUE。因此流式查询则使用数据库游标，查一行处理一行，消耗内存较少，不阻塞数据库IO,在大数据处理场景中推荐使用。DAO层的流式处理函数的声明。
mybatis 使用游标Cursor 流式查询
m0_57968888的博客
03-13 2576
流式查询指的是查询成功后不是返回一个集合而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能够降低内存使用。如果没有流式查询，我们想要从数据库取1000 万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计的不好，就无法执行高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。MyBatis中使用流式查询避免数据量过大导致OOM执行一个流式查询后，数据库访问框架就不负责关闭数据库连接了，需要应用在取完数据后自己关闭。
MySQL mybatis使用游标查询获取数据集
aa1382525的专栏
08-08 5368
从数据集中查询100W条 数据并生成到文件中 环境：Mysql5.7 innodb 显然不能一次性数据集查询到本地 那么有两种做法 1、用limit 分页查询 在一个事务中多次分页查询 然后讲结果集交给其他处理线程写文件；使用可重复读事务隔离级别 能够保证即使在处理过程中其他事务修改插入删除了满足条件的记录 多次分页查询的数据是确定的，且并不会阻塞这些CUD操作 2、使用服务端游标； ...
mybatis 游标查询_MySQL mybatis使用游标查询获取数据集
weixin_39636850的博客
12-20 2571
从数据集中查询100W条 数据并生成到文件中环境：Mysql5.7 innodb显然不能一次性数据集查询到本地那么有两种做法1、用limit 分页查询在一个事务中多次分页查询 然后讲结果集交给其他处理线程写文件；使用可重复读事务隔离级别 能够保证即使在处理过程中其他事务修改插入删除了满足条件的记录 多次分页查询的数据是确定的，且并不会阻塞这些CUD操作2、使用服务端游标；mybatis mappe...
真实案例丨OOM内存溢出解决方案连载之一，【流式查询】不容错过！
威哥爱编程，CSDN 博客专家、全栈领域新星创作者、华为 HDE，愿交天下 IT 技术爱好者
09-09 865
ApiImplicitParam 注解中虽然可以指定参数是必填的，但是却不能代替 @RequestParam(required = true) ，前者的必填只是在 Swagger 框架内必填，抛弃了 Swagger ，这个限制就没用了，所以假如开发者需要指定一个参数必填， @RequestParam(required = true) 注解还是不能省略；由于我们现在没有设置 Swagger 要扫描哪些包，所以默认所有暴露的接口都被扫描了，所以就连同这个默认的异常处理接口一起被扫描出来了。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值