mybatisplus占用大量堆外内存

### MyBatisPlus 大量占用堆外内存的原因 Java应用程序中的堆外内存指的是不在JVM堆空间内的本地内存分配。对于MyBatisPlus，在处理大数据集时可能会遇到大量的数据读取操作，这可能导致较高的堆外内存消耗。由于`jcmd`命令显示的内存包含堆内内存、Code区域以及通过`unsafe.allocateMemory`和DirectByteBuffer申请的内存，但不包含其他Native Code（C代码）申请的堆外内存[^2]。 ### 解决方案概述 为了有效减少MyBatisPlus应用中过多的堆外内存使用情况，可以从优化数据库交互方式入手，采用更高效的数据处理策略来降低整体资源开销。 ### 流式查询与分批处理 一种有效的做法是在Spring Boot环境中利用MyBatis-Plus提供的流式查询特性来进行大数据量的操作。这种方式允许程序逐条获取记录而不是一次性加载全部结果到内存中，从而显著减轻了对堆内外存的压力。具体实现如下： ```java // 使用Stream API进行流式查询 List<User> userList = new ArrayList<>(); try (Stream<Users> userStream = userService.listByIds(ids).stream()) { userStream.forEach(user -> { // 对单个对象做进一步处理并加入集合 userList.add(user); // 当列表达到一定数量则先写出一部分数据 if (userList.size() >= batchSize) { writeDataToExcelAndClear(userList); // 自定义方法用于写入excel并清空list } }); } if (!userList.isEmpty()) { writeDataToExcelAndClear(userList); // 清理剩余未满批次的数据 } ``` 这种方法不仅能够控制每次加载的数据量，还可以配合文件输出逻辑实现实时保存中间结果，防止因长时间运行而导致内存泄漏风险增加。 ### 减少不必要的缓存 确保关闭不再使用的连接池实例，并合理配置其最大活跃数；同时调整SQL映射器接口上的@Options(flushCache=true)，使得每完成一次CRUD操作就刷新二级缓存，避免累积过多临时状态占据额外的空间。 ### 调整JVM参数设置 适当增大-Xmx指定的最大堆尺寸有助于缓解短期内频繁GC带来的性能损耗，但对于长期存在的高负载场景来说并不是根本性的解决之道。更重要的是要关注堆外部分，可以通过设置MaxDirectMemorySize选项限制直接缓冲区内存量，强制触发垃圾回收机制清理无用指针指向的内容。 ```bash -Dio.netty.leakDetectionLevel=paranoid \ -Xms512m -Xmx4g -XX:MaxMetaspaceSize=256m \ -XX:+UseG1GC -XX:MaxDirectMemorySize=1g ``` 上述措施综合运用可以在很大程度上改善由MyBatisPlus引发的大规模数据访问过程中产生的过高堆外内存占用现象。