一次线上oom问题排查记录及spring mvc官方bug提交

本文详述了一次线上Java OOM问题的排查过程,通过分析CPU使用、垃圾回收、堆内存状况,发现了Spring MVC的一个内存泄露问题。通过复现问题、调试源码,最终确认为Spring MVC框架的bug,并向官方提交了问题,官方在后续版本中修复了此bug。文章旨在分享问题定位和解决的思路。

本文记录一次线上oom问题的定位过程以及如何解决问题的思路。

很多java的线上问题都可以用类似思路去定位问题以及解决问题,不管是我们自己写的业务bug导致的 或者是框架层的bug. 希望本文可以在排查java问题给到大家一些思路上的帮助。

问题现象

某次周五快要下班的时候,udb登录服务突然有大波告警,赶紧登上机器排查原因,回家吃晚饭的时间又要推迟咯。

一会就有用户反馈上来说 登录不上。二话不说,先重启机器,保留一台现场留作分析。事实上,重启之后,过段时间又有告警上来了。

原因定位

首先使用top命令,查看进程状态,发现app_lgn服务的进程占用cpu异常;

然后查看java的垃圾回收情况

jstat -gcutil pid 1000 100

发现进程确实在频繁地进行着FullGC,结合cmdb上的机器监控以及进程的gc日志,可以确定java 堆内存中因为部分对象释放不了,进入老年代,老年代不断增大,触发FullGC,FullGC的时候,会导致cpu飙升。
在这里插入图片描述

使用jmap确认java堆内存的使用情况:

jmap -heap 56608

多运行几次,对比一下,也可以发现老年代确实处于使用满的状态。

大概确认问题原因之后,就是dump现场堆内存来分析具体原因:

jmap -F -dump:format=b,file=文件名 [pid]

进程的内存比较大,dump可能需要一段时间,耐心等待,等dump下来之后,机器上先压缩一下,然后下载到本机,做分析使用。

本机上有很多软件,可以用作java的内存分析,比如自带的jvisua

### Java 线OOM OutOfMemoryError 解决方案 #### 一、理解 OOM 错误类型 Java 应用程序中的 `OutOfMemoryError` 主要分为几种常见类型: - **Java 堆内存不足(Java Heap Space OOM)** 这种类型的错误表明 JVM 的堆空间不足以完成垃圾回收操作,通常是因为对象过多或单个对象过大。当应用程序创建大量临时对象而未能及时释放时,可能会触发此类错误[^1]。 - **GC Overhead Limit Exceeded** 此错误表示垃圾收集器花费了太多时间尝试清理少量可用内存,导致应用性能严重下降甚至停止响应。Oracle 官方指出该情况通常是由于频繁的小规模垃圾回收造成系统资源耗尽所致[^2]。 #### 二、诊断工具与技术 为了有效定位和解决问题,在线环境下的调试至关重要。可以采用如下手段来捕获必要的信息用于后续分析: - 使用 `-XX:+HeapDumpOnOutOfMemoryError` 参数配置JVM启动参数,使得发生OOM时自动生成heap dump文件供离线分析。 - 利用 VisualVM 或 JProfiler 进行实时监控,观察内存变化趋势以及各代存活对象数量;还可以通过这些工具获取线程转储(Thread Dump),帮助识别是否存在死锁等问题影响正常工作流程。 - 查看日志记录,特别是那些由第三方库生成的日志条目,它们可能隐藏着关于异常行为的重要线索。 ```bash jmap -histo:live <pid> | head -n 50 # 显示当前进程中前五十大类实例占用的总字节数量 ``` 上述命令可以帮助快速了解哪些类正在消耗较多的内存资源。 #### 三、具体措施建议 针对不同种类的 OOM 错误采取相应的预防性和修复性行动: 对于 **Java Heap Space OOM**: - 分析 heap dump 文件找出泄露源码位置; - 减少不必要的缓存数据保留期限; - 提高数据库查询效率减少一次性加载的数据集大小; - 合理调整最大堆尺寸(`-Xmx`) 和初始堆尺寸 (`-Xms`) 设置以适应实际负载需求。 面对 **GC Overhead Limit Exceeded** : - 修改 GC算法选项如选用G1收集器替代CMS; - 扩展年轻代比例使更多短生命周期的对象能够在此处被迅速清除而不进入老年代引发全局扫描; - 如果业务逻辑允许的话适当放宽gc开销阈值(-XX:GCTimeRatio=99); - 对于某些特殊场景考虑引入软/弱引用机制代替强引用来管理可选组件间的依赖关系从而降低整体压力. ```xml <property name="spring.datasource.hikari.maximumPoolSize" value="${MAX_POOL_SIZE}" /> <!-- 配置连接池的最大活跃数 --> ``` 合理设置数据库连接池参数也是缓解内存紧张的有效途径之一。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值