[线上环境] Dubbo 线程池占满原因排查系列
记几次 [线上环境] Dubbo 线程池占满原因分析(第一次:HttpClient)
记几次 [线上环境] Dubbo 线程池占满原因分析(第二次:CompletableFuture)
记几次 [线上环境] Dubbo 线程池占满原因分析(第三次:GC STW)
前言
某天晚上正在开开心心写代码,忽然收到了线上告警:dubbo 线程池 活跃线程数告警、应用错误日志告警、dubbo线程池队列长度告警;瞬间意识到要出大事情了,得赶紧定位到原因并解决问题,不然时间长了肯定会影响商家功能使用。
一、问题分析
1、监控分析
之前已经有过两次处理dubbo线程池占满的经验,心想:不会又是上次两个问题类似的原因吧?既然这里已经确认是dubbo线程池出现了告警,那么我们先看看线上机器dubbo线程池监控信息,发现出现排队情况的机器不多: