一次永久代泄漏（perm泄漏）排查

最新推荐文章于 2024-07-26 01:50:31 发布
最新推荐文章于 2024-07-26 01:50:31 发布
阅读量520 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： java awk python
原文链接：https://my.oschina.net/u/1000241/blog/3073901
本文深入探讨了Perm区泄露的问题，特别是在动态类加载场景下的分析。通过实例展示了如何使用jmap和arthas等工具定位问题，最终锁定真凶并提出解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写在前面

网上关于perm区泄露的文章比较少，特别是对于动态类加载方面问题的分析比较少，在此记录下。

perm区问题一般两种解决方案：

  • 启动时perm区问题，一般修改PermSize,MaxPermSize参数即可
  • 运行时动态生成类加载问题，这种问题比较难搞，需要关心动态加载了哪些类

周末早晨收到几台机器告警(fullgc告警)(perm大于90%告警)，为快速解决问题，先把几台机器重启解决，留下了一台禁用端口保留现场进行问题分析。平时上线发版比较频繁，发版后jvm回收，如果较长时间没有发版可能会造成泄露，收到告警。

吃完早饭后登上机器进行排查。

排查过程

登入机器，查看内存使用高的进程：

top

pid:15298

既然是perm区问题，查看永久代情况：

jmap -permstat pid > 15298dump.permstat

class_loader	classes	bytes	parent_loader	alive?	type

<bootstrap>	3630	21866152	  null  	live	<internal>
0x0000000705e4df00	1	2008	0x00000006c002e450	dead	sun/reflect/DelegatingClassLoader@0x00000007c0050c30
0x00000007282e1040	4	23480	0x00000006c002e450	dead	com/facebook/swift/codec/internal/compiler/DynamicClassLoader@0x00000007c377f040

通过awk统计type类型，查看加载了哪种类型的类：

awk '{ arr[$6]+=$3 } END { for (key in arr) printf("%s\t%s\n", key, arr[key]) }' 15298dump.permstat | sort -k2,2

ava/net/URLClassLoader@0x00000007c01c1598	0
java/util/ResourceBundle$RBClassLoader@0x00000007c0337380	0
type	0
sun/reflect/DelegatingClassLoader@0x00000007c0050c30	11361872
sun/reflect/misc/MethodUtil@0x00000007c777bf60	134528
<internal>	21866152
com/alibaba/fastjson/util/ASMClassLoader@0x00000007c44de0e0	4785232
N/A	5146
sun/misc/Launcher$AppClassLoader@0x00000007c021c2d8	5423216
com/facebook/swift/codec/internal/compiler/DynamicClassLoader@0x00000007c377f040	5488288
sun/misc/Launcher$ExtClassLoader@0x00000007c01c1978	615216
org/eclipse/jetty/webapp/WebAppClassLoader@0x00000007c06e0da0	738107040

WebAppClassLoader加载最多，达到了738107040，近738m。

知道了加载的类最多，怎么分析具体加载了哪种类呢？

之前一般通过Java -verbose查看启动类加载过程。

对于运行时貌似有两种方式：

机器上安装好arthas-boot.jar，并启动：

java -jar arthas-boot.jar

选择进程，执行类后台导出，便后续分析：

classloader -a >> &

打开导出文件：

hash:null, BootstrapClassLoader                                                                                                                                                  
 [B                                                                                                                                                                               
 [C                                                                                                                                                                               
 [D                                                                                                                                                                               
 [F                                                                                                                                                                               
 [I                                                                                                                                                                               
 [J                                                                                                                                                                               
 [Lcom.sun.activation.registries.MimeTypeFile;                                                                                                                                    
 [Lcom.sun.imageio.plugins.jpeg.DHTMarkerSegment$Htable;                                                                                                                          
 [Lcom.sun.imageio.plugins.jpeg.ImageTypeProducer;                                                                                                                                
 [Lcom.sun.imageio.plugins.jpeg.JPEGImageReader$CallBackLock$State;                                                                                                               
 [Lcom.sun.imageio.plugins.jpeg.JPEGImageWriter$CallBackLock$State;                                                                                                               
 [Lcom.sun.imageio.plugins.jpeg.SOFMarkerSegment$ComponentSpec;                                                                                                                   
 [Lcom.sun.imageio.plugins.jpeg.SOSMarkerSegment$ScanComponentSpec;                                                                                                               
 [Lcom.sun.jmx.mbeanserver.ClassLoaderRepositorySupport$LoaderEntry;                                                                                                              
 [Lcom.sun.jmx.mbeanserver.MXBeanMapping;                                                                                                                                         
 [Lcom.sun.org.apache.xalan.internal.utils.FeatureManager$Feature;                                                                                                                
 [Lcom.sun.org.apache.xalan.internal.utils.FeaturePropertyBase$State;                                                                                                             
 [Lcom.sun.org.apache.xalan.internal.utils.XMLSecurityManager$Limit;                                                                                                              
 [Lcom.sun.org.apache.xalan.internal.utils.XMLSecurityManager$NameMap;                                                                                                            
 [Lcom.sun.org.apache.xalan.internal.utils.XMLSecurityManager$State;                                                                                                              
 [Lcom.sun.org.apache.xalan.internal.utils.XMLSecurityPropertyManager$Property;                                                                                                   
 [Lcom.sun.org.apache.xerces.internal.impl.XMLEntityManager$CharacterBuffer;                                                                                                      
 [Lcom.sun.org.apache.xerces.internal.impl.dtd.models.CMLeaf;                                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.impl.dtd.models.CMNode;                                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.impl.dtd.models.CMStateSet;                                                                                                                 
 [Lcom.sun.org.apache.xerces.internal.impl.dtd.models.ContentModelValidator;                                                                                                      
 [Lcom.sun.org.apache.xerces.internal.impl.dv.DatatypeValidator;                                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.impl.dv.XSSimpleType;                                                                                                                       
 [Lcom.sun.org.apache.xerces.internal.impl.dv.xs.AbstractDateTimeDV$DateTimeData;                                                                                                 
 [Lcom.sun.org.apache.xerces.internal.impl.dv.xs.TypeValidator;                                                                                                                   
 [Lcom.sun.org.apache.xerces.internal.impl.dv.xs.XSSimpleTypeDecl;                                                                                                                
 [Lcom.sun.org.apache.xerces.internal.impl.xpath.regex.RegularExpression;                                                                                                         
 [Lcom.sun.org.apache.xerces.internal.impl.xs.SchemaGrammar;                                                                                                                      
 [Lcom.sun.org.apache.xerces.internal.impl.xs.SubstitutionGroupHandler$OneSubGroup;                                                                                               
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSAnnotationImpl;                                                                                                                   
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSAttributeUseImpl;                                                                                                                 
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSComplexTypeDecl;                                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSElementDecl;                                                                                                                      
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSGroupDecl;                                                                                                                        
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSNotationDecl;                                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.impl.xs.XSParticleDecl;                                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.impl.xs.identity.IdentityConstraint;                                                                                                        
 [Lcom.sun.org.apache.xerces.internal.impl.xs.identity.XPathMatcher;                                                                                                              
 [Lcom.sun.org.apache.xerces.internal.impl.xs.models.XSCMLeaf;                                                                                                                    
 [Lcom.sun.org.apache.xerces.internal.impl.xs.models.XSCMValidator;                                                                                                               
 [Lcom.sun.org.apache.xerces.internal.impl.xs.opti.DefaultNode;                                                                                                                   
 [Lcom.sun.org.apache.xerces.internal.impl.xs.opti.NodeImpl;                                                                                                                      
 [Lcom.sun.org.apache.xerces.internal.impl.xs.traversers.OneAttr;                                                                                                                 
 [Lcom.sun.org.apache.xerces.internal.impl.xs.traversers.XSDocumentInfo;                                                                                                          
 [Lcom.sun.org.apache.xerces.internal.impl.xs.util.SimpleLocator;                                                                                                                 
 [Lcom.sun.org.apache.xerces.internal.impl.xs.util.XInt;                                                                                                                          
 [Lcom.sun.org.apache.xerces.internal.util.Status;                                                                                                                                
 [Lcom.sun.org.apache.xerces.internal.util.SymbolHash$Entry;                                                                                                                      
 [Lcom.sun.org.apache.xerces.internal.util.SymbolTable$Entry;                                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.util.XMLAttributesImpl$Attribute;                                                                                                           
 [Lcom.sun.org.apache.xerces.internal.utils.XMLSecurityManager$Limit;                                                                                                             
 [Lcom.sun.org.apache.xerces.internal.utils.XMLSecurityManager$NameMap;                                                                                                           
 [Lcom.sun.org.apache.xerces.internal.utils.XMLSecurityManager$State;                                                                                                             
 [Lcom.sun.org.apache.xerces.internal.utils.XMLSecurityPropertyManager$Property;                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.utils.XMLSecurityPropertyManager$State;                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.xni.QName;                                                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.xni.XMLLocator;                                                                                                                             
 [Lcom.sun.org.apache.xerces.internal.xni.grammars.Grammar;                                                                                                                       
 [Lcom.sun.org.apache.xerces.internal.xni.grammars.XSGrammar;                                                                                                                     
 [Lcom.sun.org.apache.xerces.internal.xs.ShortList;                                                                                                                               
 [Lcom.sun.org.apache.xerces.internal.xs.XSAnnotation;                                                                                                                            
 [Lcom.sun.org.apache.xerces.internal.xs.XSAttributeUse;                                                                                                                          
 [Lcom.sun.org.apache.xerces.internal.xs.XSComplexTypeDefinition;                                                                                                                 
 [Lcom.sun.org.apache.xerces.internal.xs.XSElementDeclaration;                                                                                                                    
 [Lcom.sun.org.apache.xerces.internal.xs.XSIDCDefinition;                                                                                                                         
 [Lcom.sun.org.apache.xerces.internal.xs.XSModelGroupDefinition;                                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.xs.XSNamespaceItem;                                                                                                                         
 [Lcom.sun.org.apache.xerces.internal.xs.XSNotationDeclaration;                                                                                                                   
 [Lcom.sun.org.apache.xerces.internal.xs.XSObject;                                                                                                                                
 [Lcom.sun.org.apache.xerces.internal.xs.XSParticle;                                                                                                                              
 [Lcom.sun.org.apache.xerces.internal.xs.XSSimpleTypeDefinition;                                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.xs.XSTerm;                                                                                                                                  
 [Lcom.sun.org.apache.xerces.internal.xs.XSTypeDefinition;                                                                                                                        
 [Lcom.sun.org.apache.xerces.internal.xs.datatypes.XSDateTime;                                                                                                                    
 [Lcom.sun.org.apache.xml.internal.dtm.DTM;                                                                                                                                       
 [Lcom.sun.org.apache.xml.internal.dtm.DTMAxisTraverser;                                                                                                                          
 [Lcom.sun.org.apache.xml.internal.dtm.DTMIterator;                                                                                                                               
 [Lcom.sun.org.apache.xml.internal.dtm.ref.ExpandedNameTable$HashEntry;                                                                                                           
 [Lcom.sun.org.apache.xml.internal.dtm.ref.ExtendedType;                                                                                                                          
 [Lcom.sun.org.apache.xpath.internal.Expression;                                                                                                                                  
 [Lcom.sun.org.apache.xpath.internal.ExpressionNode;                                                                                                                              
 [Lcom.sun.org.apache.xpath.internal.XPathVisitable;                                                                                                                              
 [Lcom.sun.org.apache.xpath.internal.axes.LocPathIterator;                                                                                                                        
 [Lcom.sun.org.apache.xpath.internal.axes.PathComponent;                                                                                                                          
 [Lcom.sun.org.apache.xpath.internal.axes.PredicatedNodeTest;                                                                                                                     
 [Lcom.sun.org.apache.xpath.internal.axes.SubContextList;                                                                                                                         
 [Lcom.sun.org.apache.xpath.internal.objects.XObject;                                                                                                                             
 [Lcom.sun.org.apache.xpath.internal.patterns.NodeTest;                                                                                                                           
 [Lcom.sun.xml.internal.ws.org.objectweb.asm.Item;                                                                                                                                
 [Lcom.sun.xml.internal.ws.org.objectweb.asm.Type;                                                                                                                                
 [Ljava.awt.AWTKeyStroke;                                                                                                                                                         
 [Ljava.awt.Dimension;                                                                                                                                                            
 [Ljava.awt.Queue;                                                                                                                                                                
 [Ljava.awt.event.ActionListener;                                                                                                                                                 
 [Ljava.awt.event.ComponentListener;                                                                                                                                              
 [Ljava.awt.event.FocusListener;                                                                                                                                                  
 [Ljava.awt.event.HierarchyBoundsListener; 
 ......

统计最多的类：

#!/usr/bin/python

from collections import Counter

package_name_count_dic = {}
for s in open('14.txt'): 
    full_qualified_name = s.strip()
    if not full_qualified_name:
        continue
    class_name_index = full_qualified_name.rfind('.')
    if class_name_index >= 0:
        package_name, class_name = full_qualified_name[:class_name_index], full_qualified_name[class_name_index + 1:]
    else:
        package_name = class_name = full_qualified_name
    if package_name in package_name_count_dic:
        package_name_count_dic[package_name] += 1
    else:
        package_name_count_dic[package_name] = 1
k = Counter(package_name_count_dic)
high = k.most_common(5)
for p, c in high:
    print p, c

最多的几个类：

真凶：ma.glasnost.orika.generated。

查看代码中谁使用了orika类库。

发现是闪购同学，由于我们的系统目前对接多方，闪购同学还在我们系统做代码开发，在codereview上存在一些问题。

@Component
public class SGMapperFactory implements FactoryBean<MapperFactory> {
    @Override
    public MapperFactory getObject()  {
        return new DefaultMapperFactory.Builder().build();
    }

    @Override
    public Class<?> getObjectType() {
        return MapperFactory.class;
    }

    @Override
    public boolean isSingleton() {
        return true;
    }
}

每次调用getObject都会新创建DefaultMapperFactory对象。MapperGenerator 每次会动态产生类。

至此问题排查，推动闪购同学改动。

后记

看代码是3月份代码写的，为何到现在才发现问题呢？

首先是平时发版比较频繁，jvm发版后问题解决。 最近发版比较少，同时这些是扩容机器，在最近的几次发版中并没有发版，所以造成类加载持续一段时间，最后造成永久代泄露。 为尽早发现问题需要在流程上进行控制，比如增加codereview细致程度，在灰度发版后对发版机器进行引流压测，尽早发现问题，解决问题。

转载于:https://my.oschina.net/u/1000241/blog/3073901

chunyusi1569
关注
java 线程泄露_内存泄露排查之线程泄露
weixin_42355311的博客
02-16 1362
基础内存泄露(Memory Leak)java中内存都是由jvm管理，垃圾回收由gc负责，所以一般情况下不会出现内存泄露问题，所以容易被大家忽略。内存泄漏是指无用对象(不再使用的对象)持续占有内存或无用对象的内存得不到及时释放，从而造成内存空间的浪费称为内存泄漏。内存泄露有时不严重且不易察觉，这样开发者就不知道存在内存泄露，需要自主观察，比较严重的时候，没有内存可以分配，直接oom。主要和溢出做区...
一次关于Netty+Gson造成内存泄露的分析排查
愤怒的菜鸟
07-12 684
最近做了一个内部系统之间的数据同步服务器，client端通过socket发送经过压缩的json数据到server端，server完成数据解码和保存。server架构：netty+Gson解码   在做压力测试的时候，竟然发现server内存泄露。分析内存泄露的时候，其实我们可以从简单方法入手，因为jdk1.6后自身就带有不错的内存分析工具，而且我认为使用好这些工具基本足够高，因为如果你对这些工
常量池、perm(持久代)、方法区、栈
coekaa826620的博客
03-16 202
常量池、perm(持久代)、方法区、栈 常量池指的是在编译期被确定，并被保存在已编译的.class文件中的一些数据。除了包含代码中所定义的各种基本类型(如：int、long等等)和对象型(如String及数组)的常量值(fin...
大量DelegatingClassLoader类加载器，导致Perm区溢出
hellozhxy的博客
06-03 6551
当使用Java反射时，Java虚拟机有两种方法获取被反射的类的信息。它可以使用一个JNI存取器；如果使用Java字节码存取器，则需要拥有它自己的Java类和类加载器（sun/reflect/GeneratedMethodAccessor类和sun/reflect/DelegatingClassLoader)，这些类和类加载器使用本机内存。字节码存取器也可以被JIT编译，这样会增加本机内存的使用。如...
java堆结构_Java堆的结构是什么样子的？什么是堆中的永久代(Perm
weixin_42297675的博客
02-12 645
以下是我参考资料整理的：Java堆可以细分为：新生代和老年代；在细致一点的有Eden空间、From Survivor空间、To Survivor空间等。这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象，可以根据跟个年代的特点采用最适当的收集算法。在新生代中，每次垃圾收集时都发现有大批的对象死去，只有少量存活，那就选用复制算法，只需要付出少量存活对象的复制成本就可以完成收集。而老年代中因...
Java PermGen 去哪里了?
donsonzhang的专栏
06-03 943
在JDK8之前的HotSpot JVM，存放这些"永久的"的区域叫做“永久代(permanent generation)”。永久代是一片连续的堆空间，在JVM启动之前通过在命令行设置参数-XX:MaxPermSize来设定永久代最大可分配的内存空间，默认大小是64M（64位JVM由于指针膨胀，默认是85M）。永久代的垃圾收集是和老年代(old generation)捆绑在一起的，因此无论谁满了，都会触发永久代和老年代
java cpu100%_JAVA应用CPU占用100%|内存泄漏分析总结
weixin_39979080的博客
02-16 343
问题现象vrs后台系统从某一时间点，根据已查结果，追溯到几个月前上线的PGC审核功能引起。近期大概一周左右运营使用时会反馈系统访问越来越来慢，最终系统崩溃，无法访问。因为之前媒资每周都会有功能上线，把这个问题覆盖掉了，未能很快暴露出来。实际上，通过Zabbix观察监控cpu、swap占用都是比较高的。1031问题分析之CPU 100%10-31日出现过一次问题，服务器上执行top命令按键1观察始终...
如何排查Java内存泄漏？看完我给跪了！
01-20
排查内存泄漏的一个实用工具是Java VisualVM，它允许开发者在运行时分析Java应用程序，包括内存使用情况。通过检查对象生命周期，查看哪些对象被持久引用，以及内存分配模式，可以发现潜在的泄漏源。此外，监控和...
内存泄漏-问题排查
qq_32754593的博客
07-31 446
问题现象：请求无响应，线程粘滞。 问题定位： 第一步：通过jstat命令可以查看JVM的内存使用和垃圾回收情况： jstat –gcutil <pid> <timediff> > <filename> <pid>为进程号，<timediff>为每次输出的间隔ms，> <filename>是将结果输出至文件中，可以省略，直接输出到控制台 该命令的输出： S0、S1：代表S0/S1的内存占用百分比
hadoop1.0 TaskTracker因为分布式缓存导致内存泄露的一次问题排查
快乐程序员的专栏
11-29 2115
hadoop1.0 TaskTracker因为分布式缓存导致内存泄露的一次问题排查
Security 原理与总结
m0_70703282的博客
07-26 1177
可以从数据库中爬取对应数据/*** TODO*/@Service@Autowired@Overridethrow new RuntimeException("当前用户不存在");//封装LoginUser对象 包含账户名 密码 是否可用//将Authentication对象（用户信息，已认证转态、权限信息） 存入 SecurityContextConfig。
spring安全框架应用
战斗机
10-11 143
第一步 将spring-security-core-2.0.3.jar和spring-security-taglibs-2.0.3.jar包加入工程，修改原有的jsp代码，将登录的验证放到action中处理，更改index.jsp的form提交的action代码。 文件路径：ezg2.7\WebRoot\index.jsp Html代码 [code="html"] ...
JMAP的使用
u011163372的博客
11-01 7588
jmap –heap Attaching to process ID 369634, please wait… Debugger attached successfully. Server compiler detected. JVM version is 25.20-b23using thread-local object allocation. Parallel GC with 43
【Java异常】Error:(30, 62) java: 程序包com.sun.org.apache.xerces.internal.impl.dv.util不存在
热门推荐
No8g攻城狮的博客
08-11 1万+
本文目录 一、错误信息 二、错误原因 三、解决方案 一、错误信息 Error:(30, 62) java: 程序包com.sun.org.apache.xerces.internal.impl.dv.util不存在 Error:(30, 1) java: 仅从类和接口静态导入 二、错误原因 查了好久，原因竟然是我的JDK版本过高导致的，本地装了JDK8和JDK9，Idea编辑器打开项目默认用的是JDK9，而这个项目本身用的是JDK8。 三、解决方案 将JDK9降为JDK8即可。 方
测试Perm区溢出引起的OOM以及原因分析
adermxl的专栏
08-17 2098
Jdk版本：1.6.0_38 运行参数：-XX:PermSize=4M -XX:MaxPermSize=4M -verbose -verbose:gc-XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled 程序代码：    public static void main(String[] args)  {         Random r
shiro权限
weixin_46423748的博客
05-14 1761
shiro权限框架 什么是shiro Shiro是apache旗下一个开源框架，它将软件系统的安全认证相关的功能抽取出来，实现用户身份认证，权限授权、加密、会话管理等功能，组成了一个通用的安全认证框架。 shiro架构 Subject Subject即主体，外部应用与subject进行交互，subject记录了当前操作用户，将用户的概念理解为当前操作的主体，可能是一个通过浏览器请求的用户，也可能是一个运行的程序。 Subject在shiro中是一个接口，接口中定义了很多认证授权相关的方法，外部程序通过su
基于SSM+MVC三层架构实现用户权限管理系统
wanghuichen的博客
10-31 1586
基于SSM+MVC三层架构实现用户权限管理系统~
Spring集成Orika
苁蕶開始
05-16 1万+
我喜欢好的软件，而且Orika真的是一个有意思的项目，在这篇文章中，我将讨论我最近使用的这个Java bean映射框架，我强烈推荐它。 Orika(以前托管于谷歌代码)声称它是一个更简单、更轻量、更快的Java Bean映射工具，我认为他确实是这样的
OOM排查
最新发布
04-01
当应用加载了大量的类或者动态代理生成了许多临时类文件时，可能导致永久代或元空间不足[^4]。 - 解决方案： - 调整 JVM 参数以增加永久代或元空间的最大容量。例如，在 Java 7 和更早版本中可以使用 `-XX:...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值