【开发篇】八、导出大文件导致内存溢出

最新推荐文章于 2024-09-26 22:18:04 发布

-代号9527

最新推荐文章于 2024-09-26 22:18:04 发布

阅读量1.1k

点赞数 10

CC 4.0 BY-SA版权

分类专栏： JVM 文章标签： spring java oom 导出文件

From CSDN@-代号9527

本文链接：https://blog.csdn.net/llg___/article/details/137044654

JVM 专栏收录该内容

38 篇文章

订阅专栏

文章讲述了在一个支持大量数据导出的管理系统中，如何通过分析和复现内存溢出问题，发现是ApachePOI导致的。通过比较不同解决方案（如SXSSFWorkbook、HutoolBigExcelWriter和EasyExcel），最终推荐使用EasyExcel进行分批导出以避免内存溢出，确保系统在高并发场景下的稳定运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、背景

有个管理系统，支持几十万条数据导出到excel，但当有几十人同时导出文件，就会内存溢出。

在这里插入图片描述

此外，系统用k8s部署，程序运行在容器中。整体架构如下：客户端通过负载均衡达到Service，底下一堆Pod在干活儿，pod中的容器里运行着微服务。最后，文件的导出，选择导出到阿里云的oss。

在这里插入图片描述

2、快照文件分析

打开生产环境OOM时的快照文件，这次从overview首页进入，点击比例最大的：

在这里插入图片描述

找到线程对象下的HanlderMethod --> List Objects

在这里插入图片描述

找到问题代码：

在这里插入图片描述

直方图按深堆排序也证明了这一点：

在这里插入图片描述

3、复现

文件导出目前使用了阿帕奇的POI框架：

<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi</artifactId>
    <version>4.1.2</version>
</dependency>
<dependency>
    <groupId>org.apache.poi</groupId>
    <artifactId>poi-ooxml</artifactId>
    <version>4.1.2</version>
</dependency>

实现：

import org.apache.commons.lang3.RandomStringUtils;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.*;

import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.time.format.DateTimeFormatter;
import java.util.ArrayList;
import java.util.List;

/**
 * -XX:+HeapDumpOnOutOfMemoryError
 */
@RestController
@RequestMapping("/excel")
public class Demo2ExcelController {

    /**
     * 方式一：使用阿帕奇的POI框架完成导出
     * @param size excel的行数
     * @param path 文件导出路径
     */
    @GetMapping("/export")
    public void export(int size, String path) throws IOException {
        // 1 、创建工作薄
        Workbook workbook = new XSSFWorkbook();
        // 2、在工作薄中创建sheet，起名测试
        Sheet sheet = workbook.createSheet("测试");

        for (int i = 0; i < size; i++) {
            // 3、在sheet中创建行
            Row row0 = sheet.createRow(i);
            // 4、创建单元格并存入数据
            row0.createCell(0).setCellValue(RandomStringUtils.randomAlphabetic(1000));
        }


        // 将文件输出到指定文件
        FileOutputStream fileOutputStream = null;
        try {
            fileOutputStream = new FileOutputStream(path + RandomStringUtils.randomAlphabetic(10) + ".xlsx");
            workbook.write(fileOutputStream);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (fileOutputStream != null) {
                fileOutputStream.close();
            }
            if (workbook != null) {
                workbook.close();
            }
        }

    }
}

Jmeter模拟5并发导出10w条数据：

在这里插入图片描述

在这里插入图片描述
堆内存溢出复现，快照文件分析结果和生产环境一致：

在这里插入图片描述

4、解决

方式一：使用poi的SXSSFWorkbook（上面的优化版本）
方式二：hutool的BigExcelWriter（比方式一好，但数据再大些也会oom）
方式三：Easy Excel（推荐）

方式二的依赖：

<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.7.22</version>
</dependency>

方式三的依赖：

<dependency>
    <groupId>com.alibaba</groupId>
    <artifactId>easyexcel</artifactId>
    <version>3.1.1</version>
</dependency>

Controller：

import cn.hutool.core.collection.CollUtil;
import cn.hutool.poi.excel.BigExcelWriter;
import cn.hutool.poi.excel.ExcelUtil;
import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.write.metadata.WriteSheet;
import com.plat.jvmoptimize.practice.demo.pojo.DemoData;
import org.apache.commons.lang3.RandomStringUtils;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.springframework.web.bind.annotation.*;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

@RestController
@RequestMapping("/excel")
public class Demo2ExcelController {

    /**
     * 方式一：使用阿帕奇的POI框架完成导出
     * @param size excel的行数
     * @param path 文件导出路径
     */
    @GetMapping("/export")
    public void export(int size, String path) throws IOException {
        // 1 、创建工作薄
        Workbook workbook = new XSSFWorkbook();
        // 2、在工作薄中创建sheet，起名测试
        Sheet sheet = workbook.createSheet("测试");

        for (int i = 0; i < size; i++) {
            // 3、在sheet中创建行
            Row row0 = sheet.createRow(i);
            // 4、创建单元格并存入数据
            row0.createCell(0).setCellValue(RandomStringUtils.randomAlphabetic(1000));
        }


        // 将文件输出到指定文件
        FileOutputStream fileOutputStream = null;
        try {
            fileOutputStream = new FileOutputStream(path + RandomStringUtils.randomAlphabetic(10) + ".xlsx");
            workbook.write(fileOutputStream);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (fileOutputStream != null) {
                fileOutputStream.close();
            }
            if (workbook != null) {
                workbook.close();
            }
        }

    }


    //http://www.hutool.cn/docs/#/poi/Excel%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%94%9F%E6%88%90-BigExcelWriter
    @GetMapping("/export_hutool")
    public void export_hutool(int size, String path) throws IOException {


        List<List<?>> rows = new ArrayList<>();
        for (int i = 0; i < size; i++) {
           rows.add( CollUtil.newArrayList(RandomStringUtils.randomAlphabetic(1000)));
        }

        BigExcelWriter writer= ExcelUtil.getBigWriter(path + RandomStringUtils.randomAlphabetic(10) + ".xlsx");
        // 一次性写出内容，使用默认样式
        writer.write(rows);
        // 关闭writer，释放内存
        writer.close();


    }


    /**
     * 最优方案
     * @param size 导出行数
     * @param path 导出路径
     * @param batch 分批，比如size=100000,batch=1000,则分batch批，每批100个数据对象在内存里中转
     * @throws IOException
     */
    //https://easyexcel.opensource.alibaba.com/docs/current/quickstart/write#%E9%87%8D%E5%A4%8D%E5%A4%9A%E6%AC%A1%E5%86%99%E5%85%A5%E5%86%99%E5%88%B0%E5%8D%95%E4%B8%AA%E6%88%96%E8%80%85%E5%A4%9A%E4%B8%AAsheet
    @GetMapping("/export_easyexcel")
    public void export_easyexcel(int size, String path,int batch) throws IOException {

        // 方法1: 如果写到同一个sheet
        String fileName = path + RandomStringUtils.randomAlphabetic(10) + ".xlsx";
        // 这里注意 如果同一个sheet只要创建一次
        WriteSheet writeSheet = EasyExcel.writerSheet("测试").build();
        // 这里 需要指定写用哪个class去写
        try (ExcelWriter excelWriter = EasyExcel.write(fileName, DemoData.class).build()) {
            // 分batch次写入
            for (int i = 0; i < batch; i++) {
                // 分页去数据库查询数据 这里可以去数据库查询每一页的数据
                List<DemoData> datas = new ArrayList<>();
                for (int j = 0; j < size / batch; j++) {
                    DemoData demoData = new DemoData();
                    demoData.setString(RandomStringUtils.randomAlphabetic(1000));
                    datas.add(demoData);
                }
                excelWriter.write(datas, writeSheet);
                //写入之后datas数据就可以释放了
            }
        }

    }
}

easyexcel用到的一个excel对应实体类，当前测试只用一列，那就直接一个属性就行

import com.alibaba.excel.annotation.ExcelProperty;
import lombok.Data;

@Data
public class DemoData {
    @ExcelProperty("测试")
    private String string;

}