记一次多线程导入问题排查过程

1. 需求

大数据量的核对：现在有1000个excel文件，每个excel文件内有21个sheet页，现在要对这些数据进行核对，需要先将这些数据导入到库中，再进行核对。

2. 遇到问题

库使用的是MySql，程序是Java，springcloud生态，在串行导入的时候，导入一次大概需要60分钟，现在对其进行改造，使用多线程导入，其思路为：

• 创建线程池，线程池核心线程数设置为cpu核心数据的2倍
• 以sheet页为单位归为一个任务提交到线程池
• 根据Future.get() 来阻塞主线程，计算最后方法执行时间

遇到问题：

• mysql 间隙锁和表锁，导致数据无法入库
• POI中对XSSFWorkbook对象比HSSFWorkbook要大很多，导致OOM

3. 排查解决问题

• 导致mysql间隙锁的问题
  是因为我业务上，采用了范围删除，且删除中使用的where不是索引，也不是主键，现在进行改造：

1. 使用 in 主键删除
2. 给where 条件上加索引

• 导致OOM问题解决
  采用边使用边销毁策略，避免对象堆积造成的OOM