信创背景下JAVA大文件上传的安全与效率如何保障？-CSDN博客

本文链接：https://blog.csdn.net/weixin_52050572/article/details/149803967

项目技术方案：大文件传输系统（信创兼容版）
编制：湖南长沙某软件公司技术部
日期：2023年11月20日

一、项目背景与需求分析

公司承接政府项目，需开发一套支持50G文件传输的系统，核心需求如下：

功能需求：
- 支持单文件/文件夹上传（保留层级结构）及下载
- 断点续传（刷新/关闭浏览器后恢复进度）
- 高稳定性（政府项目对数据完整性要求极高）
兼容性需求：
- 浏览器：IE8+、龙芯浏览器、红莲花浏览器、奇安信安全浏览器
- 操作系统：统信UOS、中标麒麟、银河麒麟
- 数据库：SQL Server/MySQL/Oracle + 达梦/人大金仓
安全与部署：
- 信创国产化环境适配
- 私有化部署（内网环境）
- 需提供完整源代码（避免授权成本）

二、技术选型与风险评估

1. 开源组件调研

WebUploader：已停更，IE8兼容需依赖Flash（信创浏览器支持差），无官方技术支持。
Uppy：现代浏览器支持好，但IE8不兼容，无信创适配方案。
FineUploader：商业授权成本高，不适合2000+项目部署。

结论：现有开源方案均无法满足信创兼容+源代码授权+高稳定性需求，需自研或采购商业产品源代码。

2. 自研技术方案

基于公司研发能力，建议采用以下架构：

前端：Vue3 + 自定义分片上传组件（兼容IE8需降级到jQuery+Flash）
后端：JSP/Servlet + 分片合并服务
数据库：通用JDBC适配层（支持多数据库）
加密：国密SM4（可选AES双协议）

三、核心代码实现

1. 前端实现（Vue3 + 兼容IE8方案）

// src/components/FileUploader.vue (主组件)



import { ref } from 'vue';
import SM4 from 'sm4.js'; // 国密加密库

export default {
  setup() {
    const files = ref([]);
    const chunkSize = 10 * 1024 * 1024; // 10MB分片

    // 处理文件夹上传（递归生成文件树）
    const handleFileChange = (e) => {
      const items = e.target.files;
      const fileTree = buildFileTree(items);
      files.value = flattenFileTree(fileTree);
    };

    // 构建文件夹层级结构
    const buildFileTree = (items) => {
      const tree = {};
      Array.from(items).forEach(file => {
        const path = file.webkitRelativePath.split('/');
        let current = tree;
        path.forEach((part, i) => {
          if (i === path.length - 1) {
            current[part] = { file, path: file.webkitRelativePath };
          } else {
            current[part] = current[part] || {};
            current = current[part];
          }
        });
      });
      return tree;
    };

    // 上传逻辑（断点续传核心）
    const startUpload = async () => {
      for (const fileObj of files.value) {
        const { file, path } = fileObj;
        const fileId = await initUpload(file.name, file.size, path);
        
        // 检查已上传分片（从LocalStorage或服务端）
        const uploadedChunks = await checkUploadedChunks(fileId);
        
        for (let start = 0; start < file.size; start += chunkSize) {
          if (uploadedChunks.includes(start / chunkSize)) continue;
          
          const chunk = file.slice(start, start + chunkSize);
          const encryptedChunk = SM4.encrypt(chunk, 'secret-key');
          await uploadChunk(fileId, start, encryptedChunk);
          
          // 保存进度到LocalStorage
          localStorage.setItem(`upload_${fileId}_progress`, start);
        }
        
        await mergeChunks(fileId);
      }
    };

    return { handleFileChange, startUpload };
  }
};

2. 后端实现（JSP/Servlet 分片处理）

// UploadServlet.java (分片上传接口)
@WebServlet("/api/upload")
@MultipartConfig
public class UploadServlet extends HttpServlet {
    private static final String TEMP_DIR = "/data/upload_temp/";

    protected void doPost(HttpServletRequest req, HttpServletResponse resp) {
        String action = req.getParameter("action");
        
        if ("init".equals(action)) {
            // 初始化上传任务（生成唯一ID）
            String fileId = UUID.randomUUID().toString();
            String fileName = req.getParameter("name");
            long fileSize = Long.parseLong(req.getParameter("size"));
            String filePath = req.getParameter("path");
            
            // 保存元数据到数据库（适配多数据库）
            saveToDatabase(fileId, fileName, fileSize, filePath);
            
            resp.getWriter().write(fileId);
        } 
        else if ("chunk".equals(action)) {
            // 处理分片上传
            String fileId = req.getParameter("fileId");
            long chunkIndex = Long.parseLong(req.getParameter("chunkIndex"));
            Part filePart = req.getPart("chunk");
            
            // 解密分片（示例：SM4）
            String encryptedData = IOUtils.toString(filePart.getInputStream(), StandardCharsets.UTF_8);
            byte[] decryptedData = SM4Util.decrypt(encryptedData, "secret-key");
            
            // 保存分片
            Files.write(Paths.get(TEMP_DIR + fileId + "_" + chunkIndex), decryptedData);
            
            // 记录分片状态（Redis或数据库）
            markChunkUploaded(fileId, chunkIndex);
        }
    }
}

3. 断点续传实现（LocalStorage + 服务端校验）

// 前端断点续传逻辑
const checkUploadedChunks = async (fileId) => {
  // 1. 从LocalStorage读取本地进度
  const localProgress = localStorage.getItem(`upload_${fileId}_progress`);
  if (localProgress) {
    return [parseInt(localProgress) / chunkSize];
  }
  
  // 2. 服务端二次校验（避免多设备冲突）
  const response = await fetch(`/api/upload?action=check&fileId=${fileId}`);
  return await response.json();
};

四、信创环境适配方案

浏览器兼容：
- IE8：使用jQuery + Flash上传组件
- 信创浏览器：测试龙芯/红莲花浏览器的Flash/HTML5支持
操作系统适配：
- 统信UOS：提供DEB安装包
- 中标麒麟：适配RPM依赖管理

数据库适配：

// 通用JDBC工具类（适配多数据库）
public class DBUtil {
    private static DataSource dataSource;
    
    static {
        String dbType = System.getProperty("db.type");
        if ("dm".equals(dbType)) {
            // 达梦数据库配置
            dataSource = new DmDataSource();
        } else if ("kingbase".equals(dbType)) {
            // 人大金仓配置
            dataSource = new KingbaseDataSource();
        } else {
            // MySQL/Oracle等
            dataSource = new HikariDataSource();
        }
    }
}