Java【代码分享 09】多线程处理List数据核心代码说明（下标越界、数据丢失及效率问题）_java 多线程分批处理list,总有几条数据没处理到(1)

本文链接：https://blog.csdn.net/2401_84520401/article/details/138775628

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！

王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。

对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！

【完整版领取方式在文末！！】

93道网络安全面试题

内容实在太多，不一一截图了

黑客学习资源推荐

最后给大家分享一份全套的网络安全学习资料，给那些想学习网络安全的小伙伴们一点帮助！

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

1️⃣零基础入门

① 学习路线

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

② 路线对应学习视频

同时每个成长路线对应的板块都有配套的视频提供：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

大数据量的List问题处理，多线程分批处理，需要解决的问题：

下标越界。
线程安全。
数据丢失。

    private List<Map<String, Object>> dealDataByThreads(List<String> dataList) {
        int dataSize = dataList.size();
        // 结果数据【1】
        List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));
        // 每批的记录数据并计算批次
        int numberBatch = 2000;
        double number = dataSize \* 1.0 / numberBatch;
        int n = ((Double) Math.ceil(number)).intValue();
        // 根据参数开启线程
        CountDownLatch countDownLatch = new CountDownLatch(n);
        ThreadPoolExecutor executor = ThreadManager.executor;
        // 分批处理数据
        for (int i = 0; i < n; i++) {
            // 计算sub的toIndex
            int end = numberBatch \* (i + 1);
            if (end > dataSize) {
                end = dataSize;
            }
            // 获取分批数据
            List<String> dataListSub = dataList.subList(numberBatch \* i, end);
            int finalI = i;
            int finalEnd = end;
            executor.submit(() -> {
                long startMillis = System.currentTimeMillis();
                //【2】
                dataMap.addAll(dealData(dataListSub));
                countDownLatch.countDown();
                long endMillis = System.currentTimeMillis();
                log.info("当前线程[{}]处理{}-{}/{}耗时[{}]毫秒", Thread.currentThread().getName(), numberBatch \* finalI, finalEnd, dataSize, endMillis - startMillis);
            });
        }
        // 主线程等待
        try {
            countDownLatch.await();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        return dataMap;
    }

2.代码说明

使用dataSize初始化 Map 对象，可以避免 Map 对象的重构导致的下标越界。

List<Map<String, Object>> dataMap = Collections.synchronizedList(new ArrayList<>(dataSize));

不要将dataMap对象给线程，dataMap.add(dataListSubAfterDeal) 方法可能会覆盖 List 内的对象。



**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以点击这里获取](https://bbs.csdn.net/forums/4f45ff00ff254613a03fab5e56a57acb)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**