比较两个大文本文件的差异并输出增量和减量

最新推荐文章于 2024-05-24 18:16:01 发布

司青-已停止更新

最新推荐文章于 2024-05-24 18:16:01 发布

阅读量4.4k

点赞数

分类专栏： Java 算法

本文链接：https://blog.csdn.net/neosmith/article/details/88371245

版权

Java 同时被 2 个专栏收录

148 篇文章

订阅专栏

算法

28 篇文章

订阅专栏

现有两个4G大小、按行分割、每行为50字符(大小写字母)的text文件A, B, 现在需要在有限的内存下(如2G)以B文件为基准，计算出B相对于A增加了哪些数据和减少了哪些数据，分别以added.txt和deleted.txt命名保存。要求不能使用Spark或Hadoop这样的大数据处理框架。

思路：
首先使用外排序算法对A, B分别按字典序排序，输出a.sorted和b.sorted两个文件，然后再遵循以下步骤逐行对比即可：

先分别读取lineA和lineB
如果B比A大，则把lineA输出至deleted.txt中, 然后更新lineA至下一行
如果B比A小，则将lineB输出至added.txt中，然后更新lineB至下一行
如果B与A相等，则将lineA和lineB分别更新至下一行
如果A已经EOF, 则将B中剩下所有的行都输出至added.txt中
如果B已经EOF, 则将A中剩下所有的行都输出至deleted.txt中

至于外排序，如果用的是 Java 的话就很方便了，可以直接使用第三方库

        <dependency>
            <groupId>com.google.code.externalsortinginjava</groupId>
            <artifactId>externalsortinginjava</artifactId>
            <version>0.2.5</version>
        </dependency>

实现。