海量数据处理问题详解

1.从a，b两个文件各存放50亿个url（每个url大小为64B），如何在内存为4G中查找a，b中相同的url

计算各文件存放大小：50亿*64B 大约为320G，而内存只有4G，显然存放不下，此时我们可以通过分治思想来解决该问题

通过hash存放，先将a中各url通过hash(url)%1000，可以得到0-999之间某个数，此时将其存放到对应序号文件中，大约每个文件大小为300MB，再将b文件各url同理操作，我们可以明显得知，a和b中相同的url一定是在一个序号文件中，这样就可以通过将a，b相同序号文件放入内存中查找，利于HashSet来比对，找到相同的就取出存放在一个相同文件中，不断比对就得出结果

2.给你一个大小为1G的文件，里面存放的都是大小为16B的单词，现在我们可用的内存为1MB，请问我想要找到出现次数最多的前100个单词，如何解决？

该题和上面那题思路大体一样，还是分治思想：

我们通过hash（word）% 2000，即拆分为每个文件大小为500KB的小文件，然后再各小文件中利用map计算出现频次最高的前100个单词，接下来就是遍历所有小文件，查找前100个出现次数最多的单词，即Top-K问题：建立小堆，遍历查找

Tok-K思想如下博客：

Top-K问题-CSDN博客

3.如何在2亿个数中查找出现次数为1的数，内存不足以一次读取该文件全部内容

1.分治思想：

和前面类似，我们还是利用hash映射拆分为一定量个小文件，然后将小文件利用hashmap进行统计，最终在内存中找到只出现一次的词

2.位图思想：

我们知道一个字节8bit，那么我们可以利用bit位记录某个数是否出现，例如00000000，这8位我们可以记录1-8出现与否，现在我们要查找出现次数为1的整数，那么一个数利用两位记录，例如：00-未出现 01出现次数为1,10出现次数>1，这样我们就可以找到出现次数为1的数了

4.现在我有1000瓶药剂，其中只有一瓶毒药，其余999瓶都是无害的，现在我给你10只老鼠，请问如何试药才能确定哪瓶是毒药？

现在我们将这一千瓶表上序号即1---1000，接下来我们将其转换为二进制形式，1000---》1111101000，那么第一位老鼠喝2^0次方上为1的药，第二位老鼠喝2^1的药，类推到第10位老鼠喝2^9次方的药，观察老鼠死亡情况，例如：只有第一老鼠喝第五位老鼠死亡，那么17号瓶子是毒药，这样就可以确定毒药情况了（思维题）

总结：

面对海量数据处理时：

我们可以先考虑是否能够通过分治思想来解决，然后再思考HashMap和HashSet，也可以利用位图思想，最后在思考是不是可以利用堆来解决（Top-K问题）

希望大家都能够处理这方面问题，加油！！！