Bloom Filter （布隆过滤器）

问题的引入：
我们在使用看b站时，它会不停给我们推送内容，但是每次推送的内容基本上都不是重复的，那么它是怎么做到推送去重的呢？怎么快速过滤掉用户已经查看过的内容呢？

1. 用hashtable 缺点：浪费空间
2. 用位图存储用户记录 缺点：位图一般只能用来处理整形，如果内容编号是字符串则无法处理了。

所以这时 将hashtable和位图相结合也就有了我们的 bloom filter

bloom filter 概念

布隆过滤器是由 Burton Howard Bloom 在1970年提出的一种概率型的数据结构，特点是高效的插入和查询，能够告诉你某样东西一定不在或者可能存在，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，还能节省大量的空间。

布隆过滤器的优点

1. 增加和查询元素的时间复杂度为O(k),k为哈希函数个数，一般比较小，与数据量无关。
2. 哈希函数相互之间没有关系，方便硬件并行运算。
3. 布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大的优势
4. 在能够承受一定的误判时，布隆过滤器比其他数据结构由着很大的空间优势。
5. 数据量很大时，布隆过滤器可以表示全集
6. 使用同一组散列函数的布隆过滤器可以进行交 并 补 的运算。

布隆过滤器的缺点

1. 有误判率，存在假阳性（False Positive），不能准确判断元素是否在集合中。（能判断某个元素一定不存在，但不能判断某个元素一定存在）
2. 不能获取元素本身，存的只是一个标识
3. 一般情况下bloom filter不支持删除
4. 如果采用计数方式删除，可能会存在计数回绕问题。

关于让bloom filter的删除功能

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，会影响其他元素

一种支持删除的方法：将bloom filter中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器（k个哈希函数计算出的哈希地址）加一，删除元素时，给k个计数器减一，通过多占用几倍的存储空间的代价来增加删除。

但是 1. 无法确认元素是否真正在布隆过滤器中
2. 存在计数回绕

bloom filter的应用场景：

• 注册的时候，快速判断某个昵称是否用过
  没有用过，ok
  用过，再去数据库中确认

• 黑名单
  不是黑名单，放行
  是，再去数据库中确认

以两个hashfunc为例实现布隆过滤器

namespace lsy
{   



	struct DJBHash
	{
		size_t operator()(const std::string& s)
		{
			size_t hash = 5381;
			for (auto ch : s)
			{
				hash += (hash << 5) + ch;
			}
			return hash;
		}
	};

	struct JSHash
	{
		size_t operator()(const std::string& s)
		{
			size_t hash = 1315423911;
			for (auto ch : s)
			{
				hash ^= ((hash << 5) + ch + (hash >> 2));
			}
			return hash;
		}
	};


	template<size_t M,class K = std::string,
		class HashFunc1=DJBHash,
		class HashFunc2 =JSHash>
		class BloomFilter
	{
	public:
		void Set(const K& key)
		{
			size_t hash1 = HashFunc1()(key) % M;
			size_t hash2 = HashFunc2()(key) % M;
			_bs.set(hash1);
			_bs.set(hash2);


		}

		bool Test(const K& key)
		{
			size_t hash1 = HashFunc1()(key) % M;
			if (_bs.test(hash1) == false)
			{
				return false;
			}
			size_t hash2 = HashFunc2()(key) % M;
			if (_bs.test(hash2) == false)
			{
				return false;
			}

			return true; // 只是有可能存在
		}


	private:
		bitset<M> _bs;

	};





}