java bitset bitmap

本文主要内容是分析JDK中的BitMap实现之java.util.BitSet的源码实现，基于JDK11编写，其他版本的JDK不一定合适。 文中的图比特低位实际应该是在右边，但是为了提高阅读体验，笔者把低位改在左边了。 什么是BitMap BitMap，直译为位图，是一种数据结构，代表了有限域中的稠集（Dense Set），每一个元素至少出现一次，没有其他的数据和元素相关联。在索引，数据压缩等方面有广泛应用（来源于维基百科词条）。计算机中1 byte = 8 bit，一个比特（bit，称为比特或者位）可以表

问题引入我有40亿个无序int类型的整数，再给一个新的整数，我需要判断新的整数是否在40亿个整数中，你会怎么做？问题分析最常规直观的解法，就是使用一个HashSet，将所有数都add进去，然后对要判断的数，执行一下contains函数判断下就ok了。但是思考一下，这个解法有可行性吗？考虑一下这么做的话，这个HashSet会占用多少内存？正常一个int整数，占用4个字节。40亿个整数的话，就是 4,...

Bitmap算法，问题：对40亿个数据进行排序，数据类型为 int，无相同数据。 思考：关于40亿个数据的排序，首先想如何存储呢？一个int 4个字节，也就是160亿个字节，也就是大概有16GB的数据，现在所有的计算机估计 没有这么大的内存吧，所以我们就可以文件归并排序，也可以分段读入数据在进行Qsort，但是都需要不停地读入文件，可以想象不停地读取文件硬件操作会有多么浪费时间。   我们...

标签：bitmap：是一个十分有用的结构。所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。适用范围：可进行数据的快速查找，判重，删除，一般来说数据范围是int的10倍以下基本原理及要点：使用bit数组来表示某些元素是否存在，比如8位电话号码扩展：bloom filter可以看做是对bit...

推荐阅读时间：5分钟引言先来看一个问题，假设现在有范围为 1-10 亿的 11 亿个 int 型整数，如何排除掉其中的重复数字？ int 占 4 个字节，可以表示 -2,147,483,648 ~ +2,147,483,647 的数据。 所以一般的思路是会将这 11 亿个数作为 int 型数据存到一个 HashSet 集合中进行去重。 但是，这样会存在一个问题。我们知道 1GB=1024KB=10...

BitSet 是用于存储二进制位和对二进制进行操作的 自动去重Java 数据结构,此类实现了一个按需增长的位向量。位 set 的每个组件都有一个 值。用非负的整数将 的位编入索引。可以对每个编入索引的位进行测试、设置或者清除。通过逻辑与、逻辑或和逻辑异或操作，可以使用一个 修改另一个 的内容。默认情况下，set 中所有位的初始值都是 。在程序runtime时,我们经常需要使用数组来记住程序的运行状态,并且根据这些状态及时 对数据做出更新,一般有以下处理办法分析可知,1byte=8bit int占用

一、BitSet(JDK Bitmap) 推荐阅读：Java1.8-BitSet源码分析 1、继承体系及属性 public class BitSet implements Cloneable, java.io.Serializable { // 保存bit的数组 private long[] words; // 表示在数组words中已经使用的数的个数 private transient int wordsInUse = 0; //用于判断检查，扩容等相关的参数

下面代码简单实现了一个指定存储范围的BitSet public class BitSet { private long max; private long min; private int[] arr; public BitSet(long min, long max) { this.max = max; this.min =...

java中的BitSet 与 Redis中的BitMap 与 布隆过滤器

适用于操作整型数据。每个数据由一位bit表示，也就是说每一个整型只需一个bit的控件，这个比collection等容器是有天大的优势啊。而且插入和查询都非常方便，因为bit的index和整型数值相等，如：存储127，那么BitSet中的第127位bit就被置为1。查找127是否在BitSet中，只需使用MASK进行与操作即可。 但是可以想象到，BitSet中至少需要有多少位bit，决定于存储在B...

BitMap是一种很常用的数据结构，它的思想的和原理是很多算法的基础，当然，并且在索引，数据压缩，海量数据处理等方面有广泛应用。 一、简介 BitMap 是一种很常用的数据结构，它的思想和原理是很多算法的基础，比如Bloom Filter 。 BitMap 的基本原理就是用一个 bit 位来存放某种状态（如果理解不了，看完下文再回头来看即可），适用于拥有大规模数据，但数据状态又不是很多的情况。...

前面我们梳理了字节和位运算，今天我们继续看看基于位运算的高效的数据结构和算法：位图、布隆过滤器、哈希切分，它们在数据处理和查询优化中发挥着重要作用‌，都是内存高效神器。 ‌一、位图（Bitmaps）‌ ‌概念‌：位图是一种使用位（bit）来表示某个元素存在与否的数据结构。它适用于海量数据、数据无重复的场景，通常用来快速判断某个数据是否存在‌。 ‌实现‌：位图的实现主要依赖于三个基本操作：set（设置位为1）、reset（重置位为0）和test（测试位是否为1）。在C++等编程语言中，可以通过vector

0.位图的概念 在哈希表中，如果要在表中存放一个整数，此时就要申请一个整型的空间来存放它，一个整型数据在32位或64位平台下都占4个字节。但是如果现在需要存储的数据是40亿个不重复的无符号整型，就需要160亿个字节来存储，1GB的内存是10亿个字节，那么160亿个字节需要16GB的内存来存放这些数据，而我们普通的电脑内存一般都是4G的内存，这显然是存放不下的。 这就引入了位图的概念：内...