HBase架构简介.pdf

HBase 是一个分布式、面向列的数据库，基于谷歌的 Bigtable 论文设计，主要运行在 Apache Hadoop 文件系统（HDFS）之上。HBase 提供了实时读写、高可用性和水平扩展的能力，适合处理大规模数据。 在HBase的架构中，有两个关键的文件类型：write-ahead log（WAL）和实际存储数据的HFile。WAL 是一种日志记录机制，用于保证数据的持久性。当客户端执行一个Put操作时，数据首先被写入WAL（由HLog实现），确保即使服务器崩溃，数据也能在重启后恢复。接着，数据被放入内存中的MemStore。如果MemStore达到预设的大小限制，其内容会被flush到磁盘，形成一个新的HFile。 HBase的通信流程涉及Zookeeper，它是协调系统的关键组件。当客户端需要查询特定的row时，它首先连接Zookeeper获取持有`.ROOT.`和`.META.`表的region服务器名称。`.ROOT.`和`.META.`是HBase的元数据表，它们指示了其他所有表的region分布。客户端会缓存这些信息，以便后续查询能直接找到目标row所在的region，减少对Zookeeper和`.META.`表的依赖。 HBase的主节点（HMaster）负责region的分配和负载均衡。当HBase启动时，HMaster会将`.ROOT.`和`.META.`表的region分配给HRegionServer（RS）。每个RS管理多个region，并为每个region创建一个HRegion对象。每个HRegion根据列族（HColumnFamily）创建Store，每个Store包含一个或多个StoreFile，它们是对HFile的封装。此外，每个Store都有一个MemStore，而RS共享一个HLog实例。 写入过程分为几个步骤：数据写入WAL；然后，数据进入MemStore；当MemStore满时，数据被flush到HDFS上的HFile。HFile存储在/hbase目录下，WAL文件位于.logs子目录，定期进行日志轮换。旧的日志文件会被移动到.oldlogs目录，由HMaster定时清理。 在HBase中，表的region可能会因为数据增长而分裂。当一个region的大小超过预设阈值（默认为hbase.hregion.max.filesize），region会被分成两个新的region，这个过程快速且无痛，只需要更新region引用和.META.表。分裂后的region最终会移动到对应的表目录下。另外，为了优化存储空间，HBase还提供了compaction功能，用于合并多个StoreFile，减少数据碎片。 HBase的架构设计是为了支持大规模、高性能的实时数据处理，通过Zookeeper进行协调，利用HDFS保证数据可靠性，通过region分裂和compaction来适应数据的增长和优化存储效率。这种架构使得HBase成为大数据场景下理想的实时NoSQL数据库选择。