hbase--walgroup源码分析

最新推荐文章于 2024-02-18 14:21:17 发布

快乐崇拜234

最新推荐文章于 2024-02-18 14:21:17 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： hbase 文章标签： hbase

本文链接：https://blog.csdn.net/liubenlong007/article/details/104051402

hbase 专栏收录该内容

31 篇文章

订阅专栏

本文深入探讨HBase中WALGroup机制的原理与实现，介绍如何通过配置启用多WAL，提高写入性能约20%。文章详细解释了RegionGroup与WALGroup的概念，以及BoundedGroupingStrategy等策略的运作方式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

欢迎关注本人公众号

在这里插入图片描述
本文介绍hbase的walgroup原理及实现

开启多wal

默认情况下，一个regionserver只有一个wal文件。在HBase-5699之后，可以配置多个wal，在hbase-site.xml中，添加以下配置，既可开启多wal（同一个RS服务中）：

<property>
    <name>hbase.wal.provider</name>
    <value>multiwal</value>
  </property>

具体有几个walgroup，实际是通过org.apache.hadoop.hbase.wal.BoundedGroupingStrategy#NUM_REGION_GROUPS的配置值来决定的，默认是org.apache.hadoop.hbase.wal.BoundedGroupingStrategy#DEFAULT_NUM_REGION_GROUPS=2。

walgroup的格式为：providerId.regiongroup-0;providerId.regiongroup-1

在这里插入图片描述

写入性能较单WAL提升20%
hbase.wal.regiongrouping.strategy = bounded（分组策略）
hbase.wal.regiongrouping.numgroups = 2(组数量，可以根据盘数设置，默认是2)

这里有两个概念，一个是walgroup，一个是regiongroup，这两个是对应的关系

RegionGrouping策略 RegionGroupingStrategy

hbase提供了RegionGroup的策略接口RegionGroupingStrategy，他有三个实现，默认实现是BoundedGroupingStrategy

在这里插入图片描述

public static interface RegionGroupingStrategy {
    String GROUP_NAME_DELIMITER = ".";

    /**
     * Given an identifier and a namespace, pick a group.
     */
    String group(final byte[] identifier, byte[] namespace);
    void init(Configuration config, String providerId);
  }


BoundedGroupingStrategy中的默认实现：
public String group(byte[] identifier, byte[] namespace) {
    String idStr = Bytes.toString(identifier);

    //groupNameCache缓存了region到walgroup（或者说regiongroup）的映射关系。**

    // 这里是简单的轮询。
    //hbase集群重启以后，每个region对应的walgroup是会发生变化的。
    return computeIfAbsent(groupNameCache, idStr,
      () -> groupNames[getAndIncrAtomicInteger(counter, groupNames.length)]);
  }

NamespaceGroupingStrategy也是一个比较实用的策略。

可以通过配置hbase.wal.regiongrouping.strategy=bounded来指定分组策略，目前支持4中：
defaultStrategy(默认策略，与bounded相同),identity,bounded,namespace，对应类Strategies：

static enum Strategies {
    defaultStrategy(BoundedGroupingStrategy.class),
    identity(IdentityGroupingStrategy.class),
    bounded(BoundedGroupingStrategy.class),
    namespace(NamespaceGroupingStrategy.class);

    final Class<? extends RegionGroupingStrategy> clazz;
    Strategies(Class<? extends RegionGroupingStrategy> clazz) {
      this.clazz = clazz;
    }
  }

策略修改以后，需要重启RS服务生效，所以，wals文件夹内的文件会迁移到oldwals中，然后RS开启时，根据策略重新在wals文件夹内生成新wal文件。sequence依然region级别递增。

初始化region时设置walGroup信息

在这里插入图片描述

在开启hbase服务时，RS服务会打开region，在此过程中，按照配置，打开一定数量的wal日志文件。如果从单个wal修改为多个，原先的wal会被删除，取而代之的是一个WAL组，如上图。

打开创建wal的代码在org.apache.hadoop.hbase.wal.AsyncFSWALProvider#createWAL中

protected AsyncFSWAL createWAL() throws IOException {
    //这里只会调用一次[每个wal创建一次]，因为上层有缓存（org.apache.hadoop.hbase.wal.AbstractFSWALProvider.getWAL）
    return new AsyncFSWAL(CommonFSUtils.getWALFileSystem(conf), CommonFSUtils.getWALRootDir(conf),
        getWALDirectoryName(factory.factoryId),
        getWALArchiveDirectoryName(conf, factory.factoryId), conf, listeners, true, logPrefix,
        META_WAL_PROVIDER_ID.equals(providerId) ? META_WAL_PROVIDER_ID : null,
        eventLoopGroup, channelClass);
  }

在写文件时，如何获取wal对象呢？在org.apache.hadoop.hbase.wal.RegionGroupingProvider#getWAL(org.apache.hadoop.hbase.client.RegionInfo)中根据region信息获取wal

public WAL getWAL(RegionInfo region) throws IOException {
    String group;
    if (META_WAL_PROVIDER_ID.equals(this.providerId)) {
      group = META_WAL_GROUP_NAME;
    } else {
      byte[] id;
      byte[] namespace;
      if (region != null) {
        id = region.getEncodedNameAsBytes();
        namespace = region.getTable().getNamespace();
      } else {
        id = HConstants.EMPTY_BYTE_ARRAY;
        namespace = null;
      }

//下面strategy.group的实现就在org.apache.hadoop.hbase.wal.BoundedGroupingStrategy#group中，轮询获取wal
      group = strategy.group(id, namespace);
    }
    WAL wal = getWAL(group);

    return wal;
  }