Hadoop conf 常用类说明

最新推荐文章于 2022-03-07 14:57:38 发布

weixin_30815469

最新推荐文章于 2022-03-07 14:57:38 发布

阅读量445

点赞数

CC 4.0 BY-SA版权

文章标签：大数据 java

原文链接：http://www.cnblogs.com/tyler-jin/p/10424294.html

本文详细介绍了Hadoop中配置管理的关键组件，包括Conf、Configurable、ConfigRedactor等类的功能，以及Reconfigurable接口和其实现类ReconfigurableBase提供的动态配置更改机制。同时还涉及了ConfigurationWithLogging、ReconfigurationThread等类在配置读取和更新过程中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Configuration：Conf核心类，加载配置

Configurable：简单的接口，定义了setConf、getConf方法

ConfigRedactor：提供了对敏感信息过滤的功能，敏感信息的pattern可以通过key：hadoop.security.sensitive-config-keys进行配置

ConfigurationWithLogging：依赖ConfigRedactor，在获取配置时，对配置进行输出以及屏蔽敏感信息

Configured:Configurable的基础实现类

ConfServlet:提供Servlet用于获取conf中的值

Reconfigurable:可变配置基础接口，提供以下三个接口

  void reconfigureProperty(String property, String newVal)
    throws ReconfigurationException;
  boolean isPropertyReconfigurable(String property);
  Collection<String> getReconfigurableProperties();

ReconfigurableBase:Reconfigurable基础实现，提供了startReconfigurationTask、shutdownReconfigurationTask、getReconfigurationTaskStatus等方法，生成ReconfigurationThread用于异步修改配置

ReconfigurationException:对一个不可变属性执行reconfigureProperty方法时，会抛出ReconfigurationException异常

ReconfigurationThread：ReconfigurableBase的内部类，继承Thread，以ReconfigurableBase为参数，对配置进行修改

  public void startReconfigurationTask() throws IOException {
    synchronized (reconfigLock) {
      if (!shouldRun) {
        String errorMessage = "The server is stopped.";
        LOG.warn(errorMessage);
        throw new IOException(errorMessage);
      }
      if (reconfigThread != null) {
        String errorMessage = "Another reconfiguration task is running.";
        LOG.warn(errorMessage);
        throw new IOException(errorMessage);
      }
      reconfigThread = new ReconfigurationThread(this);
      reconfigThread.setDaemon(true);
      reconfigThread.setName("Reconfiguration Task");
      reconfigThread.start();
      startTime = Time.now();
    }
  }

  public void shutdownReconfigurationTask() {
    Thread tempThread;
    synchronized (reconfigLock) {
      shouldRun = false;
      if (reconfigThread == null) {
        return;
      }
      tempThread = reconfigThread;
      reconfigThread = null;
    }

    try {
      tempThread.join();
    } catch (InterruptedException e) {
    }
  }

ReconfigurationTaskStatus：配置修改状态类

  public ReconfigurationTaskStatus getReconfigurationTaskStatus() {
    synchronized (reconfigLock) {
      if (reconfigThread != null) {
        return new ReconfigurationTaskStatus(startTime, 0, null);
      }
      return new ReconfigurationTaskStatus(startTime, endTime, status);
    }
  }

ReconfigurationUtil：主要提供了parseChangedProperties方法，用于解析新的配置与旧的配置

ReconfigurationServlet：提供Servlet用于动态改变配置

StorageSize、StorageUnit：存储数值的大小以及单位，可以通过Configuration：ConfgetStorageSize方法获取

转载于:https://www.cnblogs.com/tyler-jin/p/10424294.html