CDH6.x 禁用/关闭Kerberos认证、常见问题排查记录

CDH6.x 禁用/关闭Kerberos认证、常见问题排查记录

直接在CDHmanger页面更改，重启即可

HDFS

hadoop.security.authentication -> simple
hadoop.security.authorization -> 取消勾选
dfs.datanode.address -> 改成50010
dfs.datanode.http.address -> 改成50075
dfs.datanode.data.dir.perm –> 改成755
dfs.datanode.address -> 恢复默认50020
HBASE

hbase.security.authentication -> simple
hbase.security.authorization -> 取消勾选
hbase.thrift.security.qop -> none
Hue

删除角色KerberosTicket Renewer
ZooKeeper

enableSecurity  取消勾选

5. KDC服务关闭（如果需要）

cdh21 Kerberos 主体服务启动
先将集群各组件配置，改成禁用Kerberos，如上
然后点击下面的Delete Kerberos 的删除，假设会有其他组件没有改，要改成禁用Kerberos的时候

2. (出现问题再执行) 删除相应的ZNode目录：

rmr var/lib/zookeeper/vervison-1/*
hbase, RsouceManager, zkfc

• 添加-Dzookeeper.skipACL=yes 关闭zk的权限检查配置项

打开zookeeper配置，搜索java关键字：

• 添加-Dzookeeper.skipACL=yes 配置，保存
  

2. 重启zookeeper服务

3. 登录zkcli:hbase zkcli

4. 删除hbase znode:rmr /hbase

5. 删除RM znode:rmr /rmstore/ZKRMStateRoot

6. 删除zkfc znode:rmr /hadoop-ha/nameservice-test1

7. 删除-Dzookeeper.skipACL=yes配置项

8. 重启zookeeper及相应服务

问题排查

1. HBase 问题描述

Caused by: org.apache.zookeeper.KeeperException$NoAuthException: KeeperErrorCode = NoAuth for /hbase/backup-masters/server01,60000,1526288840898
或
禁用kerberos后，重启hbase时报Authentication is not valid : /hbase 错误
解决方案

(1) Zookeeper Server 的 Java 配置选项中添加参数(跳过zk目录权限检查) :-Dzookeeper.skipACL=yes
(2) 删除zk元数据目录:hbase zkcli; rmr /hbase

参考链接：
https://www.zybuluo.com/xtccc/note/181910
http://community.cloudera.com/t5/Cloudera-Manager-Installation/Disabling-Kerberos-on-Cloudera-EXpress-5-5-1-HBase-issue/m-p/42482/highlight/true#M7622

2. YRAN 问题描述

Resource Manager 启动失败：RMStateStore has been fenced,ResourceManager all standby.
解决方案

(1) Zookeeper Server 的 Java 配置选项中添加参数(跳过zk目录权限检查) :-Dzookeeper.skipACL=yes
(2) rmr /rmstore/ZKRMStateRoot
注：会丢失yarn应用执行信息。

3. HDFS ZKFC问题描述

Failover Controller启动失败：Unable to start failover controller. Parent znode does not exist.
Run with -formatZK flag to initialize ZooKeeper.
解决方案

(1) Zookeeper Server 的 Java 配置选项中添加参数(跳过zk目录权限检查) :-Dzookeeper.skipACL=yes
(2) rmr /hadoop-ha/nameservice-test1
(3) 重新deploy客户端文件,确保nn主机core-site.xml中参数为simple方式访问集群
(4) 登录namenode节点,执行:hdfs zkfc -formatZK 重新格式化zkfc

4. HDFS权限 问题描述

Diagnostics: Not able to initialize app directories in any of the configured local directories for app application_1497933181227_0003
解决方案

在nodemanager节点执行:sudo rm -rf /hdfs/yarn/nm/usercache/（未启用kerberos前目录权限为yarn:yarn，启用后变成dengsc:yarn，导致权限不兼容）

5. HBase Thrift Server 起不来，报错
   HBase Thrift 的验证方式别忘记改回none,然后保存