qq_32020645的博客

技术连载系列，前面内容请参考前面连载11内容:​​​​​​​​​​​​​​Kafka也支持通过Kerberos进行认证，避免非法用户操作读取Kafka中的数据，对Kafka进行Kerberos认证可以按照如下步骤实现。在kerberos服务端node1节点执行如下命令将Kafka服务主体写入到keytab文件。

技术连载系列，前面内容请参考前面连载10内容:​​​​​​​​​​​​​​大数据组件HBase也可以通过Kerberos进行安全认证，由于HBase中需要zookeeper进行元数据管理、主节点选举、故障恢复，所以这里对HBase进行Kerberos安全认证时，建议也对Zookeeper进行安全认证。

技术连载系列，前面内容请参考前面连载9内容:​​​​​​​Hive底层数据存储在HDFS中，HQL执行默认会转换成MR执行在Yarn中，当HDFS配置了Kerberos安全认证时，只对HDFS进行认证是不够的，因为Hive作为数据仓库基础架构也需要访问HDFS上的数据。因此，为了确保整个大数据环境的安全性，Hive也需要配置Kerberos安全认证，这样可以控制对Hive和底层HDFS数据的访问权限，防止未经授权的访问和操作，确保数据的安全性。目前对HDFS进行了Kerberos安全认证后，在Hive。

当keberos客户端安装完成后自动会在C:\ProgramData\MIT\Kerberos5路径中创建krb5.ini配置文件，我们需要配置该文件指定Kerberos服务节点及域信息，配置如下，该文件配置可以参考Kerberos服务端/etc/krb5.conf文件。以上命令执行之后，在/root目录下会生成zhangsan.keytab文件，将该文件复制到IDEA项目中的resources资源目录中或者本地window固定的某个目录中，该文件用于编写代码时认证kerberos。

当使用Kerberos对Hadoop进行数据安全管理时，需要使用LinuxContainerExecutor，该类型Executor只支持在GNU / Linux操作系统上运行，并且可以提供更好的容器级别的安全性控制，例如通过在容器内运行应用程序的用户和组进行身份验证，此外，LinuxContainerExecutor还可以确保容器内的本地文件和目录仅能被应用程序所有者和NodeManager访问，这可以提高系统的安全性。

node2、node3节点修改$KAFKA_HOME/config/server.properties文件中的broker.id，node2中修改为1，node3节点修改为2。zookeeper.connect=node3:2181,node4:2181,node5:2181 #zookeeper集群。在node1,node2,node3三台节点上分别执行startKafka.sh脚本，启动Kafka。发送完成后，在node2、node3节点上配置Kafka的环境变量。#查看集群中的topic。

手动创建$HBASE_HOME/conf/backup-masters文件，指定备用的HMaster,需要手动创建文件，这里写入node5,在HBase任意节点都可以启动HMaster，都可以成为备用Master ,可以使用命令：hbase-daemon.sh start master启动。#Hbase中的jar包和HDFS中的jar包有冲突，以下配置设置为true，启动hbase不加载HDFS jar包。#创建 $HBASE_HOME/conf/backup-masters 文件，写入node5。

想要通过Beeline写SQL查询Hive数据，必须配置HiveServer2服务，HiveServer2（HS2）是一种使客户端能够对Hive执行查询的服务。在实际开发中建议远程模式使用beeline，这样并不是在Hive的服务端进行操作，比较安全。远程使用beeline就是直接找到Hive的客户端然后启动beeline，前提是需要在Hive的服务端启动Hiveserver2服务，这种情况下客户端的beeline是通过Thrift协议与服务端的HiveServer2进程进行连接通信。

目录1. 节点划分2. 安装配置HDFS3. 初始化HDFS4.启动及停止​​​​​​​​​​​​​​5. 访问WebUI技术连载系列，前面内容请参考前面连载3内容:https://blog.csdn.net/qq_32020645/article/details/131064218这里安装HDFS版本为3.3.4，搭建HDFS对应的角色在各个节点分布如下：节点IP节点名称NNDNZKFCJNRMNM192.168.179.4node1★★★192.168.179.5node2★★★192.168.179.

本文主要是大数据zookeeper集群搭建，方便后续基于此环境配置Kerberos

Kerberos名词术语、Kerberos安装、Kerberos命令使用

数据安全防护及Kerberos简介