hadoop101: ERROR: Unable to write in /opt/module/hadoop-3.1.3/logs. Aborting. Starting datanodes localhost: Warning: Permanently added 'localhost' (ECDSA) to the list of known hosts. localhost: ERROR: Unable to write in /opt/module/hadoop-3.1.3/logs. Aborting. hadoop103: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop100: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop102: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password). hadoop101: ERROR: Unable to write in /opt/module/hadoop-3.1.3/logs. Aborting. Starting secondary namenodes [hadoop103] hadoop103: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

<think>嗯，用户遇到了Hadoop集群启动时权限被拒绝和无法写入日志的问题。我需要先理清楚可能的原因，再一步步排查解决。首先，根据用户提供的引用信息，特别是引用[2]中的错误信息，显示无法写入namenode的pid文件，这可能是因为/tmp目录的权限问题。Hadoop默认会把一些临时文件放在/tmp目录下，如果用户没有写权限，就会报错。 然后，引用[4]提到了SSH配置的问题，比如公钥登录和密码权限的设置。如果SSH没有正确配置，节点之间无法无密码通信，也可能导致权限问题。需要检查各个节点的SSH配置，确保公钥已经添加到authorized_keys文件中，并且相关配置文件如sshd_config中的参数正确。 接下来是Hadoop的日志目录权限问题。Hadoop在运行时需要向logs目录写入日志文件，如果该目录的权限不足，同样会导致权限被拒绝的错误。用户需要检查Hadoop安装目录下的logs目录，确保运行Hadoop的用户有读写权限。 另外，引用[3]提到环境变量的配置，如果HADOOP_HOME没有正确设置，或者相关路径没有加入PATH，可能会导致脚本执行时找不到正确的路径，进而引发权限问题。需要确认/etc/profile中的环境变量配置是否正确，并且已经source过该文件使配置生效。 还有可能是SELinux或防火墙的设置干扰了Hadoop的正常运行。虽然用户没有直接提到，但这也是常见的潜在问题。需要检查SELinux的状态，如果是enforcing模式，尝试设置为permissive或者禁用，然后测试是否解决问题。 另外，用户提到的错误信息中有“publickey”和“gssapi-keyex”，这可能涉及到SSH认证方式的问题。Hadoop集群节点之间需要使用SSH公钥认证，如果配置不当，比如私钥权限太开放（如644），SSH可能会拒绝使用。需要确保.ssh目录的权限为700，私钥文件为600，公钥文件为644。 最后，用户可能需要全面检查Hadoop的配置文件，如core-site.xml、hdfs-site.xml、yarn-site.xml等，确保所有路径配置正确，并且对应的目录权限已经正确设置。特别是dfs.namenode.name.dir和dfs.datanode.data.dir这些路径，需要确保Hadoop用户有读写权限。 总结下来，解决步骤大致分为：检查目录权限、配置SSH无密码登录、调整SELinux/防火墙设置、验证环境变量、检查Hadoop配置文件，以及处理日志目录权限。可能需要逐一排查这些方面，确保每一步都正确无误，才能解决权限被拒绝和日志写入失败的问题。</think>### Hadoop集群权限问题解决方案 根据报错信息`Permission denied publickey gssapi-keyex`和`Cannot write namenode pid`，以下是分步解决方案： 1. **SSH免密登录配置** - 确保所有节点已生成SSH密钥对： ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ``` - 将公钥同步到所有节点（包括本机）： ```bash ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@node1 ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@node2 ``` - 验证`.ssh`目录权限（必须700）和`authorized_keys`文件权限（必须600）[^4] 2. **Hadoop日志目录权限修复** ```bash # 进入Hadoop安装目录 cd /opt/hadoop-3.1.3 # 创建日志目录并授权 mkdir -p logs chmod 777 logs chown -R hadoop:hadoop logs/ ``` 在`hadoop-env.sh`中确认日志路径配置： ```shell export HADOOP_LOG_DIR=${HADOOP_HOME}/logs ``` 3. **临时文件目录权限处理** ```bash sudo chmod 1777 /tmp sudo chown hadoop:hadoop /tmp/hadoop-* -R ``` 4. **Hadoop用户权限配置** - 在所有节点创建统一用户： ```bash useradd hadoop passwd hadoop ``` - 修改Hadoop安装目录所有者： ```bash chown -R hadoop:hadoop /opt/hadoop-3.1.3 ``` 5. **配置文件调整** 在`hdfs-site.xml`中添加： ```xml <property> <name>dfs.permissions</name> <value>false</value> </property> ``` 6. **SELinux临时关闭** ```bash setenforce 0 # 临时关闭 vi /etc/selinux/config # 永久关闭需修改为disabled ```