启动Hadoop集群,出现Cannot set priority of nodemanager(resourcemanager) process xxx问题

在Ubuntu 20.04上,使用jdk1.8.0_221、hadoop3.3.1和hive3.1.3搭建Hadoop集群时遇到问题。Hive3.x不支持openJDK11,降级到JDK1.8后启动yarn时出现权限设置错误。通过检查resourcemanager和nodemanager的日志,发现是--add-opens参数导致的问题。注释掉yarn-env.sh文件中的相关行后,成功启动Hadoop集群。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

背景

(不感兴趣可以跳过背景介绍)

配置

	Ubantu20.04
	jdk1.8.0_221
	hadoop 3.3.1
	hive 3.1.3
	三台虚拟机搭建Hadoop集群

在安装hive的过程中,初始化数据库成功后(mysql),输入 命令: ./bin/hive启动hive时出错(忘记截图了)。后发现原因是hive3.x仅支持JDK 1.8,并不支持openJDK 11,尽管hadoop3.3.x是支持JDK 1.8和openJDK 11的。当降低JDK版本后启动集群,便出现启动yarn的错误:

Cannot set priority of resourcemanager process xxx
Cannot set priority of nodemanager process xxxx

但是启动Namenode 和 Datanode, 启动Historyserver 是没有问题的。

解决过程(仅供参考)

(1)查看你的logs文件夹下关于resourcemanager的.log文件, 查看详细情况。若没有相关记录,则参考(2)
(2)查看logs文件下的关于nodemanager或者resourcemanager的.out文件,里面会有错误信息。我的错误信息是这样的:
在这里插入图片描述
查看yarn-env.sh文件,会看到有--add-opens的字眼
在这里插入图片描述
将这两行注释,保存文件即可。

重启集群,正常运行了。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值