hadoop节点nodemanager启动失败原因小结~

博客内容讲述了在Hadoop集群中遇到NodeManager启动失败的问题,错误提示因所需内存不足导致。博主尝试调整`yarn.nodemanager.resource.memory-mb`配置为1024MB未见效,后根据社区建议将`yarn-env.sh`中的`JAVA_HEAP_MAX`改为3GB,成功解决了问题。此外,若DataNode启动不顺,可清理`hadoop/dfs/data`目录后重新格式化NameNode。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

slaves节点报错,报的是启动nodemanager 所需内存不足

报错内容:

ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

于是在网上搜索的相关问题,大部分都是修改 yarn-site.xml 中的yarn.scheduler.minimum-allocation-mb 内存大于1024,

 <property>
        <!--参数解释:NodeManager总的可用物理内存。注意,该参数是不可修改的,一旦设置,整个运行过程中不 可动态修改。另外,该参数的默认值是8192MB,即使你的机器内存不够8192MB,YARN也会按照这些内存来使用(傻不傻?),因此,这个值通过一 定要配置。不过,Apache已经正在尝试将该参数做成可动态修改的。默认值:8192(8GB)当该值配置小于1024(1GB)时,NM是无法启动的!会>报错:NodeManager from  slavenode2 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.-->
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>1024</value>
    </property>

其中也是我借鉴过来的,我不知道管不管用,我也修改成1024了,反正在我这没起到作用。

后来我在csdn中发帖,一哥们http://my.csdn.net/ArayChou就是他给我说的  修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G

nodemanager就启动起来了

还有 如果一切正常 dataNode启动不起来的话 可以删除你 hadoop/dfs 中的 data下的所有文件夹和文件  data文件清空后还会再生成

然后再格式namonode 。  

#hadoop namenode -format

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值