slaves节点报错,报的是启动nodemanager 所需内存不足
报错内容:
ERROR org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Unexpected error starting NodeStatusUpdater
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from localhost doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.
<property>
<!--参数解释:NodeManager总的可用物理内存。注意,该参数是不可修改的,一旦设置,整个运行过程中不 可动态修改。另外,该参数的默认值是8192MB,即使你的机器内存不够8192MB,YARN也会按照这些内存来使用(傻不傻?),因此,这个值通过一 定要配置。不过,Apache已经正在尝试将该参数做成可动态修改的。默认值:8192(8GB)当该值配置小于1024(1GB)时,NM是无法启动的!会>报错:NodeManager from slavenode2 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.-->
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
其中也是我借鉴过来的,我不知道管不管用,我也修改成1024了,反正在我这没起到作用。
后来我在csdn中发帖,一哥们http://my.csdn.net/ArayChou就是他给我说的 修改 yarn-env.sh 中 JAVA_HEAP_MAX=-Xmx3072m 改为3G
nodemanager就启动起来了
还有 如果一切正常 dataNode启动不起来的话 可以删除你 hadoop/dfs 中的 data下的所有文件夹和文件 data文件清空后还会再生成
然后再格式namonode 。
#hadoop namenode -format