hadoop使用put上传的错误DataStreamer Exception

最新推荐文章于 2025-02-20 14:33:30 发布

全杰cc

最新推荐文章于 2025-02-20 14:33:30 发布

阅读量2.2k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： hadoop

本文链接：https://blog.csdn.net/qq_34023608/article/details/50835318

大数据专栏收录该内容

11 篇文章

订阅专栏

本文讨论了在使用Hadoop进行数据上传时遇到的问题，即数据文件无法被所需数量的节点复制，导致上传失败。文章分析了可能的原因——集群中存在未关闭防火墙的节点，并提供了在CentOS 6.5环境下通过`service iptables stop`关闭防火墙的方法。同时，文章强调了在不同操作系统中关闭防火墙的具体步骤，请参考相关文档。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

错误描述：
16/03/09 14:34:07 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/README.txt.COPYING could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and 2 node(s) are excluded in this operation.
错误分析：上面这段英文主要是说数据上传的过程中有两个节点不能执行put这个操作。
原因：集群中还有没有关闭防火墙的节点，每个子节点的防火墙都必须关闭。
**解决方法：**service iptables stop（centos6.5）；其他的操作系统请参考相关的文档。