Hadoop

最新推荐文章于 2025-08-01 16:07:23 发布

Jee.Li

最新推荐文章于 2025-08-01 16:07:23 发布

阅读量554

点赞数

CC 4.0 BY-SA版权

文章标签： hadoop big data

本文链接：https://blog.csdn.net/weixin_44560436/article/details/121748090

1.讲述 HDFS 上传文件和读文件的流程
HDFS 上传流程，举例说明一个 256M 的文件上传过程
(1)由客户端 Client 向 NameNode 节点发出请求;
(2)NameNode 向 Client 返回可以存数据的 DataNode 列表，这里遵循机架感应原
则(把副本分别放在不同的机架，甚至不同的数据中心);
(3)客户端首先根据返回的信息先将文件分块(Hadoop2.X 版本每一个 block 为
128M，而之前的版本为 64M);
(4)通过 NameNode 返回的 DataNode 信息，将文件块以写入方式直接发送给
DataNode，同时复制到其他两台机器(默认一份数据，有两个副本)；
(5)数据块传送完成以后，dataNode 向 Client 通信，同时向 NameNode 报告；
(6)依照上面(4)到(5)的原理将所有的数据块都上传，结束后向 NameNode 报告
表明已经传完所有的数据块。
HDFS 上传流程如在这里插入图片描述
下图所示：