hdfs上传和下载流程

### HDFS 文件上传和下载的详细流程 #### HDFS 文件上传流程 HDFS 文件上传是一个复杂的分布式操作，涉及客户端、NameNode 和 DataNode 的协作。以下是文件上传的详细过程： - 客户端向 NameNode 发起请求以上传文件。NameNode 检查目标文件是否存在、父目录是否存在以及客户端是否具有上传权限。如果检查通过，NameNode 返回确认信息[^3]。 - 客户端将文件逻辑上划分为多个块（block），每个块的大小通常为 128MB 或其他配置值。对于一个 300MB 的文件，它会被划分为三个块：两个 128MB 的块和一个 44MB 的块[^3]。 - 客户端请求 NameNode 获取第一个 block 应该传输到哪些 DataNode 上。NameNode 返回一个 DataNode 列表，并根据网络拓扑结构对这些节点进行排序[^3]。 - 客户端与选定的第一个 DataNode 建立连接，并构建一个管道（pipeline）。这个管道由所有负责存储该 block 副本的 DataNode 组成。数据以 packet（默认 64KB）为单位从客户端发送到第一个 DataNode，然后依次传递给下一个 DataNode[^4]。 - 数据在传输过程中会写入 DataNode 的本地缓存，并同时向下一个节点传递。每当一个 packet 被成功接收后，DataNode 会将其写入磁盘并返回确认信息。 - 当一个 block 的所有 packet 都被成功传输后，管道关闭。客户端再次请求 NameNode 获取下一个 block 的目标 DataNode 列表，并重复上述过程，直到所有块都上传完成[^3]。 - 所有块上传完成后，客户端通知 NameNode 数据上传成功。NameNode 更新其元数据，记录文件及其 block 的位置信息。 #### HDFS 文件下载流程 HDFS 文件下载流程同样需要客户端、NameNode 和 DataNode 的协作。以下是文件下载的详细过程： - 客户端向 NameNode 发起请求以读取文件。NameNode 返回文件的 block 列表及每个 block 的副本所在的 DataNode 地址。地址列表按照网络拓扑结构排序，优先选择距离客户端最近的 DataNode[^5]。 - 客户端从排序后的 DataNode 列表中选择一个最优节点进行数据读取。如果客户端本身是一个 DataNode 并且包含所需 block，则启用短路读取特性直接从本地读取数据[^5]。 - 客户端与选定的 DataNode 建立连接，通过 `FSDataInputStream` 创建 Socket Stream。客户端调用 `read` 方法逐个读取 block 的数据[^5]。 - 在读取过程中，客户端会对数据进行 checksum 校验以确保数据完整性。如果发现数据损坏，客户端会尝试从其他副本重新读取数据[^5]。 - 当一个 block 的数据读取完成后，如果文件尚未完全读取，客户端会继续向 NameNode 请求下一个 block 的位置信息，并重复上述步骤，直到整个文件的所有 block 都被读取完毕。 ```python from hdfs import InsecureClient # 创建 HDFS 客户端 client = InsecureClient('http://namenode:50070', user='hdfs') # 上传文件 client.upload('/user/hdfs/input', 'local_file.txt') # 下载文件 client.download('/user/hdfs/output/remote_file.txt', 'local_output.txt') ```