【头歌实训】分布式文件系统 HDFS

### 分布式文件系统 HDFS 的原理介绍 HDFS 是专为分布式计算存储提供底层支持的文件系统，采用 Java 语言开发，能够部署在多种普通的廉价机器上，以集群处理的方式达到大型主机的处理性能。HDFS 架构基于 master/slave 设计，其中包含一个单独的 NameNode 和多个 DataNode[^3]。 #### HDFS 架构特点 - **NameNode**: 负责管理文件系统的命名空间和客户端对文件的访问请求，维护着整个文件系统的目录树以及每个文件内部的数据块映射关系。 - **DataNode**: 存储实际的数据块，默认情况下会保存三个副本分布在不同的节点上，以此提高数据可靠性和可用性。 #### 文件操作特性 针对大规模数据集进行了优化： - 数据块大小设定较大（默认128MB），旨在降低寻址成本并提升传输效率； - 支持一次性写入、多次读取的操作模式，确保数据一致性的同时简化了并发控制逻辑； - 利用多副本机制实现高容错能力，在某个物理设备发生故障时仍能保障数据安全； - 针对流式数据访问做了特别优化，非常适合处理海量日志或其他连续产生的大量信息[^4]。 ### 头歌实训平台上的 HDFS 使用教程 对于希望利用头歌实训平台学习或实践 HDFS 技术的同学来说，可以通过如下方式进行探索： #### 创建与上传文件至指定路径 假设要在一个名为 `/mytestdir` 的远程目录中创建一个新的文本文件，并将其命名为个人学号的形式，则可通过编写简单的 Java 应用来完成此任务。下面是一个简化的代码片段展示如何使用 HDFS API 完成上述功能[^2]: ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class UploadFileExample { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); String localFilePath = "/path/to/local/file"; // 替换成真实的本地文件路径 Path hdfsPath = new Path("/mytestdir/" + "studentID"); // 将 studentID 替换为具体的学生编号 fs.copyFromLocalFile(new Path(localFilePath), hdfsPath); System.out.println("File uploaded successfully."); } } ``` 这段程序首先配置了一个 `Configuration` 对象来获取当前环境下的 Hadoop 设置；接着实例化了一个 `FileSystem` 类型的对象代表连接到目标 HDFS 系统；最后调用了 `copyFromLocalFile()` 方法把本地文件拷贝到了给定的目标位置。 #### 下载文件到本地计算机 同样地，如果想要从 HDFS 中下载之前上传过的文件存放到本地特定的位置比如 `/home/hadoop/` ，只需要稍微调整上面的例子即可: ```java // 修改后的部分 String remoteFilePath = "/mytestdir/studentID"; Path downloadLocation = new Path("/home/hadoop/"); fs.copyToLocalFile(false, new Path(remoteFilePath), downloadLocation, true); System.out.println("File downloaded successfully."); ``` 这里的关键在于选择了合适的参数传递给 `copyToLocalFile()` 函数，第一个布尔值表示是否删除源文件，最后一个布尔值指示覆盖已存在的同名文件。