小节测验 hdfs
时间: 2025-05-28 16:35:09 浏览: 17
### HDFS 小节测验与学习内容
#### 关于 HDFS 的核心概念
HDFS 是 Hadoop 核心组件之一,主要负责分布式环境下的大规模数据存储[^1]。它设计用于运行在通用硬件上的高容错性系统,并提供高吞吐量的数据访问能力。
#### HDFS 基础操作指南
以下是关于 HDFS 的基础操作说明及其对应的命令:
1. **创建目录**
使用 `hadoop fs -mkdir` 创建指定路径的目录。例如,在 `/user/root/` 下创建名为 `testdir` 的目录:
```bash
hadoop fs -mkdir /user/root/testdir
```
2. **上传文件**
可以通过 `hadoop fs -put` 或者 `-copyFromLocal` 将本地文件上传至 HDFS 中。例如,将本地日志文件 `email_log.txt` 上传到 HDFS 路径 `/user/root/`:
```bash
hadoop fs -put email_log.txt /user/root/
```
3. **复制文件**
在 HDFS 内部进行文件复制可以通过 `hadoop fs -cp` 实现。例如,将 `/demo/test/test.txt` 文件复制到 `/test/temp` 目录下:
```bash
hadoop fs -cp /demo/test/test.txt /test/temp/
```
4. **下载文件**
如果需要从 HDFS 下载文件到本地,则可使用 `hadoop fs -get` 或 `-copyToLocal` 命令。例如,将 HDFS 上的文件 `/user/root/email_log.txt` 下载到当前工作目录:
```bash
hadoop fs -get /user/root/email_log.txt .
```
5. **删除文件或目录**
删除单个文件或者整个目录可以使用 `hadoop fs -rm` 和 `hadoop fs -rmdir` 命令。需要注意的是,默认情况下会提示确认;加上参数 `-skipTrash` 则直接跳过回收站机制立即删除。
6. **查看文件内容**
查看 HDFS 文件的内容可以直接利用 `hadoop fs -cat` 或其他相关浏览工具完成。比如显示 `/user/root/email_log.txt` 的全部内容:
```bash
hadoop fs -cat /user/root/email_log.txt
```
7. **退出安全模式**
当集群处于安全模式时,某些写入类的操作会被禁用。此时可通过如下指令解除限制以便正常执行后续任务:
```bash
hadoop dfsadmin -safemode leave
```
8. **启动服务节点**
开始任何实际动手实践之前,请确保已经成功启用了 NameNode、DataNode 和 SecondaryNameNode 等必要角色的服务进程。这通常由脚本 `start-dfs.sh` 自动处理完毕[^4]。
#### 测验题目示例
为了检验对以上知识点的理解程度,这里给出几个简单的问答形式练习题供参考:
1. 描述什么是 HDFS?它的主要用途是什么?
2. 如何向 HDFS 添加一个新的子目录结构并验证其存在状态?
3. 给定一个位于本地磁盘中的文本文档,请写出具体步骤将其迁移到远程 HDFS 平台之上。
4. 阐述如何实现两个不同位置之间已存在的资源互换动作(即交换源目标两者的位置关系)。
5. 解释为什么有时候我们需要手动干预来关闭系统的保护屏障——也就是所谓的“离开安全模式”。
---
阅读全文
相关推荐


















