头歌HDFS 的基本操作

### HDFS基本操作教程 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储大规模数据并提供高吞吐量访问。以下是HDFS的基本操作教程，包括文件的上传、下载、查看、重命名、删除以及目录管理等。 #### 1. 文件上传 通过命令行工具可以将本地文件上传到HDFS中。例如，使用`hdfs dfs -put`命令将本地文件`/home/hadoop/myLocalFile.txt`上传到HDFS中的当前用户目录下的`input`目录[^3]： ```bash hdfs dfs -put /home/hadoop/myLocalFile.txt /user/hadoop/input/ ``` #### 2. 文件下载 从HDFS下载文件到本地系统可以使用`hdfs dfs -get`命令。例如，将HDFS中的文件`/user/hadoop/input/myLocalFile.txt`下载到本地路径`/home/hadoop/`[^5]： ```bash hdfs dfs -get /user/hadoop/input/myLocalFile.txt /home/hadoop/ ``` #### 3. 查看文件内容 使用`hdfs dfs -cat`命令可以查看HDFS中文件的内容。例如，查看文件`/user/hadoop/input/myLocalFile.txt`的内容[^4]： ```bash hdfs dfs -cat /user/hadoop/input/myLocalFile.txt ``` #### 4. 创建目录 在HDFS中创建目录可以使用`hdfs dfs -mkdir`命令，并结合`-p`选项递归创建父目录。例如，创建目录`/log/2023/03/15`[^4]： ```bash hdfs dfs -mkdir -p /log/2023/03/15 ``` #### 5. 删除文件或目录 删除HDFS中的文件或目录可以使用`hdfs dfs -rm`命令。如果需要删除整个目录，则需要加上`-r`选项。例如，删除文件`/user/hadoop/input/myLocalFile.txt`和目录`/user/hadoop/input/`： ```bash hdfs dfs -rm /user/hadoop/input/myLocalFile.txt hdfs dfs -rm -r /user/hadoop/input/ ``` #### 6. 重命名文件或目录 重命名文件或目录可以使用`hdfs dfs -mv`命令。例如，将文件`/user/hadoop/input/myLocalFile.txt`重命名为`newFile.txt`[^5]： ```bash hdfs dfs -mv /user/hadoop/input/myLocalFile.txt /user/hadoop/input/newFile.txt ``` #### 7. 使用Java API操作HDFS 除了命令行工具，还可以通过HDFS Java API进行编程操作。例如，使用Java代码创建文件、写入数据、读取数据等。以下是一个简单的示例，展示如何通过Java API连接HDFS并创建文件[^2]： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.net.URI; public class HDFSExample { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://localhost:9000"), conf, "hadoop"); Path path = new Path("/user/hadoop/example.txt"); fs.create(path); fs.close(); } } ``` #### 8. 数据冗余与故障恢复机制 HDFS通过数据块的多副本存储机制确保数据的高可用性和容错性。默认情况下，每个数据块会被复制三份存储在不同的DataNode上。这种设计使得即使某些节点发生故障，数据仍然可以通过其他副本访问[^1]。 ---