1.利用Hadoop提供的Shell命令完成下列任务。\n       （1） 向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件；

### 代码概述 该代码用于操作HDFS文件系统，具体包括删除HDFS上的两个目录（一个为空目录，另一个为非空目录），以及列出HDFS根目录和`/tmp/`目录下的所有文件和文件夹。 ### 代码解析 首先，我们需要获取HDFS的文件系统对象。接着，执行以下操作： 1. 删除`/user/hadoop/`这个空目录。 2. 删除`/tmp/test/`这个非空目录。由于是非空目录，需要设置递归删除选项。 3. 列出HDFS根目录`/`下的所有文件和文件夹。 4. 列出`/tmp/`目录下的所有文件和文件夹。 下面是完整的代码实现： ```java package step4; import java.io.IOException; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import org.apache.hadoop.fs.Path; public class FileSystemDelete { public static void main(String[] args) throws IOException { // 获取HDFS文件系统对象 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); /********* Begin *********/ // 删除/user/hadoop/这个空目录 Path userPath = new Path("/user/hadoop"); if (fs.exists(userPath)) { fs.delete(userPath, false); // false表示不递归删除 } // 删除/tmp/test/这个非空目录 Path tmpTestPath = new Path("/tmp/test"); if (fs.exists(tmpTestPath)) { fs.delete(tmpTestPath, true); // true表示递归删除 } // 列出HDFS根目录下的所有文件和文件夹 FileStatus[] rootStatuses = fs.listStatus(new Path("/")); for (FileStatus status : rootStatuses) { System.out.println(status.getPath()); } // 列出/tmp/目录下的所有文件和文件夹 FileStatus[] tmpStatuses = fs.listStatus(new Path("/tmp")); for (FileStatus status : tmpStatuses) { System.out.println(status.getPath()); } /********* End *********/ // 关闭文件系统对象 fs.close(); } } ``` ### 知识点 1. **HDFS文件系统操作**：通过`FileSystem`类提供的API操作HDFS，如删除目录、列出目录内容等。 2. **递归删除**：`delete`方法的第二个参数控制是否递归删除，默认为`false`。 3. **路径管理**：使用`Path`类来表示HDFS中的路径，便于文件系统的操作。

### 代码概述 该代码段旨在实现在本地创建文件`hello.txt`并将其内容写入，然后利用Hadoop的`FSDataOutputStream`对象将此文件上传到HDFS指定路径。此外，在上传过程中会打印上传进度。为了实现这个功能，我们需要分两步走：首先是在本地文件系统中创建文件并写入数据；其次，使用Hadoop提供的API将该文件上传到HDFS。 ### 代码解析 1. **创建并写入本地文件** - 使用`BufferedInputStream`和`FileInputStream`读取字符串数据并写入本地文件。 - 文件路径为`/develop/input/hello.txt`，内容为给定诗句。 2. **连接到HDFS** - 初始化`Configuration`对象并设置`fs.defaultFS`为HDFS的URI。 - 获取`FileSystem`实例用于后续操作。 3. **上传文件至HDFS** - 创建一个`Progressable`匿名类来跟踪上传进度。 - 使用`create()`方法创建目标文件流，并通过循环将本地文件内容逐块写入HDFS，同时输出进度信息。 - 最后关闭所有打开的文件流以确保资源被正确释放。 下面是具体的实现代码： ```java package step3; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.util.Progressable; public class FileSystemUpload { public static void main(String[] args) throws IOException { // Step 1: Create and write local file String content = "迢迢牵牛星，皎皎河汉女。\n" + "纤纤擢素手，札札弄机杼。\n" + "终日不成章，泣涕零如雨。\n" + "河汉清且浅，相去复几许？\n" + "盈盈一水间，脉脉不得语。\n" + "《迢迢牵牛星》"; File file = new File("/develop/input/hello.txt"); try (OutputStream out = new FileOutputStream(file)) { out.write(content.getBytes()); } // Step 2: Connect to HDFS and upload file Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9870"); // 修改为你的HDFS地址 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9870"), conf); Path src = new Path("/develop/input/hello.txt"); Path dst = new Path("/user/tmp/hello.txt"); try (InputStream in = new BufferedInputStream(new FileInputStream(file)); FSDataOutputStream out = fs.create(dst, new Progressable() { @Override public void progress() { System.out.print("."); } })) { IOUtils.copyBytes(in, out, conf, true); } fs.close(); } } ``` ### 知识点 1. **HDFS API基础** 使用Hadoop提供的API进行文件上传，包括配置`Configuration`和获取`FileSystem`实例。 2. **文件流操作** 使用Java的I/O流处理文件读写，包括创建文件、写入内容以及从本地读取文件。 3. **Progressable接口** 实现`Progressable`接口来监控和展示HDFS文件上传进度。