任务：用eclipse创建JAVA项目，实现筛选文件及合并文件任务操作 解释：假设在目录“hdfs://localhost:9000/user/hadoop”下面有几个文件，分别是file1.txt、file2.txt、file3.txt、file4.abc和file5.abc，这里需要从该目录中过滤出所有后缀名不为“.abc”的文件，对过滤之后的文件进行读取，并将这些文件的内容合并到文件“hdfs://localhost:9000/user/hadoop/merge.txt”中。 其中文件内容 file1：自己班级 file2：名字 file3：学号 file4：this is file4.abc file5: this is file5.abc jar包路径： usr/local/hadoop/share/hadoop/common usr/local/hadoop/share/hadoop/common/lib usr/local/hadoop/share/hadoop/hdfs usr/local/hadoop/share/hadoop/hdfs/lib 提交结果截图（请严格按照命名格式提交） 截图命名：名字+学号 （如张三202310000000）

要在Eclipse中创建Java项目并完成上述任务，可以按照以下步骤操作： ### 步骤一：配置Hadoop环境和Eclipse开发环境 1. **安装Eclipse**：确保已正确安装Eclipse IDE for Java Developers。 2. **设置Hadoop依赖库**： - 将`usr/local/hadoop/share/hadoop/common`、`common/lib`、`hdfs`以及`hdfs/lib`下的JAR包添加到项目的构建路径中。 - 右键点击Eclipse中的项目 -> `Build Path` -> `Configure Build Path...` - 转到`Libraries`选项卡，点击`Add External JARs`选择上面提到的所有JAR文件。 ### 步骤二：编写代码实现筛选与合并功能 #### 主程序结构示例 ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.FileStatus; import java.io.IOException; import java.net.URI; public class FileMergeTask { public static void main(String[] args) { String hdfsUri = "hdfs://localhost:9000"; String inputPathStr = "/user/hadoop"; // 输入目录 String outputPathStr = "/user/hadoop/merge.txt"; // 输出文件 try { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create(hdfsUri), conf); filterAndMergeFiles(fs, inputPathStr, outputPathStr); } catch (Exception e) { System.err.println("Error occurred while processing files."); e.printStackTrace(); } } private static void filterAndMergeFiles(FileSystem fs, String inputDir, String outputFilePath) throws IOException { Path path = new Path(inputDir); FileStatus[] statuses = fs.listStatus(path); // 获取输入目录下所有文件的状态信息 StringBuilder contentBuilder = new StringBuilder(); if (statuses != null && statuses.length > 0) { // 遍历文件列表 for (FileStatus status : statuses) { String fileName = status.getPath().getName(); // 文件名 if (!fileName.endsWith(".abc")) { // 筛选出非".abc"结尾的文件 System.out.println("Processing file: " + fileName); byte[] buffer = new byte[1024]; int bytesRead; try (org.apache.hadoop.fs.FSDataInputStream inputStream = fs.open(status.getPath())) { while ((bytesRead = inputStream.read(buffer)) > 0) { contentBuilder.append(new String(buffer, 0, bytesRead)); // 合并文件内容 } } } } // 写入最终结果至目标文件 try (org.apache.hadoop.fs.FSDataOutputStream outputStream = fs.create(new Path(outputFilePath))) { outputStream.write(contentBuilder.toString().getBytes()); System.out.println("Merged result written to: " + outputFilePath); } } } } ``` --- ### 运行测试 1. 编译运行此程序前需确认本地HDFS服务是否正常启动(`start-dfs.sh`)。 2. 使用命令检查初始状态（查看是否有指定的五个文本文件存在于HDFS上）： ```bash hadoop fs -ls /user/hadoop/ ``` 3. 执行完程序后，验证生成的结果文件是否存在及内容是否正确： ```bash hadoop fs -cat /user/hadoop/merge.txt ``` --- ### 提交成果注意事项 按要求提交截图命名规则：“姓名+学号”。例如，“李四_20231008”。 ---