Hadoophdfs接口

### Hadoop HDFS API 文档和接口说明 #### 使用HDFS Java API进行文件操作 为了通过Java程序访问HDFS中的资源，可以使用`FileSystem`类提供的方法。此过程始于创建一个表示集群配置的对象——通常是`Configuration`实例[^3]。 ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; // 创建一个新的配置对象，默认加载默认的hadoop配置参数 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:8020"); // 设置NameNode地址 try { FileSystem fs = FileSystem.get(conf); // 获取文件系统的实例 } catch (IOException e) { e.printStackTrace(); } ``` 一旦有了`FileSystem`对象，就可以执行多种类型的文件系统调用了，比如读写文件、管理目录结构等。下面是一些常见的API函数： - **创建新文件** `create(Path f)` 方法用于在指定路径下新建并打开文件准备写入数据流。 - **删除现有文件或目录** 可以使用 `delete(Path p, boolean recursive)` 函数移除单个文件或是整个子树（当recursive设为true时）。 - **重命名文件或移动文件夹** 调用 `rename(Path src, Path dst)` 来改变名称或者迁移位置。 - **列出某个目录下的内容** 利用 `listStatus(Path path)` 返回该路径所指向的所有条目列表。 对于更复杂的场景，还可以探索其他高级特性如权限控制、属性设置等功能。 除了上述基本的操作外，还有专门处理大容量二进制数据传输的方法，例如可以通过`FileOutputStream`配合缓冲区实现高效的数据上传至HDFS[^2]。 ```java import java.io.FileOutputStream; import org.apache.hadoop.fs.FSDataInputStream; import org.apache.hadoop.fs.Path; Path hdfsFilePath = new Path("/user/hadoop/sample.txt"); FSDataInputStream inputStream = null; FileOutputStream fos = null; try { inputStream = fs.open(hdfsFilePath); fos = new FileOutputStream(localDestinationPath); byte[] buffer = new byte[1024]; int bytesRead = -1; while ((bytesRead = inputStream.read(buffer)) != -1) { fos.write(buffer, 0, bytesRead); } } finally { if(inputStream!=null){ inputStream.close(); } if(fos!=null){ fos.close(); } } ``` 这段代码展示了如何从HDFS下载文件到本地磁盘的过程。