idea2023创建maven项目连接HDFS

### 创建可连接至HDFS的Maven项目 #### 准备环境配置文件 为了使IntelliJ IDEA中的Maven项目能够成功连接到HDFS，在项目的`resources`目录下需放置必要的Hadoop配置文件，如`core-site.xml`。此文件用于指定NameNode的位置和其他核心参数[^1]。 ```xml <configuration> <property> <!-- URI 定义主机名称和 namenode 的 RPC 服务器工作的端口号 --> <name>fs.defaultFS</name> <value>hdfs://hadoop01:9000</value> </property> </configuration> ``` #### 添加依赖项 编辑`pom.xml`文件以引入所需的库。对于操作HDFS而言，至少应加入如下所示的相关依赖： ```xml <!-- pom.xml --> <dependencies> <!-- Hadoop Common 和 Hadoop Mapreduce Client Core 是必需的核心组件 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}</version> </dependency> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</artifactId> <version>${hadoop.version}</version> </dependency> <!-- 可能还需要其他依赖视具体需求而定 --> </dependencies> ``` 请注意替换`${hadoop.version}`为实际使用的Hadoop版本号。 #### 编写Java代码访问HDFS 编写一段简单的测试程序验证能否正常读取或写入数据到HDFS上。下面是一个基本的例子展示怎样通过FileSystem API上传本地文件到远程集群中去： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSTest { public static void main(String[] args) throws Exception{ Configuration conf = new Configuration(); // 加载自定义配置文件 Path path = new Path("file:///path/to/core-site.xml"); conf.addResource(path); FileSystem fs = FileSystem.get(conf); String localSrcPath = "/local/path"; String hdfsDstPath = "/remote/path"; try (InputStream in = new BufferedInputStream(new FileInputStream(localSrcPath))) { fs.copyFromLocalFile(false, true, new Path(localSrcPath), new Path(hdfsDstPath)); System.out.println("Upload successful."); } catch (IOException e){ e.printStackTrace(); } } } ``` 上述代码片段展示了如何利用Apache Hadoop提供的API实现文件传输功能，并确保加载了正确的配置信息以便于识别目标HDFS实例。