hadoop(客户端环境准备)

最新推荐文章于 2025-05-07 11:36:41 发布

原创最新推荐文章于 2025-05-07 11:36:41 发布 · 285 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

12 篇文章

订阅专栏

本文详细介绍了如何在本地环境中搭建Hadoop HDFS客户端，包括配置环境变量、创建Maven工程、添加依赖坐标及日志配置，以及创建HdfsClient类的基本步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.根据自己电脑的操作系统环境拷贝对应编译后的hadoop.jar包到非中文路径
例如：D:\Develop\hadoop-2.7.2
在这里插入图片描述
2.配置HADOOP_HOME环境变量

3.配置Path环境变量

4.在idea中创建一个Maven工程HdfsClientDemp
5.导入相应的依赖坐标+日志添加

<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>RELEASE</version>
		</dependency>
		<dependency>
			<groupId>org.apache.logging.log4j</groupId>
			<artifactId>log4j-core</artifactId>
			<version>2.8.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-common</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-hdfs</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.8</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
</dependencies>

6.在项目的src/main/resources目录下。新建一个文件，命名为"log4j.properties",在文件中填入

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n