Hadoop+Hive+Spark环境win10搭建

最新推荐文章于 2025-05-07 10:17:35 发布

jorondo

最新推荐文章于 2025-05-07 10:17:35 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据随想录文章标签： hive hadoop spark 大数据

本文链接：https://blog.csdn.net/jorondo/article/details/105754210

依赖环境部署

1）jdk 1.8 开发环境部署与环境变量配置，参考JDK下载与配置
2）mysql 5.7 下载与安装，参考MySql下载与安装
3）scala 2.11.12下载与安装，下载地址Scala官网

Hadoop安装与配置

1、下载hadoop安装包与工具包

下载安装包：hadoop-2.7.7.tar.gz
下载工具包：工具包

2、hadoop环境配置

1）解压安装包并重命名目录为D:/soft/hadoop
2）加压工具包，将解压出的etc和bin文件夹覆盖D:/soft/hadoop下对应目录
3）修改配置文件

1：etc/hadoop/core-site.xml
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2：etc/hadoop/mapred-site.xml
<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3：etc/hadoop/hdfs-site.xml
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>file:/D:/hadoop/data/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data