头歌实训-Hive的安装与配置

已于 2025-04-12 20:39:14 修改
阅读量3.1k 收藏 37
点赞数 30
CC 4.0 BY-SA版权
分类专栏： 头歌实训作业 文章标签： hive hadoop 数据仓库 头歌实训
于 2025-04-10 22:14:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67390420/article/details/147128391

第一关：Hive的安装与配置

任务描述

本关任务：在已安装Hadoop的基础上安装配置好Hive并运行。

相关知识

为了完成本关任务，你需要掌握：

1.Hive的基本安装；

2.Mysql的安装与设置；

3.Hive 的配置。

**注意：**本关实训Hive的安装与配置建立在Hadoop已安装配置好的情况下。

Hive 的基本安装

从 官网 下载Hive二进制包，不过这里你无须再从网上下载，我已经帮你下载好了放在/opt目录下。

进入/opt目录，解压apache-hive-3.1.0-bin.tar.gz到该目录下，并将解压的文件重命名为hive；

cd /opt

tar -zxvf apache-hive-3.1.0-bin.tar.gz

mv apache-hive-3.1.0-bin hive

设置环境变量，编辑此命令，在末尾添加以下两行代码；

vi /etc/profile

export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH

source /etc/profile

上面命令使环境生效；

查看hive是否安装成功：

hive --version

出现hive版本就说明安装成功，但是可以看到其中有一些警告信息，是由于包的冲突引起的。我们只需删除掉引起冲突的包即可：

rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar
Mysql 的安装与设置

平台已安装MySQL数据库，同学们在本地没有安装可以采用以下命令进行安装：

sudo apt-get install mysql-server #安装mysql服务

apt-get install mysql-client #安装mysql客户端

sudo apt-get install libmysqlclient-dev #安装相关依赖环境 

注意：安装过程中会提示设置密码什么的，不要忘了设置。

安装完成之后可以使用如下命令来检查是否安装成功。

sudo netstat -tap | grep mysql

通过上述命令检查之后，如果看到有MySQL的socket处于listen 状态则表示安装成功。

Hive需要数据库来存储metastore的内容，因此我们需要配置一下MySQL数据库。

下载mysql驱动；

我已经帮你下载好放在/opt目录下，此命令进入该目录并进行以下操作：

cd /opt

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd mysql-connector-java-5.1.45

cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/ 

接下来介绍MySQL为Hive做的设置。

使用root用户登录MySQL数据库；

mysql -uroot -p123123 -h127.0.0.1 

创建数据库实例hiveDB；

create database hiveDB;

创建用户bee，密码为123123；

create user 'bee'@'%' identified by '123123';

授权用户bee拥有数据库实例hiveDB的所有权限；

grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123'; 

刷新系统权限表。

flush privileges;

quit --退出

Hive 的配置

在/opt/hive/conf目录下，修改hive-site.xml和hive-env.sh两个文件。

hive-site.xml

hive-site.xml保存Hive运行时所需要的相关配置信息。

  • 如果目录下没有该文件，我们直接创建一个：vi hive-site.xml，将以下内容复制到其中（按i进入编辑模式后再进行粘贴）。
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive.   -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead.         -->
<!-- Hive Execution Parameters -->
     <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>/opt/hive/warehouse</value>
     </property>
     <property>
     <name>hive.exec.scratchdir</name>
     <value>/opt/hive/tmp</value>
     </property>
     <property>
     <name>hive.querylog.location</name>
     <value>/opt/hive/logs</value>
     </property>
     <property>
     <name>hive.server2.thrift.port</name>
     <value>10000</value>
     </property>
     <property>
     <name>hive.server2.thrift.bind.host</name>
     <value>localhost</value>
     </property>
     <property>
     <name>hive.server2.enable.doAs</name>
     <value>true</value>
     </property>
     <property>
     <name>hive.session.id</name>
     <value>false</value>
     </property>
     <property>
     <name>hive.session.silent</name>
     <value>false</value>
     </property>
     <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
     </property>
     <property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.jdbc.Driver</value>
     </property>
     <property>
     <name>javax.jdo.option.ConnectionUserName</name>
     <value>bee</value>
     <!-- 这里是之前设置的数据库 -->
     </property>
     <property>
     <name>javax.jdo.option.ConnectionPassword</name>
     <!-- 这里是数据库密码 -->
     <value>123123</value>
     </property>
    </configuration>

完成后，在命令行模式（按 Esc），输入:wq保存退出。

hive-env.sh

由于Hive是一个基于Hadoop分布式文件系统的数据仓库架构，主要运行在 Hadoop分布式环境下，因此，需要在文件hive-env.sh中指定Hadoop相关配置文件的路径，用于Hive访问HDFS（读取fs.defaultFS属性值）和 MapReduce（读取mapreduce.jobhistory.address属性值）等Hadoop相关组件。如果目录下没有该文件，我们就以模板复制一个：

cp hive-env.sh.template hive-env.sh

vi hive-env.sh

打开文件，在文件末尾添加变量指向 Hadoop 的安装路径：

HADOOP_HOME=/usr/local/hadoop #在本地环境安装，要根据自己hadoop的路径来确定

需要执行初始化命令：

schematool -dbType mysql -initSchema

编程要求

请仔细阅读左侧文档知识点，根据提示，在右侧命令行区域进行 Hive 环境搭建，具体任务如下：

  • 根据上述步骤完成Hive的安装与配置
  • 然后在命令行start-dfs.sh启动 Hadoop
  • 点击测评，验证hive是否成功安装配置。
测试说明

补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。

第二关：Hive Shell入门基础命令

Hive Shell运行在Hadoop集群环境上，是Hive提供的命令行接口（CLI），在Hive提示符输入HiveQL命令，Hive Shell把HQL查询转换为一系列MapReduce作业对任务进行并行处理，然后返回处理结果。

为了完成本关任务，你需要掌握：Hive Shell常用命令 。

Hive Shell 常用命令

注意：Hive命令必须以分号;结束。

启动 Hive Shell：

hive;

出现hive>说明启动成功。

  • 查询数据库： 
    show databases;

查询表：

show tables;

因为该数据库下没有创建表，所以输出结果为0行。

  • 创建数据库mydb：
create database mydb;

删除数据库mydb：

drop database mydb;

创建表mytable，有id字段，数据类型为int：

create table mytable(id int);

删除表mytable：

drop table mytable;

退出 Hive Shell：

exit;

Hive Shell 非交互式运行

我们也可以不启动Hive Shell，直接在Linux的命令行操作Hive。

hive -e 'show databases;'

在Hive的交互式模式和非交互式模式下，执行HiveQL操作都会输出执行过程信息，如执行查询操作所用时间，通过指定-S选项可以禁止输出此类信息。

hive -S -e 'show databases;'

编程要求

请根据右侧命令行内的提示，在Begin - End区域内进行sql语句代码补充，具体任务如下：

在Hive Shell下创建一个表student，表结构如下：

先进入hive下，在创建表命令；

hive;
create table student (id int,name string,age int);

Hive的安装与配置——第1关：Hive的安装与配置
大家一起入坑
10-20 1万+
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ysxGddek-1666195111052)(D:\文件\大三上\大数据库\educoder_Hive的安装.png)]版本就说明安装成功，但是可以看到其中有一些警告信息，是由于包的冲突引起的。补充完代码后，点击测评，平台会对你编写的代码进行测试，当你的结果与预期输出一致时，即为通过。**注意：**通过本关后，请继续完成第二关，第二关是在。注意：安装过程中会提示设置密码什么的，不要忘了设置。到该目录下，并将解压的文件重命名为。
Hive安装与配置
weixin_44847293的博客
06-21 1136
第 1 节 Hive安装配置介绍 Hive官网：http://hive.apache.org 下载网址：http://archive.apache.org/dist/hive/ 文档网址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual 安装前提：3台虚拟机，安装了Hadoop 安装软件：Hive(2.3.7) + MySQL (5.7.26) 备注：Hive的元数据默认存储在自带的 derby 数据库中，生产中多采用MySQL
头歌 | Hive的安装与配置
m0_61546943的博客
10-25 1340
【代码】头歌 | Hive的安装与配置。
头歌—Hive的安装与配置
Changersh
12-04 9742
头歌—hive的安装与配置
hive01--hive的安装及配置
干就完了
09-10 3473
在hive内嵌模式与本地模式中，当启动hive cil（hive命令行模式），hive会在后台自动启动hive服务与metastoreserver独立进程。由于执行hiveql时，默认会寻找本地的resourcemanager，因此需要在resourcemanager所在的节点中启动hivecil。
Hive的安装及配置
mo
06-07 5050
集群规划：本虚拟机上有三台机器，主机名分别是hadoop102,103,104. 一：hive的安装部署 1.把apache-hive-1.2.1-bin.tar.gz上传到linux的/opt/software目录下(可根据自己目录来,下同) 2.解压apache-hive-1.2.1-bin.tar.gz到/opt/module/目录下面 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/module/ 3.在mudule目录下修改apache-hive-1
Hive（一）安装与配置
weixin_50034171的博客
12-08 1571
文章目录前言一、环境搭建主要步骤1.1 主要步骤1.2 解压文件1.3 文件改名以及warehouse的创建1.4 配置hive-site.xml1.5 拷贝mysql驱动1.6 配置环境变量1.7 Hive初始化1.8 启动hive1.9 关闭进程二、安装流程文档 前言 什么是Hive？ Hive是基于Hadoop的数据仓库解决方案 Hive的优缺点： ①、统一的元数据管理 Hive的元数据可以放在mysql上，表结构信息存储在HDFS上。 ②、入门简单，类SQL ③、灵活性、扩展性 支持很
大数据技术基础实验报告-Hive安装配置与应用.doc
08-21
【大数据技术基础实验报告-Hive安装配置与应用】 在大数据处理领域，Apache Hive是一个非常重要的组件，它提供了基于Hadoop的数据仓库工具，用于数据查询、分析以及存储。本实验报告将详细阐述如何安装、配置Hive，...
hive的安装与配置头歌.zip
06-05
在本压缩包中，"文档.pdf" 和 "资料必看.zip" 可能包含了关于 Hive 安装与配置的详细步骤和指南。现在，我们将深入探讨 Hive 的安装与配置过程。 首先，安装 Hive 需要先确保你已经安装了 Hadoop 环境，因为 Hive ...
大数据技术--实验04-Hive的安装与使用【实测可行】
u013571432的博客
07-19 1452
1）在Hive的官网http://mirrors.cnnic.cn/apache/hive/ 下载Hive，其文件为：apache-hive-1.2.1-bin.tar.gz。这里可以看到表中是有数据的，同时数据存储在指定的/user/root/hivedemo中，并没有存储在默认的/user/hive/warehouse中；visits_data.txt数据一共包含6列，分别对应名字，姓，访问时间，计划访问时间，地点，备注，使用“\t”进行分隔。3）修改/etc/profile文件，添加必要变量。
Hive的安装与配置
lovewordskd的博客
11-07 1616
（1）上传，导jar包。 上传tar包，解压。此处我们用的hive是2.3.3。在hive的lib下添加一个mysql-connect-jar。 将元数据管理配置为mysql。 Hive的元数据默认是保存在DerBy数据库中，但是这个数据库会随着客户端的移动而重新生成。所以我们统一将元数据使用mysql来保存。 在Hive的conf下添加以下配置信息。 vi hive-site.xml <?xml version="1.0" encoding="UTF-8" standalone="
Hive配置
weixin_62982569的博客
06-13 3472
hive部署
Hive安装与配置详解
weixin_30767921的博客
01-04 410
既然是详解，那么我们就不能只知道怎么安装hive了，下面从hive的基本说起，如果你了解了，那么请直接移步安装与配置 hive是什么 hive安装和配置 hive的测试 hive 　　这里简单说明一下，好对大家配置hive有点帮助。hive是建立在hadoop上的，当然，你如果只搭建hive也没用什么错。说简单一点，hadoop中的mapreduce调用如果面向DBA的时候，那么问题...
hive的安装与配置
weixin_47591848的博客
07-22 1624
hive的安装与配置详解 hive 中mysql的配置
Hive安装配置
大头皮鞋的博客
11-21 8990
前提条件： 1. 安装好hadoop2.7.3（Linux环境）； 2. 安装好MySQL5.7（参考：安装MySQL） 推荐使用 或者 Xampp（Windows环境）参考Navicat通过IP连接Xampp数据库 3. 通过Navicat连接到mysql数据库，新建一个名为hive的数据库 安装步骤： 1. 官网下载hive安装文件，下载地址：ht...
头歌实践教学平台hive的安装与配置答案
最新发布
03-19
### 关于头歌实践教学平台 Hive 安装与配置的答案 在完成 Hive 的安装与配置过程中，通常需要按照一定的流程来操作。以下是基于提供的参考资料以及常见实践中的具体步骤说明。 #### 1. Hive 安装环境准备 为了成功安装 Hive，需先准备好必要的依赖环境，包括 Hadoop 和 JDK 的正确版本支持[^2]。 确保以下条件满足： - 已经安装并配置好 Java 环境变量 `JAVA_HOME`。 - Hadoop 集群已正常运行，并能够访问分布式文件系统 (HDFS)。 ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin ``` #### 2. 下载与解压 Hive 下载适合当前系统的 Hive 版本压缩包，并将其解压至指定目录： ```bash wget https://downloads.apache.org/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz tar -xzvf apache-hive-3.1.2-bin.tar.gz -C /opt/ ln -s /opt/apache-hive-3.1.2-bin/ /opt/hive ``` 设置 Hive 的环境变量以便全局调用: ```bash export HIVE_HOME=/opt/hive export PATH=$PATH:$HIVE_HOME/bin ``` #### 3. 修改 Hive 配置文件 进入 Hive 解压后的 conf 文件夹下，复制模板文件作为实际使用的配置文件： ```bash cp hive-default.xml.template hive-site.xml ``` 编辑 `hive-site.xml` 添加或修改必要参数，例如元数据存储位置和驱动类名： ```xml <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <property> <name>datanucleus.autoCreateSchema</name> <value>false</value> </property> </configuration> ``` #### 4. 初始化 Metastore 数据库 如果选择了 MySQL 作为外部 metastore，则需要初始化数据库表结构。执行以下脚本来创建所需的 schema： ```sql mysql -u root -p CREATE DATABASE metastore; USE metastore; SOURCE /path/to/hive/scripts/metastore/upgrade/mysql/hive-schema-3.1.0.mysql.sql; EXIT; ``` #### 5. 启动 Hive 并验证功能 通过启动 Hive CLI 或 Beeline 来测试基本命令是否可以正常使用： ```bash hive --service cli show databases; use default; show tables; ``` 或者使用 Beeline 连接方式连接到 HiveServer2： ```bash beeline -u jdbc:hive2://localhost:10000/default !tables ``` 以上即为完整的 Hive 安装与配置过程概述。 --- ### 提供一段简单的 shell 脚本用于调试 Hive 是否可用 编写一个名为 test.sh 的简单 bash 脚本以打印现有数据库列表： ```bash #!/bin/bash echo "hive 中有以下数据库：" hive -e 'show databases;' ``` 保存上述内容后赋予可执行权限并通过命令查看输出结果： ```bash chmod +x test.sh ./test.sh ``` 这将返回所有存在的 Hive 数据库名称。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值