Hive metastore MYSQL配置


元数据mysql配置


1 安装mysql

rpm -qa | grep mysql         // 这个命令就会查看该操作系统上是否已经安装了mysql数据库

rpm -e --nodeps mysql // 强力删除模式,如果使用上面命令删除时,提示有依赖的其它文件,则用该命令可以对其进行强力删除


yum list | grep mysql //查看yum上提供的mysql数据库可下载的版本

yum install -y mysql-server mysql mysql-devel //将mysql mysql-server mysql-devel都安装好


rpm -qi mysql-server //查看刚安装好的mysql-server的版本


//启动 mysql

service mysqld start

service mysqld restart



//设置mysql开机自启动

chkconfig --list | grep mysqld

chkconfig mysqld on


/usr/bin/mysqladmin -u root password 'root'   // 为root设置密码




// 允许root用户远程访问

use mysql;

update user set host='%' where user='root';

flush privileges;

select host, user from user;


修改配置文件   $HIVE_HOME/conf/hive-site.xml

<span style="font-size:14px;"><?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>
 
<property>
  <name>hive.metastore.local</name>
  <value>true</value>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true</value>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
</configuration></span>



添加mysql的jar包到lib目录

$HIVE_HOME/conf/lib



2  创建用户给hive使用


CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';

GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' WITH GRANT OPTION;




### Hive Metastore 配置与使用指南 #### 1. Hive Metastore 的安装配置 为了使 Hive 能够存储元数据,在安装过程中需确保 `<value>` 标签内的连接 URL、驱动程序类名、用户名和密码被替换为实际使用的 MySQL 数据库的具体参数[^1]。 对于 MySQL 数据库的集成部分,通常是在 `hive-site.xml` 文件中完成设置。以下是该文件的部分配置示例: ```xml <configuration> <!-- MySQL JDBC URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExist=true</value> </property> <!-- MySQL Driver Class Name --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.cj.jdbc.Driver</value> </property> <!-- Database Username and Password --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>your_username</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>your_password</value> </property> </configuration> ``` #### 2. 启动 Hive Metastore 服务 当上述配置完成后,可以通过命令行来启动 Hive Metastore 服务: ```bash hive --service metastore & ``` 这条指令会在后台启动 Hive Metastore 服务进程。 #### 3. 使用 Hive CLI 或其他客户端访问 Hive 一旦 Hive Metastore 成功启动并运行正常,则可以借助 Hive 提供的各种接口(如 CLI 工具)来进行 SQL 查询和其他操作了。 #### 4. Flink 和 Hive Metastore 的集成注意事项 如果计划让 Apache Flink 应用程序能够利用 Hive Metastore 来管理表结构等信息的话,需要注意的是直接下载官方版本可能并不适用于所有环境尤其是云平台上的部署方案比如 Amazon Web Services (AWS) Elastic MapReduce (EMR),这是因为 EMR 对某些组件进行了定制化调整因此建议优先考虑从现有集群环境中获取带有特定标记(`amzn`)前缀的 JAR 文件用于兼容性保障[^2]。 #### 5. Spark 访问 Hive Metastore 的额外设定 为了让 Spark 可以顺利读取由 Hive 维护的数据字典,除了常规依赖项外还需要指定两个重要属性给 Spark,默认情况下这些选项应该放在 `$SPARK_HOME/conf/spark-defaults.conf` 文件里: - 设置 Hive 版本号对应于当前所使用的 Hive 发布版; - 明确指出包含有必要的 Hive 类库路径以便加载相应的 Java Archive(JAR) 文件[^3]。 ```properties spark.sql.hive.metastore.version=2.1.1 spark.sql.hive.metastore.jars=/opt/hive-2.1.1/lib/* ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值