hive安装配置

### Hive安装配置详解 #### 一、部署环境 在进行Hive的安装配置之前，我们需要了解部署环境的要求。本文档的部署环境为CentOS 6操作系统搭配Hadoop 2.2版本以及Hive 0.12.0版本。确保这些软件版本之间的兼容性对于后续的安装过程至关重要。 #### 二、Hive安装步骤 ##### 2.1 准备工作 将`hive-0.12.0.tar.gz`文件复制到`/home/hadoop`目录下。接下来进行解压缩并重命名： ```bash cd /usr tar -zxvf hive-0.12.0.tar.gz mv hive-0.12.0 hive ``` 需要注意的是，在安装过程中，Hadoop和Hive的所有者均为`hadoop:hadoop`用户组。 ##### 2.2 修改环境变量 接下来需要对环境变量进行修改。编辑`/etc/profile`文件，添加以下内容： ```bash vi /etc/profile ``` 在文件末尾增加以下行： ```bash export HIVE_HOME=/usr/hive export PATH=$PATH:$HIVE_HOME/bin ``` 保存并关闭文件后，运行以下命令使更改立即生效： ```bash source /etc/profile ``` ##### 2.3 配置Hive系统文件 配置Hive系统文件包括多个步骤： **2.3.1 修改配置文件** 进入Hive的`conf`目录，并将模板文件重命名为实际使用的配置文件： ```bash cd $HIVE_HOME/conf mv hive-env.sh.template hive-env.sh mv hive-default.xml.template hive-site.xml ``` **2.3.2 修改`hive-config.sh`** 编辑`$HIVE_HOME/bin/hive-config.sh`文件，添加以下三行： ```bash export JAVA_HOME=/usr/java/jdk1.7.0_79 export HIVE_HOME=/usr/hive export HADOOP_HOME=/usr/Hadoop ``` **2.3.3 配置`hive-site.xml`** 在`hive-site.xml`文件中，需要修改或添加以下内容： ```xml <!-- 指定Hive连接MySQL的URL --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value> </property> <!-- 指定JDBC驱动类名 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> ``` 其中，`hadoop0`应替换为实际的服务器IP地址或者主机名。 ##### 2.4 添加MySQL驱动包 下载`mysql-connector-java-5.1.27-bin.jar`文件，并将其放置到`$HIVE_HOME/lib`目录下。这一步是为了让Hive能够通过JDBC连接MySQL数据库。 ##### 2.5 启动Hive 启动Hive之前，请确保已经启动了Hadoop服务。可以使用`jps`命令来检查当前正在运行的Java进程，确认Hadoop守护进程已启动。 在`$HIVE_HOME/bin`目录下执行以下命令以启动Hive控制台： ```bash ./hive ``` 如果一切正常，执行`show tables;`命令不应该出现任何错误，这表明Hive已成功安装。 #### 三、创建测试表 为了验证Hive是否正确安装，我们可以创建一个简单的测试表。例如，创建一个名为`test`的表： ```sql create table test (key string); ``` 然后，执行`show tables;`命令以确保新表已被创建。 #### 四、验证表是否创建成功 可以通过两种方法来验证表是否创建成功： **4.1 观察HDFS目录** 使用`hadoop fs -ls /user/hive`命令查看HDFS中的`/user/hive`目录，如果该目录下有`warehouse`目录，则表示表已成功创建。 **4.2 通过Web界面** 如果HDFS的Web界面配置正确，可以通过访问`http://cloud4:50070`来查看`/user/hive`目录是否存在。 #### 五、Hive的Metastore Metastore用于存储Hive元数据，默认情况下使用嵌入式的Derby数据库。但这种方式仅支持单个会话，因此在生产环境中，我们推荐使用MySQL作为外部存储引擎。 ##### 5.1 配置MySQL Metastore **5.1.1 上传MySQL驱动** 将`mysql-connector-java-5.1.10.jar`文件上传到`$HIVE_HOME/lib`目录下。 **5.1.2 创建MySQL数据库** 登录MySQL服务器并创建一个名为`hive`的数据库： ```sql mysql -u root -padmin mysql> create database hive; mysql> GRANT all ON hive.* TO root@'%' IDENTIFIED BY 'admin'; mysql> flush privileges; ``` **5.1.3 设置MySQL数据库字符集** 更改MySQL数据库`hive`的字符集为`latin1`： ```sql alter database hive character set latin1; ``` **5.1.4 修改`hive-site.xml`** 需要修改`hive-site.xml`文件以指定MySQL的连接信息： ```xml <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> ``` 以上步骤完成后，重启Hive即可完成MySQL Metastore的配置。