Hive数据加载与导入

### Hive 数据加载与导出详解 #### 创建 Hive 表 在使用 Hive 进行数据分析之前，首先需要创建一张表来存储数据。以下是一段创建分区表的 SQL 语句示例： ```sql CREATE TABLE db_0309.emp ( empno INT, ename STRING, job STRING, mgr INT, hiredate STRING, sal DOUBLE, comm DOUBLE, deptno INT ) PARTITIONED BY (time STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; ``` 这里创建了一个名为 `db_0309.emp` 的分区表，并指定了列的类型和分区键。`PARTITIONED BY (time STRING)` 表示按照 `time` 字段进行分区，这样可以有效地提高查询性能。 #### 向 Hive 表中加载数据 ##### 加载本地文件到 Hive 表 可以通过 `LOAD DATA LOCAL INPATH` 命令将本地文件加载到 Hive 表中。需要注意的是，这里的 `LOCAL` 关键词表示数据是从客户端机器上的目录加载的，而非 HDFS 上的目录。 ```sql LOAD DATA LOCAL INPATH '/home/hadoop/yijing' INTO TABLE db_0309.emp PARTITION(time='0309'); ``` 这条命令将 `/home/hadoop/yijing` 目录下的所有文件加载到 `db_0309.emp` 表中，并且设置了分区值为 `0309`。 ##### 加载 HDFS 文件到 Hive 表 若文件已经存在于 HDFS 中，则可以直接使用 `LOAD DATA INPATH` 命令将其加载到 Hive 表中。 1. **将本地文件上传至 HDFS：** ```bash bin/hdfs dfs -put /home/hadoop/yijing/emp.txt /data ``` 2. **加载 HDFS 文件到 Hive 表：** ```sql LOAD DATA INPATH '/data/emp.txt' INTO TABLE db_0309.emp PARTITION(time='0308'); ``` 这将把 HDFS 中的 `emp.txt` 文件加载到 `db_0309.emp` 表中，并设置分区值为 `0308`。 ##### 覆盖表中已有的数据 当需要替换表中的现有数据时，可以使用 `OVERWRITE` 关键词。 ```sql LOAD DATA LOCAL INPATH '/home/hadoop/yijing/emp.txt' OVERWRITE INTO TABLE db_0309.emp PARTITION(time='0309'); ``` 这条命令将用 `/home/hadoop/yijing/emp.txt` 文件中的数据完全覆盖掉 `db_0309.emp` 表中分区 `time='0309'` 的数据。 ##### 创建表时通过 SELECT 加载 还可以通过 `SELECT` 语句创建新表并同时加载数据。 ```sql CREATE TABLE db_0309.emp_nopart AS SELECT * FROM db_0309.emp; ``` 这条命令将从 `db_0309.emp` 表中选择所有数据并创建一个新表 `db_0309.emp_nopart`。执行过程中可以看到 MapReduce 任务的信息，包括任务状态、完成时间等。 ```sql Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there's no reduce operator Starting Job = job_1457532219378_0001, Tracking URL = http://hadoop-senior:8088/proxy/application_1457532219378_0001/ Kill Command = /opt/cdh5.3.6/hadoop-2.5.0/bin/hadoop job -kill job_1457532219378_0001 Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 0 2016-03-09 23:45:28,139 Stage-1 map=0%, reduce=0% 2016-03-09 23:45:52,385 Stage-1 map=100%, reduce=0%, Cumulative CPU 2.39 sec MapReduce Total cumulative CPU time: 2 seconds 390 msec Ended Job = job_1457532219378_0001 Stage-4 is selected by condition resolver. Stage-3 is filtered out by condition resolver. Stage-5 is filtered out by condition resolver. Moving data to: hdfs://hadoop-senior:8020/user/hive/warehouse/.hive-staging_hive_2016-03-09_23-44-58_742_5018478449142214913-1/-ext-10001 Moving data to: hdfs://hadoop-senior:8020/user/hive/warehouse/db_0309.db/emp_nopart Table db_0309.emp_nopart stats: [numFiles=1, numRows=0, totalSize=1462, rawDataSize=0] MapReduce Jobs Launched: Stage-Stage-1: Map: 1 Cumulative CPU: 2.39 sec HDFS Read: 1639 HDFS Write: 1546 SUCCESS Total MapReduce CPU Time Spent: 2 seconds 390 msec OK Time taken: 66.394 seconds ``` 以上输出信息展示了 MapReduce 任务的执行过程和结果。可以看到，整个过程耗时大约为 66.394 秒。 #### 数据导出 除了将数据加载到 Hive 表中，还需要能够将数据导出到外部系统。通常使用 `INSERT OVERWRITE` 或 `INSERT INTO` 命令来实现这一目标。 - **INSERT OVERWRITE**: 当需要将 Hive 表中的数据导出到指定目录时，可以使用 `INSERT OVERWRITE DIRECTORY` 语法。 ```sql INSERT OVERWRITE DIRECTORY '/user/hive/output' SELECT * FROM db_0309.emp; ``` 这条命令将 `db_0309.emp` 表中的数据导出到 HDFS 的 `/user/hive/output` 目录下。 - **INSERT INTO**: 若想将数据导出到另一个 Hive 表中，可以使用 `INSERT INTO` 语句。 ```sql CREATE TABLE db_0309.emp_backup AS SELECT * FROM db_0309.emp; ``` 或者 ```sql INSERT INTO TABLE db_0309.emp_backup SELECT * FROM db_0309.emp; ``` 这两条命令都会将 `db_0309.emp` 表中的数据复制到 `db_0309.emp_backup` 表中。 #### 数据简单查询 我们来看看如何对 Hive 表进行简单的查询操作。 ```sql SELECT * FROM db_0309.emp_nopart; ``` 运行此命令后，可以看到表 `db_0309.emp_nopart` 中的数据。 ```sql OK 7369 SMITH CLERK 7 ``` 这里只展示了一部分查询结果，实际查询结果可能包含更多的数据行。通过这些查询操作，可以方便地查看表中的数据是否正确加载以及数据的基本情况。 通过以上的步骤，我们可以看到 Hive 提供了多种方法来加载和导出数据，使得数据处理变得更加灵活和高效。在实际应用中，根据具体需求选择合适的方法是非常重要的。