sqoop mysql导入hive

刘s泽

于 2019-03-04 15:53:50 发布

阅读量269

点赞数 1

CC 4.0 BY-SA版权

分类专栏：问题文章笔记

本文链接：https://blog.csdn.net/qq_16760101/article/details/88120670

文章笔记同时被 2 个专栏收录

5 篇文章

订阅专栏

问题

2 篇文章

订阅专栏

本文详细介绍了如何使用Sqoop工具将MySQL数据库中的数据导入到Hadoop的HDFS文件系统中，以及如何进一步将这些数据导入到Hive数据仓库，包括具体的命令行参数设置和操作步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

导入hdfs:
bin/sqoop import
–connect jdbc:mysql://master:3306/ke_eleloss
–username hadoop
–password hadoop
–query “select * from transRecord where nodeId=1 and $CONDITIONS”
–target-dir hdfs://master:9000/lineloss_test
–direct
–fields-terminated-by ‘\t’
–m 1

直接从mysql导入到hive：（如果是双引号的话要在$CONDITIONS前面加转义字符）
bin/sqoop import
–connect jdbc:mysql://master:3306/ke_eleloss
–username hadoop
–password hadoop
–query “select * from transRecord where nodeId=1 and $CONDITIONS”
–target-dir hdfs://master:9000/user/hive/warehouse/test.db/transrecord
–fields-terminated-by ‘\t’
–hive-import
–hive-database test
–hive-table transRecord
–m 1