sqoop一些语法的使用

最新推荐文章于 2024-12-09 09:19:05 发布

xtf__moji

最新推荐文章于 2024-12-09 09:19:05 发布

阅读量222

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

原文链接：https://www.cnblogs.com/xuyou551/p/7991973.html

大数据专栏收录该内容

4 篇文章

订阅专栏

sqoop一些语法的使用

https://www.cnblogs.com/xuyou551/p/7991973.html

--verbose 打印详细的运行信息

数据导入工具import

import工具，是将HDFS平台外部的结构化存储系统中的数据导入到Hadoop平台，便于后续分析。

--append 将数据追加到HDFS上一个已存在的数据集上

-m,--num-mappers <n> 使用n个map任务并行导入数据

--null-string <null-string> 果指定列为字符串类型，使用指定字符串替换值为null的该类列的值

--null-non-string <null-string> 如果指定列为非字符串类型，使用指定字符串替换值为null的该类列的值

* 在实际的项目中，要处理的数据，需要进行初步清洗和过滤
* 某些字段过滤
* 条件
* join

bin/sqoop import \
--connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306/test \
--username root \
--password 123456 \
--query 'select id, account from my_user where $CONDITIONS' \
--target-dir /user/beifeng/sqoop/imp_my_user_query \
--num-mappers 1

ps：   query 这个属性代替了 table 可以通过用sql 语句来导出数据
（where $CONDITIONS' 是固定写法 如果需要条件查询可以  select id, account from my_user where $CONDITIONS' and id > 1）