电商数仓3.0 业务数据模块之Sqoop安装

SmallScorpion

于 2020-10-22 10:38:57 发布

阅读量138

点赞数

CC 4.0 BY-SA版权

分类专栏： WareHouse3.0 文章标签： linux mysql sqoop java python

本文链接：https://blog.csdn.net/qq_40180229/article/details/109216553

WareHouse3.0 专栏收录该内容

34 篇文章

订阅专栏

该博客详细介绍了如何在Linux环境下配置Sqoop连接到MySQL数据库，包括修改配置文件、拷贝JDBC驱动以及验证Sqoop配置的正确性。通过列出数据库的命令测试了Sqoop的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

资料

参考博客：https://blog.csdn.net/qq_40180229/article/details/104843630
链接：https://pan.baidu.com/s/1dmr6cUe4fo6IcXH_9X1oNw
提取码：7w1b

修改配置文件

// 在/opt/module/sqoop-1.4.7/conf 目录下，重命名配置文件
[scorpion@warehouse102 conf]$ mv sqoop-env-template.sh sqoop-env.sh

// 修改配置文件
[scorpion@warehouse102 conf]$ vim sqoop-env.sh
export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3
export HIVE_HOME=/opt/module/hive-3.1.2
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

在这里插入图片描述

拷贝JDBC驱动

[scorpion@warehouse102 07_mysql]$ cp ./mysql-connector-java-5.1.48.jar /opt/module/sqoop-1.4.7/lib/

在这里插入图片描述

验证Sqoop

// 通过某一个command来验证sqoop配置是否正确
[scorpion@warehouse102 sqoop-1.4.7]$ bin/sqoop help

在这里插入图片描述

测试Sqoop能否连接数据库

[scorpion@warehouse102 sqoop-1.4.7]$ bin/sqoop list-databases --connect jdbc:mysql://warehouse102:3306/ --username root --password 000000

在这里插入图片描述