sqoop的在hadoop上的安装和使用

原创

于 2021-10-20 23:07:10 发布 · 664 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

本文详细介绍了在Hadoop环境下安装Sqoop的步骤，包括解压安装包、配置环境变量、拷贝数据库连接jar包，以及启动 Sqoop 的验证。接着，讲解了 Sqoop 的基本使用，如将 MySQL 数据导入 HDFS，HDFS 数据导出到 MySQL，以及从 MySQL 导入到 Hive 的流程。最后提到了 HBase 到 Hive 的数据迁移，涉及相关jar包的拷贝。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.解压安装包

tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz  //解压文件夹
mv sqoop-1.4.6-cdh5.14.2 /soft/sqoop146   //移动文件夹到文件目录下
cd /opt/soft/sqoop146/conf //进入目录下
cp sqoop-env-template.sh sqoop-env.sh  //拷贝文件修改名称

2.编辑文件 vim sqoop-env.sh 插入以下文件配置

export HADOOP_COMMON_HOME=/opt/soft/hadoop260
export HADOOP_MAPRED_HOME=/opt/soft/hadoop260
export HBASE_HOME=/opt/soft/hbase120
export HIVE_HOME=/opt/soft/hive110
export ZOOCFGDIR=/opt/soft/zk345/conf

3.将sqoop需要连接数据库的jar包拷贝到安装目录的lib目录下

命令：
cp /opt/soft/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/soft/sqoop146/lib/

cp /opt/soft/hadoop260/share/hadoop/hdfs/hadoop-hdfs-2.6.0-cdh5.14.2.jar  /opt/soft/sqoop146/lib/

cp /opt/soft/hadoop260/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0-cd