centos sqoop

### 安装和使用 Sqoop 的详细步骤 #### 1. 环境准备 在 CentOS 系统中安装 Sqoop 需要确保以下环境已经配置完成： - Java JDK（建议版本为 1.8 或更高）[^3] - Hadoop（建议版本为 2.x 或更高） - MySQL（如果需要连接 MySQL 数据库）[^5] 可以通过以下命令检查是否安装了 JDK 和 Hadoop： ```bash java -version hadoop version ``` 如果未安装，请先完成 JDK 和 Hadoop 的安装。 --- #### 2. 下载 Sqoop 访问 Apache 官方网站或 CDH 提供的镜像站点下载 Sqoop 的二进制包。例如，下载 Sqoop 1.4.7 版本： ```bash wget https://archive.apache.org/dist/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz ``` --- #### 3. 解压并重命名 Sqoop 包 将下载的 Sqoop 压缩包解压到指定目录，并重命名以便于管理： ```bash tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/src/ mv /usr/local/src/sqoop-1.4.7.bin__hadoop-2.6.0/ /usr/local/src/sqoop ``` --- #### 4. 配置环境变量 编辑 `~/.bashrc` 文件，添加 Sqoop 的环境变量： ```bash export SQOOP_HOME=/usr/local/src/sqoop export PATH=$PATH:$SQOOP_HOME/bin ``` 保存后刷新环境变量： ```bash source ~/.bashrc ``` --- #### 5. 修改配置文件 进入 Sqoop 的配置目录，重命名并修改模板文件： ```bash cd /usr/local/src/sqoop/conf/ mv sqoop-env-template.sh sqoop-env.sh vim sqoop-env.sh ``` 在 `sqoop-env.sh` 文件中添加以下内容以指定 Hadoop 和其他依赖路径： ```bash export HADOOP_COMMON_HOME=/usr/local/src/hadoop-2.7.6/ export HADOOP_MAPRED_HOME=/usr/local/src/hadoop-2.7.6/ export ZOOCFGDIR=/usr/local/src/zookeeper-3.4.10/ ``` --- #### 6. 配置 JDBC 驱动 为了连接 MySQL 数据库，需要下载 MySQL 的 JDBC 驱动程序并将它放置在 Sqoop 的 lib 目录下： ```bash wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.30.tar.gz tar zxvf mysql-connector-java-8.0.30.tar.gz cp mysql-connector-java-8.0.30/mysql-connector-java-8.0.30.jar /usr/local/src/sqoop/lib/ ``` --- #### 7. 测试 Sqoop 功能 使用以下命令测试 Sqoop 是否能够正常运行，并从 MySQL 导入数据到 HDFS： ```bash sqoop import --connect jdbc:mysql://<hostname>:3306/<database> --username <username> --password <password> --table <table_name> -m 1 ``` 例如： ```bash sqoop import --connect jdbc:mysql://localhost:3306/hive --username hive --password hive --table TBLS -m 1 ``` --- ### 注意事项 - 如果遇到权限问题，可以尝试以 root 用户运行 Sqoop 命令[^3]。 - 确保 MySQL 数据库服务已启动并且网络可达[^5]。 - 检查 Hadoop 的配置是否正确，特别是 `core-site.xml` 和 `hdfs-site.xml` 文件中的参数设置。 ---