Sqoop：数据迁移工具，实现Hadoop与RDBMS无缝对接

Sqoop 是一款强大的工具，专用于在 Hadoop 和关系型数据库（如 MySQL 或 Oracle）之间进行数据传输。它支持数据的双向迁移，包括从 RDBMS 导入到 Hadoop 分布式文件系统 (HDFS)，并在 Hadoop MapReduce 的环境下进行处理，以及从 HDFS 导出回 RDBMS。对于那些需要在没有专门 ETL 工具的情况下进行数据集成的场景，Sqoop 提供了一个便捷的解决方案。 在使用 Sqoop 进行数据导入时，基本命令的语法为 `sqoop import (generic-args) (import-args)`。其中，`generic-args` 包括一些通用选项，如连接参数 `-connect`（用于指定 JDBC 连接字符串，如 `jdbc:mysql://hadoop01:3306/test`），驱动程序管理器 `-connection-manager`，以及数据处理相关的参数 `-hadoop-mapred-home` 和 `-P`（密码输入选项）。`import-args` 则涵盖了针对特定数据库操作的参数，如 `-username` 和 `-password`（分别设置数据库用户名和密码），`-table`（指定要导出的表名），`-m`（控制 map task 数量和并行度），`-target-dir`（设定导入数据在 HDFS 的目标目录），`-fields-terminated-by`（定义字段间的分隔符，如 `-fields-terminated-by=','` 表示逗号分隔），`--where` 和 `--query`（提供 SQL 查询条件或完整查询），以及 `-columns`（选择要导出的具体列）。 在导入 MySQL 到 HDFS 的过程中，如果不指定文件存储路径和分隔符， Sqoop 将默认将数据保存在 `/user/当前用户/表名` 目录下，且字段默认使用逗号作为分隔符。如果需要自定义路径和分隔符，例如导出到 `user/hadoop/book` 目录，并使用其他字符作为分隔，可以使用 `-target-dir` 和 `-fields-terminate` 参数来指定。 例如，完整的命令可能如下： ```bash sqoop import \ --connect "jdbc:mysql://hadoop01:3306/test" \ --username hadoop \ --password root \ --table book \ --m 1 \ --target-dir /user/hadoop/book \ --fields-terminated-by '|' ``` 这里，`|` 就是自定义的字段分隔符。这样，Sqoop 就会在 HDFS 的指定路径上创建一个与 MySQL 表结构一致的文件，并根据提供的 SQL 查询规则，将数据按照指定的格式导入到 HDFS。 Sqoop 是 Hadoop 和传统数据库间数据迁移的强大工具，通过灵活的参数配置，使得数据在 Hadoop 生态系统和传统数据库系统之间无缝流动，简化了大数据管理和分析的流程。