Greenplum外部表与外部数据源的使用

### Oracle与Greenplum数据交互的关键知识点 #### 1. 数据库分类与应用场景 - **OLTP（在线事务处理）**：主要用于日常业务操作，强调快速响应时间和事务处理能力，适用于前台应用程序，如银行交易系统。 - **OLAP（在线分析处理）**：侧重于数据分析与报表生成，支持复杂查询和多维分析，适用于决策支持系统，如商业智能系统。 #### 2. Greenplum简介 - **定位**：Greenplum是专为大规模数据分析设计的MPP（大规模并行处理）数据库系统，属于OLAP类型。 - **优势**：能够高效处理PB级别的数据量，具备高度可扩展性和并行处理能力。 #### 3. Greenplum与Oracle数据交互方法 - **高效数据交互需求**：由于Greenplum和Oracle在不同的应用场景下具有各自的优点，实际工作中常需要在这两个系统之间进行数据迁移或交换。 - **实现方式**：文档介绍了通过生成CSV或TXT文件的方式来实现Greenplum与Oracle之间的高效数据交互。 #### 4. Greenplum数据导入导出技术 - **可写外部表 (Writabe External Table)**：一种高效的数据导出机制，能够利用Greenplum的并行架构快速导出大量数据到文件系统。 - **语法**： ```sql CREATE WRITABLE EXTERNAL TABLE tab_name (col1, col2, ...) (LIKE source_table) LOCATION ('gpfdist://hostname/filename') FORMAT 'text' (DELIMITER AS ','); INSERT INTO tab_name SELECT * FROM source_table; ``` - **COPY命令**：适用于较小规模的数据导出，通过Master节点收集所有节点的数据进行串行导出。 - **语法**： ```sql COPY (SELECT * FROM tab_name) TO 'path/filename' CSV; ``` #### 5. Greenplum数据导入 - **可读外部表 (Readable External Table)**：用于高效加载外部文件中的数据至Greenplum表。 - **语法**： ```sql CREATE READABLE EXTERNAL TABLE tab_name (col1, col2, ...) LOCATION ('gpfdist://hostname/filename') FORMAT 'text' (DELIMITER AS ','); ``` - **gpload工具**：一个强大的批量数据加载工具，支持多种格式和数据源，提供灵活的数据转换和加载选项。 - **语法**： ```bash gpload -f tab_yaml.yml -l pload.log ``` #### 6. Greenplum数据库备份与恢复 - **传统非并行备份恢复**：使用pg_dump工具进行单线程备份，生成INSERT语句，适合小型数据库。 - **并行备份恢复**：使用gp_dump工具进行并行备份，适合大型数据库。 - **备份步骤**： - 在每个节点上创建备份目录。 - 使用`gp_dump --gp-c --gp-d=/db_back/zypt`进行备份。 - **备份文件格式**： - `gp_cdatabase_1_##`: 存放CREATE DATABASE语句。 - `gp_dump_status_1_##`: 日志文件。 - `gp_dump_1_##`: DDL文件。 - `gp_dump_1__post_data`: 与重建表相关的对象。 - `gp_dump_.rpt`: 备份报告。 - **恢复步骤**： - 指定时间戳。 - 确保集群配置一致。 - 使用gp_restore进行恢复。 #### 7. Oracle数据导出与导入 - **SQL*Loader (SQLULDR/SQLLDR)**：Oracle提供的工具，用于高效地将外部文件中的数据导入到Oracle数据库。 - **出库**：使用SQL*Loader从Oracle导出数据到文件。 - **入库**：使用SQL*Loader将文件中的数据导入Oracle数据库。 #### 8. 总结 - 通过上述方法，可以在Oracle与Greenplum之间实现高效的数据交互，包括数据的导出、导入以及备份恢复等操作。这些技术对于维护大型数据库系统的数据一致性、可用性和安全性至关重要。