前提 異なるデータベース(RDBMS)間でテーブルの一部をコピーしたいという要件を考えます。 なぜ Data Pipeline? DMS データベース間の論理的なテーブルコピーではDMSが思い浮かびます。 しかし、データベースがたくさんあり(数十とか)、テーブルもたくさんあるような(数百とか)環境においては、DMSによる差分コピーは運用面が大変になる可能性があります。 Read Replica データベース若しくはテーブルをまるごと扱うには優れています。しかし、多くのデータベースからテーブルの一部をかき集めるような場合には向きません。 Glue 大規模なETLではETLに特化したマネージドEMRをバックに持つGlueは優れたソリューションです。しかし、小さなETLでは逆にオーバーヘッドが大きくなってしまいます。また、ソースやターゲットのRDBMSに対してSQLを書こうと思うとHiveでのス
