Cloud Data Fusion: コンソールの概要

このページでは、Cloud Data Fusion コンソール(別名コントロール プレーン)について説明します。これは、Cloud Data Fusion インスタンスを管理できる一連の API オペレーションと Google Cloud コンソール インターフェースです。たとえば、コンソールを使用して、インスタンスの作成、削除、再起動、更新を行うことができます。

始める前に

Cloud Data Fusion: コンソールの概要

以降のセクションでは、コンソールの重要な点について説明します。

インスタンス

インスタンスとは、Cloud Data Fusion 固有のデプロイメントのことです。Cloud Data Fusion の使用を開始するには、Google Cloud コンソールでインスタンスを作成します。単一のGoogle Cloud プロジェクトに複数の Cloud Data Fusion インスタンスを作成できます。インスタンスごとに Google Cloud リージョンを指定できます。各インスタンスは、パイプラインのライフサイクル管理、オーケストレーション、調整、メタデータ管理を処理する一連のサービスを含む、一意の独立した Cloud Data Fusion デプロイメントです。これらのサービスは、テナント プロジェクトの長時間実行リソースを使用して実行されます。

インスタンスを作成する際は、次のオプションを考慮してください。

Edition

インスタンスは、Developer、Basic、Enterprise のいずれかの Cloud Data Fusion エディションで作成します。エディションは、次の基準に基づいて選択してください。

  • 費用
  • パイプライン実行の同時実行の上限
  • ロールベース アクセス制御(RBAC)の可用性

このエディションは、次のユースケースを対象としています。

Cloud Data Fusion のエディション ユースケース
Developer Edition 開発、テスト、小規模な統合の場合
Basic エディション 中程度のニーズがある本番環境向け
Enterprise エディション RBAC を使用する大規模なミッション クリティカル データ パイプラインの場合

パブリック インスタンスまたはプライベート インスタンス

要件に応じて、パブリック インスタンスとプライベート インスタンスのどちらが必要かを判断します。Cloud Data Fusion のプライベート インスタンスとパブリック インスタンスの主な違いは、ネットワーク接続とセキュリティです。

Cloud Data Fusion インスタンスのタイプ 動作
パブリック インスタンス
  • ネットワーク接続: パブリック IP アドレスを使用してインターネットに接続します。
  • データアクセス: 一般公開されているインターネット上のデータソースに直接アクセスします。
詳細については、パブリック インスタンスを作成するをご覧ください。
プライベート インスタンス
  • ネットワーク接続: Virtual Private Cloud(VPC)ネットワーク内のプライベート IP アドレスを使用します。
  • データアクセス: データソースにアクセスするには、事前に構成された接続が必要です。次の接続がサポートされています。
    • VPN または Cloud Interconnect を介して接続されたオンプレミス データソース。
    • 同じ VPC 内でプライベートに実行されている他の Google Cloud サービス。

承認とサービス アカウント

Cloud Data Fusion には 2 つのサービス アカウントがあります。

設計時のサービス アカウント
この Google マネージド サービス アカウント(Cloud Data Fusion API サービス エージェント)は、Cloud Data Fusion のテナント プロジェクトでお客様のプロジェクト リソースにアクセスするために使用されます。
実行時のサービス アカウント
これは、他のGoogle Cloud リソースにアクセスするジョブをデプロイするために Cloud Data Fusion が作成するデフォルトの Compute Engine サービス アカウントです。デフォルトでは、パイプラインの実行中に Cloud Data Fusion が Dataproc リソースにアクセスできるようにするために、Dataproc クラスタ VM に接続されています。

詳細については、Cloud Data Fusion のサービス アカウントをご覧ください。

ロギングとモニタリング

Cloud Logging と Cloud Monitoring は、Cloud Data Fusion パイプラインの健全性とパフォーマンスに関する分析情報を取得するために重要です。Logging と Monitoring は、Cloud Data Fusion インスタンスを作成するときにのみ有効にします。

Logging と Monitoring を有効にすると、Google Cloud コンソールの Logging ビューア ページで Cloud Data Fusion パイプライン ログを表示できます。

Monitoring には、Cloud Data Fusion 用の組み込みダッシュボードが用意されています。特定の指標をモニタリングするカスタム ダッシュボードを作成することもできます。

Dataplex とのリネージ統合

Cloud Data Fusion は、リネージ用に Dataplex と統合されています。詳細については、Dataplex でリネージを表示するをご覧ください。

暗号化

顧客管理の暗号鍵(CMEK)を使用すると、Cloud Key Management Service で管理可能な鍵で保存データを暗号化できます。CMEK では、ユーザーは Google Cloud テナント プロジェクトの内部リソースに書き込まれたデータと、Cloud Data Fusion パイプラインによって書き込まれたデータを管理できます。詳細については、顧客管理のデータ暗号化をご覧ください。

ロールベース アクセス制御(RBAC)で権限を管理する

Cloud Data Fusion では、Identity and Access Management(IAM)を使用して制御できます。

Cloud Data Fusion: Studio オペレーションで実行されるアクションのきめ細かい権限には、RBAC を使用します。詳細については、RABC の概要をご覧ください。

バージョン アップグレード

Cloud Data Fusion にはバージョンがあります。Cloud Data Fusion コンソールでインスタンスを新しいバージョンにアップグレードできます。詳細については、Cloud Data Fusion のバージョニングをご覧ください。

次のステップ