Datastream 總覽

Datastream 是簡單好用的無伺服器變更資料擷取 (CDC) 與複製服務，能以最短的延遲時間穩定同步處理資料。

並能將作業資料庫中的內容順暢複製到 BigQuery、將變更事件串流寫入 Cloud Storage，同時提供可以建立自訂工作流程的 Dataflow 範本，讓您輕鬆整合 Dataflow，將資料載入 Cloud SQL 和 Spanner 等多個目的地。您也能透過 Datastream 直接使用 Cloud Storage 中的事件串流，實現事件導向架構。Datastream 支援 Oracle、MySQL、SQL Server、PostgreSQL (包括 PostgreSQL 適用的 AlloyDB)、MongoDB (預先發布版) 和 Salesforce (預先發布版) 來源。

Datastream 的優點包括：

  • 順暢設定 ELT (擷取、載入和轉換) pipeline，以低延遲的方式複製資料，在 BigQuery 中取得近乎即時的洞察資訊。
  • 無伺服器架構，因此不需要佈建或管理資源，且服務會視需要自動調整資源配置，並盡量減少停機時間。
  • 提供簡單易用的設定和監控體驗，讓您能快速創造價值。
  • 整合最佳 Google Cloud 資料服務產品組合，以便在 Datastream、Dataflow、Pub/Sub、BigQuery 等服務中整合資料。
  • 在不同類型的資料庫和應用程式之間同步處理及整合資料串流。
  • 安全性：提供私人連線選項，讓您享有 Google Cloud的安全性。
  • 具備公開透明的狀態回報功能和穩健的處理彈性，能有效因應資料與結構定義變更，提供準確又可靠的服務。
  • 支援多種用途，包括分析、資料庫複製和同步處理，以便遷移和混合雲端設定，以及建構事件導向架構。

用途

Datastream 的串流功能可用於各種用途：

  • 以最低延遲時間在貴機構內複製及同步處理資料

    您可以在不同類型的資料庫和應用程式之間以可靠的方式同步處理資料，並以低延遲的方式降低對來源效能的影響。在混合式環境中，運用資料串流的強大功能進行分析、資料庫複製、雲端遷移和事件導向架構。

  • 運用無伺服器架構流暢調整資源配置

    透過無伺服器且易於使用的服務，可隨著資料量變動流暢調整資源配置，快速設定及執行。專注於從資料中擷取最新的洞察資料，並回應高優先順序的問題，而非管理基礎架構、效能調整或資源佈建。

  • 整合 Google Cloud的資料整合套件

    運用 Google Cloud的資料整合產品，連結貴機構中的所有資料。Datastream 會透過 Dataflow 範本將資料載入 BigQuery、Spanner 和 Cloud SQL。

體驗元素

Datastream 包含三個主要元素：

  • 私人連線設定可讓 Datastream 透過私人網路 ( Google Cloud內部或透過 VPN 或 Interconnect 連線的外部來源) 與資料來源通訊。這類通訊會透過虛擬私有雲 (VPC) 對等互連連線進行。
  • 連線設定檔代表連線至來源和目的地的連線資訊。這項資訊會用於串流。
  • 串流會使用連線設定檔中的資訊，將 CDC 和補充資料從來源傳輸至目的地。

後續步驟