BigLake

運用 BigLake 建構 Apache Iceberg lakehouse

建構開放式、代管式且高效能的 Iceberg lakehouse,即可運用自動化資料管理和內建的治理機制,進行進階數據分析和資料科學。

Apache Iceberg 是 Apache Software Foundation 的商標。



功能

交易和數據分析資料皆可互通

BigLake metastore 是無伺服器的 metastore,可用來儲存所有 Iceberg 資料表。Apache Spark、BigQuery 和第三方平台等引擎都能用它來建立及管理資料表,讓您以一致的方式查看資料,並享有統一的存取控管機制。BigLake metastore 現在支援 Apache Iceberg Rest Catalog,可輕鬆整合 OSS 和第三方引擎。現已開放在 AlloyDB 中存取 Iceberg 資料表 (預先發布版),以利於交易和數據分析平台之間的互通性。

統一管理資料

BigLake 擴充了 Google Cloud Storage 的管理功能,您可以使用 Storage 自動調整級別功能,來有效分層處理冷門資料,並將客戶自行管理的加密金鑰 (CMEK) 套用至 Storage bucket。BigLake metastore 已與 Dataplex Universal Catalog 原生整合,確保集中定義的治理政策在多個引擎中一致強制執行,同時提供語意搜尋、資料歷程、剖析和品質檢查功能。

透過 BigQuery 執行高效能分析、串流處理和 AI 作業

Apache Iceberg 專用 BigLake 資料表搭配 BigQuery 使用時,可提供企業級全代管 Iceberg 體驗。您可以將 Apache Iceberg 資料儲存在自有的 Google Cloud Storage bucket 中,並運用 BigQuery 具備高度擴充性的即時中繼資料管理功能,同時享有 GCS 的開放性和資料擁有權,以及 BigQuery 的全代管功能,並將 Iceberg 資料用於串流、進階數據分析和 AI 用途。


運作方式

BigLake 可在 Cloud Storage 中原生導入 Apache Iceberg,讓您直接在 Iceberg 資料上使用 BigQuery 或所選的開放原始碼引擎。BigLake metastore 可簡化資料管理作業,並與 Dataplex Universal Catalog 整合,提供統一治理機制。

常見用途

使用 Iceberg 建構開放式 lakehouse

瞭解開放資料湖倉的 Google Cloud 元件

如要透過 BigLake 建構 Iceberg lakehouse,請先將資料儲存在 Cloud Storage 中。接著使用 Apache Iceberg 專用 BigLake 資料表,定義資料。BigLake metastore 可做為這些 Iceberg 資料表的集中式無伺服器目錄,因此您不必管理複雜的基礎架構。這項設定可讓任何相容於 Iceberg 的引擎,以一致的方式存取及管理您的資料,輕鬆打造統一、開放且可擴充的 lakehouse 環境。

    瞭解開放資料湖倉的 Google Cloud 元件

    如要透過 BigLake 建構 Iceberg lakehouse,請先將資料儲存在 Cloud Storage 中。接著使用 Apache Iceberg 專用 BigLake 資料表,定義資料。BigLake metastore 可做為這些 Iceberg 資料表的集中式無伺服器目錄,因此您不必管理複雜的基礎架構。這項設定可讓任何相容於 Iceberg 的引擎,以一致的方式存取及管理您的資料,輕鬆打造統一、開放且可擴充的 lakehouse 環境。

      搭配 BigQuery 的進階數據分析

      為金融服務提供即時洞察資料和預測結果

      您可以使用 Apache Iceberg 來處理交易或市場動態饋給等不斷變化的資料湖泊資料集。BigLake 可讓 BigQuery 查詢 Iceberg 資料表和原生儲存空間,不必移動資料。您可以將即時串流資料擷取至 BigQuery,並透過 BigLake 與歷來 Iceberg 資料合併,立即進行全面分析。接著,BigQuery ML (BigQuery 機器學習) 會產生即時深入分析結果 (例如市場波動和詐欺偵測),以及預測模型 (例如信用風險和客戶行為)。

        為金融服務提供即時洞察資料和預測結果

        您可以使用 Apache Iceberg 來處理交易或市場動態饋給等不斷變化的資料湖泊資料集。BigLake 可讓 BigQuery 查詢 Iceberg 資料表和原生儲存空間,不必移動資料。您可以將即時串流資料擷取至 BigQuery,並透過 BigLake 與歷來 Iceberg 資料合併,立即進行全面分析。接著,BigQuery ML (BigQuery 機器學習) 會產生即時深入分析結果 (例如市場波動和詐欺偵測),以及預測模型 (例如信用風險和客戶行為)。

          讓所有資料使用者都能存取單一資料副本

          BigLake 可確保以安全且一致的方式存取 Cloud Storage 中的單一資料副本。Dataplex Universal Catalog 會自動將這些資料編入目錄,讓所有資料使用者和引擎都能存取。這可確保資料定義一致、方便探索及統一管理,消除資料孤島,並促進團隊根據單一資料來源協同合作。

            BigLake 可確保以安全且一致的方式存取 Cloud Storage 中的單一資料副本。Dataplex Universal Catalog 會自動將這些資料編入目錄,讓所有資料使用者和引擎都能存取。這可確保資料定義一致、方便探索及統一管理,消除資料孤島,並促進團隊根據單一資料來源協同合作。

              定價

              BigLake 的定價方式BigLake 的定價是根據資料表管理、中繼資料儲存空間和中繼資料存取作業計算
              服務與用途說明價格 (美元)

              BigLake 資料表管理

              BigLake 資料表管理運算資源,用於自動最佳化資料表儲存空間。

              起始價

              $0.12 美元

              每 DCU 時數的價格

              儲存 BigLake 中繼資料

              儲存中繼資料會產生 BigLake Metastore 費用。免費方案每月提供 1 GiB 的中繼資料儲存空間。

              起始價

              $0.04 美元

              每月每 GiB

              存取 BigLake 中繼資料

              A 級作業:執行寫入、更新、列出、建立及設定作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 5,000 次作業。

              起始價

              $6.00 美元

              每 100 萬次作業

              B 級作業:執行讀取、取得及刪除作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 50,000 次作業。

              起始價

              $0.90 美元

              每 100 萬次作業

              BigLake 的定價方式

              BigLake 的定價是根據資料表管理、中繼資料儲存空間和中繼資料存取作業計算

              BigLake 資料表管理

              說明

              BigLake 資料表管理運算資源,用於自動最佳化資料表儲存空間。

              價格 (美元)

              Starting at

              $0.12 美元

              每 DCU 時數的價格

              儲存 BigLake 中繼資料

              說明

              儲存中繼資料會產生 BigLake Metastore 費用。免費方案每月提供 1 GiB 的中繼資料儲存空間。

              價格 (美元)

              Starting at

              $0.04 美元

              每月每 GiB

              存取 BigLake 中繼資料

              說明

              A 級作業:執行寫入、更新、列出、建立及設定作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 5,000 次作業。

              價格 (美元)

              Starting at

              $6.00 美元

              每 100 萬次作業

              B 級作業:執行讀取、取得及刪除作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 50,000 次作業。

              說明

              Starting at

              $0.90 美元

              每 100 萬次作業

              Pricing Calculator

              估算每個月的 BigLake 費用,包括特定區域的定價和費用。

              客製化報價

              貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。

              開始進行概念驗證

              Lakehouse 快速部署解決方案

              要進行大型專案嗎?

              Apache Iceberg 專用 BigLake 資料表

              使用 Apache Iceberg REST 目錄

              查詢 Apache Iceberg 資料