為 Managed Airflow 環境設定大規模網路

Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)

本節說明如何為 Managed Airflow 環境整理大規模網路。

虛擬私有雲、子網路和轉送規則的配額

Managed Airflow 和 GKE 服務會使用虛擬私有雲對等互連,在Managed Airflow 環境的元件 (客戶專案和租戶專案) 之間,以及 GKE 叢集和 GKE 控制層之間建立連線。

如果專案有大規模的網路設定 (例如數百個網路,以及許多已設定的虛擬私有雲對等互連),當您嘗試建立新的 Managed Airflow 環境時,作業可能會因虛擬私有雲、子網路或轉送規則配額錯誤而失敗。

您可能會遇到的錯誤如下:

  • 單一虛擬私有雲網路的虛擬私有雲對等互連數量已達上限。

    單一虛擬私有雲的虛擬私有雲對等互連數量預設配額為 25 個 (除非您要求增加這項配額)。

  • 主要和次要子網路 IP 範圍數量已達上限。

    這個參數的配額為 400。

  • 對等互連群組中內部 TCP/UDP 負載平衡的轉送規則數量已達上限。

    這項參數的配額為 175。

如要進一步瞭解 Google Cloud中的虛擬私有雲預設配額,請參閱「配額與限制」。

關於代管 Airflow 環境的大規模網路

如要克服這些限制帶來的挑戰,您可以將 Managed Airflow 環境劃分為多個虛擬私有雲網路,並連線至主要/骨幹虛擬私有雲,詳情請參閱下列章節。

這個解決方案適用於 Shared VPC 和非 Shared VPC 情境。

非共用虛擬私有雲情境中的大規模網路設定

非共用虛擬私有雲情境中的大規模網路設定

如要為 Managed Airflow 建立大規模網路設定,請按照下列步驟操作:

  1. 建立骨幹虛擬私有雲網路。 這個網路會做為個別虛擬私有雲網路的中樞,用來代管 Managed Airflow 環境。

  2. 為 Managed Airflow 環境建立專屬的 VPC 網路。您可以將多個 Managed Airflow 環境合併至一個虛擬私有雲網路。例如,您可以將這些網路命名為 composer-vpc-1composer-vpc-2 等。

  3. 建立高可用性 VPN 通道,在 Managed Airflow 環境虛擬私有雲網路和骨幹虛擬私有雲之間建立連線。

在 Shared VPC 情境中設定大規模網路

如要解決 Shared VPC 網路的網路對等互連限制問題,請將 Managed Airflow 環境整理到多個專案和虛擬私有雲網路,並連線至一個主幹虛擬私有雲。

在 Shared VPC 情境中設定大規模網路

如要為 Managed Airflow 建立大規模的 Shared VPC 網路設定,請按照下列步驟操作:

  1. 在主專案中建立骨幹虛擬私有雲網路。這個網路會連線至執行 Managed Airflow 環境的服務專案,

  2. 在主專案中,為 Managed Airflow 環境建立虛擬私有雲網路。例如,您可以將這些網路命名為 composer-shared-vpc-1composer-shared-vpc-2 等。

  3. 手動建立高可用性 VPN 通道,在這些虛擬私有雲網路和骨幹虛擬私有雲網路之間建立連線。

  4. 在 Shared VPC 設定中,設定 Managed Airflow 環境。

後續步驟