Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)
本節說明如何為 Managed Airflow 環境整理大規模網路。
虛擬私有雲、子網路和轉送規則的配額
Managed Airflow 和 GKE 服務會使用虛擬私有雲對等互連,在Managed Airflow 環境的元件 (客戶專案和租戶專案) 之間,以及 GKE 叢集和 GKE 控制層之間建立連線。
如果專案有大規模的網路設定 (例如數百個網路,以及許多已設定的虛擬私有雲對等互連),當您嘗試建立新的 Managed Airflow 環境時,作業可能會因虛擬私有雲、子網路或轉送規則配額錯誤而失敗。
您可能會遇到的錯誤如下:
單一虛擬私有雲網路的虛擬私有雲對等互連數量已達上限。
單一虛擬私有雲的虛擬私有雲對等互連數量預設配額為 25 個 (除非您要求增加這項配額)。
主要和次要子網路 IP 範圍數量已達上限。
這個參數的配額為 400。
對等互連群組中內部 TCP/UDP 負載平衡的轉送規則數量已達上限。
這項參數的配額為 175。
如要進一步瞭解 Google Cloud中的虛擬私有雲預設配額,請參閱「配額與限制」。
關於代管 Airflow 環境的大規模網路
如要克服這些限制帶來的挑戰,您可以將 Managed Airflow 環境劃分為多個虛擬私有雲網路,並連線至主要/骨幹虛擬私有雲,詳情請參閱下列章節。
這個解決方案適用於 Shared VPC 和非 Shared VPC 情境。
非共用虛擬私有雲情境中的大規模網路設定

如要為 Managed Airflow 建立大規模網路設定,請按照下列步驟操作:
建立骨幹虛擬私有雲網路。 這個網路會做為個別虛擬私有雲網路的中樞,用來代管 Managed Airflow 環境。
為 Managed Airflow 環境建立專屬的 VPC 網路。您可以將多個 Managed Airflow 環境合併至一個虛擬私有雲網路。例如,您可以將這些網路命名為
composer-vpc-1、composer-vpc-2等。建立高可用性 VPN 通道,在 Managed Airflow 環境虛擬私有雲網路和骨幹虛擬私有雲之間建立連線。
在 Shared VPC 情境中設定大規模網路
如要解決 Shared VPC 網路的網路對等互連限制問題,請將 Managed Airflow 環境整理到多個專案和虛擬私有雲網路,並連線至一個主幹虛擬私有雲。

如要為 Managed Airflow 建立大規模的 Shared VPC 網路設定,請按照下列步驟操作:
在主專案中建立骨幹虛擬私有雲網路。這個網路會連線至執行 Managed Airflow 環境的服務專案,
在主專案中,為 Managed Airflow 環境建立虛擬私有雲網路。例如,您可以將這些網路命名為
composer-shared-vpc-1、composer-shared-vpc-2等。手動建立高可用性 VPN 通道,在這些虛擬私有雲網路和骨幹虛擬私有雲網路之間建立連線。
在 Shared VPC 設定中,設定 Managed Airflow 環境。