Cloud Data Fusion 流程控制總覽

Cloud Data Fusion 中的流程控制機制可防止您提交過多要求,這可能會導致管道執行作業卡住或失敗。這個機制適用於啟動 (Launch) 要求,適用於下列管道和工作,適用於所有 Cloud Data Fusion 版本 (6.6 以上版本):

  • 批次處理管道
  • 即時管道
  • 複製工作

閾值

為控管 Cloud Data Fusion 中未處理的啟動要求數量,流程控管會依據以下兩個門檻運作:

啟動門檻
限制啟動要求的數量。如果 Cloud Data Fusion 收到的未處於 Running 狀態的啟動要求數量超過啟動門檻 (未執行的啟動要求數量 > 啟動門檻),系統就會拒絕要求。這個數字包括批次管道、即時管道和複寫作業。
執行門檻
限制系統中未完成的啟動要求數量。如果 Cloud Data Fusion 收到的未完成待發布要求數量超過指定的執行次數門檻 (未完成的待發布要求數量 > 執行次數門檻),系統就會拒絕要求。

已拒絕的要求

如果符合任一門檻,系統就會拒絕所有新的啟動要求。舉例來說,已遭拒絕的批次管道在記錄中顯示 Rejected 狀態,而 UI 中的對話方塊會說明為何拒絕啟動。

指標

您可以透過指標服務存取啟動和執行管線的數量,以及系統中遭到拒絕的管線數量,如下所示。

Launching 指標

回報系統中啟動要求的數量。也就是說,它會回報處於 ProvisioningStarting 狀態的啟動要求數量。

指標名稱:flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 指標

回報系統中執行中的管道和工作數量。執行門檻是根據 LaunchingRunning 指標值的總和計算。

指標名稱:flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 指標

回報因工作流程控管機制而遭拒的執行次數。

指標名稱:program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

後續步驟

  • 如需提供標記和匯總不同管道 Rejected 指標的範例,請參閱 CDAP 指標微服務