Cloud TPU の使用オプション
このドキュメントでは、Cloud TPU でサポートされている使用オプションについて説明します。使用オプションは、容量をリクエストするために使用される方法です。使用オプションを選択する際は、次の要素を考慮してください。
- 容量をどのくらいの速さで必要とするのか
- 容量が必要な期間
- 容量が必要な期間が固定か柔軟か
- 容量がプリエンプトされるかどうか
- 料金
Cloud TPU API を使用している場合、使用方法ごとに、使用する Cloud TPU コア数に対してオンデマンドまたはプリエンプティブルの割り当てが必要です。TPU のバージョンごとに、デフォルトのオンデマンド割り当てとプリエンプティブル割り当てが異なります。詳細については、 Cloud TPU の割り当てをご覧ください。
Google Kubernetes Engine（GKE）で TPU を使用している場合は、別の割り当てである Compute Engine API の割り当てを使用します。GKE で TPU に使用する割り当てについて詳しくは、TPU の割り当てがあることを確認するをご覧ください。
| 使用量オプション | 仕組み | 最適な用途 | サポートされている TPU のバージョンとゾーン | Cloud TPU API の割り当てタイプ |
|---|---|---|---|---|
| 予約 | 特定の期間の TPU リソースを事前にリクエストします。これらのリソースは、その期間にお客様が排他的に使用するために予約されます。 予約を使用すると、容量を確実に確保できます。また、オンデマンド リソースよりも低価格で費用対効果に優れています。 TPU の予約は、確約利用割引（CUD）がある場合にのみ使用できます。詳しくは、 Google Cloud セールスにお問い合わせください。 |
予約は、長時間実行されるトレーニング ジョブと推論ワークロードに最適です。 | すべての TPU バージョン: TPU のリージョンとゾーンをご覧ください。 | オンデマンド割り当て |
| オンデマンド | TPU リソースをリクエストして、可能な限り早く、必要な期間使用します。 オンデマンドは最も柔軟性の高い方法です。オンデマンド リソースはプリエンプトされませんが、リクエストを満たすのに十分な TPU リソースがあることを保証するものではありません。TPU リソースを作成する場合は、デフォルトでオンデマンドになります。オンデマンド TPU の作成と使用の詳細については、 TPU リソースを管理するをご覧ください。 |
オンデマンドは、緊急のジョブや、終了時間を柔軟に設定できるワークロードに適しています。 | すべての TPU バージョン: TPU のリージョンとゾーンをご覧ください。 | オンデマンド割り当て |
| フレックスタイム制（一般公開プレビュー） | 容量を事前に予約することなく、特定の期間（最大 7 日間）の TPU リソースをリクエストします。 フレックス開始リソースは専用の容量プールから提供されるため、これらのリソースの可用性はオンデマンドよりも高くなります。TPU で Flex-start を使用する方法については、 Flex-start を使用して Cloud TPU をリクエストするをご覧ください。 注: TPU の Flex-start は、Cloud TPU API を使用した場合にのみサポートされます。GKE API での使用はサポートされていません。 |
Flex-start は、テスト、小規模なテスト、推論ワークロード用の TPU の動的プロビジョニング、モデルの微調整、7 日未満のワークロード実行に最適です。 |
トレーニングとサービング用の v6e（Trillium）: asia-northeast1-b、us-east5-a トレーニング用の v5e: us-west4-a サービング用の v5e: us-central1-a |
プリエンプティブル割り当て |
| スポット | プリエンプトされる可能性がある TPU リソースをリクエストします。 Spot VM は、オンデマンド リソースよりもはるかに低価格で利用できます。Spot VM はオンデマンド リソースよりも簡単に取得できますが、いつでもプリエンプト（シャットダウン）される可能性があります。実行時間に制限はありません。TPU Spot VM の詳細については、 TPU Spot VM を管理するをご覧ください。 |
Spot は、モデルの事前トレーニング、モデルの微調整、可用性の中断に耐性のあるシミュレーション ジョブなど、優先度の低いワークロードのスケジューリングに適しています。 | すべての TPU バージョン: TPU のリージョンとゾーンをご覧ください。 | プリエンプティブル割り当て |
次のステップ
次の方法で TPU を使ってみる。