Cloud TPU 소비 옵션
이 문서에서는 Cloud TPU에서 지원되는 소비 옵션을 설명합니다. 소비 옵션은 용량을 요청하는 데 사용되는 메서드입니다. 소비 옵션을 선택할 때는 다음 요소를 고려하세요.
- 용량이 얼마나 빨리 필요한가요?
- 용량이 얼마나 필요한가요?
- 고정된 기간 동안 용량이 필요한지 또는 유연한 기간 동안 용량이 필요한지 여부
- 용량을 선점할 수 있는지 여부
- 가격 책정
Cloud TPU API를 사용하는 경우 모든 소비 방법에 대해 사용하려는 Cloud TPU 코어 수에 대한 주문형 또는 선점형 할당량이 필요합니다. TPU 버전마다 기본 주문형 및 선점형 할당량이 다릅니다. 자세한 내용은 Cloud TPU 할당량을 참고하세요.
Google Kubernetes Engine (GKE)에서 TPU를 사용하는 경우 Compute Engine API 할당량을 사용합니다. 이는 다른 할당량입니다. GKE의 TPU에 사용하는 할당량에 관한 자세한 내용은 TPU 할당량이 있는지 확인을 참고하세요.
| 소비 옵션 | 작동 방식 | 최적의 용도 | 지원되는 TPU 버전 및 영역 | Cloud TPU API의 할당량 유형 |
|---|---|---|---|---|
| 예약 | 특정 시간 동안 TPU 리소스를 미리 요청합니다. 이러한 리소스는 해당 기간 동안 배타적으로 사용할 수 있습니다. 예약은 용량에 대한 최고 수준의 확신을 제공하며 온디맨드 리소스보다 저렴한 가격으로 비용 효율적입니다. 약정 사용 할인 (CUD)이 있는 경우에만 TPU 예약을 사용할 수 있습니다. 자세한 내용은 Google Cloud 영업팀에 문의하세요. |
예약은 장기 실행 학습 작업 및 추론 워크로드에 적합합니다. | 모든 TPU 버전: TPU 리전 및 영역을 참고하세요. | 주문형 할당량 |
| 주문형 | 최대한 빨리 원하는 기간 동안 사용할 TPU 리소스를 요청합니다. 주문형은 가장 유연한 옵션입니다. 주문형 리소스는 선점되지 않지만 요청을 처리하기에 충분한 TPU 리소스가 제공된다고 보장할 수는 없습니다. TPU 리소스를 만들 때 기본값은 '요청 시'입니다. 주문형 TPU 생성 및 사용에 관한 자세한 내용은 TPU 리소스 관리를 참고하세요. |
주문형은 긴급한 작업과 유연한 종료 시간이 필요한 워크로드에 적합합니다. | 모든 TPU 버전: TPU 리전 및 영역을 참고하세요. | 주문형 할당량 |
| Flex-start (공개 미리보기) | 용량을 미리 예약하지 않고 최대 7일 동안 TPU 리소스를 요청합니다. 유연한 시작 리소스는 전용 용량 풀에서 제공되므로 이러한 리소스의 가용성은 온디맨드보다 높습니다. TPU에서 Flex-start를 사용하는 방법에 관한 자세한 내용은 Flex-start를 사용하여 Cloud TPU 요청을 참고하세요. 참고: TPU의 유연한 시작은 Cloud TPU API를 사용하는 경우에만 지원됩니다. GKE API를 사용하면 지원되지 않습니다. |
유연한 시작은 실험, 소규모 테스트, 추론 워크로드용 TPU의 동적 프로비저닝, 모델 미세 조정, 7일 미만이 소요되는 워크로드 실행에 적합합니다. |
학습 및 제공을 위한 v6e (Trillium): asia-northeast1-b, us-east5-a 학습용 v5e: us-west4-a 게재용 v5e: us-central1-a |
선점형 할당량 |
| 스팟 | 선점될 수 있는 TPU 리소스를 요청합니다. 스팟 VM은 주문형 리소스보다 훨씬 저렴한 가격으로 제공됩니다. 스팟 VM은 주문형 리소스보다 쉽게 가져올 수 있지만 언제든지 선점 (종료)될 수 있습니다. 런타임 기간에는 제한이 없습니다. TPU 스팟 VM에 대한 자세한 내용은 TPU 스팟 VM 관리를 참고하세요. |
Spot은 모델 사전 학습, 모델 미세 조정, 가용성 중단에 관대한 시뮬레이션 작업과 같이 우선순위가 낮은 워크로드를 예약하는 데 적합합니다. | 모든 TPU 버전: TPU 리전 및 영역을 참고하세요. | 선점형 할당량 |
다음 단계
다음을 사용하여 TPU를 시작해 보세요.