Crie VMs GPU em massa

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

gcloud

Para criar um grupo de VMs, use o comando gcloud compute instances bulk create . Para obter mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa .

Os seguintes sinalizadores opcionais são mostrados no comando de exemplo:

• O --provisioning-model=SPOT é um sinalizador opcional que configura suas VMs como Spot VMs. Se sua carga de trabalho for tolerante a falhas e puder suportar uma possível preempção de VM, considere usar VMs spot para reduzir o custo de suas VMs e das GPUs anexadas. Para obter mais informações, consulte GPUs em VMs Spot . Para VMs Spot, os sinalizadores de opções de reinicialização automática e manutenção do host estão desabilitados.

• O sinalizador --accelerator para especificar uma estação de trabalho virtual. As estações de trabalho virtuais NVIDIA RTX (vWS) são suportadas apenas para VMs G2.

Exemplo

Este exemplo cria duas VMs que possuem GPUs anexadas usando as seguintes especificações:

• Nomes de VM: my-test-vm-1 , my-test-vm-2
• Cada VM tem duas GPUs anexadas, especificadas usando o tipo de máquina apropriada otimizada para acelerador

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE \
    [--provisioning-model=SPOT] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Substitua o seguinte:

• REGION : a região das VMs. Esta região deve suportar o modelo de GPU selecionado .

• MACHINE_TYPE : o tipo de máquina que você selecionou. Escolha um dos seguintes:

  • Uma máquina tipo A3 .
  • Um tipo de máquina A2 .
  • Um tipo de máquina G2 . Os tipos de máquinas G2 também suportam memória personalizada. A memória deve ser um múltiplo de 1.024 MB e estar dentro do intervalo de memória suportado. Por exemplo, para criar uma VM com 4 vCPUs e 19 GB de memória, especifique --machine-type=g2-custom-4-19456 .

• IMAGE : uma imagem do sistema operacional que suporta GPUs .

  Se você quiser usar a imagem mais recente em uma família de imagens , substitua o sinalizador --image pelo sinalizador --image-family e defina seu valor para uma família de imagens que suporte GPUs. Por exemplo: --image-family=rocky-linux-8-optimized-gcp .

  Você também pode especificar uma imagem personalizada ou Deep Learning VM Images .

• IMAGE_PROJECT : o projeto de imagem do Compute Engine ao qual a imagem do SO pertence. Se estiver usando uma imagem personalizada ou imagens de VM de aprendizado profundo, especifique o projeto ao qual essas imagens pertencem.

• VWS_ACCELERATOR_COUNT : o número de GPUs virtuais necessárias.

Se for bem-sucedido, a saída será semelhante a esta:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

DESCANSAR

Use o método instances.bulkInsert com os parâmetros necessários para criar diversas VMs em uma zona. Para obter mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa .

Exemplo

Este exemplo cria duas VMs que possuem GPUs anexadas usando as seguintes especificações:

• Nomes de VM: my-test-vm-1 , my-test-vm-2

• Cada VM tem duas GPUs anexadas, especificadas usando o tipo de máquina apropriada otimizada para acelerador

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
  {
  "namePattern":"my-test-vm-#",
  "count":"2",
  "instanceProperties": {
    "machineType":MACHINE_TYPE,
    "disks":[
      {
        "type":"PERSISTENT",
        "initializeParams":{
          "diskSizeGb":"200",
          "sourceImage":SOURCE_IMAGE_URI
        },
        "boot":true
      }
    ],
    "name": "default",
    "networkInterfaces":
    [
      {
        "network": "projects/PROJECT_ID/global/networks/default"
      }
    ],
    "scheduling":{
      "onHostMaintenance":"TERMINATE",
      ["automaticRestart":true]
    }
  }
  }
  

Substitua o seguinte:

• PROJECT_ID : o ID do seu projeto
• REGION : a região das VMs. Esta região deve suportar o modelo de GPU selecionado .

• MACHINE_TYPE : o tipo de máquina que você selecionou. Escolha um dos seguintes:

  • Um tipo de máquina A2 .
  • Um tipo de máquina G2 . Os tipos de máquinas G2 também suportam memória personalizada. A memória deve ser um múltiplo de 1.024 MB e estar dentro do intervalo de memória suportado. Por exemplo, para criar uma VM com 4 vCPUs e 19 GB de memória, especifique --machine-type=g2-custom-4-19456 .

• SOURCE_IMAGE_URI : o URI da imagem ou família de imagens específica que você deseja usar.

  Por exemplo:

  • Imagem específica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
  • Família de imagens: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp" .

  Quando você especifica uma família de imagens, o Compute Engine cria uma VM a partir da imagem de sistema operacional mais recente e não obsoleta dessa família. Para obter mais informações sobre quando usar famílias de imagens, consulte Práticas recomendadas para famílias de imagens .

Configurações adicionais:

• Se sua carga de trabalho for tolerante a falhas e puder suportar uma possível preempção de VM, considere usar VMs spot para reduzir o custo de suas VMs e das GPUs anexadas. Para obter mais informações, consulte GPUs em VMs Spot . Para usar uma VM Spot, adicione a opção "provisioningModel": "SPOT à sua solicitação. Para VMs Spot, os sinalizadores de opções de reinicialização automática e manutenção do host estão desabilitados.

  "scheduling":
    {
      "provisioningModel": "SPOT"
    }
  

• Para VMs G2, há suporte para estações de trabalho virtuais NVIDIA RTX (vWS). Para especificar uma estação de trabalho virtual, adicione a opção guestAccelerators à sua solicitação. Substitua VWS_ACCELERATOR_COUNT pelo número de GPUs virtuais necessárias.

  "guestAccelerators":
   [
     {
       "acceleratorCount": VWS_ACCELERATOR_COUNT,
       "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
     }
   ]
  

gcloud

Para criar um grupo de VMs, use o comando gcloud compute instances bulk create . Para obter mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa .

Exemplo

O exemplo a seguir cria duas VMs com GPUs anexadas usando as seguintes especificações:

• Nomes de VM: my-test-vm-1 , my-test-vm-2
• VMs criadas em qualquer zona em us-central1 que suporte GPUs
• Cada VM tem duas GPUs T4 anexadas, especificadas usando o tipo de acelerador e sinalizadores de contagem de acelerador
• Cada VM tem drivers de GPU instalados
• Cada VM usa a imagem de VM de Deep Learning pytorch-latest-gpu-v20211028-debian-10

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

Se for bem-sucedido, a saída será semelhante a esta:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

DESCANSAR

Use o método instances.bulkInsert com os parâmetros necessários para criar diversas VMs em uma zona. Para obter mais informações sobre os parâmetros e como usar esse comando, consulte Criar VMs em massa .

Exemplo

O exemplo a seguir cria duas VMs com GPUs anexadas usando as seguintes especificações:

• Nomes de VM: my-test-vm-1 , my-test-vm-2
• VMs criadas em qualquer zona em us-central1 que suporte GPUs
• Cada VM tem duas GPUs T4 anexadas, especificadas usando o tipo de acelerador e sinalizadores de contagem de acelerador
• Cada VM tem drivers de GPU instalados
• Cada VM usa a imagem de VM de Deep Learning pytorch-latest-gpu-v20211028-debian-10

Substitua PROJECT_ID pelo ID do seu projeto.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }