Métricas de monitoramento de modelos

A IA generativa na Vertex AI oferece um painel de observabilidade de modelos pré-criado para ver o comportamento, a integridade e o desempenho de modelos totalmente gerenciados. Os modelos totalmente gerenciados, também conhecidos como modelo como serviço (MaaS, na sigla em inglês), são fornecidos pelo Google e incluem modelos Gemini e de parceiros com endpoints gerenciados. As métricas de modelos auto-hospedados não são incluídas no painel.

A IA generativa na Vertex AI coleta e informa automaticamente a atividade dos modelos de MaaS para ajudar você a resolver rapidamente problemas de latência e monitorar a capacidade.

Painel de exemplo de observabilidade de modelo no Cloud Console
Exemplo de painel de observabilidade do modelo

Métricas de monitoramento disponíveis

O painel de observabilidade do modelo mostra um subconjunto de métricas coletadas pelo Cloud Monitoring, como solicitações de modelo por segundo (QPS, na sigla em inglês), taxa de transferência de token e latências do primeiro token. Acesse o painel para conferir todas as métricas disponíveis.

Caso de uso

Como desenvolvedor de aplicativos, você pode conferir como os usuários estão interagindo com os modelos que você expôs. Por exemplo, é possível conferir como o uso do modelo (solicitações de modelo por segundo) e a intensidade de computação das solicitações do usuário (latências de invocação de modelo) estão em tendência ao longo do tempo. Como essas métricas estão relacionadas ao uso do modelo, também é possível estimar os custos de execução de cada modelo.

Quando um problema surgir, você poderá resolvê-lo rapidamente no painel. É possível verificar se os modelos estão respondendo de maneira confiável e oportuna consultando as taxas de erro da API, as latências do primeiro token e a capacidade de token.

Limitações

A Vertex AI captura as métricas do painel apenas para chamadas de API para um endpoint do modelo. O uso do console do Google Cloud, como as métricas do Vertex AI Studio, não é adicionado ao painel.

Ver o painel

  1. Na seção "Vertex AI" do console do Google Cloud, acesse a página Painel.

    Acesse a Vertex AI

  2. Na seção Observabilidade do modelo, clique em Mostrar todas as métricas para conferir o painel de observabilidade do modelo no console Observabilidade do Google Cloud.

  3. Para conferir as métricas de um modelo específico ou em um local específico, defina um ou mais filtros na parte de cima da página do painel.

    Para ver uma descrição de cada métrica, consulte a seção "aiplatform" na página Google Cloud metrics.

Outros recursos