El Almacén de ejemplos te permite almacenar y recuperar de forma dinámica ejemplos de varias imágenes. Los ejemplos de pocos intentos te permiten demostrar los patrones de respuesta esperados a un LLM para mejorar la calidad, la exactitud y la uniformidad de sus respuestas a consultas similares.
¿Qué son los ejemplos con varios intentos?
Un ejemplo de pocas imágenes es un dato etiquetado específico de tu caso de uso de LLM. Incluye un par de entrada-salida que demuestra la respuesta esperada del modelo para una solicitud del modelo. Puedes usar ejemplos para demostrar el comportamiento esperado o el patrón de respuesta de un LLM.
Si usas solo algunos ejemplos relevantes, puedes abarcar un conjunto más grande de resultados posibles, el comportamiento previsto y las entradas del usuario sin aumentar el tamaño o la complejidad de las instrucciones. Esto se logra solo con la inclusión de ejemplos relevantes (disminuyendo la cantidad de ejemplos que se incluyen) y con la "demostración, no la narración" del comportamiento esperado.
El uso de ejemplos limitados es una forma de aprendizaje en contexto. Un ejemplo muestra un patrón claro de entradas y salidas, sin explicar cómo el modelo genera el contenido. Puedes abarcar más resultados posibles o consultas del usuario con solo unos pocos ejemplos, sin aumentar el tamaño de la instrucción ni la complejidad del código. El uso de ejemplos no implica actualizar los parámetros del modelo previamente entrenado y no afecta la amplitud del conocimiento del LLM. Esto hace que el aprendizaje en contexto con ejemplos sea un enfoque relativamente ligero y conciso para personalizar, corregir o mejorar el razonamiento y la respuesta de un LLM a instrucciones que no se han visto.
Cuando recopilas ejemplos relevantes que son representativos de las búsquedas de los usuarios, ayudas al modelo a mantener la atención, demostrar el patrón esperado y rectificar el comportamiento incorrecto o inesperado. Esto no afecta a otras solicitudes que generan las respuestas esperadas.
Al igual que todas las estrategias de ingeniería de instrucciones, el uso de ejemplos de pocos intentos se suma a otras técnicas de optimización de LLM, como el ajuste fino o la RAG.
Cómo usar Example Store
En los siguientes pasos, se describe cómo puedes usar Example Store:
Crea o reutiliza un recurso
ExampleStore, también llamado "instancia de Example Store".- Para cada región y proyecto, puedes tener un máximo de 50 instancias de Example Store.
Escribe y sube ejemplos basados en las respuestas del LLM. Existen dos situaciones posibles:
Si el comportamiento y el patrón de respuesta del LLM son los esperados, escribe ejemplos basados en estas respuestas y súbelos a la instancia de Example Store.
Si el LLM muestra patrones de respuesta o comportamientos inesperados, escribe un ejemplo para demostrar cómo corregir la respuesta y, luego, súbela a la instancia de Example Store.
Los ejemplos subidos estarán disponibles de inmediato para el agente o la aplicación de LLM asociada con la instancia de Example Store.
Si un agente basado en el kit de desarrollo de agentes de Vertex AI está vinculado a la instancia de Example Store, el agente recupera automáticamente los ejemplos y los incluye en la solicitud de LLM.
Para todas las demás aplicaciones de LLM, debes buscar y recuperar los ejemplos y, luego, incluirlos en tus instrucciones.
Puedes seguir agregando ejemplos de forma iterativa a una instancia de Example Store cada vez que obserbes un rendimiento inesperado del LLM o encuentres consultas de usuarios adversas o esperadas. No es necesario que actualices el código ni vuelvas a implementar una versión nueva de la aplicación de LLM. Los ejemplos estarán disponibles para el agente o la aplicación en cuanto los subas a la instancia de Example Store.
Además, puedes hacer lo siguiente:
Para recuperar ejemplos, realiza una búsqueda de similitud coseno entre las claves de búsqueda de los ejemplos almacenados y las de tu consulta.
Filtra los ejemplos por nombre de función y define mejor la lista de ejemplos candidatos a aquellos que representan las posibles respuestas del LLM.
Mejora de forma iterativa tu agente o aplicación de LLM.
Compartir ejemplos con varios agentes o aplicaciones de LLM
Lineamientos para la creación de ejemplos con varios intentos
El impacto de los ejemplos en el rendimiento del modelo depende de los tipos de ejemplos que se incluyen en las instrucciones y de cómo se incluyen.
Las siguientes son prácticas recomendadas para la creación de ejemplos:
Relevancia y similitud: Los ejemplos deben estar estrechamente relacionados con la tarea o el dominio específicos. Esto ayuda al modelo a enfocarse en los aspectos más relevantes de su conocimiento, disminuye el uso de tokens y mantiene o incluso mejora el rendimiento. Necesitas menos ejemplos si son relevantes para la conversación. El corpus de los ejemplos disponibles debe ser representativo de las posibles consultas de los usuarios. Además, un ejemplo debe ser relevante para una consulta de usuario determinada.
Complejidad: Para ayudar al LLM a tener un mejor rendimiento, usa ejemplos de baja complejidad para demostrar el razonamiento esperado.
Representativo de los posibles resultados del modelo: Las respuestas esperadas en un ejemplo deben ser coherentes con el resultado posible. Esto permite que el ejemplo demuestre claramente un razonamiento que es coherente con el razonamiento esperado del LLM para la instrucción.
Formato: Para obtener el mejor rendimiento, da formato a los ejemplos de pocas imágenes en tu instrucción de una manera que sea coherente con los datos de entrenamiento del LLM y que se diferencie del historial de conversaciones. El formato de los ejemplos en una instrucción puede afectar de manera considerable el rendimiento del LLM.
Ejemplo de caso de uso: Llamadas a función
Puedes usar ejemplos de pocas imágenes para mejorar el rendimiento de las llamadas a funciones.
Puedes indicar la llamada a función esperada para una consulta del usuario en un patrón
consistencia. El ejemplo puede modelar la respuesta esperada a la solicitud, ya que incluye qué función se debe invocar y los argumentos que se deben incluir en la llamada a función. Considera un caso de uso en el que la función get_store_location muestra la ubicación de una tienda y su descripción. Si una consulta no invoca esta función
como se espera o muestra un resultado inesperado, puedes usar ejemplos de pocas imágenes para
corregir este comportamiento en las consultas posteriores.
Para obtener más información sobre las llamadas a funciones, consulta Llamadas a funciones.
Para obtener más información, consulta la Guía de inicio rápido de ejemplo de Store.
¿Qué sigue?
Obtén más información para crear una tienda de ejemplo.
Obtén más información para enseñar a un agente con ejemplos.