Flujos de trabajo con LLMs multimodales en Vertex AI

Introducción a los LLMs multimodales en Vertex AI

• Resumen de las capacidades multimodales en Vertex AI.
• Modelos Gemini y modalidades compatibles.
• Casos de uso en entornos empresariales e investigación.

Configuración del entorno de desarrollo

• Configuración de Vertex AI para flujos de trabajo multimodales.
• Trabajo con conjuntos de datos en múltiples modalidades.
• Taller práctico: configuración del entorno y preparación de datos.

Ventanas de contexto largas y razonamiento avanzado

• Comprensión de flujos de trabajo con contexto largo.
• Casos de uso en planificación y toma de decisiones.
• Taller práctico: implementación de análisis con contexto largo.

Diseño de flujos de trabajo cruzados entre modalidades

• Combinación de análisis de texto, audio e imagen.
• Cadenas de pasos multimodales en canalizaciones.
• Taller práctico: diseño de una canalización multimodal.

Trabajo con parámetros de la API de Gemini

• Configuración de entradas y salidas multimodales.
• Optimización de inferencia y eficiencia.
• Taller práctico: ajuste fino de los parámetros de la API de Gemini.

Aplicaciones avanzadas e integraciones

• Agentes y asistentes interactivos multimodales.
• Integración de APIs externas y herramientas adicionales.
• Taller práctico: construcción de una aplicación multimodal.

Evaluación e iteración

• Pruebas del rendimiento multimodal.
• Métricas para precisión, alineamiento y deriva (drift).
• Taller práctico: evaluación de flujos de trabajo multimodales.

Resumen y próximos pasos