Contacta con nosotros

Temario del curso

Introducción a los Modelos Visión-Lenguaje

  • Descripción general de los VLM y su papel en la IA multimodal
  • Arquitecturas populares: CLIP, Flamingo, BLIP, etc.
  • Casos de uso: búsqueda, generación de descripciones, sistemas autónomos, análisis de contenido

Preparación del Entorno para el Ajuste Fino

  • Configuración de OpenCLIP y otras bibliotecas VLM
  • Formatos de conjuntos de datos para pares imagen-texto
  • Pipelines de preprocesamiento para entradas visuales y de lenguaje

Ajuste Fino de CLIP y Modelos Similares

  • Pérdida contrastiva y espacios de incrustación conjuntos
  • Práctica: ajuste fino de CLIP en conjuntos de datos personalizados
  • Manejo de datos específicos del dominio y multilingües

Técnicas Avanzadas de Ajuste Fino

  • Uso de LoRA y métodos basados en adaptadores para mayor eficiencia
  • Ajuste de prompts e inyección visual de prompts
  • Compensaciones entre evaluación con ceros disparos y ajuste fino

Evaluación y Análisis Comparativo

  • Métricas para VLM: precisión de recuperación, BLEU, CIDEr, tasa de aciertos
  • Diagnóstico de alineación visual-texto
  • Visualización de espacios de incrustación e identificar clasificaciones erróneas

Despliegue y Uso en Aplicaciones Reales

  • Exportación de modelos para inferencia (TorchScript, ONNX)
  • Integración de VLM en pipelines o APIs
  • Consideraciones de recursos y escalado de modelos

Estudios de Caso y Escenarios Aplicados

  • Análisis de medios y moderación de contenido
  • Búsqueda y recuperación en comercio electrónico y bibliotecas digitales
  • Interacción multimodal en robótica y sistemas autónomos

Resumen y Siguientes Pasos

Requerimientos

  • Comprensión del aprendizaje profundo para visión y PLN (Procesamiento de Lenguaje Natural)
  • Experiencia con PyTorch y modelos basados en transformadores
  • Familiaridad con arquitecturas de modelos multimodales

Público Objetivo

  • Ingenieros de visión por computadora
  • Desarrolladores de IA
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas