Ponte en Contacto
 Duración 35 horas

Temario del curso

Introducción y fundamentos del diagnóstico

  • Visión general de los modos de fallo en sistemas LLM y problemas específicos de Ollama
  • Establecimiento de experimentos reproducibles y entornos controlados
  • Conjunto de herramientas de depuración: registros locales, captura de solicitudes/respuestas y sandboxing

Reproducción e aislamiento de fallos

  • Técnicas para crear ejemplos mínimos de fallo y semillas de inicialización
  • Interacciones con estado vs. sin estado: aislamiento de errores relacionados con el contexto
  • Determinismo, azar y control del comportamiento no determinista

Evaluación del comportamiento y métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de perplejidad
  • Evaluaciones cualitativas: puntuación con participación humana y diseño de rúbricas
  • Comprobaciones de fidelidad específicas de tareas y criterios de aceptación

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
  • Creación de suites de regresión y líneas base de ejemplos de referencia (golden examples)
  • Integración en CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas

Observabilidad y monitoreo

  • Registro estructurado, trazas distribuidas e IDs de correlación
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
  • Alertas, paneles de control (dashboards) y SLIs/SLOs para servicios basados en modelos

Análisis avanzado de causas raíz

  • Rastreo a través de prompts grafiados, llamadas a herramientas y flujos multirronda
  • Diagnóstico comparativo A/B y estudios de ablación
  • Origen de los datos (data provenance), depuración de conjuntos de datos y abordaje de fallos inducidos por conjuntos de datos

Seguridad, robustez y estrategias de remediación

  • Medidas de mitigación: filtrado, anclaje (grounding), aumento mediante recuperación (retrieval augmentation) y andamiaje de prompts
  • Patrones de reversión (rollback), canarización (canary) y despliegue por fases para actualizaciones de modelos
  • Post-mortems, lecciones aprendidas y ciclos de mejora continua

Resumen y próximos pasos

Requerimientos

  • Sólida experiencia en la construcción y el despliegue de aplicaciones LLM
  • Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
  • Dominio de Python, Docker y herramientas básicas de observabilidad

Público objetivo

  • Ingenieros de IA
  • Profesionales de ML Ops
  • Equipos de QA responsables de sistemas LLM en producción

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas