Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y fundamentos del diagnóstico
- Visión general de los modos de fallo en sistemas LLM y problemas específicos de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Conjunto de herramientas de depuración: registros locales, captura de solicitudes/respuestas y sandboxing
Reproducción e aislamiento de fallos
- Técnicas para crear ejemplos mínimos de fallo y semillas de inicialización
- Interacciones con estado vs. sin estado: aislamiento de errores relacionados con el contexto
- Determinismo, azar y control del comportamiento no determinista
Evaluación del comportamiento y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y sustitutos de perplejidad
- Evaluaciones cualitativas: puntuación con participación humana y diseño de rúbricas
- Comprobaciones de fidelidad específicas de tareas y criterios de aceptación
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo
- Creación de suites de regresión y líneas base de ejemplos de referencia (golden examples)
- Integración en CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, paneles de control (dashboards) y SLIs/SLOs para servicios basados en modelos
Análisis avanzado de causas raíz
- Rastreo a través de prompts grafiados, llamadas a herramientas y flujos multirronda
- Diagnóstico comparativo A/B y estudios de ablación
- Origen de los datos (data provenance), depuración de conjuntos de datos y abordaje de fallos inducidos por conjuntos de datos
Seguridad, robustez y estrategias de remediación
- Medidas de mitigación: filtrado, anclaje (grounding), aumento mediante recuperación (retrieval augmentation) y andamiaje de prompts
- Patrones de reversión (rollback), canarización (canary) y despliegue por fases para actualizaciones de modelos
- Post-mortems, lecciones aprendidas y ciclos de mejora continua
Resumen y próximos pasos
Requerimientos
- Sólida experiencia en la construcción y el despliegue de aplicaciones LLM
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
- Dominio de Python, Docker y herramientas básicas de observabilidad
Público objetivo
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de QA responsables de sistemas LLM en producción