Contacta con nosotros

Temario del curso

Introducción y fundamentos de diagnóstico

  • Descripción general de los modos de fallo en sistemas de LLM y problemas comunes específicos de Ollama.
  • Establecimiento de experimentos reproducibles y entornos controlados.
  • Cuadro de herramientas de depuración: registros locales, capturas de solicitud/respuesta y contenedores sandbox.

Reproducción y aislamiento de fallos

  • Técnicas para crear ejemplos mínimos fallidos y semillas reproducibles.
  • Interacciones con estado versus sin estado: aislamiento de errores relacionados con el contexto.
  • Determinismo, aleatoriedad y control del comportamiento no determinista.

Evaluación conductual y métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxy de perplejidad.
  • Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
  • Verificaciones de fidelidad específicas para tareas y criterios de aceptación.

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenario y extremo a extremo.
  • Creación de suites de regresión y líneas base de ejemplos dorados.
  • Integración con CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas.

Observabilidad y monitorización

  • Registro estructurado, trazas distribuidas e IDs de correlación.
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
  • Sistemas de alerta, paneles de control y SLIs/SLOs para servicios respaldados por modelos.

Análisis avanzado de causas raíz

  • Seguimiento a través de prompts graficados, llamadas a herramientas y flujos multironda.
  • Diagnóstico comparativo A/B y estudios de ablación.
  • Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por datos.

Seguridad, robustez y estrategias de remediación

  • Mitigaciones: filtrado, fundamentación (grounding), aumento mediante recuperación y andamiaje de prompts.
  • Patrones de reversión, implementación canary y despliegue gradual para actualizaciones de modelos.
  • Análisis post-mortem, lecciones aprendidas e bucles de mejora continua.

Resumen y próximos pasos

Requerimientos

  • Sólida experiencia construyendo e implementando aplicaciones de LLM.
  • Conocimiento familiar de los flujos de trabajo de Ollama y el alojamiento de modelos.
  • Comodidad trabajando con Python, Docker y herramientas básicas de observabilidad.

Audiencia objetivo

  • Ingenieros de IA.
  • Profesionales de MLOps.
  • Equipos de QA responsables de los sistemas de LLM en producción.
 35 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas