Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos de diagnóstico
- Descripción general de los modos de fallo en sistemas de LLM y problemas comunes específicos de Ollama.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Cuadro de herramientas de depuración: registros locales, capturas de solicitud/respuesta y contenedores sandbox.
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos mínimos fallidos y semillas reproducibles.
- Interacciones con estado versus sin estado: aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxy de perplejidad.
- Evaluaciones cualitativas: puntuación con intervención humana y diseño de rúbricas.
- Verificaciones de fidelidad específicas para tareas y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenario y extremo a extremo.
- Creación de suites de regresión y líneas base de ejemplos dorados.
- Integración con CI/CD para actualizaciones de modelos Ollama y puertas de validación automatizadas.
Observabilidad y monitorización
- Registro estructurado, trazas distribuidas e IDs de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Sistemas de alerta, paneles de control y SLIs/SLOs para servicios respaldados por modelos.
Análisis avanzado de causas raíz
- Seguimiento a través de prompts graficados, llamadas a herramientas y flujos multironda.
- Diagnóstico comparativo A/B y estudios de ablación.
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por datos.
Seguridad, robustez y estrategias de remediación
- Mitigaciones: filtrado, fundamentación (grounding), aumento mediante recuperación y andamiaje de prompts.
- Patrones de reversión, implementación canary y despliegue gradual para actualizaciones de modelos.
- Análisis post-mortem, lecciones aprendidas e bucles de mejora continua.
Resumen y próximos pasos
Requerimientos
- Sólida experiencia construyendo e implementando aplicaciones de LLM.
- Conocimiento familiar de los flujos de trabajo de Ollama y el alojamiento de modelos.
- Comodidad trabajando con Python, Docker y herramientas básicas de observabilidad.
Audiencia objetivo
- Ingenieros de IA.
- Profesionales de MLOps.
- Equipos de QA responsables de los sistemas de LLM en producción.
35 Horas