Ponte en Contacto

Temario del curso

Introducción a LLMOps

  • LLMOps vs MLOps: desafíos únicos de operar LLM
  • Ciclo de vida de la aplicación LLM: prompt, evaluar, desplegar, monitorear
  • Lista de verificación de preparación para producción de aplicaciones GenAI

Gestión y versionado de prompts

  • Sistemas de plantillas de prompts e inyección de variables
  • Versionado semántico de prompts con pruebas de regresión automatizadas
  • Registros de prompts y flujos de trabajo colaborativos

Evaluación de LLM a escala

  • Dimensiones de evaluación: precisión, relevancia, seguridad, fundamentación (groundedness)
  • Métricas de LLM como juez y pipelines de evaluación humana
  • Pipelines automatizados: RAGAS, DeepEval y evaluadores personalizados
  • Controles de calidad en CI/CD para despliegues de LLM

Salvaguardas de seguridad y gobernanza de contenido

  • Salvaguardas de entrada y salida: NeMo Guardrails y Guardrails AI
  • Detección de PII, filtrado de toxicidad y límites temáticos
  • Estrategias de defensa contra jailbreak e inyección de prompts
  • Red-teaming de aplicaciones LLM para asegurar la seguridad

Observabilidad y monitoreo de LLM

  • Telemetría: uso de tokens, latencia, costos y métricas de calidad
  • Detección de deriva en salidas de LLM y espacios de embedding
  • Trazabilidad a nivel de sesión para conversaciones de agentes multironda
  • Paneles y alertas con LangSmith, Arize y OpenTelemetry

Pasarela de IA y orquestación de modelos

  • Enrutamiento multiproveedor con LiteLLM y Portkey
  • Estrategias de fallback, lógica de reintento y disyuntores (circuit breakers)
  • Selección de modelos consciente del costo y equilibrio de carga
  • Limitación de tasa, gestión de cuotas y gobernanza de claves de API

Optimización del rendimiento

  • Caché semántico con almacenes vectoriales y estrategias de coincidencia exacta
  • Aplicación de salida estructurada con decodificación restringida
  • Patrones de agrupamiento (batching), streaming y concurrencia
  • Optimización de latencia entre proveedores de modelos

Gobernanza, cumplimiento y auditoría

  • Huellas digitales de LLM: registros de prompts, registros de respuestas y procedencia de decisiones
  • Consideraciones de residencia de datos y privacidad para APIs de LLM
  • Políticas como código (policy-as-code) para el uso de LLM dentro de las organizaciones
  • Elaboración de un manual interno de operaciones de LLM

Requerimientos

  • Experiencia construyendo o integrando aplicaciones impulsadas por LLM.
  • Familiaridad con Python y APIs REST.
  • Conocimiento básico de conceptos de ingeniería de prompts.

Audiencia

  • Ingenieros de ML y practicantes de MLOps que transicionan a operaciones de LLM.
  • Ingenieros de plataforma responsables de la infraestructura de LLM.
  • Líderes técnicos que gestionan despliegues de GenAI en producción.
 14 Horas

Número de participantes


Precio por participante

Reseñas (2)

Próximos cursos

Categorías Relacionadas