Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Opciones de Despliegue
- Ventajas y desventajas de API alojada versus autoalojada
- Patrones de implementación local, en el borde y aislados de red
- Un solo modelo versus portafolio de modelos
- Comparación del costo por decisión
Dimensionamiento de Hardware y Capacidad
- Huella de memoria según el conteo de parámetros
- Exclusivamente CPU versus aceleración con GPU
- Planificación de concurrencia y caudal (throughput)
- Margen de seguridad para el crecimiento de la longitud de las tareas
Pilas de Servicio
- Opciones de vLLM y SGLang
- Ejecución con llama.cpp y GGUF
- Ollama para desarrollo local
- Elección basada en la forma de la carga de trabajo de decisión
Cuantización Sin Pérdida de Calibración
- Formatos de precisión y ahorro de memoria
- Medición de la pérdida de calidad y calibración
- Variantes por tensor y conscientes de la importancia
- Pruebas de aceptación después de la cuantización
Ingeniería de Latencia
- Latencia mediana versus latencia de cola
- Crecimiento de la latencia con la longitud del contexto
- Inicio en caliente y almacenamiento en caché del modelo
- Loteo (batching) de múltiples preguntas de decisión
Entornos de Borde y Restringidos
- Pequeños modelos de decisión en CPU
- Despliegue en Apple Silicon y dispositivos embebidos
- Operación sin conexión y estrategia de actualización
- Distribución de pesos en entornos aislados de red
Contenerización y Escalabilidad
- Diseño de imágenes para servicio de modelos
- Gestión de volúmenes y caché
- Escala horizontal y enrutamiento
- Límites de recursos y compartición de GPU
Observabilidad
- Métricas de solicitud, latencia y errores
- Monitoreo de la distribución de confianza
- Rastreo de resultados de decisión y escalaciones
- Alertas por deriva de calibración
Versionamiento y Despliegue
- Versionamiento de modelos y adaptadores
- Despliegue en sombra (shadow) y canario (canary)
- Archivos de modelo fijos para auditoría
- Procedimientos de reversión
Seguridad y Multi-tenencia
- Autenticación y limitación de tasa
- Aislamiento de inquilinos para prompts y registros
- Aislamiento de red y control de egreso
- Registro de auditoría de decisiones
Requerimientos
- Experiencia en administración de Linux y contenedores.
- Conocimiento de servidores de inferencia de modelos y gestión de GPU.
- Comprensión básica de APIs REST, equilibrio de carga y monitoreo.
Público Objetivo
- Ingenieros de MLOps y plataformas que administran infraestructura de inferencia
- Equipos de SRE que dan soporte a servicios de IA
- Ingenieros de IA que despliegan modelos de decisión en sitio
- Arquitectos que diseñan implementaciones de IA aisladas de red o reguladas
