Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Fundamentos de Tencent Hunyuan para Producción
- Visión general de los escenarios de servicio de modelos Tencent Hunyuan.
- Características en producción de modelos grandes y MoE.
- Cuellos de botella comunes de latencia, throughput y costos.
- Definición de objetivos de nivel de servicio para cargas de trabajo de inferencia.
Arquitectura de Implementación y Flujo de Servicio
- Componentes principales de una pila de inferencia en producción.
- Elegir entre modelos de implementación en contenedores, on-premise y en la nube.
- Fundamentos de carga del modelo, enrutamiento de solicitudes y asignación de GPU.
- Diseño para fiabilidad y simplicidad operativa.
Optimización de Latencia en la Práctica
- Uso de motores de inferencia optimizados como TensorRT, cuando sea aplicable.
- Conceptos del KV-cache y ajuste práctico de caché.
- Reducción de la sobrecarga de inicio, calentamiento (warmup) y respuesta.
- Medición del tiempo hasta el primer token y la velocidad de generación de tokens.
Throughput, Agrupamiento de Solicitudes (Batching) y Eficiencia de GPU
- Estrategias de agrupamiento continuo y agrupamiento de solicitudes.
- Gestión de concurrencia y comportamiento de colas.
- Mejora del uso de la GPU sin afectar la experiencia del usuario.
- Gestión de solicitudes de contexto largo y cargas de trabajo mixtas.
Cuantización y Control de Costos
- Por qué la cuantización es importante para el servicio en producción.
- Compensaciones prácticas entre FP16, INT8 y otras opciones comunes de precisión.
- Equilibrio entre calidad del modelo, latencia y costos de infraestructura.
- Construcción de una lista de comprobación simple para la optimización de costos.
Operaciones, Monitoreo y Revisión de Preparación
- Disparadores del autoescalado para servicios de inferencia.
- Monitoreo de latencia, throughput, uso de caché y salud de la GPU.
- Fundamentos de registro (logging), alertas y respuesta a incidentes.
- Revisión de una implementación de referencia y creación de un plan de mejora.
Requerimientos
- Comprensión básica del despliegue y los flujos de trabajo de inferencia de modelos de lenguaje grande (LLM).
- Experiencia con contenedores, infraestructura en la nube o on-premise, y servicios basados en API.
- Conocimientos funcionales de Python o tareas de ingeniería del sistema.
Público Objetivo
- Ingenieros de ML que implementan LLMs en producción.
- Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
- Arquitectos de soluciones que diseñan plataformas escalables de servicio de IA.
