Ponte en Contacto

Temario del curso

Fundamentos de Tencent Hunyuan para Producción

  • Visión general de los escenarios de servicio de modelos Tencent Hunyuan.
  • Características en producción de modelos grandes y MoE.
  • Cuellos de botella comunes de latencia, throughput y costos.
  • Definición de objetivos de nivel de servicio para cargas de trabajo de inferencia.

Arquitectura de Implementación y Flujo de Servicio

  • Componentes principales de una pila de inferencia en producción.
  • Elegir entre modelos de implementación en contenedores, on-premise y en la nube.
  • Fundamentos de carga del modelo, enrutamiento de solicitudes y asignación de GPU.
  • Diseño para fiabilidad y simplicidad operativa.

Optimización de Latencia en la Práctica

  • Uso de motores de inferencia optimizados como TensorRT, cuando sea aplicable.
  • Conceptos del KV-cache y ajuste práctico de caché.
  • Reducción de la sobrecarga de inicio, calentamiento (warmup) y respuesta.
  • Medición del tiempo hasta el primer token y la velocidad de generación de tokens.

Throughput, Agrupamiento de Solicitudes (Batching) y Eficiencia de GPU

  • Estrategias de agrupamiento continuo y agrupamiento de solicitudes.
  • Gestión de concurrencia y comportamiento de colas.
  • Mejora del uso de la GPU sin afectar la experiencia del usuario.
  • Gestión de solicitudes de contexto largo y cargas de trabajo mixtas.

Cuantización y Control de Costos

  • Por qué la cuantización es importante para el servicio en producción.
  • Compensaciones prácticas entre FP16, INT8 y otras opciones comunes de precisión.
  • Equilibrio entre calidad del modelo, latencia y costos de infraestructura.
  • Construcción de una lista de comprobación simple para la optimización de costos.

Operaciones, Monitoreo y Revisión de Preparación

  • Disparadores del autoescalado para servicios de inferencia.
  • Monitoreo de latencia, throughput, uso de caché y salud de la GPU.
  • Fundamentos de registro (logging), alertas y respuesta a incidentes.
  • Revisión de una implementación de referencia y creación de un plan de mejora.

Requerimientos

  • Comprensión básica del despliegue y los flujos de trabajo de inferencia de modelos de lenguaje grande (LLM).
  • Experiencia con contenedores, infraestructura en la nube o on-premise, y servicios basados en API.
  • Conocimientos funcionales de Python o tareas de ingeniería del sistema.

Público Objetivo

  • Ingenieros de ML que implementan LLMs en producción.
  • Ingenieros de plataforma responsables de servicios de inferencia basados en GPU.
  • Arquitectos de soluciones que diseñan plataformas escalables de servicio de IA.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas