Optimización de rendimiento en Ascend, Biren y Cambricon

Conceptos y métricas de rendimiento

• Latencia, rendimiento, consumo de energía, uso de recursos.
• Cuellos de botella a nivel de sistema vs. modelo.
• Perfilado para inferencia vs. entrenamiento.

Perfilado en Huawei Ascend

• Uso de CANN Profiler y MindInsight.
• Diagnóstico de kernels y operadores.
• Patrones de descarga (offload) y mapeo de memoria.

Perfilado en GPU Biren

• Funciones de monitoreo de rendimiento del SDK de Biren.
• Fusión de kernels, alineación de memoria y colas de ejecución.
• Perfilado consciente de energía y temperatura.

Perfilado en MLU de Cambricon

• Herramientas de rendimiento de BANGPy y Neuware.
• Visibilidad a nivel de kernel e interpretación de registros.
• Integración del perfilador de MLU con marcos de despliegue.

Optimización a nivel de grafo y modelo

• Estrategias de podado y cuantización de grafos.
• Fusión de operadores y reestructuración de grafos computacionales.
• Estandarización del tamaño de entrada y ajuste de lotes.

Optimización de memoria y kernels

• Optimización del diseño y reutilización de la memoria.
• Gestión eficiente de búferes entre conjuntos de chips.
• Técnicas de ajuste a nivel de kernel por plataforma.

Mejores prácticas entre plataformas

• Portabilidad de rendimiento: estrategias de abstracción.
• Construcción de tuberías de ajuste compartidas para entornos multi-chip.
• Ejemplo: ajuste de un modelo de detección de objetos en Ascend, Biren y MLU.

Resumen y próximos pasos