Zyphra presenta zyfa: los núcleos de atención fp8 logran importantes mejoras de velocidad en amd mi355x

Zyphra ha introducido ZYFA, un conjunto de núcleos de pre-llenado de atención de código abierto en FP8 y BF16, diseñados para las GPU AMD Instinct MI355X. Este motor, que impulsa el Zyphra Optimization Engine (ZOE) utilizado en Zyphra Cloud, demuestra ganancias de rendimiento sustanciales en comparación con la biblioteca AITER predeterminada de AMD. En activaciones de modelos reales, los núcleos FP8 de ZYFA muestran mejoras de velocidad que oscilan entre 1,16x y 1,76x, con tasas de error un 62-78% más bajas que AITER en una dimensión de cabeza de 128. ZYFA emplea tres optimizaciones clave: un patrón de bits e4m3, una implementación ligera de P para softmax que reduce los ciclos de vector de 896 a 384, y una técnica de escalado que aprovecha las instrucciones de matriz de CDNA4. Si bien la velocidad del reloj del MI355X puede variar en función de los cambios de bits de los operandos, ZYFA aún requiere menos ciclos totales que AITER, a pesar de funcionar a una velocidad de reloj más baja (1.628 MHz frente a 2.108 MHz para Mistral-7B). Las pruebas de rendimiento muestran que ZYFA alcanza los 2.672 TFLOP/s en benchmarks gaussianos a 32K, en comparación con los 1.944 TFLOP/s de AITER. Además, ZYFA logra una mayor eficiencia energética, entregando 1,94 TFLOP/J en las capas de Mistral-7B capturadas en comparación con los 1,60 TFLOP/J de AITER. El error de FP8 en relación con la atención FP64 es notablemente bajo, con ZYFA mostrando un error del 0,22x en relación con AITER en Mistral-7B.