Polymathic AI y equipo de princeton presentan FlashMap, una nueva herramienta para acelerar la decodificación de LLM

Investigadores de Polymathic AI, la Universidad de Princeton, USC ISI, NYU y el Flatiron Institute han presentado FlashMap, un nuevo y novedoso esquema de decodificación especulativa que mejora significativamente la velocidad de la decodificación de los modelos de lenguaje (LLM). FlashMap reemplaza los métodos tradicionales de difusión discretos con un mapa de flujo continuo, lo que permite la generación de un bloque completo de 16 tokens en una sola pasada hacia adelante. Este método garantiza la coherencia de los tokens dentro del bloque y logra un aumento de hasta 6,14x en la velocidad para la tarea GSM8K en el modelo Qwen3-8B. La técnica utiliza un transformador de difusión de 6 bloques (DiT) con una dimensión de incrustación de 2048 y 16 cabezas de atención. Lee los estados ocultos de capas objetivo específicas y copia la matriz de incrustación y la cabeza LM del modelo objetivo, manteniendo estas congeladas durante el entrenamiento. El entrenamiento implicó dos etapas utilizando 500.000 muestras de Open-PerfectBlend, con un total de aproximadamente 4.600 horas de GPU en H200s. El proyecto también proporciona instrucciones de instalación y opciones de implementación, incluidas los plugins vLLM y SGLang, para implementar FlashMap de forma eficiente.