IA polimática e equipe da princeton apresentam FlashMap, uma nova ferramenta para acelerar a decodificação de llms

Pesquisadores da Polymathic AI, Universidade de Princeton, USC ISI, NYU e Flatiron Institute revelaram o FlashMap, um novo projetor de decodificação especulativa que aumenta significativamente a velocidade da decodificação de modelos de linguagem grandes (LLMs). O FlashMap substitui os métodos tradicionais de difusão discretos por um mapa de fluxo contínuo, permitindo a geração de um bloco completo de 16 tokens em uma única passagem direta. Este método garante a consistência dos tokens dentro do bloco e alcança um aumento de velocidade de até 6,14x no modelo Qwen3-8B para tarefas GSM8K. A técnica utiliza um transformador de difusão de 6 blocos (DiT) com uma dimensão de incorporação de 2048 e 16 cabeças de atenção. Lê os estados ocultos de camadas alvo específicas e copia a matriz de incorporação e a cabeça LM do modelo alvo, mantendo-as congeladas durante o treino. O treino envolveu duas etapas utilizando 500.000 amostras do Open-PerfectBlend, com um poder computacional total de aproximadamente 4.600 horas de GPU nos H200s. O projeto também fornece instruções de instalação e opções de implantação, incluindo plugins vLLM e SGLang, para implantar o FlashMap de forma eficiente.