Liquid AI e hugging face lançam modelo dspark para acelerar a inferência de LFM2.5

A Liquid AI e a Hugging Face anunciaram a disponibilização dos checkpoints do modelo DSpark para os três principais modelos da série LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B e LFM2.5-8B-A1B. A tecnologia introduzida, chamada de decodificação especulativa, melhora significativamente a taxa de inferência sem comprometer a qualidade dos resultados. Nos testes práticos, o modelo DSpark demonstrou uma aceleração notável. Na GPU, a taxa de processamento geral foi aumentada em até 3,18 vezes, enquanto nos dispositivos de borda, a melhoria atingiu 2,87 vezes. Em cenários de inferência de agentes de borda, a latência de chamada de função do LFM2.5-2.6B foi reduzida em média em 57%. Ao utilizar a plataforma M4Max MacBook Pro como dispositivo de teste, a velocidade de saída atingiu até 139 tokens por segundo, tornando mais acessível a execução de aplicações de agente localmente, com uma experiência do utilizador que supera alguns modelos de nuvem proprietários. A inferência tradicional de modelos linguísticos de grande escala é limitada principalmente pela largura de banda da memória, sendo que a maioria dos atrasos decorrem do streaming de pesos do modelo da DRAM para a SRAM. A técnica de decodificação especulativa visa resolver este problema ao utilizar um modelo leve para gerar rapidamente tokens candidatos, que são então validados uniformemente pelo modelo alvo numa única passagem forward, distribuindo efetivamente o custo de carregamento de pesos. A DSpark integrou profundamente métodos existentes, composto por três componentes principais. Na fase de treino, o modelo draft utiliza uma mistura grande e diversificada de dados, incluindo SFT, chat, código e chamadas de função. Após rigorosos experimentos de ablação, a versão inicial escolhida é uma arquitetura de atenção apenas, com 5 camadas e 9 blocos, com o número total de parâmetros controlado em torno de 300 milhões. Devido às características do mecanismo de decodificação especulativa, sob decodificação gulosa, o token do draft é apenas aceite quando corresponde perfeitamente à distribuição do modelo alvo. Caso seja rejeitado, é substituído pelo token próprio do modelo alvo. Assim, a sequência gerada mantém a mesma estrutura da decodificação gulosa baseada, sem redução de precisão em nenhum teste de benchmark. Em termos de suporte ao ecossistema, a DSpark conseguiu compatibilidade com os principais frameworks de inferência no dia do seu lançamento.