Liquid AI e hugging face lançam modelo dspark para acelerar inferência de LFM2.5

Liquid AI e Hugging Face anunciaram a liberação dos checkpoints do modelo DSpark para os três principais modelos da série LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B e LFM2.5-8B-A1B. A tecnologia introduzida, chamada speculative decoding, melhora significativamente a taxa de inferência sem comprometer a qualidade dos resultados. Nos testes práticos, o modelo DSpark demonstrou aceleração notável. Na GPU, a taxa geral de processamento foi aumentada em até 3.18 vezes, enquanto nos dispositivos de borda, a melhoria chegou a 2.87 vezes. Em cenários de inferência de agentes de borda, a latência de chamada de função do LFM2.5-2.6B foi reduzida em média em 57%. Ao utilizar a plataforma M4Max MacBook Pro como dispositivo de teste, a velocidade de saída atingiu até 139 tokens por segundo, tornando mais acessível a execução de aplicações de agente localmente, com experiência do usuário que supera algumas modelos de nuvem proprietários. A inferência tradicional de modelos linguísticos de grande escala é limitada principalmente pela largura de banda da memória, com a maioria dos atrasos provenientes do streaming de pesos do modelo da DRAM para a SRAM. A técnica speculative decoding visa resolver esse problema ao utilizar um modelo leve para gerar rapidamente tokens candidatos, que são então validados uniformemente pelo modelo alvo em uma única passagem forward, distribuindo efetivamente o custo de carregamento de pesos. O DSpark integrou profundamente métodos existentes, composto por três componentes principais. Na fase de treinamento, o modelo draft utiliza uma mistura grande e diversificada de dados, incluindo SFT, chat, código e chamadas de função. Após experimentos de ablação rigorosos, a versão inicial escolhida é uma arquitetura de atenção apenas, com 5 camadas e 9 blocos, com o número total de parâmetros controlado em torno de 300 milhões. Devido às características do mecanismo de speculative decoding, sob decodificação gulosa, o token do draft é apenas aceito quando perfeitamente corresponde à distribuição do modelo alvo. Caso seja rejeitado, é substituído pelo token próprio do modelo alvo. Assim, a sequência gerada mantém a mesma estrutura da decodificação gulosa baseada, sem redução de precisão em nenhum teste de benchmark. Em termos de suporte ao ecossistema, o DSpark conseguiu compatibilidade com os principais frameworks de inferência no dia do seu lançamento.