Liquid AI apresenta o modelo dspark draft para modelos de visão-linguagem, aumentando a velocidade de decodificação em até 3,13x

A Liquid AI lançou o LFM2.5-VL-3B-DSpark, um modelo experimental de draft para decodificação especulativa para o seu modelo de visão-linguagem, LFM2.5-VL-3B. O modelo adiciona aproximadamente 280 milhões de parâmetros e acelera a decodificação sem alterar a saída do modelo. Alcança uma decodificação até 3,13 vezes mais rápida em Apple silicon e 2,66 vezes em um NVIDIA H100. O modelo está disponível no Hugging Face nos formatos Safetensors e GGUF, com suporte em SGLang, MLX-VLM e llama.cpp. A Liquid AI classifica o lançamento como experimental, sob a Licença LFM Open v1.0, permitindo o uso comercial gratuito para empresas com receita anual inferior a 10 milhões de dólares. DSpark, baseado nos modelos de texto DSpark dos desenvolvedores da Liquid AI, lê os estados ocultos de várias camadas e prevê os próximos k tokens. O draft opera de forma independente da modalidade, tratando texto e patches de imagem como tensores. Utiliza um modelo de atenção simplificado com 4 camadas e um tamanho de bloco de 9, recomendado para inferência. Os dados de treinamento cobriram tarefas comuns de visão-linguagem durante 10 épocas, conduzidas exclusivamente em hardware AMD. A avaliação no benchmark MMSpec mostrou desempenho em seis tipos de tarefas, com resultados variando de acordo com a tarefa e o hardware.