Liquid AI e hugging face lanzan el modelo dspark para acelerar la inferencia de LFM2.5

Liquid AI y Hugging Face han anunciado la liberación de los checkpoints del modelo DSpark para los tres principales modelos de la serie LFM2.5: LFM2.5-1.2B-Instruct, LFM2.5-2.6B y LFM2.5-8B-A1B. La tecnología introducida, llamada decoding especulativo, mejora significativamente la tasa de inferencia sin comprometer la calidad de los resultados. En las pruebas prácticas, el modelo DSpark demostró una aceleración notable. En la GPU, la tasa de procesamiento general se incrementó en hasta 3,18 veces, mientras que en los dispositivos de borde, la mejora alcanzó las 2,87 veces. En escenarios de inferencia de agentes de borde, la latencia de llamada de función del LFM2.5-2.6B se redujo en un promedio de 57%. Al utilizar la plataforma M4Max MacBook Pro como dispositivo de prueba, la velocidad de salida alcanzó hasta 139 tokens por segundo, lo que hace que la ejecución de aplicaciones de agente localmente sea más accesible, con una experiencia de usuario que supera a algunos modelos de nube propietarios. La inferencia tradicional de modelos lingüísticos de gran escala está limitada principalmente por el ancho de banda de la memoria, con la mayoría de los retrasos provenientes del streaming de los pesos del modelo de la DRAM a la SRAM. La técnica de decoding especulativo tiene como objetivo resolver este problema al utilizar un modelo ligero para generar rápidamente tokens candidatos, que luego son validados uniformemente por el modelo objetivo en una única pasada forward, distribuyendo efectivamente el costo de carga de pesos. El DSpark ha integrado profundamente métodos existentes, compuesto por tres componentes principales. En la fase de entrenamiento, el modelo draft utiliza una mezcla grande y diversa de datos, incluyendo SFT, chat, código y llamadas de función. Después de experimentos de ablatión rigurosos, la versión inicial elegida es una arquitectura de atención solo, con 5 capas y 9 bloques, con el número total de parámetros controlado en torno de 300 millones. Debido a las características del mecanismo de decoding especulativo, bajo decoding codicioso, el token del draft solo es aceptado cuando corresponde perfectamente a la distribución del modelo objetivo. En caso de ser rechazado, se reemplaza por el token propio del modelo objetivo. Así, la secuencia generada mantiene la misma estructura de la decodificación codiciosa base, sin reducción de precisión en ningún test de benchmark. En términos de soporte al ecosistema, el DSpark ha logrado compatibilidad con los principales frameworks de inferencia en el día de su lanzamiento.