Liquid AI presenta RIPL, un motor de inferencia de baja latencia para aplicaciones en tiempo real

Liquid AI ha presentado RIPL, un motor de inferencia en tiempo real diseñado para ofrecer una latencia inferior a los 50 ms para sus Liquid Foundation Models (LFMs). El sistema permite la generación de respuestas de principio a fin en milisegundos, manteniendo el rendimiento incluso bajo cargas de tráfico elevadas. Se anima a los desarrolladores a reemplazar los árboles potenciados por gradiente con modelos generativos sin comprometer la latencia. RIPL optimiza toda la tubería de inferencia, desde la llegada de la solicitud hasta la finalización de la respuesta. Las pruebas demuestran que RIPL supera a vLLM en varias cargas de trabajo, y que el modelo LFM2.5-350M logra una latencia p95 inferior. Los modelos LFM2.5 son arquitecturas híbridas, que combinan bloques de convolución y bloques GQA en varias configuraciones. Liquid AI afirma que Shopify está integrando los LFMs en tareas de comercio sensibles a la latencia, logrando una inferencia inferior a los 20 ms con un 50% menos de parámetros que las alternativas. La empresa también destaca el rendimiento de RIPL en seis cargas de trabajo en tiempo real, enfatizando su eficiencia y velocidad. Se dispone de recursos adicionales, incluidos tarjetas de modelos y un calculador de latencia, para una mayor exploración.