Liquid AI apresenta o RIPL, um motor de inferência de baixa latência para aplicações em tempo real

A Liquid AI apresentou o RIPL, um motor de inferência em tempo real, projetado para fornecer uma latência inferior a 50 ms para os seus Modelos Fundamentais (MFs) Liquid Foundation (LFMs). O sistema permite a geração de respostas de ponta a ponta em milissegundos, mantendo o desempenho mesmo sob cargas de tráfego elevadas. Os desenvolvedores são incentivados a substituir as árvores de reforço por modelos generativos, sem comprometer a latência. RIPL otimiza toda a pipeline de inferência, desde a chegada da solicitação até a conclusão da resposta. Os testes demonstram que o RIPL supera o vLLM em várias cargas de trabalho, com o modelo LFM2.5-350M alcançando uma latência p95 inferior. Os modelos LFM2.5 são arquiteturas híbridas, combinando blocos de convolução e blocos GQA em várias configurações. A Liquid AI afirma que a Shopify está integrando os MFs nos processos de comércio sensíveis à latência, alcançando uma inferência inferior a 20 ms com 50% menos parâmetros do que as alternativas. A empresa também destaca o desempenho do RIPL em seis cargas de trabalho em tempo real, enfatizando sua eficiência e velocidade. Recursos adicionais, incluindo cartões de modelo e uma calculadora de latência, estão disponíveis para exploração adicional.