Arquitecto apresenta liquid inference, uma plataforma dinâmica de preços para serviços de LLM

A Architect Financial Technologies apresentou o Liquid Inference, uma plataforma inovadora que permite leilões em tempo real para serviços de inferência de modelos de linguagem (LLM). A plataforma funciona como um sistema de leilão, onde os prestadores de serviços competem para oferecer o preço mais baixo que satisfaça os critérios do comprador. Os desenvolvedores podem integrar o serviço simplesmente alterando uma URL base, mantendo seu código existente e permitindo que os prestadores compitam com base no custo. O Liquid Inference, desenvolvido por uma empresa de negociação em vez de um laboratório de IA, aproveita a experiência da Architect em mercados financeiros para criar um mercado de dois lados para a inferência de LLM. A plataforma permite que os compradores definam limites de custo, limites de tempo e outras restrições, enquanto os prestadores podem atualizar seus preços com base em seus próprios custos. Os pagamentos são processados ​​através do Stripe, com registros detalhados de cada tarefa. Harrison, da Architect, observou que novos prestadores podem ser integrados em minutos, não semanas. A plataforma também oferece dados de mercado em tempo real, incluindo livros de pedidos e registros de transações, o que é raro para uma API de LLM. Os prestadores usam o padrão da API OpenAI para registrar modelos e cotações, e o sistema suporta capacidades multimodais através de regras de roteamento predefinidas.