Arquitecto presenta liquid inference, una plataforma de precios dinámicos para servicios de LLM

Architect Financial Technologies ha presentado Liquid Inference, una plataforma novedosa que permite pujas en tiempo real para los servicios de inferencia de modelos de lenguaje (LLM). La plataforma funciona como un sistema de subastas en el que los proveedores compiten para ofrecer el precio más bajo que cumpla con los criterios del comprador. Los desarrolladores pueden integrar el servicio simplemente cambiando una URL base, conservando su código existente y permitiendo que los proveedores compitan en función del coste. Liquid Inference, desarrollada por una empresa de trading en lugar de un laboratorio de IA, aprovecha la experiencia de Architect en los mercados financieros para crear un mercado de dos caras para la inferencia de LLM. La plataforma permite a los compradores establecer límites de coste, límites de tiempo y otras restricciones, mientras que los proveedores pueden actualizar sus precios en función de sus propios costes. Los pagos se procesan a través de Stripe, con registros detallados de cada tarea. Harrison, de Architect, señaló que los nuevos proveedores pueden ser integrados en minutos, no en semanas. La plataforma también ofrece datos de mercado en tiempo real, incluidos los libros de órdenes y los registros de transacciones, lo que es raro para una API de LLM. Los proveedores utilizan el estándar de la API de OpenAI para registrar modelos y cotizaciones, y el sistema admite capacidades multimodales a través de reglas de enrutamiento predefinidas.