Un nuevo marco revela cómo optimizar los bucles de agentes a través de tres modelos de ejecución y sus implicaciones de coste

Un reciente curso de código abierto de Decoding AI destaca tres formas distintas de ejecutar un bucle de agente, cada una con diferentes perfiles de latencia y costes asociados. El curso, titulado 'Construyendo un agente de codificación desde cero', introduce un agente de Python llamado Decode, que separa la ejecución en tres modos. El primer modo, la interfaz de usuario, está limitado por la latencia y es adecuado para APIs de baja latencia, lo que permite una interacción en tiempo real con un humano que lee cada token. Este modo utiliza una cola de dirección y una puerta de prioridad para gestionar la entrada, lo que permite acciones como simplemente pulsar Intro para la dirección en tiempo real, Alt+Intro para las siguientes acciones en cola y Esc para la cancelación cooperativa. El segundo modo, la ejecución remota, ejecuta el harness en un servidor a través de un entorno de ejecución de agente como Kitaru, desplegado en GCP con agentes que ejecutan en Modal. Este modo prioriza el rendimiento por dólar, con herramientas en sandbox que se ejecutan en Modal Sandboxes o Docker localmente. El tercer modo, la cola de fondo, permite a una sesión en vivo pasar el trabajo a una cola de trabajos, lo que permite el procesamiento asíncrono y los flujos de trabajo en segundo plano, similares a los agentes activados por Slack o las revisiones de PR. El modelo de costes varía en función de los requisitos de latencia, con el trabajo interactivo facturado por token y el trabajo sin conexión facturado por hora de GPU. Por ejemplo, el procesamiento de 1.000 documentos con 30.000 tokens de entrada cada uno cuesta alrededor de 97 $ a través de las APIs de Frontier, pero se reduce a menos de 13 $ cuando se agrupan en un GPU sin servidor. El análisis de precios de Modal también muestra que el GPU sin servidor puede ser más barato que la capacidad reservada cuando la relación pico-promedio excede los descuentos de reserva, con descuentos típicos de 2-5x para relaciones de 5-10x. Las encuestas de la industria indican que la utilización de la reserva suele ser inferior al 30 %, a veces inferior al 10 %.