Um novo framework revela como os loops de agentes podem ser otimizados através de três modelos de execução e suas implicações de custo

Um curso recente de código aberto da Decoding AI destaca três maneiras distintas de executar um loop de agente, cada uma com diferentes perfis de latência e custos associados. O curso, intitulado 'Construindo um Agente de Codificação do Zero', introduz um agente Python chamado Decode, que separa a execução em três modos. O primeiro modo, a interface de usuário (UI), é limitado pela latência e adequado para APIs de baixa latência, permitindo interação em tempo real com um humano que lê cada token. Este modo utiliza uma fila de direcionamento e uma porta de prioridade para gerenciar a entrada, permitindo ações como simplesmente pressionar Enter para direcionamento em tempo real, Alt+Enter para sequências de acompanhamento e Esc para abortos cooperativos. O segundo modo, a execução remota, executa o harness num servidor através de um runtime de agente como o Kitaru, implantado no GCP com agentes a executar no Modal. Este modo prioriza a taxa de transferência por dólar, com ferramentas em sandbox a funcionar no Modal Sandboxes ou localmente no Docker. O terceiro modo, a fila de fundo, permite que uma sessão ativa transfira trabalho para uma fila de trabalho, permitindo o processamento assíncrono e fluxos de trabalho em segundo plano, semelhante a agentes acionados pelo Slack ou revisões de PR. O modelo de custo varia de acordo com os requisitos de latência, com o trabalho interativo facturado por token e o trabalho offline por hora de GPU. Por exemplo, o processamento de 1.000 documentos com 30.000 tokens de entrada cada custa cerca de 97 dólares através das APIs do Frontier, mas cai para menos de 13 dólares quando agrupado num servidor GPU sem servidor. A análise de preços do Modal também mostra que o servidor sem servidor pode ser mais barato do que a capacidade reservada quando as taxas de pico para média excedem os descontos de reserva, com descontos típicos de 2–5× para taxas de 5–10×. As pesquisas do setor indicam que a utilização da reserva é frequentemente inferior a 30%, às vezes inferior a 10%.