Vercel labs lança ferramenta de código aberto para interação de agentes de IA com a interface do desktop

A Vercel Labs lançou o agent-desktop, uma interface de linha de comando (CLI) de código aberto, projetada para permitir que os agentes de IA interajam com aplicações de desktop no macOS, Windows e Linux. A ferramenta, lançada em 30 de outubro de 2026, sob a licença Apache-2.0, permite que os desenvolvedores controlem aplicações nativas sem depender de modelos de visão. Ela lê as aplicações através da árvore de acessibilidade do sistema operativo, fornecendo snapshots JSON com referências de elementos únicas. O agent-desktop é uma CLI baseada em Rust e uma biblioteca C que permite que os agentes realizem ações através de um ciclo estruturado de observar-agir-verificar. Ele evita o uso de modelos de aprendizagem de máquina e, em vez disso, depende de uma resolução rigorosa de referências e tratamento de erros. A ferramenta pode reduzir o uso de tokens em até 96% em comparação com dumps de árvore completas, com economias significativas em aplicações como Notion e Apple Maps. A ferramenta suporta várias linguagens de programação e integra-se com conteúdos web do Electron através do DevTools. Os desenvolvedores podem instalá-la usando npm, Bun, Yarn ou pnpm, com binários nativos para x64 e ARM64. A Vercel Labs também fornece documentação e recursos para que os agentes aprendam a usar a ferramenta de forma eficaz.