Vercel labs lanza una herramienta de código abierto para la interacción de agentes de IA con el escritorio

Vercel Labs ha lanzado agent-desktop, una interfaz de línea de comandos (CLI) de código abierto diseñada para que los agentes de IA interactúen con aplicaciones de escritorio en macOS, Windows y Linux. La herramienta, lanzada el 30 de octubre de 2026, bajo la licencia Apache-2.0, permite a los desarrolladores controlar aplicaciones nativas sin depender de modelos de visión. Lee las aplicaciones a través del árbol de accesibilidad del sistema operativo, proporcionando instantáneas JSON con referencias de elementos únicas. Agent-desktop es una CLI y una biblioteca C basadas en Rust que permite a los agentes realizar acciones a través de un bucle estructurado de observar-actuar-verificar. Evita el uso de modelos de aprendizaje automático y, en cambio, se basa en una resolución estricta de referencias y en el manejo de errores. La herramienta puede reducir el uso de tokens hasta en un 96% en comparación con los dumps completos, con importantes ahorros en aplicaciones como Notion y Apple Maps. La herramienta admite múltiples lenguajes de programación e integra con el contenido web de Electron a través de DevTools. Los desarrolladores pueden instalarla utilizando npm, Bun, Yarn o pnpm, con binarios nativos para x64 y ARM64. Vercel Labs también proporciona documentación y habilidades agrupadas para que los agentes aprendan a utilizar la herramienta de forma eficaz.