Alibaba lança o qwen-ui-agent para permitir que os modelos "utilizem" verdadeiramente todas as telas

A Alibaba lançou oficialmente o Qwen-UI-Agent, um modelo fundamental de agente inteligente com interface gráfica, projetado para operar de forma eficaz em ambientes do mundo real, incluindo dispositivos móveis, computadores, navegadores da web e DeepSearch. O modelo demonstra um desempenho forte em vários benchmarks, superando modelos líderes em várias categorias. Em tarefas móveis, o Qwen-UI-Agent obteve 82,1% em MobileWorld, superando GPT-5.6 Sol, Claude Opus 4.8 e Seed 2.1 Pro em 12,0, 14,6 e 8,9 pontos percentuais, respetivamente. Também obteve 92,2% em MobileWorld-Real, superando Gemini 3.1 Pro, Claude Opus 4.8 e GPT-5.6 Sol. Em Android Daily, atingiu 97,5%, quase perfeito. Em tarefas de desktop, obteve 79,5% em OSWorld-Verified, superando GPT-5.5, Gemini 3.1 Pro e Seed 2.1 Pro. Também alcançou 40,0% em OSWorld-v2 Partial, com uma redução de 58% nos passos de execução em comparação com a linha de base. Em tarefas de web e DeepSearch, obteve 73,6% em WebArena, o mais alto entre todos os modelos comparados, e 75,0% em BrowseComp-ZH. Em tarefas de ancoragem na interface gráfica, obteve 81,5% em ScreenSpot-Pro, estabelecendo novos recordes de pontuação em quatro outros benchmarks. O modelo também se destaca em capacidades gerais e de agente, superando tanto os modelos base de treinamento quanto os modelos específicos da interface gráfica. Opera num ambiente do mundo real com mais de 100 telefones reais e 150 aplicações, utilizando o seu próprio benchmark MobileWorld-Real com mais de 400 tarefas e mais de 100 aplicações. O modelo é concebido para lidar com tarefas complexas e de longa duração em cenários do mundo real. Integra verificações de segurança ao longo da execução da tarefa, recusando realizar quaisquer ações de interface para solicitações ilegais ou de alto risco e pausando para confirmação do utilizador em operações sensíveis, como pagamentos, exclusão de dados e autorização de privacidade. Além disso, suporta operações de linha de comando e ações em lote, com quase metade das ações em tarefas de desktop sendo em lote, melhorando significativamente a eficiência. O modelo também pode realizar aprendizagem por reforço online ao longo de mais de 100 passos, com aproximadamente 10.000 ambientes simultâneos em execução. O projeto está disponível em https://tongyi-mai.github.io/Qwen-UI-Agent e no GitHub em https://github.com/Tongyi-MAI/MAI-UI.