Alibaba apresenta o qwen-ui-agent, um modelo fundamental multimodal para interação com interfaces gráficas

A Alibaba lançou oficialmente o Qwen-UI-Agent, um modelo fundamental projetado para operar em interfaces gráficas do mundo real. O modelo é capaz de funcionar em ambientes móveis, de desktop, na web e em busca profunda, representando um avanço significativo em relação aos métodos tradicionais de teste baseados em simulação. Permite a interação perfeita com dispositivos reais complexos, preenchendo a lacuna entre ambientes simulados e reais. O Qwen-UI-Agent foi testado em vários benchmarks e cenários do mundo real, demonstrando suas capacidades robustas. Inclui um ambiente móvel real com mais de 100 telefones e mais de 150 aplicativos, suportando a construção de tarefas, a coleta de trajetórias e o treinamento do modelo. Além disso, foi introduzido o benchmark MobileWorld-Real, que contém mais de 400 tarefas, para permitir uma avaliação precisa com base nas taxas de sucesso em dispositivos reais. Funcionalmente, o modelo suporta operações convencionais de GUI e execução direta de comandos de linha de comando. Pode gerar ações em lote em uma única decisão, reduzindo os passos de execução e melhorando a eficiência. Um mecanismo de segurança abrangente está integrado em todo o processo, garantindo que o modelo possa identificar e rejeitar solicitações ilegais ou de alto risco. Em cenários sensíveis, como pagamentos, exclusão de dados e autorização de privacidade, o modelo interrompe em etapas críticas e aguarda a confirmação do usuário antes de prosseguir. O Qwen-UI-Agent também suporta treinamento de aprendizado por reforço online em trajetórias com mais de 100 passos, combinado com aprendizado de currículo adaptativo para lidar com tarefas de longo prazo e complexas. O projeto está disponível em https://tongyi-mai.github.io/Qwen-UI-Agent/.