Alibaba presenta qwen-ui-agent, un modelo fundamental multimodal para la interacción con interfaces gráficas de usuario en el mundo real

Alibaba ha lanzado oficialmente Qwen-UI-Agent, un modelo fundamental diseñado para operar dentro de interfaces gráficas de usuario en el mundo real. El modelo es capaz de funcionar en entornos móviles, de escritorio, web y de búsqueda profunda, lo que supone un avance significativo con respecto a los métodos tradicionales de prueba basados en simulación. Permite una interacción perfecta con dispositivos reales complejos, cerrando la brecha entre los entornos simulados y reales. El Qwen-UI-Agent ha sido probado en varios conjuntos de referencia y escenarios del mundo real, lo que demuestra sus capacidades robustas. Incluye un entorno móvil real con más de 100 teléfonos reales y más de 150 aplicaciones, que admiten la construcción de tareas, la recopilación de trayectorias y el entrenamiento del modelo. Además, se ha introducido el conjunto de referencia MobileWorld-Real, que contiene más de 400 tareas, para permitir una evaluación precisa basada en las tasas de éxito en dispositivos reales. Funcionalmente, el modelo admite tanto las operaciones convencionales de la GUI como la ejecución directa de comandos de la línea de comandos. Puede generar acciones por lotes en una única decisión, reduciendo los pasos de ejecución y mejorando la eficiencia. Se ha integrado un mecanismo de seguridad completo en todo el proceso, lo que garantiza que el modelo pueda identificar y rechazar solicitudes ilegales o de alto riesgo. En escenarios sensibles como los pagos, la eliminación de datos y la autorización de privacidad, el modelo se detiene en pasos críticos y espera la confirmación del usuario antes de continuar. El Qwen-UI-Agent también admite el entrenamiento de aprendizaje por refuerzo en línea en trayectorias que superan los 100 pasos, combinado con el aprendizaje adaptativo del currículo para abordar tareas a largo plazo y complejas. El proyecto está disponible en https://tongyi-mai.github.io/Qwen-UI-Agent/.