Qwen-UI-Agent : l’IA qui manipule ton téléphone et ton navigateur

Un assistant qui se contente de répondre dans une fenêtre, c’est pratique. Un agent capable de lire ton écran, de cliquer au bon endroit et d’enchaîner plusieurs applications, c’est une autre histoire. Alibaba présente Qwen-UI-Agent comme un modèle capable d’agir sur un téléphone, un ordinateur et un navigateur pour accomplir des tâches longues. La promesse est séduisante, mais elle mérite mieux qu’une vidéo bien cadrée : il faut regarder ce qui est réellement ouvert, ce qui reste expérimental et l’endroit où l’utilisateur doit reprendre la main.

Le projet vient de l’équipe MAI-UI d’Alibaba et sa page officielle décrit six usages : téléphone, ordinateur, navigateur, recherche approfondie, combinaison interface–ligne de commande et services proactifs. Le dépôt GitHub officiel précise que Qwen-UI-Agent est distribué sous licence Apache 2.0, avec des composants tiers soumis à d’autres licences.

Une IA qui ne se contente plus de te parler

Le terme « agent graphique » désigne une IA qui observe une interface et agit dessus. Au lieu de recevoir une fonction bien découpée, elle peut lire une page, repérer un bouton, remplir un champ, revenir en arrière et poursuivre son objectif. Dans les exemples publiés par Alibaba, l’agent cherche une recette, récupère les ingrédients dans une autre application, compare des hôtels ou prépare un rendez-vous. L’intérêt concret est évident : tu donnes un résultat à obtenir, pas une liste de clics à dicter.

Qwen-UI-Agent ajoute des commandes en ligne de commande à ses actions graphiques. Cette combinaison peut rendre un workflow plus efficace, mais elle élargit aussi le risque : une IA qui sait cliquer et lancer une commande possède davantage de leviers qu’un simple chatbot. Le projet prévoit des arrêts avant les actions sensibles, comme une réservation ou une dépense. Bonne idée, car une confirmation affichée après le paiement sert surtout à confirmer le problème.

Visuel : comparaison officielle des performances de Qwen-UI-Agent sur MobileWorld. Source : Alibaba, page du projet Qwen-UI-Agent — image originale : https://tongyi-mai.github.io/Qwen-UI-Agent/hero-performance-mobile.png

Des résultats solides, surtout sur mobile

Dans son rapport technique publié sur arXiv, l’équipe annonce 82,1 % sur MobileWorld, 92,2 % sur MobileWorld-Real et 97,5 % sur AndroidDaily. Les deux premiers tests mesurent des tâches mobiles, dont une partie sur de vrais appareils.

Sur ordinateur, le bilan est plus nuancé : 79,5 % sur OSWorld-Verified, mais 40 % seulement en progression partielle sur OSWorld-v2, une évaluation conçue pour des tâches longues. Le modèle annonce aussi 73,6 % sur WebArena et 81,5 % sur ScreenSpot-Pro, qui mesure sa capacité à localiser des éléments dans une interface. Ces chiffres permettent de comparer des systèmes dans un cadre défini, pas de garantir que l’agent saura gérer ton logiciel bancaire ou ton administration en ligne.

Alibaba dit avoir entraîné et évalué le système avec plus de 100 téléphones physiques et plus de 150 applications. Cela tente de réduire l’écart entre une interface simulée et un vrai appareil, avec ses fenêtres inattendues, ses connexions expirées et ses boutons qui changent de place. C’est un progrès méthodologique, mais pas une preuve de fiabilité universelle. Un téléphone réel reste un téléphone réel, avec ses notifications et ses mauvaises surprises.

Le modèle est ouvert, pas forcément prêt à installer

Le dépôt officiel est public et les éléments du projet sont accessibles. Cela ne signifie pas que tous les poids du modèle phare, son infrastructure d’entraînement et une procédure simple d’installation locale sont disponibles dans les mêmes conditions. La page GitHub distingue Qwen-UI-Agent de MAI-UI, son projet précédent. Avant de parler d’alternative locale à un assistant commercial, il faut donc vérifier les fichiers réellement publiés, la licence de chaque composant et le matériel nécessaire.

Le rapport technique complet décrit une architecture lourde : apprentissage sur des trajectoires de plus de 100 étapes et environ 10 000 environnements parallèles pour accélérer les essais. Ce n’est pas exactement la recette d’un service que tu lances sur un mini-ordinateur dans un coin du salon.

La confirmation humaine reste non négociable

Un agent qui manipule une interface peut se tromper de compte, comprendre de travers une consigne ou valider une option parce qu’elle ressemble à la bonne. Le risque augmente avec les tâches longues : plus il y a d’étapes, plus une petite erreur initiale peut devenir une grosse erreur finale. Qwen-UI-Agent met en avant des demandes de confirmation avant certaines opérations sensibles, mais cette protection doit être vérifiée dans le produit que tu utilises, pas seulement dans la présentation du projet.

La bonne manière de tester ce type d’outil est peu spectaculaire. Commence par un environnement sans données importantes, désactive les achats et les suppressions automatiques, observe chaque étape et ne donne jamais un accès permanent quand une autorisation ponctuelle suffit. Pour un usage local, ajoute la même discipline aux fichiers, aux clés et aux commandes système. L’IA peut savoir où cliquer ; elle ne sait pas encore pourquoi ton compte principal ne doit surtout pas servir de terrain d’essai.

Ce que Qwen-UI-Agent change vraiment

Qwen-UI-Agent montre que la prochaine bataille des assistants ne se jouera pas seulement sur la qualité des réponses. Elle se jouera sur leur capacité à utiliser les logiciels déjà présents, sans demander à chaque fois une intégration spéciale. Pour les utilisateurs, cela pourrait simplifier des tâches répétitives ; pour les éditeurs, cela met une pression nouvelle sur les interfaces, qui devront être compréhensibles autant pour les humains que pour les agents.

La démonstration rappelle aussi les limites observées avec les agents qui lancent déjà des tâches sur leur propre serveur. La différence, ici, est que l’agent agit à la surface des applications, là où se trouvent nos comptes, nos données et nos erreurs de clic.

Pour l’instant, retiens ceci : Qwen-UI-Agent est une démonstration de recherche très avancée et un projet ouvert à surveiller, pas un bouton magique prêt à remplacer toutes tes applications. Ses performances mobiles sont impressionnantes, ses résultats sur les tâches longues sont moins confortables et la disponibilité concrète du modèle doit être vérifiée avant toute installation. La vraie révolution arrivera le jour où l’agent saura aussi reconnaître une mauvaise idée avant de l’exécuter.