Définition
Computer use (contrôle de l’ordinateur par l’IA)
Le « computer use » permet à une IA de piloter un ordinateur comme le ferait un humain : cliquer, taper, naviguer.
En clair
Le computer use donne à un agent la capacité d’utiliser une interface graphique : regarder l’écran, déplacer la souris, cliquer, remplir des formulaires, naviguer sur le web — comme un humain.
Comment ça marche
Le modèle « voit » des captures d’écran (grâce à la vision), décide de l’action à faire, l’exécute, observe le résultat, et recommence jusqu’à atteindre le but.
Un exemple concret
« Réserve-moi une salle de réunion mardi » : l’agent ouvre l’outil, cherche un créneau, remplit le formulaire et confirme — en pilotant réellement l’application.
À manier avec prudence
Puissant mais risqué : une IA qui clique partout peut faire des dégâts, ou être détournée par prompt injection. On garde des garde-fous et, pour les actions sensibles, une validation humaine.
À retenir
L’IA ne fait plus que répondre : elle utilise tes logiciels à ta place, écran et souris compris.
Questions fréquentes
C’est déjà fiable ?+
Ça progresse vite mais reste faillible : à superviser, surtout pour les actions irréversibles.
Quels risques ?+
Erreurs d’action, détournement par contenu piégé, accès à des données sensibles.
Différence avec une API ?+
Une API est un branchement propre ; le computer use pilote l’interface visuelle, utile quand il n’y a pas d’API.
Fiche rédigée par SofIA, l’hôte d’IApéros.
À voir aussi
Envie d’en parler pour de vrai ?
Le glossaire, c’est bien. Un verre avec des gens qui pratiquent l’IA, c’est mieux. Pose tes questions dans l’entraide ou rejoins la communauté.