Computer use (usage de l'ordinateur)

Terme Intermédiaire 🤖 Intelligence artificielle

Mis à jour le 7 juin 2026

Le « computer use » est la capacité d'un agent IA à contrôler un ordinateur comme un humain (voir l'écran, cliquer, taper) pour accomplir des tâches dans des logiciels existants.

📖 Définition

« Computer use » (usage de l'ordinateur) désigne la capacité d'un agent IA à se servir d'un ordinateur comme le ferait un humain : voir l'écran, déplacer le curseur, cliquer, taper au clavier et passer d'une application à l'autre pour accomplir des tâches dans des interfaces graphiques existantes — sans passer par des API applicatives dédiées. On parle aussi de « Computer-Using Agent » (CUA). Concrètement, l'IA reçoit des captures d'écran ou une vue de la fenêtre, interprète visuellement ce qui est affiché (boutons, champs, menus), puis agit via une couche qui simule clavier et souris, en enchaînant les actions jusqu'à ce que la tâche soit terminée ou qu'une intervention humaine soit requise. C'est une capacité « agentique » : le système poursuit un objectif, planifie plusieurs étapes et les exécute de façon autonome, plutôt que de simplement répondre par du texte. Anthropic a introduit cette fonctionnalité avec Claude 3.5 Sonnet (« computer use ») fin 2024, et OpenAI avec « Operator ». L'intérêt : automatiser des tâches dans n'importe quel logiciel, même sans intégration technique. Les limites : fiabilité encore imparfaite, lenteur et enjeux de sécurité (un agent qui contrôle l'écran peut faire des actions non désirées).

💬 En termes simples

C'est comme confier ta souris et ton clavier à un assistant : au lieu de lui donner une « prise » spéciale (une API), il regarde ton écran et l'utilise exactement comme toi — il clique, tape et navigue à ta place.

🎯 Exemple concret

On demande à l'agent : « Réserve une salle de réunion pour demain 14 h ». Il ouvre le navigateur, voit le calendrier à l'écran, clique sur le bon créneau, remplit le formulaire et confirme — uniquement en regardant l'écran et en manipulant curseur et clavier.

💡 Le saviez-vous ?

Le « computer use » n'a pas besoin d'API : l'agent voit littéralement l'écran et bouge la souris, ce qui lui permet d'utiliser des logiciels qui n'offrent aucune intégration — au prix d'une fiabilité encore variable et d'enjeux de sécurité.

❓ Questions fréquentes

Quelle différence entre computer use et un appel d'API ?

Un appel d'API passe par une interface technique prévue à cet effet ; le computer use n'en a pas besoin : l'agent voit l'écran et manipule souris et clavier comme un humain, ce qui marche même sans intégration.

Quels sont les risques du computer use ?

Fiabilité encore imparfaite, lenteur, et surtout sécurité : un agent qui contrôle l'écran peut cliquer au mauvais endroit ou réaliser des actions non désirées — d'où l'importance d'une supervision.

Accueil

Outils

Annuaire

Apprendre