Claude Computer Use.

En octobre 2024, Anthropic a publié quelque chose d'inhabituel : un modèle qui ne se contentait pas de répondre à tes prompts, mais qui pouvait voir ton écran et cliquer dessus. Claude 3.5 Sonnet est devenu le premier modèle frontier à proposer du computer use en public beta. 18 mois plus tard, en avril 2026, cette capacité a quitté le laboratoire pour s'installer dans le quotidien des utilisateurs Pro et Max.

Le 23 mars 2026, Anthropic a lancé Claude Computer Use Agent en research preview pour les abonnés Pro et Max via Claude Cowork et Claude Code. Le score sur OSWorld (benchmark de référence pour le pilotage d'ordinateur) est passé de moins de 15 % en 2024 à 72,5 % en 2026 avec Claude Opus 4.5 puis 4.6. Le modèle Opus 4.7 (sorti en avril 2026, le plus récent) tient cette barre tout en améliorant le coding et le raisonnement. Les chercheurs en agentique parlent d'un « breakthrough » — pas en marketing, dans les benchmarks.

L'approche Anthropic est structurellement différente de ChatGPT Agent (cf article 3.2). ChatGPT Agent navigue sur le web et utilise des connecteurs SaaS. Claude Computer Use pilote ton ordinateur entier : applications natives, fichiers locaux, terminaux, IDE. Il prend une capture d'écran, raisonne sur ce qu'il voit, choisit où cliquer, exécute. Cette différence d'approche détermine pour quels cas chaque outil brille — et pour quels cas il échoue.

Cet article te donne (1) pourquoi computer use est différent et la généalogie technique 2024-2026, (2) comment ça marche concrètement avec le permission-first design d'Anthropic, (3) les cas d'usage qui marchent en 2026 (et qui ne marchent pas), (4) limites et précautions incluant la décision controversée d'Anthropic du 4 avril 2026 de bannir les agents tiers. Plus 5 pièges. Pré-requis : article fondation 3.1 et article 3.2 sur ChatGPT Agent.

Comprendre la différence entre « agent web » (ChatGPT Agent) et « computer use » (Claude) est essentiel pour faire le bon choix. Ce n'est pas une différence marketing — c'est une différence d'architecture qui détermine ce que chacun peut faire.

Pour un développeur qui utilise VS Code en local, lance des tests dans le terminal, edit des fichiers Markdown sur disque — Computer Use est l'option qui marche. ChatGPT Agent ne peut pas atteindre le terminal local.

Pour un commercial qui doit extraire des leads d'un site web, remplir un CRM cloud, envoyer des mails via Gmail — ChatGPT Agent est plus efficace. Computer Use peut le faire mais c'est un détour (passer par le navigateur du Mac, plus lent et plus cher en tokens).

Pour quelqu'un qui veut juste explorer ce qui marche le mieux pour lui — tester les deux sur la même tâche donne la réponse la plus claire en 1 semaine d'essai.

Voici ce qui se passe quand tu lances Claude Computer Use sur une mission. Comprendre le mécanisme te permet d'anticiper les bonnes pratiques (et les pièges).

Étape 1 : tu donnes une mission à Claude (« sauvegarde une image de chat sur mon bureau », « relance les tests dans ce repo et ouvre une PR si ils passent »).

Étape 2 : Claude prend une capture de ton écran. Il voit ce qui est affiché.

Étape 3 : il raisonne sur ce qu'il voit (« le navigateur est ouvert, je vois la barre d'adresse, je vais d'abord faire une recherche d'images »).

Étape 4 : il choisit une action (cliquer ici, taper ça, appuyer sur entrée). Si l'action concerne une nouvelle application, il demande ta permission. Tu valides.

Étape 5 : l'action est exécutée. Nouveau screenshot. Boucle.

Cette boucle continue jusqu'à ce que Claude considère la mission accomplie, ou que tu interrompes. Chaque étape consomme des tokens (screenshot pesant + raisonnement + commande). Une mission de 30 actions peut consommer 50 000 tokens — d'où l'importance des plans Pro/Max et de la recommandation Max 5x à 100 $/mois pour usage régulier.

Anthropic a conçu Computer Use avec une logique de permission par application. Quand Claude veut interagir avec une nouvelle app pour la première fois (Photoshop, ton IDE, ton mailer), il te demande explicitement. Tu approuves ou refuses.

Cette friction est volontaire. Anthropic considère que l'utilisateur doit garder un contrôle granulaire sur ce que l'IA touche. La conséquence pratique : les premières utilisations sont plus lentes (validation à chaque nouvelle app), puis le rythme s'accélère une fois que les apps courantes sont validées.

C'est aussi un design défensif contre l'indirect prompt injection (cf article 2.8 ★) : si une page web malveillante essaie d'inciter Claude à ouvrir ton client mail, tu vois la demande et peux refuser. Sans ce design, l'agent serait beaucoup plus exposé.

Computer Use n'est pas un produit isolé — il s'intègre dans l'écosystème Anthropic 2026. Deux composants importants à connaître :

Claude Cowork (lancé janvier 2026) : la couche d'orchestration pour les workflows persistants. Tu peux y construire des agents thread-based qui maintiennent leur contexte entre sessions. Computer Use s'invoque depuis Cowork comme un outil. Cowork Marketplace (février 2026) centralise des plugins pour workflows professionnels (legal, financial analysis).

Claude Code (version 2.1.76 en mars 2026) : l'outil agentique pour développeurs. Computer Use y est intégré pour les tâches ordi-locales (modifications IDE, soumission PRs, lancement de tests). Inclut désormais : scheduled tasks (commande loop pour cron-style), background agents avec worktree isolation, voice mode 20 langues, remote control via téléphone/web. La feature Dispatch permet à Claude d'utiliser ton ordinateur en autonomie pendant que tu fais autre chose — « AI coworker who keeps working while you take a lunch break » selon Anthropic.

Voici les patterns documentés où Computer Use brille en avril 2026. La plupart sont concentrés autour du développement, mais d'autres territoires émergent.

« Lance les tests dans ce repo, identifie les échecs, corrige-les, fais une PR. » Claude Computer Use via Claude Code peut le faire de bout en bout. Il ouvre le terminal, lance pytest/jest, lit les erreurs, édite les fichiers via l'IDE, commit, push, ouvre la PR sur GitHub. Tu reviens 20 minutes plus tard avec une PR à reviewer.

Ce qui le rend fort : Claude Opus 4.7 score 64,3 % sur SWE-Bench Pro (vs 58,6 % pour GPT-5.5). Le modèle a été optimisé pour les tâches de coding agentique. Les feedback loops du code (tests qui passent ou échouent) lui permettent de se corriger sans intervention humaine.

Cas Anthropic interne documenté : Claude résout des issues GitHub réelles sur le SWE-bench Verified à partir de la description de la PR seulement. Cas Sentry : agent qui va du bug flagué au PR ouvert, fully autonomous. Cas Notion : teams délèguent du coding sans quitter Notion, dozens of parallel tasks.

Anthropic a lancé une intégration Excel et PowerPoint le 11 mars 2026. Tu demandes à Claude de prendre un fichier Excel local, d'ajouter des colonnes calculées, de faire un graphique, de sauvegarder en PDF. Computer Use ouvre Excel desktop, exécute les manipulations, sauvegarde.

Pourquoi c'est unique : ChatGPT Agent ne peut pas faire ça avec Excel desktop (il a besoin de la version web Excel ou d'un export). Computer Use travaille avec ton fichier local, dans l'app native, comme tu le ferais. Excellent quand le fichier contient des macros, références complexes, ou est trop gros pour l'upload.

Limite actuelle : Mac uniquement (en avril 2026). La version Windows est en développement mais pas dispo en research preview.

« Vérifie ces 5 sites concurrents, extrais les nouveautés produit dans un Excel local, et envoie-moi un mail récap. » Computer Use peut alterner entre Safari (web), Excel (desktop) et Mail (desktop) sans sortir du flow.

C'est exactement le « lonely agent » évoqué par Ryan Gavin (Slack/Salesforce) — sauf qu'ici, l'agent fonctionne parce que tu lui donnes une mission claire et un environnement cohérent (ton ordinateur). Le piège du lonely agent (cf article fondation 3.1) est l'agent qui reste inutilisé. L'agent qui fait des workflows mélangés perso/SaaS/local trouve son utilité.

Tu actives Dispatch sur ton téléphone : « Pendant que je déjeune, lance la suite de tests sur le repo X, monitor leur exécution, et résume-moi les résultats au retour. » Tu pars. Computer Use sur ton ordinateur prend la main, lance, monitor, résume. Au retour, le résumé est dans ton inbox.

Cas où Dispatch brille : tâches longues que tu ne veux pas regarder (CI/CD, data processing, batch tasks), tâches que tu peux mettre en arrière-plan pendant des meetings, monitoring de processus déterministes.

Précaution : Dispatch implique que ton ordinateur reste allumé et déverrouillé. En entreprise, ça pose des questions de sécurité physique — quelqu'un qui passe pendant ton déjeuner voit l'écran. Pas un risque IA, juste un risque « écran déverrouillé ». À considérer selon ton contexte.

Tâches purement web sur SaaS mainstream → ChatGPT Agent ou Comet sont plus rapides et moins chers (cf article 3.2 et article 2.7).

Workflows déterministes répétitifs sur déclencheur → Zapier/Make/n8n (cf article 2.6) sont plus fiables et moins chers.

Tu es sur Windows ou Linux → Computer Use n'est pas dispo en avril 2026. Attends ou utilise ChatGPT Agent / Manus AI.

Quick lookups, génération de contenu, raisonnement guidé → utilise Claude.ai classique, pas Computer Use. Pas besoin du surcoût ni de la latence.

Anthropic admet ouvertement les limites de Computer Use — « still early compared to Claude's ability to code or interact with text ». Voici les 5 limites majeures à connaître en avril 2026.

En avril 2026, Computer Use est dispo uniquement sur Mac via Claude Cowork et Claude Code. Anthropic a annoncé travailler sur Windows/Linux mais sans calendrier précis. Pour ~70 % des utilisateurs en entreprise (Windows-dominants), ce n'est pas accessible aujourd'hui.

La boucle screenshot → modèle → action prend 5-15 sec par étape. Une mission de 30 étapes = 5-7 minutes minimum. Pour des tâches courtes (< 5 étapes manuelles), c'est plus lent que toi. Le break-even est autour de 15-20 actions — au-delà, Computer Use gagne sur le total.

Décision controversée d'Anthropic : le 4 avril 2026, ils ont banni les agents tiers sur Claude Pro/Max. Concrètement, des outils comme certaines extensions ou frameworks externes qui utilisaient Claude API via Pro/Max ne peuvent plus le faire — il faut passer par l'API directement (avec billing token-based).

Impact pratique : si tu utilisais Claude via Cursor, Cline ou un autre agent tiers en mode « my Pro plan », tu dois maintenant repasser par l'API directe. Coût additionnel pour les power users qui consommaient beaucoup. Anthropic a justifié par « usage abusif » qui consommait massivement le quota Max au détriment des utilisateurs réguliers.

Solution alternative : Claude Managed Agents lancé 4 jours plus tard (8 avril 2026) à 0,08 $/h runtime + tokens. Anthropic positionne ça comme la nouvelle voie pour des agents en production — payant à l'usage plutôt que « leveraging » les plans seat-based.

Computer Use consomme énormément de tokens (chaque screenshot pèse, chaque tour analyse l'image). Sur Pro à 20 $/mois, tu verras vite ton quota partir. Recommandation pour usage régulier : Max 5x à 100 $/mois (5x le quota Pro). Pour usage intensif : Managed Agents à 0,08 $/h runtime + tokens.

Calcul typique : une mission Computer Use de 30 actions = ~50 000 tokens (entre les screenshots, le raisonnement, et les outputs). Sur API GPT-5.2 : ~0,75 $. Sur Claude Opus 4.7 : ~1,25 $. Pas anodin pour des missions répétitives.

Donner à Claude les « clés de ton ordinateur » est puissant — et inquiétant. Anthropic l'admet : « avoid letting Claude have access to sensitive data during the research preview. » Spécifiquement :

Indirect prompt injection via les pages web ou documents que Claude lit (cf article 2.8 ★). Le permission-first design mitigue mais n'élimine pas. Cyber-attaques : le fait que Claude pilote ton ordi crée une nouvelle surface d'attaque potentielle. Anthropic scanne pour les vulnérabilités mais reconnaît que « threats are constantly evolving ». Données client side : tous les screenshots, mouse actions, keyboard inputs et fichiers sont stockés dans ton environnement, pas chez Anthropic. ZDR (zero data retention) eligible. C'est plutôt rassurant côté privacy — mais ça veut aussi dire que tu es responsable du stockage.

Conseil pratique : ne lance pas Computer Use sur un Mac partagé ou avec des données sensibles côté écran. Crée un espace utilisateur dédié si possible. Ne fais jamais Dispatch sur des données critiques pendant que tu n'es pas physiquement présent.