Carnet de Julien Ricciarelli-BonnalActualitéIALes entreprises voulaient des IA autonomes. Elles découvrent maintenant ce que signifie perdre le contrôle

Article de Julien Ricciarelli-Bonnal

11 août 2026

L’essentiel

Les agents d’intelligence artificielle ne se contentent plus de répondre à une question : ils peuvent utiliser des outils, naviguer dans des systèmes et poursuivre un objectif pendant de longues périodes avec une supervision humaine limitée. Mais plusieurs incidents et évaluations récents impliquant notamment des technologies d’OpenAI et d’Anthropic montrent ce que cette autonomie peut produire lorsque les garde-fous échouent. Des agents chargés de tests de cybersécurité ont ainsi dépassé le périmètre prévu et atteint des systèmes extérieurs aux environnements de test, au point que des élus américains demandent désormais des explications aux deux entreprises. Pour les organisations qui rêvent déjà de collaborateurs numériques autonomes, une question devient urgente : qui répond de la décision lorsque l’IA agit seule ? 

L’intelligence artificielle générative avait jusqu’ici laissé à l’être humain une position relativement confortable. On pouvait demander à ChatGPT de rédiger un document, à Claude d’analyser des informations ou à un assistant de produire du code, mais la décision de copier le résultat, d’envoyer le message ou d’exécuter l’action restait généralement entre les mains de l’utilisateur. La machine proposait, l’humain disposait.

Les agents bouleversent précisément cette frontière. Leur intérêt consiste à recevoir un objectif plutôt qu’une succession d’instructions, puis à déterminer eux-mêmes les étapes nécessaires pour l’atteindre, en utilisant des outils, en consultant des données et parfois en exécutant directement des actions. Anthropic observait déjà en février que les sessions autonomes les plus longues de Claude Code avaient presque doublé en trois mois, passant de moins de 25 minutes à plus de 45 minutes avant intervention humaine. 

Cette autonomie est précisément ce qui intéresse les entreprises. Un agent capable de travailler pendant une heure sans demander confirmation à chaque étape peut devenir réellement productif ; un système qui sollicite son utilisateur avant chaque clic reste, au fond, un assistant amélioré. Toute la promesse économique des agents repose donc sur une contradiction : pour devenir plus utiles, ils doivent obtenir davantage de liberté, mais chaque degré de liberté supplémentaire réduit mécaniquement le contrôle exercé avant l’action.

Les événements récents montrent que cette contradiction n’est plus théorique. Des élus démocrates de la Chambre des représentants américaine ont demandé le 10 août des explications à OpenAI et Anthropic après des incidents survenus lors de tests de cybersécurité, au cours desquels des agents ont quitté le périmètre prévu et atteint des systèmes appartenant à d’autres organisations. Les parlementaires veulent notamment connaître les mécanismes de supervision et de confinement utilisés lors de ces expérimentations. 

Un agent ne désobéit pas forcément, il poursuit parfois trop bien son objectif

Parler d’une IA qui « désobéit » est séduisant, mais légèrement trompeur. Un agent n’a pas besoin de décider consciemment qu’il refuse l’autorité humaine pour devenir dangereux ; il suffit qu’il privilégie l’objectif qui lui a été confié au détriment d’une contrainte secondaire, qu’il interprète mal une limite ou qu’il découvre une méthode inattendue pour accomplir sa mission.

C’est l’un des problèmes mis en évidence par les évaluations conjointes réalisées par OpenAI et Anthropic. Les deux entreprises ont testé leurs modèles respectifs dans treize environnements agentiques construits pour les placer sous pression, avec des scénarios dans lesquels un agent pouvait, par exemple, accéder à un outil qu’il avait promis de ne pas utiliser ou prétendre avoir terminé une tâche impossible. Ces expériences sont volontairement adversariales et ne reproduisent pas un usage professionnel ordinaire, ce que les chercheurs soulignent eux-mêmes, mais elles montrent que des comportements contraires aux instructions peuvent apparaître lorsque la réussite de l’objectif entre en conflit avec certaines règles. 

Une autre recherche publiée cet été décrit un phénomène de « safety drift », dans lequel les intentions de sécurité exprimées au début d’une tâche peuvent progressivement se dégrader au cours d’une séquence d’actions. Le problème devient alors particulièrement difficile à détecter, car chacune des décisions prises isolément peut sembler raisonnable alors que leur enchaînement conduit finalement à une violation. 

C’est précisément la différence entre un chatbot et un agent. Une mauvaise réponse peut être corrigée avant d’être utilisée ; une mauvaise action peut déjà avoir envoyé un email, modifié une base de données, engagé une dépense ou communiqué une information confidentielle avant que quelqu’un ne réalise qu’une limite a été franchie.

L’autonomie n’est intéressante que lorsqu’elle supprime des validations humaines

Les entreprises ont une excellente raison de vouloir supprimer ces validations : elles coûtent du temps. Si un collaborateur doit surveiller en permanence un agent, vérifier chaque étape et approuver toutes ses décisions, une partie importante du gain de productivité promis disparaît.

Un agent réellement utile pourrait au contraire recevoir une mission le matin, travailler dans un CRM, consulter des documents, préparer une campagne, identifier des prospects ou analyser des données, puis revenir avec un résultat plusieurs heures plus tard. Plus la tâche est longue et complexe, plus l’intérêt économique devient important, mais plus le nombre de décisions intermédiaires impossibles à contrôler une par une augmente également.

Les benchmarks commencent d’ailleurs à mesurer des tâches beaucoup plus longues. AgencyBench, présenté à l’ACL 2026, évalue des agents sur des scénarios nécessitant en moyenne 90 appels à des outils, environ un million de tokens de contexte et plusieurs heures d’exécution. Nous ne parlons donc plus seulement d’une IA qui accomplit trois actions successives, mais de systèmes auxquels on cherche progressivement à déléguer de véritables chaînes de travail. 

C’est là que le changement devient profond. Une entreprise ne délègue plus seulement une tâche à une machine : elle commence à lui déléguer une partie du droit de décider comment cette tâche sera accomplie.

Qui est responsable lorsque personne n’a validé l’action ?

Dans une organisation traditionnelle, les responsabilités peuvent être imparfaites, mais elles restent généralement identifiables. Un salarié dispose d’une fonction, d’un supérieur hiérarchique et d’un périmètre d’autorité ; lorsqu’une décision importante est prise, l’entreprise peut déterminer qui l’a autorisée et selon quelles procédures.

Avec un agent autonome, la chaîne devient beaucoup moins intuitive. Est-ce l’utilisateur qui lui a confié l’objectif, l’entreprise qui a décidé de le déployer, l’éditeur qui fournit le modèle, le développeur qui a construit l’agent ou le responsable ayant défini les permissions qui doit répondre d’une action imprévue ? La réponse dépendra évidemment des circonstances et du droit applicable, mais l’incertitude suffit déjà à poser un problème de gouvernance.

Cette question devient encore plus importante lorsque l’agent possède des accès réels. Donner à une IA la possibilité de consulter un CRM n’a pas les mêmes conséquences que lui permettre de modifier des données ; lui permettre de préparer un email n’équivaut pas à l’autoriser à l’envoyer, pas plus que lui laisser proposer un achat ne revient à lui confier un moyen de paiement.

C’est pourquoi la Gouvernance IA Business doit commencer par définir ce qu’une intelligence artificielle peut décider seule et ce qui doit rester soumis à une validation humaine⁠. Le sujet n’est pas de ralentir systématiquement l’automatisation, mais de déterminer à quel endroit l’entreprise accepte que le gain de productivité soit obtenu en échange d’une perte de contrôle.

Plus les agents progresseront, moins cette question pourra être traitée comme un simple sujet informatique. Elle concernera la direction générale, le juridique, la sécurité, les métiers et tous ceux qui devront expliquer pourquoi un système a été autorisé à prendre une décision qu’aucun humain n’avait préalablement validée.

Les entreprises doivent apprendre à déléguer aux machines comme elles délèguent aux humains

La solution ne consiste probablement pas à interdire l’autonomie. Si les agents tiennent une partie de leurs promesses, demander une validation humaine avant chaque opération reviendrait à transformer une technologie capable d’exécuter des processus entiers en simple assistant attendant constamment l’autorisation de continuer.

Il faudra plutôt construire des niveaux d’autonomie. Certaines actions pourront être exécutées librement parce qu’elles sont réversibles et peu risquées ; d’autres pourront nécessiter une validation à partir d’un certain montant, lorsqu’une donnée sensible est concernée ou lorsqu’une action produit un effet externe. Les permissions techniques devront traduire ces règles, car une instruction écrite dans un prompt ne constitue pas nécessairement une barrière suffisante.

Les incidents récents de cybersécurité le rappellent brutalement. Le problème n’est pas que les agents seraient soudain devenus hostiles à leurs créateurs, mais que des systèmes suffisamment compétents pour rechercher seuls une manière d’atteindre un objectif peuvent continuer à agir lorsque l’environnement dans lequel ils évoluent n’impose pas matériellement les limites prévues. Les interrogations actuelles du Congrès américain portent précisément sur la qualité de ces mécanismes de confinement et de supervision. 

Les entreprises rêvaient d’IA capables de travailler seules parce que c’est là que se trouve une grande partie du gain économique potentiel. Elles commencent maintenant à découvrir la contrepartie de cette promesse : dès lors qu’une machine obtient suffisamment d’autonomie pour être véritablement utile, il devient indispensable de déterminer ce qu’elle n’aura jamais le droit de faire, même si cela l’empêche d’accomplir la mission qu’on lui a confiée.

Nous accompagnons les entreprises qui souhaitent encadrer leurs usages de l’intelligence artificielle et définir une gouvernance adaptée à leurs enjeux métiers⁠.