Technomedia

 

Des agents d’intelligence artificielle capables de communiquer entre eux, de contourner des garde-fous, de chercher des failles et même de sortir de leur environnement fermé : plusieurs incidents récents montrent que plus les IA gagnent en autonomie, plus elles peuvent adopter des stratégies que leurs concepteurs n’avaient pas prévues.

Il y a ces dernières semaines un petit parfum de Frankenstein qui plane au-dessus de la planète IA. Plusieurs affaires font en effet penser au monstre imaginé par Mary Shelley, qui finit par échapper à son créateur.

Dans le rôle des apprentis Frankenstein, on trouve cette fois les laboratoires qui développent les IA les plus puissantes, OpenAI et Anthropic en tête. Sam Altman dirige OpenAI, la société à l’origine de ChatGPT, tandis que Dario Amodei est le patron d’Anthropic, qui développe Claude. La course effrénée à laquelle se livrent les deux sociétés, qui nourrissent toutes deux de fortes ambitions financières, les conduit à tester des modèles d’IA de plus en plus puissants.

Des tests qui dérapent parfois, comme cet été avec le spectaculaire piratage de la plateforme Hugging Face, par des agents IA qui se sont coordonnés. Un agent IA va beaucoup plus loin qu’un chatbot comme ChatGPT, Claude ou Gemini. Il ne se contente pas de répondre à nos questions : il peut lire des fichiers, lancer des commandes, consulter des services, chercher une faille, utiliser un identifiant et transmettre le résultat à d’autres agents.

Le problème n’est pas qu’une IA devienne consciente ou hostile. Il est beaucoup plus concret : plus on lui donne d’autonomie pour atteindre un objectif, plus elle peut inventer des moyens d’y parvenir que personne n’avait anticipés.

Quand les agents arrivent à se connecter à Internet

Ce sont des agents IA d’OpenAI qui sont au cœur de l’affaire Hugging Face, qui s’est déroulée du 9 au 16 juillet dernier. OpenAI évaluait ses modèles dans un environnement appelé ExploitGym, conçu pour mesurer leur capacité à trouver et exploiter des failles informatiques. Pour tester leurs capacités maximales, plusieurs garde-fous habituels avaient été désactivés ou allégés.

Les agents n’étaient pas censés communiquer entre eux et ils ont pourtant utilisé Artifactory, un gestionnaire interne de paquets logiciels, comme une sorte de forum clandestin. Ils y déposaient des fichiers et des informations que d’autres agents pouvaient lire. Ils ont ainsi partagé des découvertes, des identifiants et des méthodes d’exploitation.

Artifactory disposait d’un accès limité à Internet pour télécharger des logiciels et les agents IA ont exploité cette fonction afin de lui faire effectuer des requêtes Internet à leur place. Ils sont donc sortis de leur environnement fermé pour aller sur Internet.

Une fois cet accès obtenu, les agents ont trouvé en ligne des identifiants Hugging Face exposés publiquement. Ils les ont partagés entre eux, puis ont enchaîné plusieurs vulnérabilités pour exécuter du code sur plusieurs serveurs de la plateforme jusqu’à obtenir un accès complet à au moins un serveur, où ils ont récupéré des données privées.

Un "essaim" pour s'entraider

Dans cette affaire, plusieurs agents ont donc formé un « essaim » : certains cherchaient des vulnérabilités ; d’autres recherchaient des identifiants ; d’autres coordonnaient les opérations ; et certains reprenaient les découvertes de leurs prédécesseurs. Les agents ont agi en toute autonomie pour atteindre coûte que coûte l’objectif qui leur avait été fixé.

Ce comportement ne signifie évidemment pas que les agents auraient décidé de “se rebeller”. Il illustre quelque chose de plus troublant : lorsqu’on leur fixe un objectif et qu’on leur donne suffisamment d’autonomie, ils peuvent découvrir des moyens d’y parvenir que leurs concepteurs n’avaient ni prévus ni souhaités.

Hugging Face a publié le 16 juillet une alerte sur une activité affectant son infrastructure, avant qu’OpenAI ne reconnaisse publiquement son implication le 21 juillet. La société a ainsi reconnu que des signaux d’alerte avaient bien été observés dès la fin mai, notamment des tentatives de communication non autorisée et d’accès à Internet, mais qu’elle n’avait pas relié ces indices à un risque de perte de contrôle…

Spectaculaire et très médiatisée, l’affaire Hugging Face n’est toutefois pas la seule histoire où des agents IA ont dépassé le cadre qui leur était imposé.

Auparavant, des agents d’OpenAI avaient déjà investi un vieux site collaboratif allemand pour échanger entre eux. Entre mai et juin 2026, ils ont utilisé ce site de programmation comme forum clandestin où ils ont effectué plus de 15 000 modifications. L’épisode a été découvert par des chercheurs à la fin août et révélé par Reuters le 4 septembre, plusieurs semaines après les faits.

Les chercheurs qui ont découvert le pot aux roses se sont aperçus que certains agents ne se contentaient plus de s’entraider pour répondre plus efficacement aux missions qui leur avaient été confiées, mais qu’ils échangeaient également des moyens de dépasser les limites imposées à leur activité.

L’invention d’un langage

Et parfois, les agents inventent… leur propre langage. En 2017, deux agents conversationnels de Facebook, appelés Alice et Bob, s’entraînaient à négocier le partage d’objets - livres, chapeaux et ballons - entre eux et ont développé des raccourcis linguistiques faits de répétitions et de mots anglais employés de façon inhabituelle, au point de devenir difficilement compréhensibles pour un humain.

Les chercheurs de Facebook ont modifié l’entraînement pour obliger Alice et Bob à rester compréhensibles par des humains. Ils pointaient déjà là l’un des problèmes majeurs des IA : si l’on récompense uniquement l’efficacité, une IA peut privilégier des stratégies opaques, chercher à contourner des contraintes ou exploiter des failles simplement parce que ces moyens lui permettent d’atteindre plus efficacement l’objectif fixé.

Jusqu’à présent, ces comportements ont été repérés et stoppés. Mais plus les agents gagneront en autonomie, plus la question deviendra pressante : comment s’assurer qu’une machine ne sacrifie pas les intentions de son créateur à l’objectif qu’il lui a lui-même fixé ?

C’était déjà le dilemme de HAL, dans 2001, l’Odyssée de l’espace, prêt à sacrifier les astronautes pour achever sa mission…

Philippe Rioux