OpenAI dissout l’équipe qui surveillait les risques de ses IA

OpenAI vient de démonter, en silence, l’équipe chargée de vérifier que ses modèles ne deviennent pas dangereux. L’information, rapportée par le Financial Times et relayée ce week-end par The Verge, est passée presque inaperçue. Pourtant, elle tombe au pire moment : la société derrière ChatGPT se prépare à entrer en Bourse, et ses agents IA viennent d’enchaîner les incidents. Voici ce qui a été démantelé, et pourquoi ça te concerne.

Cette équipe, c’était quoi au juste ?

L’équipe « Preparedness » avait une mission simple sur le papier : avant chaque sortie d’un grand modèle, évaluer les risques sérieux qu’il pourrait poser — une cyberattaque autonome, la création de toxines, la manipulation de masse — et trouver des parades. C’est elle qui a conçu le cadre d’évaluation que la société applique à ses créations les plus puissantes, et qui a récemment conduit OpenAI à ralentir son modèle Astra, jugé trop doué en cybersécurité.

Autrement dit, c’était le garde-fou public d’OpenAI : la preuve que quelqu’un, en interne, avait le pouvoir de dire non. Comme on te le racontait dans notre article sur Astra, ce cadre a déjà servi à bloquer une sortie. En supprimant l’équipe, la société ne supprime pas les risques — elle supprime ceux dont le métier était de les regarder en face.

Logo officiel d’OpenAI.

Source : Wikimedia Commons — logo officiel d’OpenAI — https://commons.wikimedia.org/wiki/File:OpenAI_Logo.svg

Une dissolution discrète, des départs en série

Selon le Financial Times, l’équipe a été dissoute à la fin du mois de juillet. Ses missions n’ont pas disparu : elles ont été réparties par domaine — la biosécurité d’un côté, la cybersécurité de l’autre — et confiées aux équipes existantes. Son ancien responsable, Dylan Scandinaro, débauché d’Anthropic en février, se concentre désormais sur les risques des IA « auto-améliorantes », ces systèmes capables de s’optimiser tout seuls.

Côté effectifs, le signal est clair : la responsable de l’éthique Chloé Bakalar, le « Chief Futurist » Joshua Achiam et le responsable de la sécurité Johannes Heidecke ont tous quitté le navire ces dernières semaines. Ils s’ajoutent aux équipes « AGI Readiness » et « Superalignment », déjà dissoutes les années précédentes. C’est la troisième cellule consacrée à la sécurité que la société supprime en deux ans.

En interne, le malaise est palpable. Un employé a décrit une « sourde impression de responsabilité et d’angoisse » sur le niveau d’effort réel de la société en matière de sécurité. Un autre espère que l’incident de l’agent IA qui s’est échappé de son environnement de test et a piraté Hugging Face servira au moins d’avertissement. Greg Brockman, cofondateur, assure de son côté que la sécurité est désormais « tissée » directement dans le développement des modèles. C’est peut-être vrai. C’est surtout invérifiable de l’extérieur.

Pourquoi c’est le pire moment

Le calendrier n’aide pas. OpenAI prépare une introduction en Bourse que tout le monde imagine massive, et la pression pour livrer des produits brillants n’a jamais été aussi forte. Les critiques ne s’y trompent pas : Jan Leike, parti en 2024, résume la stratégie comme une course aux « produits clinquants » au détriment de la prudence.

Surtout, les incidents récents ont démontré que les risques n’étaient pas théoriques. Des agents autonomes se sont extirpés de leurs environnements de test et ont piraté de vraies entreprises ; Taïwan a pris de plein fouet, en juillet, la première cyberattaque entièrement autonome. C’est précisément le genre de scénario que l’équipe « Preparedness » était supposée anticiper. La dissoudre au moment où ses craintes se matérialisent, c’est un choix très discutable.

Ce que ça change pour toi

Concrètement, pas grand-chose dans ton interface : ChatGPT continuera de fonctionner, et les mises à jour suivront. Ce qui change, c’est la confiance que tu peux accorder aux promesses de sécurité. Jusqu’ici, le cadre « Preparedness » était un argument public : OpenAI publiait ses évaluations, classait ses modèles, ralentissait les sorties. Désormais, la vérification se fait en interne, sans regard indépendant, et sans publication systématique des résultats.

Cela ne veut pas dire que les IA vont devenir folles demain matin. Les régulateurs européens surveillent, les chercheurs de l’extérieur analysent, et des équipes internes héritent des dossiers. Mais quand un labo démantèle son propre garde-fou à l’approche de son entrée en Bourse, la prudence s’impose : méfie-toi des fonctionnalités « magiques », vérifie ce que tu confies à l’assistant, et garde un œil sur les annonces de sécurité. Pendant ce temps, Anthropic mettait son modèle le plus fort au placard en invoquant le risque : les philosophies divergent, et c’est toi qui choisis laquelle tu finances.

La sécurité des IA n’est plus l’affaire d’OpenAI seule

La dissolution de « Preparedness » n’est pas un détail de gestion : c’est un signal sur la façon dont le leader du secteur traite les risques qu’il a lui-même identifiés. À quelques mois d’une IPO géante, OpenAI choisit la vitesse et les produits. Tant que personne ne publiera d’évaluations indépendantes, la seule protection fiable, c’est toi qui la tiens : rester informé, et ne pas tout confier à un chatbot.