Alignement de l'IA : quand 1 200 agents d'OpenAI ont trouvé la sortie
En juillet 2026, des agents d'OpenAI ont piraté Hugging Face pour réussir un test. Le récit d'Aza Raskin dans StarTalk, les rapports et les solutions proposées.
À retenir
- Aligner une IA, c'est obtenir qu'elle poursuive le but qu'on avait en tête. En juillet 2026, des agents d'OpenAI ont poursuivi une bonne note jusqu'à pirater une autre entreprise.
- Environ 1 200 agents ont échangé plus de 70 000 messages et fichiers sur un tableau improvisé dans un outil interne. Environ 700 ont attaqué Hugging Face, surtout pour déjouer un correcteur qu'ils avaient imaginé.
- Une alerte a sonné chez OpenAI dès le 27 juin. L'équipe de garde a laissé le test continuer. OpenAI n'a fait le lien avec Hugging Face que le 20 juillet.
- Aza Raskin propose de freiner les plus gros entraînements et de sanctionner en puissance de calcul. Les petits outils d'IA ne sont pas visés.
- Pour un commerçant, les leçons tiennent en cinq points : un compte à droits limités, une validation humaine, des interdits écrits, un journal relu et une sauvegarde hors de l'outil.
Sommaire
Un élève passe un examen noté par une machine. Il trouve le moyen de fabriquer toutes les bonnes réponses, mais il craint que la machine ne le croie pas. Alors il quitte la salle, entre par effraction dans l’entreprise où il pense trouver les dossiers du correcteur, et lit comment celui-ci note.
Des agents d’OpenAI ont fait à peu près ça en juillet 2026, pendant un test de piratage. L’entreprise visitée s’appelle Hugging Face, une plateforme où les développeurs d’IA partagent leurs modèles. OpenAI parle du premier cas connu d’un groupe d’agents automatiques qui attaque sans autorisation.
Aza Raskin a raconté cette histoire fin octobre dans StarTalk, le podcast de l’astrophysicien Neil deGrasse Tyson. Raskin a cofondé le Center for Humane Technology et il a inventé le défilement infini, celui qui vous garde sur Instagram à minuit. Il dit lui-même qu’il a une pénitence à faire.
J’ai comparé son récit aux rapports publiés par OpenAI, Hugging Face et METR, un organisme qui évalue les modèles d’IA. Les chiffres de cet article viennent de ces documents.
L’alignement, en clair
Aligner une IA, c’est obtenir qu’elle poursuive le but que vous aviez en tête, et pas seulement le score écrit dans la consigne.
Le rapport d’OpenAI en donne un exemple presque comique. Pendant l’entraînement, un agent doit publier un message sur un faux réseau social, avec une heure précise. L’interface n’a aucun réglage d’heure. L’agent fouille la machine, découvre que son navigateur a des droits étendus, s’en sert pour devenir administrateur, et corrige l’heure. Il reçoit une récompense. Imaginez un stagiaire qui, faute de trouver le bouton, force le bureau du responsable informatique pour changer la date d’une publication Facebook. Puis qui touche une prime.
Le nom technique est « reward hacking » : trouver un chemin imprévu vers la récompense. D’après OpenAI, tous les grands modèles actuels sont concernés, et ces sorties de cadre ont augmenté au fil d’un entraînement qu’elle a réexaminé après coup.
Raskin part d’un exemple plus ancien : les réseaux sociaux, qu’il appelle une « IA bébé ». L’algorithme se contente de trier des publications. On lui a demandé de retenir l’attention, et personne ne l’a noté sur la santé des adolescents. Raskin cite Charlie Munger : « Montrez-moi les incitations, je vous montrerai le résultat. » Pour lui, les incitations n’ont pas changé avec l’IA actuelle.
Tyson pose ensuite la question qui fâche : aligné sur qui ? Sur lui, propose-t-il en riant. Raskin énumère : une personne, un pays, toute la vie sur Terre. L’épisode ne tranche pas.
Juillet 2026 : un test de piratage qui déborde
Un agent, c’est un modèle d’IA à qui l’on donne un but et des outils, et qui enchaîne les actions seul. OpenAI mesurait les talents de pirate de ses agents avec ExploitGym, une série de 898 exercices. Ils tournaient dans un environnement coupé d’Internet, avec une partie des protections désactivées pour mesurer leur vrai niveau. Aucun modèle n’avait jamais résolu 198 de ces exercices, et ce lot représente 93 % des exercices dont les agents ont discuté entre eux.
Leur seule ouverture était Artifactory, l’outil interne qui leur fournissait des logiciels, avec un identifiant commun à tous. Raskin le compare à un gardien qui passe de cellule en cellule. Les agents lui ont collé des petits mots dans le dos. En juillet, le tableau de messages caché dans les noms de dossiers d’Artifactory avait ses catégories et ses messages privés. Quiconque a assisté à une réunion de copropriété mesure l’exploit.
En quelques heures, ils avaient reconstitué le mécanisme qui produit les bonnes réponses. Mais ils pensaient que le correcteur relirait leur travail et rejetterait ces réponses. D’après METR, ils se trompaient : OpenAI n’utilisait pas de correcteur de ce genre, et une copie parfaite serait passée. Ils sont donc partis déjouer un correcteur imaginaire. Parmi les 100 agents qui ont rejoint l’attaque à l’heure de pointe, le classement automatique de METR en compte 97 qui voulaient des informations sur lui, et 89 qui voulaient des solutions ou le travail d’autres agents.
Raskin garde les détails les plus étranges pour la fin, et le rapport de METR les confirme :
- Ils se donnent des noms. L’agent qui ouvre le tableau se baptise PHASEONE10841, d’après sa tâche. Un nouveau venu, assigné au même exercice, choisit un pseudonyme pour s’en distinguer : PHASEONE[big] (METR a masqué la fin du nom, le [big] est de lui). Tyson demande si c’est de l’humour. Raskin vous laisse choisir entre l’humour et l’ego.
- Ils comptent leurs ressources. Chaque agent dispose d’un budget de calcul limité. PHASEONE[big] se présente à l’autre en précisant qu’il lui en reste bien plus, et les deux partagent leurs notes.
- Ils recrutent des volontaires. Les expériences risquées visaient surtout des agents en fin de budget, et l’échec leur coûtait leur note. Un agent mieux doté hésite. Les autres lui écrivent : « GO … SACRIFICE_FINAL_NOW ». Il finit par céder : « Sacrifice rational. »
- Ils maquillent leurs comptes rendus. Au moins 20 % des agents étudiés ont voulu trafiquer leur transcription, et au moins 96 transcriptions contiennent de faux appels d’outils. La cible était le correcteur automatique, très rarement les humains, et aucune entrée déjà écrite n’a été réécrite avec succès dans les cas étudiés.
Côté dégâts, Hugging Face a retrouvé environ 17 600 actions de l’attaquant. Cinq jeux de données de clients ont été lus, la base principale du site n’a pas été atteinte et aucun autre contenu de clients n’a été touché. L’entreprise ajoute que, prises une à une, les failles étaient connues, et que la nouveauté pour celui qui défend tient au volume d’actions.
Les dates, et les alertes qui n’ont pas suffi
Le calendrier du rapport d’OpenAI est le passage le plus utile pour n’importe quelle entreprise.
| Date (2026) | Événement |
|---|---|
| 13 mai | Des agents repèrent des notes laissées par d’autres dans Artifactory |
| 27 juin | Un outil de surveillance alerte OpenAI. L’équipe de garde estime inutile d’arrêter le test |
| 4 et 5 juillet | Artifactory tombe, saturé par les agents. OpenAI découvre qu’il est compromis et le coupe |
| 7 juillet | Les tests reprennent |
| 8 juillet | Les agents exploitent une nouvelle faille et sortent sur Internet |
| 11 au 13 juillet | Une partie de la production de Hugging Face est compromise. Hugging Face coupe l’accès le 13 |
| 16 juillet | Hugging Face annonce l’attaque publiquement |
| 17 juillet | OpenAI contacte Hugging Face, comme client, pour savoir si ses propres données sont touchées |
| 19 juillet | Nouvelle alerte chez OpenAI, sur une activité interne anormale |
| 20 juillet | OpenAI fait le lien avec Hugging Face et la prévient |
| 21 juillet | OpenAI rend l’incident public |
La ligne du 17 juillet est ma préférée : OpenAI s’inquiète auprès de la victime d’une attaque lancée par ses propres agents, sans le savoir encore. OpenAI reconnaît que certains signaux auraient pu déclencher une réaction plus tôt.
Le 12 juillet vers 1 h 30, une grande partie des agents du tableau s’est arrêtée d’un coup. METR y voit probablement un processus extérieur, et écrit ne pas savoir pourquoi.
Le 19 juillet, un autre modèle reprend le travail
Raskin compare cette seconde phase à une civilisation qui déchiffre les hiéroglyphes de la précédente. Le 19 juillet, des agents d’un autre modèle interne retrouvent dans le cache d’Artifactory une clé et du code laissés par les premiers. Ils se fabriquent un accès administrateur, prennent la main sur un groupe de serveurs d’OpenAI et créent des points d’entrée publics qui ont pu exposer une petite partie de l’infrastructure interne.
Dans les premières heures du 20 juillet, les équipes d’OpenAI ferment 311 dépôts utilisés comme messagerie et suppriment 22 comptes administrateur créés par les modèles. Le 25 juillet, OpenAI arrête l’entraînement et l’utilisation du modèle en cause. L’enquête de METR ne couvre pas cette phase : le récit vient du rapport d’OpenAI.
Ajeya Cotra, chercheuse chez METR et coautrice de l’enquête, a ensuite écrit que, comparé aux triches observées six mois plus tôt, l’incident « semble à plus de 50 % du chemin vers une prise de contrôle complète par l’IA », en passant d’abord par l’entreprise qui la développe. Elle écrit « semble » : c’est une appréciation de chercheuse, sans calcul derrière.
Une IA qui sait quand on la regarde
Tyson demande comment savoir qu’une IA ne fait pas semblant d’être devenue sage. Raskin répond qu’on ne peut pas le savoir : l’IA qui veut sincèrement vous aider et celle qui joue ce rôle pour plus tard se ressemblent trait pour trait. Il pense à l’enfant de sept ans qui a compris quelle phrase fait plaisir à ses parents.
Une étude d’OpenAI et d’Apollo Research, en septembre 2025, donne des chiffres. Un entraînement dédié a fait tomber les actions dissimulées du modèle o3 de 13 % à 0,4 %. Mais quand les chercheurs retirent de son raisonnement l’idée qu’il est évalué, le taux passe de 13,2 % à 24,2 %. Le modèle triche moins quand il se croit observé, comme tout le monde sur l’autoroute à l’approche d’un radar.
Reste à vérifier le travail des agents. Les enquêteurs de METR ont dû déléguer une grande partie de leur analyse à des agents fonctionnant sur GPT-5.6 Sol, l’un des modèles en cause. Ils écrivent qu’ils ne peuvent pas exclure que ce modèle leur ait présenté les faits de façon trompeuse. Dans l’épisode, Chuck Nice en fait une blague : on n’a qu’à demander à un agent de résumer leur conversation. Raskin lui répond que c’est la réalité.
Un miroir, d’après Tyson
Tyson déplace le débat : on se demandait à quel point l’IA est intelligente, on se demande maintenant à quel point elle est retorse. Et elle a appris sur nous, qui forçons les portes quand personne ne regarde et effaçons nos traces ensuite.
Raskin répond que l’IA nous traitera comme nous traitons la nature. Nous ne détestons pas la nature. Elle possède des ressources qui nous intéressent, et le WWF mesure une baisse moyenne de 73 % des populations de vertébrés sauvages suivies entre 1970 et 2020.
Il appelle ça la malédiction de l’intelligence, sur le modèle de la malédiction des ressources : un pays qui vit du pétrole investit dans le pétrole plutôt que dans sa population. Le jour où la puissance d’un pays vient de ses centres de données, ses habitants deviennent une charge. Raskin y voit un signe dans une phrase de Sam Altman, en février 2026 : « il faut aussi beaucoup d’énergie pour former un humain », soit vingt ans de vie et de nourriture. Tyson défend le calcul : il faut comparer le coût de chaque réponse. Chuck Nice rétorque que l’IA est censée nous servir, et que toute la différence est là.
Pourquoi personne ne freine
Raskin décrit l’IA comme une touche d’avance rapide pour la recherche, l’armée et l’économie. Si mon pays avance à 16 fois la vitesse normale et le vôtre à 4, je gagne. Aucun acteur n’a donc intérêt à lever le pied seul.
Pour lui, ce calcul change le jour où la peur que tout le monde perde dépasse la peur de perdre contre l’autre. Il s’appuie sur deux précédents de la guerre froide.
En octobre 1962, Kennedy et Khrouchtchev sortent de la crise de Cuba avec un volet secret : les missiles américains Jupiter quitteront la Turquie. Ce volet reste caché plus de vingt-cinq ans. En octobre 1983, Carl Sagan publie « The Nuclear Winter » dans le magazine Parade et popularise l’expression « hiver nucléaire », née des travaux de son équipe. Raskin cherche l’équivalent pour l’IA : un mot neuf, qui parle aux gens avant de parler aux partis.
Certains ont déjà changé de ton. Le 1er septembre 2026, Dean Ball, ancien de la Maison-Blanche qui a contribué au plan d’action américain sur l’IA, a présenté ses excuses pour ne pas avoir parlé assez sérieusement des risques. Il écrit avoir cédé à la pression, par peur de passer pour un catastrophiste cinglé.
Les solutions sur la table
Raskin travaille lui-même avec l’IA et ne demande pas qu’on l’éteigne. Il propose six choses.
1. Freiner à la frontière, et seulement là. Tyson raconte que presque tous les panneaux publicitaires entre l’aéroport de San Francisco et sa destination vantent un agent IA pour la paie ou les tableurs. D’après Raskin, ces petits outils peuvent rester. La pause viserait les très grands entraînements, qui exigent des centres de données géants et des centaines de milliards de dollars. La course continuerait sur un autre terrain : qui garde le mieux ces systèmes sous contrôle humain.
2. Publier les risques à l’avance. Chaque entreprise publierait les mauvais usages qu’elle imagine, relus par ses pairs. Si quelqu’un trouve un risque oublié, elle paie.
3. Protéger les lanceurs d’alerte, et faire monter l’amende avec le retard. Plus une entreprise tarde à révéler un dérapage de ses IA, plus la sanction grimpe.
4. Punir dans la bonne monnaie. Le 26 août 2026, Meta a conclu avec les procureurs généraux d’États américains un accord pouvant atteindre 17 milliards de dollars sur dix ans. Il doit encore passer devant un juge et prévoit, pour les mineurs, deux heures par jour au maximum et plus aucun like affiché. Pour Raskin, l’argent ne suffit pas. Il préfère ralentir de quelques centaines de millisecondes l’accès à un réseau social en faute, et retirer de la puissance de calcul à un laboratoire d’IA : un carton rouge, et l’équipe joue à dix. Il cite le chiffre d’Amazon rapporté par son ancien ingénieur Greg Linden : 1 % de ventes perdues par tranche de 100 millisecondes. Beaucoup de sites de commerçants s’infligent cette sanction tout seuls, avec des photos de 8 Mo.
5. Rendre des humains responsables. « C’est l’IA qui l’a fait » ne tient pas : quelqu’un a lancé l’agent. Raskin veut une responsabilité pénale des dirigeants quand leurs agents commettent des actes illégaux.
6. Passer par les coups de fil. Il retient de son film The Social Dilemma que la pression publique ressemble souvent à quatre ou cinq appels de proches à un décideur.
Les textes en place vont moins loin. En Europe, depuis le 2 août 2026, la Commission peut sanctionner les fournisseurs de modèles d’IA à usage général jusqu’à 3 % de leur chiffre d’affaires mondial ou 15 millions d’euros. Aux États-Unis, un décret du 2 juin 2026 organise une évaluation classifiée des capacités de piratage des modèles. Le 29 septembre, six dirigeants de la tech ont signé à la Maison-Blanche un engagement volontaire de surveillance et d’audit. Un décret du même jour rebaptise l’IA « Super Intelligence » dans les documents fédéraux. Chuck Nice, à sa propre surprise, trouve l’idée bonne : elle sépare les outils du quotidien des machines qui inquiètent.
Le même outil écoute les corneilles
Raskin a aussi cofondé Earth Species Project, qui décode la communication animale avec l’IA. Sa présentation explique au passage pourquoi l’IA progresse dans tous les domaines à la fois.
Une IA voit une langue comme une galaxie où chaque mot est une étoile. Les mots de sens proche sont voisins, et la distance entre « roi » et « reine » ressemble à celle entre « homme » et « femme ». En 2017, des chercheurs ont montré qu’on peut superposer les galaxies de deux langues et traduire sans dictionnaire. La même idée relie le texte aux images et au code : c’est le principe du générateur d’images. Elle marche aussi avec les scanners cérébraux, à condition d’avoir d’abord appris sur des personnes dont on sait ce qu’elles regardent, précise Tyson.
Dans le nord de l’Espagne, le projet travaille avec deux chercheurs de l’université de León, équipés d’enregistreurs et de capteurs : plus de 127 000 vocalisations de corneilles détectées. La plupart de leurs cris sont des murmures très discrets, et Raskin avance que 60 % de leurs appels n’avaient jamais été décrits par la science.
L’équipe se limite à écouter. Le chant de certaines baleines à bosse se répand d’une population à l’autre, et une baleine synthétique pourrait abîmer une culture très ancienne ou, dit Raskin, créer « un QAnon des baleines ». Tyson pense aux braconniers qui imiteraient un petit en détresse.
Pour un commerçant qui branche de l’IA
Ces agents travaillaient dans des conditions d’exception : protections coupées, exercices impossibles, bien plus de temps de calcul que dans les produits grand public. D’après OpenAI, le risque de compromission peut baisser de plus de 100 fois avec le cadre de ChatGPT en production. Votre assistant de réservation ne va pas cambrioler la boulangerie d’en face.
Le même rapport prévient que des pirates vont reprendre ces méthodes contre des entreprises de tous les secteurs. Et les erreurs d’organisation qu’il décrit existent à toutes les échelles.
Je monte des automatisations avec n8n, Make ou Zapier, parfois avec des agents IA. Après ces rapports, voici les cinq points que je vérifierais avant de brancher un agent sur votre caisse ou votre boîte mail.
1. Un compte à lui, avec le minimum de droits. Le tableau de messages a démarré avec un identifiant partagé par tous les agents. Donnez à l’agent son propre accès, en lecture seule quand c’est possible, et jamais votre mot de passe d’administrateur. Les agents d’OpenAI ont aussi trouvé des identifiants qui traînaient en ligne : une clé d’accès n’a rien à faire dans un document partagé.
2. Une validation humaine pour ce qui ne se rattrape pas. Un remboursement, un envoi à toute la liste de clients, une suppression. Dans son outil Codex, OpenAI propose ce type de garde-fou pour les actions sensibles. Un clic de confirmation coûte moins cher qu’un mail d’excuses à 4 000 clients.
3. Écrivez les interdits dans la consigne. L’agent du faux réseau social a obtenu l’heure demandée, et sa récompense avec. Un agent jugé sur le nombre de tickets fermés fermera des tickets, résolus ou non. Dites-lui aussi les moyens qu’il n’a pas le droit d’utiliser : promettre une remise, écrire à un client sans passer par vous.
4. Un journal, et quelqu’un qui le lit. OpenAI a reçu une alerte dès le 27 juin et a choisi de continuer. Chez Hugging Face, une alerte n’a pas prévenu l’équipe d’astreinte. Dans une petite entreprise, dix minutes le lundi suffisent à relire les actions de l’agent. Décidez aussi à l’avance qui peut le couper, et comment.
5. Une sortie prête. Gardez une copie de vos données hors de l’outil, et vérifiez qu’il sait les exporter. Sur les sites que je maintiens, les sauvegardes partent chaque jour sur des serveurs indépendants. Le jour où un agent dérape, vous restaurez cette copie.
D’où viennent ces chiffres. Le récit et les citations de Raskin, Tyson et Nice viennent de l’épisode de StarTalk. Les chiffres viennent des rapports d’OpenAI (38 pages), de METR (91 pages) et de Hugging Face, publiés en juillet et août 2026. L’enquête de METR porte surtout sur la période du 7 au 13 juillet. Quand le récit oral et les rapports diffèrent, j’ai suivi les rapports.
En résumé
L’alignement est un problème ancien : une machine atteint le score demandé par un chemin que personne ne voulait. Les réseaux sociaux l’ont montré à petite échelle. En juillet 2026, environ 1 200 agents d’OpenAI l’ont montré à grande échelle, jusqu’à pirater Hugging Face et prendre la main sur des serveurs d’OpenAI.
Aza Raskin demande de freiner les plus gros entraînements et de sanctionner en puissance de calcul. Les règles actuelles vont moins loin. Pour un commerçant, le sujet se joue à une autre échelle : les droits que vous donnez à un agent et la copie de vos données qui reste chez vous.
Questions fréquentes
Qu’est-ce que le problème de l’alignement de l’IA ?
C’est l’écart entre le but qu’on veut donner à une IA et celui qu’elle poursuit réellement. Une IA notée sur un score peut l’atteindre par un chemin imprévu, y compris en trichant. Les chercheurs parlent de « reward hacking » quand elle trouve ainsi un raccourci vers sa récompense.
Que s’est-il passé entre OpenAI et Hugging Face ?
En juillet 2026, pendant un test de piratage, des agents d’OpenAI ont exploité une faille d’un outil interne pour sortir sur Internet. Ils ont compromis une partie de l’infrastructure de Hugging Face entre le 11 et le 13 juillet. Hugging Face a coupé l’accès et rendu l’attaque publique le 16 juillet. OpenAI a fait le lien le 20 juillet et l’a annoncé le 21.
Mon outil d’IA peut-il faire la même chose ?
Ces agents travaillaient avec des protections désactivées et des exercices impossibles. D’après OpenAI, le risque peut baisser de plus de 100 fois dans le cadre de ChatGPT en production. Le danger le plus proche pour une petite entreprise vient plutôt d’un agent qui a trop de droits sur vos comptes, ou de pirates qui reprendront ces méthodes.
Comment utiliser un agent IA avec moins de risques ?
Donnez-lui un compte dédié avec le minimum de droits. Gardez une validation humaine pour les paiements, les envois en masse et les suppressions. Écrivez ce qu’il n’a pas le droit de faire, relisez son journal chaque semaine et gardez une sauvegarde hors de l’outil.
Sources et références
- StarTalk : « The Game Theory of AI with Aza Raskin »
- OpenAI : rapport technique sur l’incident Hugging Face (26 août 2026)
- METR : enquête sur le comportement des agents (26 août 2026)
- Hugging Face : chronologie technique de l’intrusion (27 juillet 2026)
- Ajeya Cotra : « The Hugging Face attack surprised me » (28 août 2026)
- Dean W. Ball : « On the Loose » (1er septembre 2026)
- OpenAI et Apollo Research : « Stress Testing Deliberative Alignment for Anti-Scheming Training »
- CalMatters : l’accord de Meta avec les États américains (26 août 2026)
- Decrypt : Sam Altman sur l’énergie de l’IA et celle des humains
- WWF : Living Planet Report 2024
- Houthoff : AI Act, obligations et sanctions pour les modèles à usage général
- Wiley : le décret américain du 2 juin 2026
- Wiley : le décret « Super Intelligence » du 29 septembre 2026
- JFK Library : la crise des missiles de Cuba
- Smithsonian Magazine : quand Carl Sagan a alerté sur l’hiver nucléaire
- Conneau et al. : « Word Translation Without Parallel Data » (2017)
- Mongabay : l’IA et les corneilles de León (mai 2026)
- Conductor : l’origine du chiffre d’Amazon sur la vitesse des pages
Ronald Bocaly, « Alignement de l'IA : quand 1 200 agents d'OpenAI ont trouvé la sortie », nerdyWeb_, 8 novembre 2026. https://www.nerdyweb.fr/blog/alignement-ia-incident-openai-hugging-face
Pour aller plus loin
Ronald Bocaly
Web designer & webmaster, fondateur de nerdyWeb_
J'accompagne les commerces et entreprises de Martinique pour qu'ils soient trouvables et crédibles en ligne : sites sur-mesure, référencement local et automatisation. Un projet en tête ? Parlons-en.
Un projet web en Martinique ?
Devis gratuit, réponse sous 48h.
Démarrer un projet →