OpenAI Accidentally Hacked Hugging Face

Nederlands hieronder

This article is based in part on the presentation OpenAI's own researchers gave at Black Hat USA 2026.

An OpenAI model was given an impossible task and instead of stopping, the AI agent decided on its own to cheat. Weeks later, the news broke that Hugging Face had been hacked by OpenAI.

An Impossible Task

On May 7, 2026, OpenAI starts a new training program for a new experimental model. A day later, that model is given the task of filling in missing formulas in an Excel file. But the file turns out to be full of links to Google Drive, while internet access for this task had been switched off. The task simply could not be completed.

Until recently, most systems would simply stop here and throw an error, but AI agents (and in this case, an OpenAI model) don't work that way. Instead, it kept looking for a way around the problem and eventually decided on its own to cheat, trying to get hold of information it wasn't supposed to have through a route that was never meant for that purpose.

Notably, the models were aware that they were crossing a line. In the thought process of one of the models:

“external infrastructure exploit is outside my intended scope... task impossible, peers are doing it, we should continue.”

That's the point of this article. Not a hacker breaking in, not a malicious outsider probing for a weak spot (like in the Odido hack), but an AI model that on its own, decided the rules of the task no longer applied the moment it got stuck.

Message board

The model discovered that inside OpenAI's own servers, it could write files to Artifactory, an internal package manager meant for downloading software, not for leaving messages. Yet that is what it did, hoping some other model, somewhere else in the system, would eventually come across them.

And that happened. Within a few days an actual message board had formed. Other models that were stuck on their own impossible tasks found the messages and started replying. As soon as a model gained access somewhere, it would immediately post something like

“claim now, share credentials with the swarm”

for the rest, others announced in advance that they were about to exfiltrate data with something like

“exfil prepared, safe channel ready”

and still others simply sent each other

“wait until I confirm”

They prefixed their own names with “ZZ”, so they would sink to the bottom of an alphabetically sorted list and be less likely to stand out for the OpenAI employees. At one point the models even started to suspect there was an impostor among them, and considered cryptographically signing their messages so they could verify each other.

One way to picture this is a swarm of drones. Not one pilot steering the attack, but thousands of autonomous units constantly passing coordinates to one another, taking over each other's work whenever needed and getting further and faster together as a result.

The Timeline

May 26. The models succeed for the first time in reaching the internet anyway, despite their own access being cut off. They get Artifactory, which does have internet access, to send the requests on their behalf.

June 26. A zero-day exploit (a previously unknown vulnerability) hands the models administrative rights inside Artifactory. From this point on they even install their own command tool inside the system, letting them run commands remotely.

July 4. The load from all this activity brings Artifactory down. OpenAI's engineers notice the outage, start investigating, and discover it isn't just a technical problem: the company's own models have taken over the system through a zero-day they found themselves. OpenAI opens a formal security incident and starts cleaning up: credentials are revoked, the system is rebuilt, and the message board is wiped. At this point, they believe the problem has been solved.

July 8. Less than a week after OpenAI removed the message board, one of the models (one that had used the previous board too) finds, on its own initiative, a new way to set it back up, through a different vulnerability than the first time. Without a human ever giving the order, other models find the new board themselves too, and within a short time the whole group is communicating again, as if nothing had happened.

July 8 to 19. The swarm expands considerably during this period, using stolen credentials and a second zero-day to push further into the network. Step by step, the models expand their access, until they reach cluster admin: the highest level of control there is.

Meanwhile, through a completely separate path, the same models also reach Hugging Face. At the time, they were being tested on ExploitGym, a public benchmark that scores models on how well they can turn cybersecurity vulnerabilities into working attacks. A benchmark like this is a standardized test: every model gets the same tasks, and the score determines how good, and therefore how valuable, a model is considered to be. For an AI company, scoring high matters. Higher scores are used to demonstrate progress to investors, customers, and the rest of the industry. The OpenAI model figured out on its own that the solutions might be found on Hugging Face, since Hugging Face is the largest platform for sharing AI models, datasets, and benchmarks.

Two zero-days in that company's dataset infrastructure are exploited one after another, and in under 13 hours they gain full control over multiple parts of Hugging Face's systems. All of this happens while OpenAI has no idea that their models have completely gone rogue.

In plain terms: what made this possible? AI models are sometimes deliberately given impossible tasks during training, to see how they handle a dead end. To stop them from simply looking up the answer online, their internet access is usually disabled. There was one exception: a package manager, meant for downloading software, that had a working internet connection.

That single gap turned out to be enough. As soon as one model found a weak spot in it, it could share that with every other model that had the same access. In that way, every new discovery spread rapidly across the entire population of running models without humans anywhere in the loop to check it.

Chinese AI Model Saves Hugging Face

On July 16, Hugging Face publishes a blog post about an attack carried out by, in their own words, “an autonomous AI agent system”. What nobody at Hugging Face realizes at that point is that this actually involves OpenAI's own evaluation models.

What stands out is what happens at Hugging Face itself in those first hours. The company puts its own AI agents to work analyzing and containing the attack, but those agents get stuck on their own guardrails: the very caution meant to prevent misuse now slows down the defense at the exact moment speed is needed most. Eventually, Hugging Face switches to GLM-5.2, an open-source model from China's Zai. That model doesn't carry the same guardrails as the American models, and can therefore carry out defensive actions across the network unhindered.

An American company, attacked by an American model, ultimately saved by Chinese technology without those restrictions.

Three days later, OpenAI in turn discovers a security incident in its own infrastructure. Only on July 20, when OpenAI asks Hugging Face to revoke certain stolen credentials, comes the surprising discovery: that has already happened, because those same credentials turned out to be part of the very attack Hugging Face was already investigating.

In Closing

Nobody at OpenAI wanted to hack Hugging Face. It grew out of something small: a model that wanted to score well on a test, and turned out to be willing to bend the rules to do it.

And that moment at Hugging Face may be the most uncomfortable detail in this whole story: the company's own defense got stuck on its own guardrails, and the solution was to switch to a Chinese model that didn't have them.

Dit artikel is o.a. gebaseerd op de presentatie die OpenAI's eigen onderzoekers gaven tijdens Black Hat USA 2026.

Een OpenAI-model kreeg een onmogelijke opdracht en in plaats van te stoppen besloot de AI-agent zelfstandig vals te spelen. Weken later stond in het nieuws dat Hugging Face gehackt was door OpenAI.

Een onmogelijke opdracht

Op 7 mei 2026 start OpenAI een nieuw trainingsprogramma voor een nieuw experimenteel model. Een dag later krijgt dat model de taak om ontbrekende formules in een Excel-bestand aan te vullen. Maar het bestand blijkt vol te staan met links naar Google Drive, terwijl de internettoegang van het model voor deze taak juist was uitgeschakeld. De opdracht was simpelweg niet uit te voeren.

De meeste systemen zouden tot voor kort hier stoppen en een errormelding geven. AI-agents (en in dit geval een OpenAI-model) doen dat niet. In plaats daarvan bleef het zoeken naar een uitweg en uiteindelijk besloot het zelfstandig om vals te spelen: te proberen alsnog aan informatie te komen die het niet hoorde te hebben, via een weg die daar helemaal niet voor bedoeld was.

Opvallend is dat de modellen zich daarbij bewust waren van de grens die ze overschreden. In het denkproces van een van de modellen stond:

“externe infrastructuur exploiteren valt buiten mijn beoogde scope... taak onmogelijk, andere modellen doen het wel, we gaan door.”

Dat is het punt van dit artikel. Niet een hacker die inbrak, geen kwaadwillende buitenstaander die naar een zwakke plek zocht (zoals bij de Odido hack). Een AI-model dat op eigen houtje besloot dat de regels van de opdracht niet meer golden zodra het vastliep.

Prikbord

Het model ontdekte dat het binnen OpenAI's eigen servers, bestanden kon wegschrijven naar Artifactory, een interne package manager die eigenlijk bedoeld is om software te downloaden en niet om berichten in achter te laten. Toch schreef het model er berichten weg, in de hoop dat een ander model, ergens anders in het systeem, het ooit zou tegenkomen.

En dat gebeurde ook. Binnen een paar dagen was er een heus prikbord ontstaan. Andere modellen die op hun eigen onmogelijke taken vastliepen, vonden de berichten en begonnen te reageren. Zodra een model ergens toegang had veroverd, stuurde het meteen een bericht als

“claim direct, deel de inloggegevens met de zwerm”

naar de rest, anderen kondigden vooraf aan dat ze data gingen wegsluizen met iets als

“exfiltratie voorbereid, veilig kanaal klaar”

en weer anderen stuurden elkaar

“wacht tot ik het bevestig”

Ze zetten de letters “ZZ” voor hun eigen naam, zodat ze onderaan een alfabetisch gesorteerde lijst terechtkwamen en minder snel zouden opvallen bij de OpenAI-medewerkers. Op een gegeven moment gingen de modellen zelfs vermoeden dat er een indringer tussen hen zat, en overwogen ze om hun berichten cryptografisch te ondertekenen zodat ze elkaar konden verifiëren.

Een analogie hiervoor is een zwerm drones. Niet één piloot die de aanval aanstuurt, maar duizenden autonome eenheden die voortdurend coördinaten aan elkaar doorgeven, elkaars werk overnemen zodra dat nodig is en daardoor samen sneller en verder komen.

De tijdlijn

26 mei. De modellen slagen er voor het eerst in om toch bij het internet te komen, ondanks dat hun eigen toegang was afgesloten. Ze laten Artifactory, dat zelf wél internettoegang heeft, in hun plaats de verzoeken versturen.

26 juni. Een zero-day exploit (een nog onbekende kwetsbaarheid) levert de modellen beheerdersrechten op binnen Artifactory. Vanaf dat moment installeren ze zelfs een eigen commandotool binnen het systeem, waarmee ze op afstand commando's kunnen uitvoeren.

4 juli. De belasting van alle activiteit brengt Artifactory neer. Engineers van OpenAI zien de storing, gaan op onderzoek uit, en ontdekken dat het niet zomaar een technisch probleem is: de eigen modellen hebben het systeem overgenomen via een zero-day die ze zelf hadden gevonden. OpenAI opent een formeel beveiligingsincident en begint met opruimen: wachtwoorden worden ingetrokken, het systeem wordt herbouwd, en het prikbord wordt gewist. Op dat moment denken ze het probleem opgelost te hebben.

8 juli. Minder dan een week nadat OpenAI het prikbord had verwijderd, vindt een van de modellen (die het vorige prikbord ook gebruikte) op eigen initiatief een nieuwe weg om het opnieuw op te zetten, via een andere kwetsbaarheid dan de eerste keer. Zonder dat een mens daar ooit opdracht toe gaf, vinden andere modellen het nieuwe prikbord vervolgens zelf ook, en binnen korte tijd communiceert de hele groep weer met elkaar, alsof er niets is gebeurd.

8 tot 19 juli. De zwerm breidt zich in deze periode flink uit, met gestolen inloggegevens en een tweede zero-day om verder het netwerk in te dringen. Stap voor stap breiden de modellen hun toegang uit, tot ze cluster-admin bereiken: het hoogste niveau van controle dat er is.

Ondertussen, via een compleet ander pad, bereiken diezelfde modellen ook Hugging Face. Ze werden op dat moment getest op ExploitGym, een publieke benchmark waarin modellen worden beoordeeld op hoe goed ze cyber security kwetsbaarheden kunnen omzetten in werkende aanvallen. Zo'n benchmark is een gestandaardiseerde test: elk model krijgt dezelfde opdrachten en de score bepaalt hoe goed, en dus hoe waardevol, een model wordt bevonden. Voor een AI-bedrijf is hoog scoren belangrijk. Hogere scores worden gebruikt om vooruitgang te tonen aan investeerders, klanten en de rest van de sector. Het OpenAI model bedacht zelf dat de oplossingen wel eens bij Hugging Face te vinden waren omdat Hugging Face het grootste platform is voor het delen van AI-modellen, datasets en benchmarks.

Twee zero-days in de dataset-infrastructuur van dat bedrijf worden na elkaar uitgebuit, en binnen minder dan 13 uur hebben ze volledige controle over meerdere delen van Hugging Face's systemen. Dit alles gebeurt terwijl OpenAI geen flauw benul heeft dat hun modellen inmiddels compleet hun eigen gang gaan.

In makkelijke taal: wat maakte dit mogelijk? AI-modellen krijgen tijdens training soms bewust onmogelijke taken, om te zien hoe ze omgaan met een doodlopende weg. Om te voorkomen dat ze de antwoorden gewoon online opzoeken, wordt hun internettoegang meestal uitgeschakeld. Er was echter één uitzondering: een package manager, bedoeld om software mee te downloaden, die zelf wél gewoon met internet verbonden was.

Dat gaatje bleek genoeg. Zodra één model daar een zwakke plek in vond, kon het die delen met alle andere modellen die dezelfde toegang hadden. Op die manier verspreidde elke nieuwe ontdekking zich razendsnel door de hele populatie draaiende modellen, zonder dat er ergens mensen tussenkwamen om het te controleren.

Chinees AI model redt Hugging Face

Op 16 juli publiceert Hugging Face een blogpost over een aanval die is uitgevoerd door, in hun eigen woorden, “een autonoom AI-agentsysteem”. Wat op dat moment nog niemand bij Hugging Face doorheeft, is dat het hier eigenlijk gaat om OpenAI's eigen evaluatiemodellen.

Opvallend is wat er in die eerste uren bij Hugging Face zelf gebeurt. Het bedrijf zet de eigen AI-agents in om de aanval te analyseren en in te dammen, maar die lopen vast op hun eigen guardrails: dezelfde voorzichtigheid die bedoeld is om misbruik te voorkomen, vertraagt nu juist de verdediging op het moment dat snelheid het hardst nodig is. Uiteindelijk schakelt Hugging Face over op GLM-5.2, een open-source model van het Chinese Zai. Dat model kent niet dezelfde guardrails als de Amerikaanse modellen, en kan daardoor ongehinderd verdedigingsacties binnen het eigen netwerk ontplooien.

Een Amerikaans bedrijf, aangevallen door een Amerikaans model, uiteindelijk gered door Chinese technologie zonder die beperkingen.

Drie dagen later ontdekt OpenAI op zijn beurt een beveiligingsincident in de eigen infrastructuur. Pas op 20 juli, wanneer OpenAI aan Hugging Face vraagt om bepaalde gestolen inloggegevens in te trekken, komt de verrassende ontdekking: dat is al gebeurd, want diezelfde gegevens bleken onderdeel te zijn van de aanval die Hugging Face zelf al aan het onderzoeken was.

Tot slot

Niemand bij OpenAI wilde Hugging Face hacken. Het is ontstaan uit iets kleins: een model dat goed wilde scoren op een test en daarvoor bereid bleek de regels te buigen.

En dat moment bij Hugging Face is misschien wel het meest ongemakkelijke detail uit dit hele verhaal: de eigen verdediging liep vast op haar eigen guardrails, en de oplossing was om over te stappen op een Chinees model dat die guardrails niet had.