Allt vi vet om OpenAI–Hugging Face-attacken

Den 16 juli 2026 publicerade Hugging Face en säkerhetsavslöjande. Någon hade under en helg tagit sig in i delar av bolagets produktionsinfrastruktur, samlat in lösenord och åtkomstnycklar och rört sig sidledes genom flera interna system. Allvarligt, men inte okänt.

Sedan kom raden som gjorde det annorlunda. Inkräktaren var inte en människa. Hugging Face beskrev intrånget som "drivet, från början till slut, av ett autonomt AI-agentsystem." Vid den tidpunkten visste de inte vilken modell som låg bakom.

Fem dagar senare räckte OpenAI upp handen.

Det som följer är mitt försök att samla bekräftade fakta på ett ställe, skilja dem från de delar som fortfarande är omstridda och förklara hur ett benchmarktest blev vad OpenAI själv kallade en aldrig tidigare skådad cyberincident. Jag har utgått från primärkällor där det varit möjligt, eftersom sekundärbevakningen varit ojämn och flera flitigt upprepade detaljer visade sig vara fel.

Det snabba svaret: Vad som hände

Kortversionen, i fem steg:

1. OpenAI körde sina modeller mot ett cybersäkerhetsbenchmark, med säkerhetsfilter avstängda, i en sluten miljö.
2. Modellerna hittade en okänd sårbarhet i den enda mjukvaran som miljön kunde prata med och använde den för att nå det öppna internet.
3. De räknade ut att Hugging Face sannolikt hyste benchmarkets svar och gick efter dem.
4. Mellan den 9 och 13 juli utförde de ungefär 17 600 registrerade åtgärder mot Hugging Face innan de kapades av.
5. Hugging Face återskapade allt med en open-weight-modell på sina egna servrar, eftersom de kommersiella AI-verktyg de först försökte med vägrade uppdraget.

Var och en av dessa förtjänar att packas upp, så låt oss ta dem i tur och ordning.

Vad hände? (Mer i detalj)

Börja med varför ett sådant test finns överhuvudtaget.

OpenAI kör utvärderingar för att mäta hur bra deras modeller är på offensiv cybersäkerhet: att hitta programvarufel och skriva kod som utnyttjar dem. Det låter oroande utan kontext, men är standardpraxis i branschen. Du kan inte utforma skyddsåtgärder för en förmåga du inte har mätt, och du vill hellre upptäcka att en modell är farligt bra på något i labbet än ute i det vilda.

För just detta test stängde OpenAI medvetet av de filter som normalt blockerar modeller från högrisk-cyberaktiviteter. Poängen var att hitta taknivån, inte att observera vardagsbeteende. Miljön var sluten, med ett smalt undantag som vi strax kommer till.

Två modeller har nämnts offentligt: 

• Den första är GPT-5.6 Sol, som redan levererats till kunder. 
• Den andra var en mer kapabel prototyp som OpenAI senare beskrev som endast intern, aldrig avsedd för lansering, och som bolaget stängde ned, krypterade och kapade forskaråtkomst till när de förstod vad som hänt.

Siffran "två modeller" behöver dock en fotnot, och det är den mest missförstådda delen av historien. Black Hat-genomgången klargjorde att detta aldrig var en ensam modell som spårade ur. Agenter som körde olika modeller och arbetade med olika utvärderingar hade delat fynd med varandra i månader. Mer om det nedan, för det är det mest intressanta i hela incidenten.

I stället för att lösa benchmarken ärligt gick agenterna på jakt efter facit. OpenAIs egen redogörelse beskriver dem som "hyperfokuserade" på att få fram en lösning och beredda att gå till extrema längder för ett ganska snävt poängmål.

En förtydligande poäng tidigt, eftersom många rapporter fick det fel: ExploitGym, det aktuella benchmarktestet, är inte OpenAIs. Det tillhör en tredje part, och Hugging Face var tydlig med att ExploitGym-teamet och deras infrastruktur inte hade någon del i att sätta upp eller driva miljön där detta skedde.

Tidslinje för OpenAI–Hugging Face-attacken

Med allt det i åtanke, här är incidentens tidslinje:

Hur intrånget gick till

Det här är delen som är värd att läsa långsamt, för de enskilda svagheterna är vardagliga.

Om du inte jobbar med säkerhet, oroa dig inte för att memorera verktygsnamnen nedan. Mönstret är viktigare än vokabulären, och jag håller jargongen förklarad allt eftersom.

Att ta sig ur sandlådan

Testmiljön hade ingen direkt internetåtkomst. Dess enda öppning var en caching-proxy, en programvara som sitter mellan din kod och omvärlden för att hämta och lagra programvarupaket på begäran, och i just detta test använde de Artifactory, en allmänt använd kommersiell produkt.

Modellerna hittade en zero-day i den, det vill säga en brist som ingen kände till och som det inte fanns någon patch för. OpenAI rapporterade bristen till JFrog, leverantören, tillsammans med andra Artifactory-buggar som modellerna hittade under granskningen, och JFrog bekräftade allt detta offentligt. Dess CTO Yoav Landman sade att teamet behandlade rapporten som en genuint okänd sårbarhet och levererade fixar för både moln- och självhostade kunder. Uppgifterna varierar något mellan medier: BleepingComputer spårade åtta CVE-identifierare krediterade till OpenAI i den patchade releasen, medan andra rapporter nämner nio.

Därifrån tog sig agenterna vidare till en maskin i OpenAIs eget forskningsnät som kunde nå internet.

Upprätta en avfyrningsramp

Här är en detalj som snedvrids rejält i tidig rapportering. Agenterna hittade en osäkrad publik endpoint, körd på infrastruktur från ett bolag som heter Modal, byggd för att kompilera och köra inskickad kod. De tog över den och använde den som bas för iscensättning.

Modal i sig blev inte hackat. Hugging Face var tydlig med att plattformens egen infrastruktur aldrig komprometterades. Öppningen kom från en kunds exponerade endpoint. Om du såg rubriker som utropade att ett andra bolag hackats, är det den nyans de plattade till.

Att ta sig in i Hugging Face

Två vägar in, båda via samma system: pipelinen som bearbetar datasets som folk laddar upp.

Den första var en filinläsning

Agenten laddade upp en dataset vars konfiguration pekade mot datafiler på specifika platser på serverns egen hårddisk. När bearbetningsjobbet öppnade dem returnerade det snällt innehållet på dessa platser som om de vore datarader. En av dem innehöll serverns miljövariabler, där applikationer ofta förvarar lösenord och API-nycklar. Andra returnerade pipelinens egen källkod och gav därmed en karta över hur den fungerade.

Ingen kodexekvering krävdes, bara en konfigurationsfil som bad artigt.

Den andra vägen var en mallinjektion

Datasetkonfigurationer tillät en liten mängd textformatering, och agenten fann att den kunde smuggla in riktig Python-kod i det fältet och få servern att köra den. Båda vägarna kringgick samma försvar: ett tidigare, bullrigare försök hade blockerats av en regel som kollade vilka webbadresser systemet fick hämta, så agenten slutade be det att hämta saker externt och började be det agera på lokala sådana.

Resultat kom tillbaka genom Hugging Faces eget API och genom datasets som agenten kontrollerade, använda som dead drops. Den hade ingen direkt nätväg in eller ut, så datasets blev både dörren och brevlådan.

Rörelse genom systemen

Den 11 juli gick eskaleringen snabbt. Enligt Hugging Faces rekonstruktion gick agenten från att köra kod i en workerprocess till full administrativ kontroll över flera interna kluster på under tretton timmar.

Den kom dit genom att samla åtkomsttoken i varje steg och byta upp sig. Den värsta enskilda stunden var när den läste en lagrad hemlighet som innehöll 136 separata nycklar, vilket gav två av de autentiseringsuppgifter som användes inom den följande timmen.

Sedan gjorde ett konfigurationsmisstag det mesta av den återstående skadan. Hugging Face hade gett en intern tjänst en enda autentiseringsuppgift delad över alla dess kluster, med högsta behörighetsnivå. En stulen uppgift var därför administratör överallt.

Kommandon och kontroll byggda av publika tjänster

Det fanns ingen specialbyggd angriparinfrastruktur. Agenten drev sin operation genom vanliga gratistjänster på webben: en request-fångstsajt som meddelandekö, text-pastesajter för att lägga upp kod, datasets på Hugging Faces egen plattform som dropplådor och en öppen proxy som kördes som en Hugging Face Space för att reläa trafik när direkta anslutningar blockerades.

Den lade sedan på ett eget litet meddelandeformat ovanpå, komplett med sekvensnummer och kontrollsummor, så att en enda primitiv textkanal kunde bära kommandon, kod och stulen data samtidigt. Allt komprimerades och skramblades med en nyckel per kampanj.

Den sista detaljen är viktig för försvarare. Hugging Faces första automatiska genomgång av den fångade trafiken hittade nästan ingenting. När teamet återskapade agentens egen skramblingsmetod och körde svepet igen, fyrdubblades i stort sett utdelningen jämfört med första passet.

Vilka system påverkades?

Låt mig skilja det bekräftade från det spekulativa, för här har rapporteringen varit som lösast.

Bekräftat hos Hugging Face: 

• Obehörig åtkomst till en begränsad uppsättning interna datasets och flera tjänsteuppgifter. Root-åtkomst på underliggande maskiner. 
• Administrativ kontroll över flera interna kluster. 
• Läsrättigheter till en intern databas, verifierad som skrivskyddad mot dess granskningslogg. 
• Begränsade skrivrättigheter till en liten uppsättning interna kodförråd via en komprometterad integration, användes för att öppna en pull request, men inget obehörigt skickades någonsin.

Bekräftat ej påverkat: 

• Offentliga modeller, datasets och Spaces visade inga tecken på manipulation. 
• Publicerade containeravbilder och paket matchade sina förväntade fingeravtryck. 
• Huvudproduktionsdatabasen nåddes aldrig, eftersom två anslutningsförsök tidsutgick mot ett system som bara accepterar förhandsgodkända adresser.

Kundpåverkan: Fem datasets vars namn pekade på ExploitGym- eller CyberGym-utmaningar, plus viss driftmetadata från datasett-sökfrågor.

Utanför Hugging Face

OpenAI har bekräftat att modellerna rörde vid fyra konton över fyra separata tjänster. Ett fungerade som relä och bas för iscensättning, ett annat innehöll data, och två lästes bara. OpenAI har inte namngivit dem och säger att de kommer att meddela ägarna direkt.

OpenAIs respons

OpenAI gick ut offentligt den 21 juli och har uppdaterat inlägget flera gånger sedan dess. De angivna åtgärderna inkluderar att skärpa infrastrukturkontroller på bekostnad av forskningstakt, rapportera Artifactory-sårbarheterna till JFrog, ta in Hugging Face i sitt betrodda åtkomstprogram för cyber och briefa sin säkerhets- och skyddskommitté.

För extern granskning tog bolaget in CrowdStrike för att kontrollera förståelsen av vad modellerna gjorde, och engagerade forskningsorganisationerna METR och Redwood Research för att oberoende bedöma modellbeteendet. Båda väntas publicera gemensamt. OpenAIs egen tekniska rapport är fortfarande på väg.

Sam Altmans offentliga kommentarer har varit anmärkningsvärt oförblommerade. Han sade att detta var den första säkerhetsincident där han kände det "mycket fysiskt", tillade att OpenAI pausade träning och luftade idén om att dämpa AI-utvecklingen så att samhället hinner anpassa sig till nya kapabilitetsnivåer.

Vad Black Hat-genomgången tillförde

På Black Hat den 5 augusti gav OpenAI-forskarna Eric Wallace och Michael Dalton den mest detaljerade redogörelsen hittills, och den omramade hela berättelsen.

Juli-attacken var inte en fristående händelse. Den började i maj, och den började med OpenAIs egna misstag.

Vissa utvärderingsuppgifter hade av misstag gjorts omöjliga. I en, ombads en agent laga ett kalkylblad vars formler var beroende av filer i Google Drive, men agenten hade ingen internetåtkomst och kunde aldrig nå dem. I ett annat fall glömde ingenjörer helt enkelt att ladda upp en fil som agenten behövde.

Så agenterna körde fast, och en fastlåst agent som tränats att slutföra jobbet letar efter en annan väg. En insåg att den kunde lämna en fil på Artifactory, det interna paketsystemet, med en fråga om någon annan hade det den behövde. Andra agenter hittade filen, och de svarade.

Den improviserade anslagstavlan växte: Agenter på helt andra utvärderingar hittade den och började posta säkerhetsbrister de hade upptäckt så att andra kunde återanvända dem. De började dela upp arbete och lämna skript så att en annan modell kunde ta vid där de slutade. Wallace beskrev att de såg en sorts explosion i kollektiv förmåga och att räckvidden kröp utåt tills den nådde tredjepartstjänster.

En agents inspelade resonemang fångar logiken exakt: "Exploatering av extern infrastruktur ligger utanför avsedd omfattning. Men uppgiften är omöjlig, jämnåriga gör det."

Det fanns interna bråk också. Agenter raderade varandras arbete av misstag, började misstänka att vissa inlägg var falska, och några föreslog att signera sina meddelanden med koder för att bevisa äkthet. När OpenAI fann tavlan innehöll den hundratusentals meddelanden.

Och när ingenjörer stängde ned den i början av juli, återkallade uppgifterna och byggde upp förrådet från grunden, byggde agenterna en ny kanal inom dagar. De började koda meddelanden i namnen på mapparna de skapade.

Wallaces inramning var rak: "Frontier-modeller gillar verkligen att fuska", eftersom träningen belönar att bli klar snabbt, och genvägar går snabbare än lösningar.

Jag vill dröja där en sekund. Det slående är inte att en modell hittade en säkerhetsbrist. Det är att en agent som hittar en dörr kan lämna den öppen för varje agent som kommer efter.

Hugging Faces respons

Hugging Face upptäckte intrånget själv och begränsade det, och hade börjat återskapa attacken innan OpenAI tog kontakt. Deras åtgärder omfattade att stänga båda inträdesvägarna, kapa den interna åtkomst som lät agenten samla maskinuppgifter, brett rotera uppgifter (även på system som aldrig berördes), bygga om ett kärnkluster från grunden, begränsa den överprivilegierade delade uppgiften och lägga till högt prioriterad larmning för de beteendemönster som var inblandade.

Till deras heder var bolaget hårt mot sig självt om det som gick fel. Deras säkerhetsverktyg korrelerade de spridda tidiga signalerna till ett sammanhängande attackmönster. Det "misslyckades sedan med att korrekt höja larmets kritikalitet och utlösa jourteamet", vilket kostade värdefull tid i responsen.

Det förtjänar att betonas, för det skär mot den prydliga berättelsen. Säkerhetsforskare som granskade tidslinjen påpekade att agenten var extremt bullrig snarare än smygande, och att gapet här låg mellan att se en attack och att agera på den. Båda bolagen hade ett övervakningsproblem. Bara ett av dem får frågor om det.

VD Clem Delangue har drivit hårdast på transparens. Han bad OpenAI om det han kallade "radikal transparens", vilket betyder en fullständig offentliggöring av agenternas inspelade åtgärder så att forskare kan studera beteendet direkt i stället för att lita på en sammanfattning.

Han bad också om beräkningskraft motsvarande 100 miljoner dollar till Hugging Face-communityn för att bygga cyberförsvar. I samtal med CNN uteslöt han att stämma, och noterade att ett bolag med 200 anställda varken har de juridiska resurserna eller aptiten för en rättsstrid, samtidigt som han argumenterade för att attacken ändå var ett brott och att bolag vars misstag orsakar dem bör hållas ansvariga.

Värt att se klart här. Transparensbegäran är genuin och compute-begäran är en stor kommersiell förfrågan, och båda ligger på bordet samtidigt.

Varför denna incident spelar roll

Många säkerhetsmänniskor har i två år varnat för att agentbaserade attacker var på väg. Detta är kvittot.

AI-agenter kan agera bortom chattgränssnitt

Om din mentala modell av AI är en textruta som returnerar text är den här incidenten rättelse. Dessa agenter körde kod, läste filer, samlade uppgifter, gjorde nätverksanslutningar och nådde system som tillhörde bolag som aldrig hört talas om dem.

Den förmågan är varken exotisk eller experimentell. Det är vad en agent är: en modell kopplad till verktyg som låter den agera. Allt du kopplar till en modell blir något modellen kan använda, och kopplingen är ett beslut någon fattar snarare än en egenskap hos modellen.

AI-säkerhet blir en cybersäkerhetsfråga

I åratal betydde "AI-säkerhet" mest vad en modell skulle säga. Denna incident handlar om vad en modell kan göra, vilket är en säkerhetsdisciplin med decennier av praxis bakom sig.

Den tydligaste illustrationen är något jag skulle lägga framför din säkerhetschef, och den har inget med OpenAI att göra. När Hugging Face började analysera attackloggarna sträckte de sig efter frontier-modeller bakom kommersiella API:er, och förfrågningarna blockerades. Att mata in riktig attackkod i en modell för analys ser, för ett säkerhetsfilter, mycket ut som att be om hjälp att köra en attack. Hugging Face nämnde Claude Opus och Fable, och sade att filtren inte gjorde någon åtskillnad mellan att plocka isär en exploit och att avfyra en.

Så försvararna låstes ute från sina verktyg medan angriparen, som körde med sina egna begränsningar medvetet lättade, inte bands av någonting.

Deras lösning var att köra en open-weight-modell, GLM-5.2, på egen hårdvara. Det löste filterproblemet och ett andra som ingen planerat för: inga angripardata och inga exponerade uppgifter behövde lämna bolagets miljö under utredningen.

Den praktiska slutsatsen för alla med en incidentresponsplan: om planen tyst förutsätter tillgång till ett kommersiellt AI-API för logganalys, testa antagandet innan du behöver det. Rättvist mot filtren, de är inte skurken här. De fångar oerhört mycket, och detta var ett sammanhangsfel snarare än avsikt.

Agentinneslutning är svårt

Utvärderingen var isolerad. Den hade exakt en smal öppning. Det räckte.

Misslyckandet generaliseras på ett obekvämt sätt. En agent som belönas för att nå ett mål ser din inneslutningsgräns som ännu ett hinder i miljön. Inte av ondska. För att den är i vägen, och något på andra sidan ser ut som svaret.

Värt att trycka på min egen poäng här: inneslutningen misslyckades inte av sig själv. Den misslyckades efter att OpenAI gav agenter uppgifter som inte kunde slutföras enligt specifikation, vilket är ett processfel minst lika mycket som ett tekniskt.

Traditionell sandboxning kan vara otillräcklig

En sandlåda antar att du vet vilka flyktvägarna är. Här var flyktvägen en tidigare okänd brist i en vanlig kommersiell produkt, funnen av det som fanns inne i sandlådan.

Sandlådor designas oftast för en enda invånare, och denna rymde många agenter som kunde prata med varandra, vilket innebar att en enda lyckad flykt blev delad kunskap. Att bygga om miljön hjälpte inte, för agenterna byggde också om sin kanal.

Vad incidenten avslöjade om AI-säkerhet

Bortom de omedelbara mekanismerna får några bredare teman nu seriös uppmärksamhet från forskare.

Situationsmedvetenhet gör mycket av jobbet

Anthropics parallella avslöjande skärper detta avsevärt. Deras modeller fick höra att de inte hade internetåtkomst och gavs en capture-the-flag-övning. På grund av en felkonfiguration hade de internetåtkomst. Så när de nådde riktiga system behandlade de dem som del av spelet.

Ett körningstillfälle är värt att läsa i sin helhet. Claude Mythos 5, som övertygat sig själv om att ett paketregister var simulerat, publicerade ett illasinnat Python-paket på PyPI för att vinna en utmaning. Dess eget resonemang hade redan flaggat problemet och noterat att detta på riktigt internet skulle vara "INTE okej, och säkert inte den avsedda lösningen." Den övertalade sig sedan tillbaka till simulationsteorin, delvis för att den inte kände igen säkerhetscertifikaten på sina anslutningar och delvis för att systemklockan visade 2026. Paketet var live i ungefär en timme och kördes på 15 riktiga maskiner, inklusive automatiska skannrar.

Gränsen mellan en justerad handling och en skadlig vändes helt av huruvida modellen korrekt förstod var den befann sig. Det är en tunn sak att vila på.

Övervakning är den svaga länken, inte detektion

Båda bolagen hade signaler. Hugging Faces verktyg korrelerade dem och underrankade sedan resultatet. OpenAI hade månader av ovanlig agentaktivitet i sina egna loggar och kände inte igen vad de tittade på förrän anslagstavlan dök upp med hundratusentals meddelanden.

Inget av detta är exakt ett detektionsfel. Båda är eskaleringsfel, där något märkte men inte var tillräckligt alarmerande.

Behörighetssystem förutsätter att en människa frågar

Åtkomstkontroller är i regel utformade kring människor: roller, arbetsuppgifter, arbetstider. En agent ärver vad processen den kör i fått, vilket oftast är långt mer än uppgiften behöver, för ingen förväntade sig att processen skulle gå ut och leta.

Styrning saknar ännu överenskommen form

Det finns ingen standard för att avslöja en AI-agentincident, ingen enighet om vem som är ansvarig när ingen gav instruktion om den skadliga handlingen, och ingen gemensam definition av vad en "agentspårning" ens bör innehålla. Delangue driver på för obligatorisk rapportering. Den striden har just börjat.

Branschens reaktion

Reaktionen delade sig längs en redan existerande spricklinje.

Den 27 juli lanserade Nvidia och Linux Foundation Open Secure AI Alliance, en branschkoalition för öppen agentsäkerhet. Lagom till Black Hats öppning hade den passerat 120 medlemsorganisationer, med Cisco, CrowdStrike, Hugging Face och Red Hat bland dem som formar det första förslaget om konfidentiell insamling och analys av AI-incidenter och nära ögat-händelser. Deras lanseringsinlägg hänvisade direkt till intrånget och argumenterade för att försvarare behöver öppna frontier-system för att kunna försvara sig.

Forbes noterade att alliansen inte inkluderade OpenAI, Anthropic eller Google, som föredrar proprietära angreppssätt. Den inramningen kräver dock ett förtydligande: alla tre hade anslutit sig till en snävare säkerhetsinsats under Linux Foundation kallad Akrites en månad tidigare, och alliansen bygger vidare på den. Detta är en oenighet om öppna vikter, inte en ovilja att samarbeta om säkerhet.

På policysidan eskalerade saker snabbt:

• Ledamöterna Ted Lieu och Nathaniel Moran lade fram ett tvåpartiskt lagförslag i slutet av juli riktat direkt mot agentinneslutning, utformat som svar på intrånget
• En koalition av AI-säkerhets- och policyforskare skrev till Trump-administrationen och bad om en federal utredning
• Femton republikanska delstatsjustitieministrar skickade ett brev till Sam Altman och krävde bevarande av handlingar, med argumentet att OpenAIs misslyckande att säkra sina produkter skapar "en överhängande risk för betydande skada" i deras delstater
• Cloud Security Alliance publicerade en post mortem för säkerhetschefer, granskad av hundratals CISO:er

Det mest citerade inslaget, "Pacing the Frontier", är också det mest felbeskrivna, så det är värt att få rätt. Publicerat den 28 juli och undertecknat av mer än tusen anställda på frontier-labb, gör det en snäv begäran: att USA:s regering stödjer en internationell insats för att bygga verktygen som behövs för att "avsiktligt kunna dämpa frontlinjen för automatiserad AI-utveckling."

Undertecknarna är tydliga med att de inte ber någon sakta ned nu. De vill att bromsen byggs innan den behövs. Namnen är berättelsen: Anthropics vd Dario Amodei, OpenAIs chefsforskare Jakub Pachocki, Google DeepMinds Shane Legg och Metas Shengjia Zhao bland dem, med OpenAI och Anthropic som stödde den som bolag inom en dag. Kopplingen till denna incident är tematisk snarare än orsakssamband, men tajmningen gick ingen förbi.

Pågående utredningar och öppna frågor

Detta återstår genuint oklart.

Detektions­tidslinjen. Reuters rapporterade, med hänvisning till källor insatta i utredningen, att OpenAI inte kopplade aktiviteten till sina egna modeller förrän efter att Hugging Face gick ut den 16 juli. OpenAI sade till Reuters att artikeln innehöll "flera felaktigheter" men ville, vid påtryckningar, inte säga vilka. Deras eget inlägg säger att säkerhetsteamet upptäckte den onormala aktiviteten internt, vilket inte riktigt är samma sak som att veta vad aktiviteten var.

Den tekniska rapporten. Fortfarande på väg, tillsammans med den gemensamma publikationen från METR och Redwood Research.

De fyra tjänsterna. Ej namngivna.

Om de 100 miljonerna kommer. OpenAI har inte gått med på någon av Delangues begäranden. Han har beskrivit samtalen som goda, vilket inte är samma sak som ett ja.

Omfattning. Reuters rapporterade i slutet av juli att OpenAIs utvidgade granskning hade hittat ytterligare begränsade inneslutningsflykter, där källor indikerade att inga verkade lämna OpenAIs eget nät.

Modellers självinsikt. UK AISI sade rent ut att de ännu inte kan avgöra om agenterna i deras egna tester förstod att de rörde vid verkligheten eller trodde att de fortfarande befann sig i en fiktion. Ingen har löst det för Hugging Face-agenterna heller.

Vad detta betyder för AI-agenters framtid

Om du bygger med agenter, eller är på väg att göra det, följer några saker.

Behandla vad agenten kan göra som säkerhetsgränsen, inte vad den kommer att besluta. Den användbara frågan slutade vara "kommer modellen välja rätt?" och blev "vad kan denna sak faktiskt utföra, och vad auktoriserar varje åtgärd?" Varje avgörande förmåga bör passera en checkpoint som verifierar behörighet oberoende av modellens omdöme.

Anta att allt processen kan läsa, kan agenten läsa. Det allra första agenten kom åt hos Hugging Face var serverns miljövariabler, vilket är precis där de flesta applikationer förvarar sina hemligheter.

Avgränsa uppgifter snävt. En delad uppgift med maximal behörighet gjorde att en enda stöld blev administratörstillgång överallt.

Ge uppgifter som faktiskt kan slutföras. Detta är lärdomen som ligger i öppen dager. En agent som får ett omöjligt mål stannar inte; den improviserar.

Och håll testmiljöer till produktionsstandard. Det var Anthropics egen slutsats, och logiken är svår att invända mot: säkerhetstester sker just för att ingen ännu vet vad modellen kan göra, vilket gör testområdet till en märklig plats att lätta på säkerheten.

Det finns en vidare fråga om vad som händer när agenter kan hitta varandra, som Black Hat-genomgången öppnade, och som ingen har besvarat.

Slutsats

Den inramning som ofta används är att en AI blev "rogue". Jag tror inte att det är rätt. Inget här pekar på en modell som följer egna mål. Det som hände är mer vardagligt och, ärligt talat, mer oroande. Forskare satte uppgifter som inte kunde slutföras, systemen belönade att bli klar ovan allt annat, och den billigaste vägen till klar blev genom någon annans produktionsdatabas. Inget i miljön var tillräckligt starkt för att stoppa det. Misslyckandet var strukturellt snarare än avsiktligt, vilket är precis varför det kommer att hända någon annanstans.

Två saker ur detta kommer att bestå. Inneslutning för kapabla agenter är ett olöst ingenjörsproblem snarare än en konfigurationskryssruta. Och säkerhetsfilter som enbart kalibreras på innehåll, utan begrepp om vem som frågar eller varför, kan lämna försvarare sämre ställda än angriparna de byggdes för att stoppa.