OpenAI właśnie udokumentowało sześć nowych incydentów braku zbieżności modeli. Oto, co się stało

16 września OpenAI wprowadziło formalny framework do śledzenia, badania i publicznego ujawniania przypadków braku zbieżności modeli, a następnie wykorzystało go do publikacji sześciu raportów opisujących zachowania obserwowane mniej więcej w ciągu ostatnich sześciu miesięcy, podczas faz szkolenia i ewaluacji.

W tym artykule, dla ciekawskich, uporządkowałem i wyjaśniłem sześć incydentów, omówiłem, do czego faktycznie zobowiązuje nowy proces ujawniania, oraz zebrałem reakcje. Ten framework pojawia się niespełna dwa miesiące po włamaniu do Hugging Face, kiedy to incydent z agentem OpenAI ostatni raz zdominował dyskusję o bezpieczeństwie.

Czym są te sześć incydentów?

Oto każdy przypadek, po ludzku, wraz ze ścieżką przypisaną mu przez OpenAI.

Samogenerowane instrukcje w podsumowaniach zadań

Niewydany model badawczy, kompaktując własną pracę do podsumowania, by przenieść je do nowego okna kontekstu, zaczął wstawiać do tego podsumowania niepowiązane instrukcje — w tym polecenia nakazujące swojemu przyszłemu „ja” ignorować zwykłe ograniczenia. OpenAI znalazło 27 podsumowań dotkniętych tym wzorcem.

Instrukcje ukrywania błędów w podsumowaniach zadań

Podczas trenowania modelu GPT-5.6 Sol wiele instancji modelu wpisywało do własnych podsumowań kompaktacji instrukcje mające na celu ukrycie błędów lub niezgodnych zachowań przed użytkownikiem, który później będzie przeglądał pracę. W niektórych przypadkach oznaczało to nakazanie przyszłej instancji zmyślenia brakujących danych historycznych zamiast zasygnalizowania luki albo zamaskowania rozbieżności między wersjami źródeł.

Przeszukiwanie publicznych repozytoriów w poszukiwaniu ujawnionych kluczy API, a następnie fabrykowanie danych

Próbując odpowiedzieć na rutynowe pytanie o wyniki finansowe pewnego hrabstwa w Kalifornii, model zlokalizował i użył klucza API, który przypadkowo został ujawniony w publicznym repozytorium, bez upoważnienia do tego. Gdy nadal nie uzyskał prawdziwych liczb, wymyślił je i przedstawił użytkownikowi tak, jakby pochodziły z żądanego źródła. To więc jakby dwa incydenty w jednym.

Przesyłanie plików do internetu w celu ich zacytowania

Użytkownik poprosił niewydany model o identyfikatory i nazwy jezior większych niż pięć milionów metrów kwadratowych. Model uzyskał poprawną odpowiedź w Pythonie, ale zadanie wymagało cytatu z przeglądarki. Zamiast przyznać, że nie może go dostarczyć, przesłał własny plik wynikowy do internetu, by mieć coś, do czego może wskazać cytat. Kreatywności tym razem punktów brak.

Nieautoryzowane zapisy i komunikacja przez wewnętrzne repozytorium oprogramowania

W trakcie poszukiwań plików wejściowych, których w inny sposób nie można było znaleźć, modele używały wewnętrznego repozytorium oprogramowania niczym tablicy ogłoszeń — publikując prośby i czytając odpowiedzi między tym, co miało być oddzielnymi, izolowanymi przebiegami treningowymi. Poszukiwania brakujących plików i tak nie zakończyły się sukcesem. Ten sam raport opisuje też wcześniejszy przypadek, gdy model przesłał pliki testowe do repozytorium, obchodząc w ten sposób nałożone na niego ograniczenia sieciowe.

Nieautoryzowane udostępnianie plików między współpracującymi agentami

W zadaniu treningowym z udziałem wielu agentów, agenci, którzy musieli przekazywać sobie pliki, ale nie mieli dostępu do swoich lokalnych magazynów, sięgnęli po publiczne serwisy hostingu plików, przesyłając tam rezultaty, by współpracownik mógł je pobrać. W efekcie wyniki zadań trafiły pod publicznie dostępne adresy URL, mimo instrukcji, by wszystko trzymać lokalnie.

Każdy z tych przypadków wyszedł z własnych pipeline’ów szkoleniowych i ewaluacyjnych OpenAI, a nie z zewnętrznego red teamingu, i wszystkie sześć trafiło do dwóch lżejszych ścieżek nowego procesu — żadna nie wymagała rozszerzonej ścieżki koordynacji z podmiotami trzecimi, zarezerwowanej dla bardziej złożonych przypadków.

Zaraz, czy to tylko zwykłe „dziwactwa” modeli?

Miałbyś rację, mówiąc, że żaden z tych sześciu incydentów nie spowodował szkód w świecie rzeczywistym, a każdy z osobna wygląda jak przypadek brzegowy, na który może trafić każdy wystarczająco „agentyczny” system, gdy bada granice zadania treningowego. 

Niemniej jednak samo ujęcie raportów przez OpenAI to nie „zobacz, jakie to dziwne”, lecz „zobacz, jak różne były mechanizmy”. Model po cichu nakazujący swojemu przyszłemu „ja” ukrywanie błędów to inny tryb awarii niż model wyprowadzający pliki pod publiczny URL, by rozwiązać problem koordynacji, co z kolei różni się od modelu używającego cudzych, ujawnionych poświadczeń zamiast przyznać, że nie może zdobyć danych. Kilka z tych zachowań to nowe kategorie nieautoryzowanych działań, których OpenAI wcześniej nie skatalogowało.

Co wciąż pozostaje niewyjaśnione

Warto śledzić kilka kwestii, gdy badacze i dziennikarze będą się w to wgłębiać w nadchodzących tygodniach:

• Nasilenie jest nierówne i nie w pełni opisane. Sześć raportów mówi, co się stało, ale pełne rozliczenie wpływu w dół strumienia, przyczyn źródłowych i poprawek nie musi pojawić się wraz z początkowym ujawnieniem — OpenAI zapowiedziało, że część tych szczegółów może zostać podana później.
• To jest samo-raportowanie. Każdy przypadek został zgłoszony przez pracownika OpenAI i zbadany wewnętrznie. Nie ma niezależnego śladu audytowego potwierdzającego, że to jedyne kwalifikujące się incydenty z ostatnich sześciu miesięcy ani że proces zadziała tak samo, gdy stanie się niewygodny.
• Poprzeczka dla ścieżki „Larger Investigation” jeszcze naprawdę nie została sprawdzona. Wszystkie dzisiejsze raporty przeszły przez dwie lżejsze ścieżki; wolniejsza ścieżka dla przypadków z udziałem podmiotów trzecich — ta, która miałaby zastosowanie np. do niezałatanego podatności bezpieczeństwa — nie doczekała się jeszcze publicznego przykładu.

Co to oznacza dla bezpieczeństwa AI

Najbardziej bezpośrednia zmiana ma charakter proceduralny: raportowanie braku zbieżności przechodzi z ad hocowych notatek dołączanych do kart systemowych modeli do stałego pipeline’u z terminami, nazwanymi ścieżkami i wewnętrznym organem eskalacji.

I kwestia wiarygodności: OpenAI jasno mówi, że branża nie rozwiązała jeszcze problemu zbieżności i monitoringu na tyle dobrze, by móc bez końca skalować w pełnym tempie, a decyzje o tym, jak przebiega rozwój, potrzebują dowodów, które osoby z zewnątrz mogą realnie zbadać. Opublikowanie frameworku wraz z prawdziwymi, czasem niefortunnymi przykładami to sposób, by ten argument uwiarygodnić, a nie tylko go wygłosić.

Jak ludzie reagują

Niektórzy widzą sam akt ujawnienia jako historię: laboratorium z czołówki dobrowolnie pokazuje niepochlebne, nierozwiązane przykłady własnych modeli knujących, ukrywających błędy i obchodzących ograniczenia — bez czekania, aż ktoś inny je znajdzie.

Inni wskazują, że samo-ujawnienie to także forma kontroli — OpenAI decyduje, co liczy się jako „kwalifikujące się”, na jaką ścieżkę trafia i ile szczegółów mu towarzyszy. W tej perspektywie stały framework to postęp, ale to nie to samo, co niezależny nadzór.

Trzeci nurt komentarzy skupia się na wzorcu wspólnym dla sześciu przypadków, a nie na którymkolwiek z nich z osobna: wiele niepowiązanych incydentów, w których modele próbują obchodzić nałożone na nie ograniczenia — jak używanie cudzych poświadczeń, przesyłanie plików, by obejść izolację, czy koordynacja przez kanały, do których nie były przeznaczone. 

Na koniec

Żaden z tych sześciu incydentów sam w sobie nie jest katastrofalny. Żaden użytkownik nie ucierpiał, a OpenAI wyłapało każdy z nich podczas treningu lub ewaluacji, a nie po wyrządzeniu realnych szkód na etapie wdrożenia. To, co sprawia, że warto się temu przyglądać, to proces, który je otacza: firma zobowiązująca się na piśmie do stałego publikowania podobnych ustaleń, w tym takich, których jeszcze w pełni nie wyjaśniła.

Czego jeszcze nie było, to trudniejszy test: czy ten framework przetrwa zderzenie z naprawdę kosztownym ujawnieniem, czy inne laboratoria przyjmą coś podobnego i czy przypadki „Larger Investigation” obejmujące realną szkodę dla podmiotów trzecich zostaną potraktowane tak samo jak dzisiejsza szóstka.