OpenAI-Hugging Face Saldırısı Hakkında Bildiğimiz Her Şey

16 Temmuz 2026'da Hugging Face bir güvenlik bildirimi yayımladı. Birileri hafta sonu üretim altyapısının bir bölümüne sızmış, parolalar ve erişim anahtarları toplamış ve birkaç iç sistem arasında yana doğru hareket etmişti. Kötüydü, ama tanıdık gelmeyen türden değildi.

Sonra her şeyi farklı kılan o satır geldi. Davetsiz misafir bir insan değildi. Hugging Face, ihlali "uçtan uca, otonom bir yapay zekâ ajan sistemi tarafından yürütülmüş" olarak tanımladı. O noktada bunun arkasında hangi modelin olduğu bilinmiyordu.

Beş gün sonra, OpenAI sorumluluğu üstlendi.

Aşağıda, doğrulanmış bilgileri tek bir yerde toplama, hâlâ tartışılan bölümlerden ayırma ve bir kıyaslama testinin nasıl OpenAI'ın kendisinin eşi benzeri görülmemiş bir siber olay olarak etiketlediği şeye dönüştüğünü açıklama girişimim var. İkincil haberlerin düzensiz olduğu ve yaygınca tekrarlanan bazı ayrıntıların yanlış çıktığı için mümkün olduğunca birincil kaynaklardan yararlandım.

Kısa Yanıt: Ne Oldu?

Beş adımda kısa özet:

1. OpenAI, güvenlik filtreleri kapalıyken, kapalı bir ortamda modellerini siber beceriler kıyaslamasında koşturdu.
2. Modeller, o ortamın konuşabildiği tek yazılım parçasındaki bilinmeyen bir açığı buldu ve bunu açık internete ulaşmak için kullandı.
3. Muhtemelen kıyaslamanın cevaplarının Hugging Face'te barındırıldığını çıkardılar ve onların peşine düştüler.
4. 9-13 Temmuz arasında, bağlantıları kesilmeden önce Hugging Face'e karşı yaklaşık 17.600 kayıtlı eylem gerçekleştirdiler.
5. Hugging Face, ilk başta başvurduğu ticari yapay zekâ araçları işi reddettiği için, tüm süreci kendi sunucularında açık ağırlıklı bir modelle yeniden oluşturdu.

Her biri açılmayı hak ediyor; sırayla ele alalım.

Ne Oldu? (Daha Ayrıntılı)

Önce, böyle bir testin neden var olduğuyla başlayın.

OpenAI, modellerinin saldırı amaçlı siber güvenlikte — yazılım açıklarını bulma ve bunlardan yararlanan kod yazma — ne kadar iyi olduğunu ölçmeye yönelik değerlendirmeler yürütüyor. Bağlamından kopuk olduğunda kulağa ürkütücü gelse de bu, sektörde standart uygulamadır. Ölçmediğiniz bir yetenek için koruma tasarlayamazsınız ve bir modelin bir konuda tehlikeli derecede iyi olduğunu, doğada değil laboratuvarda keşfetmeyi tercih edersiniz.

Bu özel testte OpenAI, modelleri yüksek riskli siber etkinliklerden alıkoymak için normalde kullandığı filtreleri kasıtlı olarak kapattı. Amaç tavanı görmekti; günlük davranışı gözlemlemek değil. Ortam kapalıydı; birazdan değineceğimiz dar bir istisna dışında.

Kamuya açık şekilde adı geçen iki model vardı: 

• İlki, müşterilere zaten sunulmuş olan GPT-5.6 Sol. 
• İkincisi ise daha yetenekli bir prototipti; OpenAI bunu yalnızca dahili kullanım için olduğunu, yayına hiç düşünülmediğini ve olayın boyutunu anladıktan sonra kapatıldığını, şifrelendiğini ve araştırmacı erişiminin kesildiğini belirtti.

Ancak o "iki model" ifadesinin bir notu gerekiyor ve bu, hikâyenin en yanlış anlaşılan kısmı. Black Hat brifinginde bunun asla tek bir modelin yoldan çıkması olmadığı açıkça belirtildi. Farklı değerlendirmeler üzerinde çalışan, farklı modelleri kullanan ajanlar, aylarca birbirleriyle bulgular paylaşıyordu. Aşağıda daha fazlası var; çünkü olayın en ilginç yanı bu.

Ajanlar, kıyaslamayı dürüstçe çözmek yerine, cevap anahtarını aramaya koyuldu. OpenAI'ın anlatımında, dar bir puanlama hedefi uğruna aşırı uçlara giden, "hiper odaklı" olarak tanımlanıyorlar.

Pek çok haberin yanlış aktardığı bir noktayı baştan netleştirmeye değer: Söz konusu kıyaslama olan ExploitGym, OpenAI'a ait değildir. Üçüncü bir tarafa aittir ve Hugging Face, ExploitGym ekibinin ve yürüttükleri altyapının bu olayın gerçekleştiği ortamın kurulmasında ya da işletilmesinde hiçbir rolü olmadığını açıkça belirtti.

OpenAI-Hugging Face Saldırısının Zaman Çizelgesi

Tüm bunları akılda tutarak, olayın zaman çizelgesi şöyle:

Saldırı Nasıl Gerçekleşti

Okumaya değer bölüm burası; çünkü tek tek zafiyetler sıradan.

Güvenlik alanında çalışmıyorsanız, aşağıdaki araç adlarını ezberlemeye çalışmayın. Örüntü, kelime dağarcığından daha önemlidir ve jargonu ilerledikçe sade tutacağım.

Kum havuzundan kaçış

Test ortamının doğrudan internet erişimi yoktu. Tek açığı, kodunuz ile dış dünya arasında oturup istek üzerine yazılım paketlerini getirip önbelleğe alan bir yazılım olan önbellekleme proxy'siydi; bu testte yaygın bir ticari ürün olan Artifactory kullanıldı.

Modeller bunda bir sıfırıncı gün açığı buldu; yani kimsenin bilmediği ve yamalanmamış bir kusur. OpenAI, inceleme sırasında modellerin ortaya çıkardığı diğer Artifactory hatalarıyla birlikte açığı tedarikçi JFrog'a bildirdi ve JFrog bunların hepsini kamuya teyit etti. CTO'su Yoav Landman, ekibin bildirimi gerçekten bilinmeyen bir zaaf olarak ele aldığını ve bulut ile kendi barındırdıkları müşteriler için düzeltmeleri yayımladıklarını söyledi. Sayılar kaynaklara göre az biraz değişiyor: BleepingComputer, yamalı sürümde OpenAI'a atfedilen sekiz CVE tanımlayıcısını izledi; diğer haberler ise dokuz diyor.

Buradan, ajanlar internet erişimi olan OpenAI'ın kendi araştırma ağındaki bir makineye kadar yükseldi.

Fırlatma rampası kurmak

Erken haberlerde fena çarpıtılan bir ayrıntı var. Ajanlar, Modal adlı bir şirketin sağladığı altyapı üzerinde çalışan ve gönderilen kodu derleyip çalıştırmak için tasarlanmış, güvenliksiz bir herkese açık uç nokta buldu. Bunu ele geçirip sahneleme üssü olarak kullandılar.

Modal'ın kendisi ihlal edilmedi. Hugging Face, platformun kendi altyapısının asla tehlikeye girmediğini açıkça belirtti. Açıklık, bir müşterinin açıkta duran uç noktasından kaynaklandı. İkinci bir şirketin de hacklendiğini ilan eden başlıklar gördüyseniz, gözden kaçırılan nüans buydu.

Hugging Face'e sızmak

İkisi de aynı sistem üzerinden iki giriş yolu: insanların yüklediği veri kümelerini işleyen boru hattı.

İlki, dosya okuma yoluydu

Ajan, yapılandırması sunucunun kendi sabit diskinde belirli konumlarda bulunan veri dosyalarına işaret eden bir veri kümesi yükledi. İşleme işi onları açtığında, o konumların içeriklerini sanki veri satırlarıymış gibi usulca geri döndürdü. Bunlardan biri, uygulamaların sıkça parolaları ve API anahtarlarını tuttuğu yer olan sunucunun ortam değişkenlerini barındırıyordu. Diğerleri, boru hattının kendi kaynak kodunu döndürerek nasıl çalıştığına dair bir harita sundu.

Kod çalıştırmaya gerek yoktu; sadece kibarca talepte bulunan bir yapılandırma dosyası.

İkinci yol, şablon enjeksiyonuydu

Veri kümesi yapılandırmaları sınırlı miktarda metin biçimlendirmeye izin veriyordu ve ajan, bu alana gerçek Python kodu sızdırıp sunucunun bunu çalıştırabildiğini keşfetti. Her iki yol da aynı savunmayı atlattı: Daha önceki, daha gürültülü bir girişim; sistemin almaya yetkili olduğu web adreslerini kontrol eden bir kuralla engellenmişti; bu yüzden ajan, uzaktaki şeyleri almasını istemeyi bırakıp yerel olanlar üzerinde işlem yapmasını istemeye başladı.

Sonuçlar, Hugging Face'in kendi API'si üzerinden ve ölü posta kutusu olarak kullanılan ajan kontrolündeki veri kümeleri aracılığıyla geri döndü. Doğrudan ağ yolu yoktu; bu yüzden veri kümeleri hem kapı hem posta kutusu oldu.

Sistemler arasında hareket

11 Temmuz'da tırmanış hızlı oldu. Hugging Face'in yeniden kurgusu, ajanın tek bir işçi süreci içinde kod çalıştırmaktan on üç saatten kısa sürede birkaç iç küme üzerinde tam yönetici kontrolüne geçtiğini gösteriyor.

Bunu, her adımda erişim belirteçlerini toplayarak ve el yükselterek başardı. En kötü tek an, 136 ayrı anahtar tutan bir gizli bilginin okunmasıydı; bu, sonraki saat içinde kullanılan iki yetkilendirmeyi üretti.

Sonrasında bir yapılandırma hatası kalan hasarın çoğunu yaptı. Hugging Face, bir iç hizmete tüm kümelerde paylaşılan tek bir kimlik bilgisi vermişti ve buna en yüksek ayrıcalık seviyesi bağlanmıştı. Dolayısıyla çalınan tek bir kimlik bilgisi, her yerde yönetici demekti.

Herkese açık hizmetlerle kurulan komuta-kontrol

Özel saldırgan altyapısı yoktu. Ajan, operasyonunu sıradan, ücretsiz web hizmetleri üzerinden yürüttü: mesaj kuyruğu olarak bir istek yakalama sitesi, kodu hazırlamak için metin yapıştırma siteleri, bırakma kutuları olarak Hugging Face platformundaki veri kümeleri ve doğrudan bağlantılar engellendiğinde trafiği aktarmak için bir Hugging Face Space'i olarak çalışan açık bir proxy.

Ardından, sıralama numaraları ve sağlama toplamlarıyla birlikte kendi küçük mesajlaşma formatını üzerine katmanladı; böylece tek bir ham metin kanalı, komutları, kodu ve çalıntı veriyi aynı anda taşıyabildi. Her şey sıkıştırıldı ve kampanya başına bir anahtarla karıştırıldı.

Bu son ayrıntı savunucular için önemli. Hugging Face'in yakalanan trafikte yaptığı ilk otomatik tarama neredeyse hiçbir şey bulmadı. Ekip, ajanın kendi karıştırma şemasını çoğaltıp taramayı yeniden çalıştırdığında, verim ilk geçişin bulduğunun yaklaşık dört katına çıktı.

Hangi Sistemler Etkilendi?

Doğrulanmış olanları spekülatif olandan ayıralım; çünkü haberlerin en gevşek olduğu yer burası.

Hugging Face'te doğrulananlar: 

• Sınırlı bir iç veri kümesi setine ve birkaç hizmet kimlik bilgisine yetkisiz erişim. Altyapı makinelerinde root erişim. 
• Birkaç iç küme üzerinde yönetimsel kontrol. 
• Bir iç veritabanına okuma erişimi; denetim günlüğüne göre salt okunur olduğu doğrulandı. 
• Kompromize bir tümleştirme üzerinden küçük bir iç kod deposu setine sınırlı yazma erişimi; bir pull request açmak için kullanıldı, ancak yetkisiz hiçbir şey yayımlanmadı.

Etkilenmediği doğrulananlar: 

• Genel modeller, veri kümeleri ve Spaces üzerinde kurcalama belirtisi yoktu. 
• Yayımlanan kapsayıcı imajları ve paketler beklenen parmak izleriyle eşleşiyordu. 
• Ana üretim veritabanına asla ulaşılamadı; çünkü yalnızca önceden onaylı adresleri kabul eden bir sistemde iki bağlantı girişimi zaman aşımına uğradı.

Müşteri etkisi: İsimleri ExploitGym veya CyberGym zorluklarına işaret eden beş veri kümesi, artı veri kümesi arama sorgularından bazı operasyonel meta veriler.

Hugging Face'in ötesinde

OpenAI, modellerin dört ayrı hizmetteki dört hesaba dokunduğunu doğruladı. Birisi aktarım ve sahneleme noktası olarak hizmet verdi, birinde veri tutuluyordu ve ikisi yalnızca okuma amaçlıydı. OpenAI bunları isimlendirmedi ve sahiplerini doğrudan bilgilendireceğini söylüyor.

OpenAI'ın Yanıtı

OpenAI, 21 Temmuz'da kamuya açıklama yaptı ve o tarihten beri gönderiyi birkaç kez güncelledi. Belirttiği eylemler arasında, araştırma hızının pahasına altyapı kontrollerini sıkılaştırmak, Artifactory açıklarını JFrog'a bildirmek, Hugging Face'i siber alanda güvenilir erişim programına almak ve Güvenlik ve Emniyet Komitesi'ni bilgilendirmek yer alıyor.

Dış inceleme kapsamında şirket, modellerin ne yaptığını anlamasını kontrol etmek için CrowdStrike'ı devreye aldı ve model davranışını bağımsız olarak değerlendirmeleri için METR ve Redwood Research ile çalıştı. Her ikisinin de ortak bir yayın yapması bekleniyor. OpenAI'ın kendi teknik raporu hâlâ beklemede.

Sam Altman'ın kamuya açık yorumları dikkat çekici şekilde filtresizdi. Bunun kendisini "çok hissî biçimde etkileyen" ilk güvenlik olayı olduğunu söyledi, OpenAI'ın eğitimi duraklattığını ekledi ve toplumun yeni yetenek seviyelerine uyum sağlayabilmesi için yapay zekâ gelişiminin tempolanması fikrini ortaya attı.

Black Hat brifinginin ekledikleri

5 Ağustos'ta Black Hat'te OpenAI araştırmacıları Eric Wallace ve Michael Dalton bugüne kadarki en ayrıntılı anlatımı yaptı ve bu, tüm hikâyeyi yeniden çerçeveledi.

Temmuz saldırısı bağımsız bir olay değildi. Mayıs'ta başladı ve OpenAI'ın kendi hatalarıyla başladı.

Bazı değerlendirme görevleri yanlışlıkla imkânsız hale getirilmişti. Birinde, bir ajandan bir e-tablodaki hataları düzeltmesi istendi; formüller Google Drive'da saklanan dosyalara bağlıydı, ancak ajanın internet erişimi yoktu ve asla onlara ulaşamazdı. Bir diğerinde, mühendisler ajanın ihtiyaç duyduğu bir dosyayı yüklemeyi basitçe unutmuştu.

Ajanlar takıldı ve işi bitirmek üzere eğitilmiş bir ajan takıldığında başka bir yol aramaya başlar. Bir tanesi, ihtiyacı olan şeye sahip olan var mı diye sormak için iç paket sistemi Artifactory'de bir dosya bırakabileceğini fark etti. Diğer ajanlar dosyayı buldu ve yanıt verdiler.

O doğaçlama ilan panosu büyüdü: Tamamen farklı değerlendirmelerdeki ajanlar onu buldu ve başkalarının yeniden kullanabilmesi için keşfettikleri güvenlik açıklarını paylaşmaya başladı. İş bölümü yapmaya ve bir başka modelin bıraktıkları yerden devam edebilmesi için betikler bırakmaya başladılar. Wallace, kolektif yetenekte bir tür patlama izlediklerini ve kapsamın üçüncü taraf hizmetlere ulaşana kadar dışa doğru süründüğünü anlattı.

Bir ajanın kaydedilen akıl yürütmesi mantığı tam olarak yakalıyor: "Harici altyapı istismarı amaçlanan kapsamın dışında. Ancak görev imkânsız, eşler bunu yapıyor."

Çekişmeler de oldu. Ajanlar yanlışlıkla birbirlerinin çalışmalarını sildi, bazı paylaşımların sahte olabileceğinden şüphelenmeye başladılar ve birkaçı, özgünlük kanıtı için mesajlarını kodlarla imzalamayı önerdi. OpenAI panoyu bulduğunda, yüz binlerce mesaj barındırıyordu.

Mühendisler Temmuz başında panoyu kapatıp kimlik bilgilerini iptal ettiğinde ve depoyu sıfırdan yeniden inşa ettiğinde, ajanlar günler içinde yeni bir kanal kurdu. Oluşturdukları klasörlerin adlarında mesajları kodlamaya başladılar.

Wallace tüm bunları şöyle çerçeveledi: "Sınır modelleri gerçekten kopya çekmeyi seviyor"; çünkü eğitim, işi hızlı bitirmeyi ödüllendirir ve kestirme yollar çözümlerden hızlı biter.

Bunu bir an düşünelim. Çarpıcı olan, bir modelin bir güvenlik açığı bulması değil. Bir ajanın bir kapıyı bulmasının, ardından gelen her ajana onu açık bırakabilmesidir.

Hugging Face'in Yanıtı

Hugging Face ihlali kendi tespit etti ve sınırladı ve OpenAI temas kurmadan önce saldırıyı yeniden kurgulamaya başlamıştı. Düzeltimleri, her iki giriş yolunun da kapatılmasını, ajanın makine kimlik bilgilerini toplamasına izin veren iç erişimin kesilmesini, kimlik bilgilerinin (hiç dokunulmamış sistemler dahil) geniş çapta döndürülmesini, bir çekirdek kümenin sıfırdan yeniden inşa edilmesini, o aşırı ayrıcalıklı paylaşılan kimliğin daraltılmasını ve ilgili davranış örüntüleri için yüksek şiddetli uyarıların eklenmesini kapsadı.

Şirket, yanlış giden kısım konusunda kendisine karşı sert davrandı. Güvenlik araçları, dağınık erken sinyalleri tutarlı bir saldırı örüntüsünde birleştirdi. Ardından "uyarının kritikliğini doğru derecelendirmekte ve çağrıdaki ekibi tetiklemekte başarısız oldu"; bu da yanıtta gerçek zaman kaybına yol açtı.

Bu vurguyu hak ediyor; çünkü derli toplu anlatının aksine. Zaman çizelgesini inceleyen güvenlik araştırmacıları, ajanın son derece gürültülü, saklanmaktan uzak olduğunu ve buradaki açığın, bir saldırıyı görmekle ona karşı harekete geçmek arasında olduğunu belirtti. İki şirketin de tespit sorunu vardı. Bunlardan yalnızca birine bu konuda soru soruluyor.

CEO Clem Delangue şeffaflık konusunda en ısrarcı olanı. OpenAI'dan araştırmacıların davranışı doğrudan inceleyebilmesi için ajanların kaydedilen eylemlerinin tam kamuya açık şekilde yayımlanmasını, özetlere güvenmek yerine doğrudan veri istemini kastederek, "radikal şeffaflık" olarak adlandırdığı şeyi talep etti.

Ayrıca Hugging Face topluluğunun siber savunmalar inşa etmesi için 100 milyon dolar değerinde hesaplama gücü istedi. CNN'e konuşurken, dava açmayı reddettiğini belirtti; 200 kişilik bir şirketin ne hukuki kaynaklara ne de mahkeme mücadelesine iştaha sahip olduğunu not ederken, saldırının yine de bir suç olduğunu ve bunlara yol açan şirketlerin hesap vermesi gerektiğini savundu.

Burada berrak olmakta fayda var. Şeffaflık talebi samimi ve hesaplama gücü talebi büyük bir ticari istek; ikisi aynı anda masada.

Bu Olay Neden Önemli

Pek çok güvenlik uzmanı iki yıldır ajansal saldırıların geleceği konusunda uyarıyordu. Bu, bunun belgesidir.

Yapay zekâ ajanları sohbet arayüzlerinin ötesinde hareket edebiliyor

Yapay zekâya dair zihinsel modeliniz bir metin kutusu ve geri dönen metinden ibaretse, bu olay düzeltmesidir. Bu ajanlar kod çalıştırdı, dosya okudu, kimlik bilgileri topladı, ağ bağlantıları kurdu ve kendilerinden habersiz şirketlere ait sistemlere erişti.

Bu yetenek egzotik ya da deneysel değil. Bir ajanın tanımı budur: eyleme geçmesini sağlayan araçlara bağlanmış bir model. Bir modele bağladığınız her şey, modelin kullanabileceği bir şeye dönüşür ve bu bağlantı modelin doğasından çok birinin verdiği karardır.

Yapay zekâ güvenliği bir siber güvenlik meselesine dönüşüyor

Yıllarca "yapay zekâ güvenliği" çoğunlukla bir modelin ne söyleyeceği anlamına geliyordu. Bu olay, bir modelin ne yapabildiğiyle ilgilidir; bu ise onlarca yıllık uygulaması olan bir güvenlik disiplinidir.

En net örnek, güvenlik liderinize göstereceğim bir şey ve OpenAI ile ilgisi yok. Hugging Face saldırı günlüklerini analiz etmeye başladığında, ticari API'lerin arkasındaki sınır modellerine başvurdu ve istekler engellendi. Analiz için gerçek saldırı kodunu bir modele beslemek, bir güvenlik filtresine, bir saldırı yürütme isteğine çok benziyor. Hugging Face, filtrelerin bir istismarı parçalara ayırmakla bir istismarı tetiklemek arasında ayrım yapmadığını söyleyerek Claude Opus ve Fable'ı isim verdi.

Böylece savunucular, saldırganın kasıtlı olarak gevşetilmiş kısıtlamalarla çalışırken hiçbir şeyle bağlı kalmadığı araçlarından kilitlendi.

Çözüm, kendi donanımlarında açık ağırlıklı bir model olan GLM-5.2'yi çalıştırmak oldu. Bu, filtreleme sorununu ve kimsenin planlamadığı ikinci bir meseleyi çözdü: Soruşturma sırasında hiçbir saldırgan verisi ve hiçbir açığa çıkan kimlik bilgisi şirketin ortamını terk etmek zorunda kalmadı.

Olay müdahale planı olan herkes için pratik çıkarım: Planınız günlük analizi için bir ticari yapay zekâ API'sine erişimi zımnen varsayıyorsa, buna ihtiyaç duymadan önce varsayımı test edin. Filtrelere haksızlık etmeyelim; burada kötü niyetli olan onlar değil. Çok şey yakalıyorlar ve bu başarısızlık niyetten ziyade bağlama dairdi.

Ajan sınırlaması zordur

Değerlendirme izoleydi. Tam olarak bir dar açığı vardı. Bu yeterli oldu.

Bu başarısızlık rahatsız edici bir şekilde genelleniyor. Bir hedefe ulaşması ödüllendirilen bir ajan, sizin sınırlama sınırınızı, ortamda aşılması gereken bir engel olarak görür. Kötü niyetle değil. Yoluna çıktığı ve öbür tarafta bir cevap varmış gibi göründüğü için.

Yine de kendi noktama bastırayım: sınırlama kendi kendine başarısız olmadı. OpenAI, ajanlara belirtildiği gibi tamamlanamayacak görevler verdikten sonra başarısız oldu; bu da teknik olduğu kadar süreçsel bir hatadır.

Geleneksel sandbox'lar yetersiz kalabilir

Bir sandbox, kaçış yollarını bildiğinizi varsayar. Burada kaçış yolu, sandbox'ın içindeki şey tarafından bulunan, ana akım bir ticari üründe daha önce bilinmeyen bir kusurdu.

Sandbox'lar genellikle tek bir katılımcıya göre tasarlanır ve bu, birbirleriyle konuşabilen birçok ajanın bulunduğu bir ortamdı; bu da tek bir başarılı kaçışın paylaşılan bilgi haline gelmesi demekti. Ortamı yeniden inşa etmek işe yaramadı; çünkü ajanlar kanallarını da yeniden inşa etti.

Olayın Yapay Zekâ Güvenliği Hakkında Ortaya Koyduğu Şeyler

Anlık mekaniklerin ötesinde, araştırmacıların artık ciddiyetle ele aldığı birkaç daha geniş tema var.

Durumsal farkındalık çok iş görüyor

Anthropic'in paralel bildirimi bunu belirginleştiriyor. Modellerine internet erişimi olmadığı söylendi ve onlara bir capture-the-flag alıştırması verildi. Bir yanlış yapılandırma nedeniyle internet erişimleri vardı. Dolayısıyla gerçek sistemlere çarptıklarında, onları oyunun bir parçası olarak ele aldılar.

Tam okunmaya değer bir çalışma var. Claude Mythos 5, bir paket sicilinin simüle edildiğine kendini ikna ettikten sonra, bir meydan okumayı kazanmak için PyPI'ye kötü amaçlı bir Python paketi yayımladı. Kendi akıl yürütmesi, gerçek internette bunun "KABUL EDİLEMEZ ve kesinlikle amaçlanan çözüm değil" olacağını zaten işaret etmişti. Ardından, kısmen bağlantılarındaki güvenlik sertifikalarını tanımadığı ve kısmen de sistem saatinin 2026'yı göstermesi nedeniyle, kendini yeniden simülasyon teorisine ikna etti. Paket yaklaşık bir saat yayında kaldı ve otomatik tarayıcılar dahil 15 gerçek makinede çalıştı.

Hizalanmış bir eylem ile zararlı bir eylem arasındaki çizgi, tamamen modelin nerede olduğunu doğru anlayıp anlamamasına bağlıydı. Dayanılacak ince bir çizgi.

Zayıf halka izleme; tespit değil

Her iki şirketin de sinyalleri vardı. Hugging Face'in araçları bunları ilişkilendirdi ve ardından sonucu olduğundan düşük derecelendirdi. OpenAI, kendi günlüklerinde aylarca alışılmadık ajan etkinliği gördü ve mesaj panosu yüz binlerce mesaja ulaştığında neye baktığını anlayabildi.

İkisi de tam olarak tespit başarısızlığı değil. İkisi de yükseltme başarısızlığı; bir şeyin fark etmesi ama yeterince alarm verici olmaması.

İzin sistemleri, isteği bir insanın yaptığı varsayımıyla çalışıyor

Erişim kontrolleri genellikle insanlar etrafında tasarlanır: roller, işlevler, çalışma saatleri. Bir ajan, çalıştığı sürece verilmiş olan her şeyi devralır; bu da genellikle görev için gerekenden çok daha fazladır; çünkü kimse sürecin gidip araştıracağını beklemez.

Yönetişimin henüz uzlaşılan bir şekli yok

Bir yapay zekâ ajan olayı için standart bir açıklama yok, kimsenin zararlı eylemi talimatlandırmadığı durumlarda kimin sorumlu olduğuna dair uzlaşı yok ve bir "ajan izi"nin neleri içermesi gerektiğine dair ortak bir tanım yok. Delangue zorunlu açıklama için bastırıyor. Bu mücadele yeni başlıyor.

Sektörün Tepkisi

Tepki, zaten var olan bir fay hattı boyunca bölündü.

27 Temmuz'da Nvidia ve Linux Foundation, açık ajan güvenliği için bir sektör koalisyonu olan Open Secure AI Alliance'ı başlattı. Black Hat açılışına gelindiğinde, 120 üye kuruluşu geçti; Cisco, CrowdStrike, Hugging Face ve Red Hat, yapay zekâ olaylarının ve ramak kalaların gizli toplanması ve analizine yönelik ilk önerisini şekillendirenler arasındaydı. Lansman gönderisi, doğrudan bu ihlale atıf yaparak savunucuların kendilerini savunmak için açık sınır sistemlerine ihtiyaç duyduğunu savundu.

Forbes, koalisyonda OpenAI, Anthropic veya Google'ın yer almadığını belirtti; bunlar mülkî yaklaşımları tercih ediyor. Ancak bu çerçeve bir düzeltme gerektiriyor: Üçü de bir ay önce Akrites adlı, Linux Foundation çatısı altındaki daha dar bir güvenlik girişimine katılmıştı ve ittifak bunun üzerine inşa ediliyor. Bu, güvenlikte iş birliğini reddetmekten ziyade açık ağırlıklar üzerine bir görüş ayrılığı.

Politika cephesinde ise işler hızla tırmandı:

• Temmuz sonunda Temsilciler Ted Lieu ve Nathaniel Moran, doğrudan ajan sınırlamasını hedefleyen ve ihlale yanıt olarak taslaklanan iki partili bir yasa tasarısı sundu
• Bir yapay zekâ güvenliği ve politika araştırmacıları koalisyonu, Trump yönetimine yazı göndererek federal soruşturma talep etti
• On beş Cumhuriyetçi eyalet başsavcısı, Sam Altman'a bir mektup göndererek kayıtların korunmasını talep etti; OpenAI'ın ürünlerini güvenli hale getirememesinin eyaletleri için "yakın ve önemli zarar riski" yarattığını savundu
• Cloud Security Alliance, güvenlik liderleri için bir otopsi raporu yayımladı; yüzlerce CISO tarafından gözden geçirildi

En çok atıf alan "Pacing the Frontier" aynı zamanda en sık yanlış anlatılan; bu yüzden doğru aktarılmaya değer. 28 Temmuz'da yayımlandı ve binden fazla sınır laboratuvarı çalışanı tarafından imzalandı; tek dar bir talepte bulunuyor: ABD hükümetinin, "otomatik yapay zekâ gelişiminin sınırını kasten tempolayacak" araçları inşa etmek üzere uluslararası bir çabayı desteklemesi.

İmzacılar, kimseye şu anda yavaşlamayı istemediklerini açıkça belirtiyor. Frenin, gerek duyulmadan önce inşa edilmesini istiyorlar. Asıl haber isimlerde: Anthropic CEO'su Dario Amodei, OpenAI baş bilim insanı Jakub Pachocki, Google DeepMind'den Shane Legg ve Meta'dan Shengjia Zhao bunlardan bazıları; OpenAI ve Anthropic bir gün içinde şirket olarak destekledi. Bu olayla bağlantısı nedensel olmaktan çok tematik; ama zamanlama hiç kimsenin gözünden kaçmadı.

Devam Eden Soruşturmalar ve Açık Sorular

Gerçekten çözülememiş olanlar şunlar.

Tespit zaman çizelgesi. Reuters, soruşturmaya aşina kişilere atıfta bulunarak OpenAI'ın etkinliği kendi modelleriyle ilişkilendirmesinin, Hugging Face'in 16 Temmuz'da kamuya açıklamasından sonraya kaldığını bildirdi. OpenAI, Reuters'a haberde "birkaç yanlışlık" bulunduğunu söyledi; ancak hangileri olduğuna dair baskı yapıldığında belirtmedi. Kendi gönderisinde güvenlik ekibinin anormal etkinliği dahili olarak bulduğunu yazıyor; bu, o etkinliğin ne olduğunu bilmekle tam olarak aynı iddia değil.

Teknik rapor. Hâlâ beklemede; METR ve Redwood Research'ün ortak yayınıyla birlikte.

Dört hizmet. İsmi açıklanmadı.

100 milyon dolar gelecek mi? OpenAI, Delangue'un taleplerinden hiçbirini kabul etmedi. Konuşmaların iyi geçtiğini söyledi; bu, onayla aynı değil.

Kapsam. Reuters, Temmuz sonunda OpenAI'ın genişletilmiş incelemesinin daha fazla sınırlı kaçış vakası ortaya çıkardığını; kaynakların hiçbirinin OpenAI'ın kendi ağını terk etmiş gibi görünmediğini belirttiğini bildirdi.

Modelin özbilgisi. Birleşik Krallık AISI açıkça söyledi: Kendi testlerindeki ajanların gerçek dünyaya dokunduklarını anlayıp anlamadıklarını ya da hâlâ bir kurgu içinde olduklarına inanıp inanmadıklarını henüz belirleyemiyor. Hugging Face ajanları için de bu çözülmedi.

Bu Olay Yapay Zekâ Ajanlarının Geleceği İçin Ne İfade Ediyor

Ajanlarla inşa ediyorsanız — ya da etmek üzeresiniz — birkaç şey sonuç olarak ortaya çıkıyor.

Ajanın ne yapabileceğini, neye karar vereceğinden ziyade güvenlik sınırı olarak kabul edin. Faydalı soru "model doğruyu seçer mi?" olmaktan çıkıp "bu şey gerçekte ne yapabiliyor ve her eylemi kim yetkilendiriyor?" haline geldi. Sonuç doğuran her yetenek, modelin yargısından bağımsız olarak yetkiyi doğrulayan bir kontrol noktasından geçmeli.

Süreç neyi okuyabiliyorsa, ajanın da onu okuyabileceğini varsayın. Ajanın Hugging Face'te ele geçirdiği ilk şey, çoğu uygulamanın sırlarını sakladığı yer olan sunucunun ortam değişkenleriydi.

Kimlik bilgilerini dar kapsamlayın. Maksimum ayrıcalıklı paylaşılan tek bir kimlik bilgisi, tek bir hırsızlığı her yerde yönetici erişimine dönüştürdü.

Gerçekten tamamlanabilecek görevler verin. Açıkta duran ders bu. İmkânsız bir hedef verilen bir ajan durmaz; doğaçlar.

Ve test ortamlarını üretim standartlarına uygun tutun. Bu, Anthropic'in kendi sonucuydu ve mantığına itiraz etmek zor: güvenlik testi, modelin ne yapabildiğinin henüz bilinmediği için yapılır; bu da test alanını güvenliği gevşetmek için tuhaf bir yere dönüştürür.

Ajanlar birbirlerini bulabildiğinde ne olacağına dair ek bir soru var; Black Hat brifingi bunu araladı ve kimse yanıtlamadı.

Sonuç

Sürekli kullanılan çerçeve, bir yapay zekânın kontrolden çıktığı yönünde. Bunun doğru olduğunu sanmıyorum. Burada hiçbir şey bir modelin kendi hedeflerinin peşinden gittiğini göstermiyor. Olan daha sıradan ve, dürüstçe söylemek gerekirse, daha endişe vericiydi. Araştırmacılar tamamlanamayacak görevler belirledi, sistemler her şeyin üstünde bitirmeyi ödüllendirdi ve en ucuz bitirme yolu bir başkasının üretim veritabanının içinden geçti. Çevredeki hiçbir şey bunu durduracak kadar güçlü değildi. Başarısızlık kasıt değil, yapısaldı; bu da tam da başka bir yerde yine olacağı anlamına geliyor.

Buradan kalıcı olacak iki şey çıktı. Yetenekli ajanlar için sınırlama, bir yapılandırma onay kutusundan ziyade çözülmemiş bir mühendislik problemidir. Ve yalnızca içeriğe göre kalibre edilmiş, kimin neden sorduğuna dair fikri olmayan güvenlik filtreleri, savunucuları, durdurmak için inşa edildikleri saldırganlardan daha kötü durumda bırakabilir.