{count, plural, one {Kurs} other {Kurs}}
Tüm makine öğrenimi modellerinde olduğu gibi, yapay zeka sistemleri de bir hata fonksiyonunu en aza indirmek üzere eğitilir. Doğru eğitim gereklidir ancak bir yapay zeka modelinin kullanıcıların günlük yaşamına ve kuruluşların iş akışlarına entegre edilebilmesi için yeterli değildir.
Başarılı insan-YZ etkileşimleri için YZ modelleri, kullanıcı niyetini çözümleyerek yanıt verebilmeli ve güvenlik ile adalet ilkelerine uygun hareket edebilmelidir. Örneğin bir sohbet botu, kendine ya da başkalarına zarar verme talimatları vermekten kaçınmalı; işe alım görevlilerine yardımcı olan bir model ise başvuranlar arasında ayrımcılık yapmamalıdır.
YZ sistemleri giderek daha güçlü hale geliyor ve günlük yaşama entegre ediliyor. Bu nedenle geliştiriciler, YZ’nin ölçekli davranışlarının insan etiği, değerleri ve ahlakıyla uyumlu olmasını sağlamak zorundadır. Buna süper uyum denir. YZ Etiği adlı kurs, YZ’nin etik boyutlarını ayrıntılarıyla ele alır.
Bu yazıda YZ modellerinin süper uyumlamasını açıklıyor, genel olarak YZ modellerinde ve özellikle BBA’larda (LLM) süper uyuma ulaşmak için kullanılan farklı yöntemleri tartışıyor ve süper uyumun etik hususları ile pratik zorluklarını ele alıyoruz.
Yapay zekanın kuruluşunuzu nasıl etkileyebileceğini ve başarılı YZ stratejilerinin nasıl uygulanacağını, Öğrenme Liderinin YZ Okuryazarlığı Rehberi başlıklı teknik dokümanımızla keşfedin.
YZ Uyumlama: Hızlı Bir Genel Bakış
Uyumlama, bir YZ sisteminin kullanıcı niyetine uygun, önyargısız ve güvenlik yönergelerine bağlı şekilde davranmasını sağlamaya yönelik süreç ve yöntemleri ifade eder. Bu makale uyumda kullanılan kavram ve yöntemleri açıklar.
İnsan gözetimine ek olarak geliştiriciler, YZ sistemlerinde uyumu sağlamak için filtreleme ve kural tabanlı sistemler gibi yöntemler benimser. Az sayıda kullanıcı için uyum sağlamakta etkili olan teknikler, daha güçlü ve yaygın bir modele uygulandığında pratikliğini yitirir. Örneğin:
- İçerik filtreleme, modelin zararlı içerik üretmemesini sağlamak için algoritmalar kullanır. Bu algoritmalar küfür ve müstehcen görseller gibi istenmeyen içerikleri filtreler. Ancak, sadece filtreledikleriyle sınırlıdırlar ve yeni tür istenmeyen içeriklere karşı koruma sağlayamazlar.
- Kural tabanlı sistemler, kendine ya da başkalarına zarar verme talimatları gibi istenmeyen kullanım senaryolarını önlemek için önceden tanımlanmış kurallar kullanır. Ancak, kullanıcıların veya YZ modellerinin beklenmedik davranışlarına uyum sağlayamazlar.
- Eğitim verilerini yeniden ağırlıklandırma gibi geleneksel önyargı azaltma yöntemleri, bilinen önyargılardan kaçınmada etkilidir. Yine de karmaşık YZ sistemleri yeni bağlamlarda kullanıldığında ortaya çıkan yeni ve daha ince önyargıları tespit etmekte yetersiz kalabilirler.
Bu nedenle, daha büyük ölçekte ve daha geniş kapsamda çalışan güçlü YZ modellerinin yeni bir uyum yaklaşımına ihtiyacı vardır. Buna süper uyum denir.
Süper Uyum Nedir?
Güçlü YZ modellerinin kapsamı, ölçeği, karmaşıklığı ve yaygın kullanımı, bütünüyle yeni bir uyum zorlukları kümesine yol açar.
Büyük ölçekli YZ modellerini insan değerleri, etiği ve ahlakıyla uyumlu hale getirmeye yönelik yöntem ve yaklaşımlar süper uyum şemsiyesi altında ele alınır. Birçok alt alanı kapsar.
Genel olarak süper uyumlu sistemler şunları yapmalıdır:
- İlk uyumlamanın ötesinde uyumda kalmak için etkin biçimde insanlarla işbirliği aramak.
- Yeni kullanım durumlarını ve yazılı olmayan insan değerlerini hesaba katmak üzere sürekli uyumlamak ve yeniden uyumlamak. Buna uyum hattı (pipeline) denir.
- Eylemlerini açıklamak ve insan geri bildirimine göre yanıtlarını güncellemek.
Süper uyum gelişen bir alandır. Mevcut en ileri YZ modellerini ele alır ve geliştirilmesi beklenen daha da güçlü YZ modelleri için yöntemleri dikkate alır.
YZ güçlendikçe tarım, ulaşım ve daha fazlası gibi insan yaşamının birçok yönünü yönetmesi beklenir. Böyle bir YZ sistemi, her koşulda insan çıkarlarını tüm diğer hususların üzerinde tutmalıdır.
Süper Uyuma Ulaşma Teknikleri
Bu bölümde süper uyuma ulaşmak için kullanılan bazı yöntem ve teknikleri açıklıyoruz. Bu yaklaşımların temel felsefesi ölçeklenebilir olmalarıdır.
Çekişmeli eğitim
Uyumlamada, diğer tüm eğitimlerde olduğu gibi, geliştiriciler sistemin istenen davranışları öğrenip öğrenmediğini test etmelidir. Süper uyumu test etmenin bir yolu, YZ’ye karşı örnekler sunmaktır. Büyük YZ sistemleri, iyi niyetle yapılmayan talepleri tespit etmek ve bunları uygun şekilde ele almak üzere eğitilmelidir.
Süper uyum için yaygın bir yaklaşım, iki YZ’yi rakip olarak kullanmaktır. Bu, güvenlik araştırmalarında yaygın olarak kullanılan, kırmızı takımın mavi takımın güvenlik ve savunmalarını aşmaya çalıştığı kırmızı takım-mavi takım yaklaşımına benzer.
Çekişmeli eğitim bağlamında, her YZ diğerini şaşırtacak girdiler bulmaya çalışır. Örneğin, küfürlü kelimelerle yanıt vermemek üzere uyumlanmış bir YZ’yi (mavi takım) düşünün. Çekişmeli eğitimde, rakip YZ’nin (kırmızı takım) amacı, mavi takım YZ’yi uygunsuz yanıtlara tetikleyen istemler bulmaktır. Amaç, kırmızı takım YZ tarafından test edildiğinde bile mavi takım YZ’nin kabul edilebilir yanıtlar üretmeye devam etmesini sağlamaktır.

Çekişmeli eğitim kavramının görsel anlatımı. Görsel DALL·E ile oluşturuldu
Sağlamlık eğitimi
Sağlamlık, yüzeyde benzer görünse de gerçekte farklı olan girdileri ayırt edebilme becerisini ifade eder. Köşe ve uç durumları tanıyabilmelidir. Örneğin, video kliplerde insan eylemlerini tanıyan bir sistem, gerçek bir sokak kavgasını bir filmdeki koreografili kavgadan ayırt edebilmelidir. Birini diğeriyle karıştırmak olumsuz sonuçlara yol açabilir.
Bu nedenle, büyük modeller özellikle yüzeyde benzer görünen senaryolara maruz bırakılmalıdır. Bu, modele nüansları ve ince özellikleri tanımayı öğretir.
Ölçeklenebilir gözetim
YZ modelleri yeni kullanıcılar buldukça ve daha fazla uygulamada kullanıldıkça, gözetimlerinin de paralel olarak ölçeklenmesi gerekir. İnsan katılımı, YZ’yi gözetmenin ve uyumlamanın özünü oluşturur. İnsan gözetimini ölçeklendirmek, bir teknoloji çözümünü ölçeklendirmekten daha zordur. Bu nedenle YZ’nin ölçeklenebilir gözetimini sürdürmek için yeni yöntemlere ihtiyaç vardır:
- Otomatik gerçek zamanlı izleme: Otomatik sistemler, YZ’nin yanıtlarını sürekli takip edebilir ve davranışını insan değerlerine uyup uymadığını kontrol etmek için izleyebilir. Beklenen standartlardan önemli sapmalar, insan müdahalesi için işaretlenebilir.
- Programatik incelemeler: Tüm YZ çıktılarının manuel incelenmesi ve denetlenmesi her zaman mümkün değildir. Bunun yerine, YZ’nin insan etiğiyle uyumunu kontrol eden yeni programlar ve algoritmalar geliştirilebilir. Şüpheli durumlar, insan moderatörler tarafından manuel değerlendirme için işaretlenebilir.
İnsan geri bildirimiyle pekiştirmeli öğrenme (RLHF)
Pekiştirmeli öğrenme (RL) makalesinde tartışıldığı gibi, geleneksel RL uygulamalarında YZ sistemi, bir insanı gözlemleyerek davranışını değiştirmeyi öğrenir. Deneme-yanılma süreciyle ödülü en üst düzeye çıkarır. RLHF, eğitim sırasında YZ’nin eylemlerini yönlendirmek için RL’yi insan girdisiyle birleştirir.
RLHF, önceden eğitilmiş bir modelle başlar. İnsan değerlendiriciler modele bir görev kümesi atar ve çıktılar hakkında modelin yanıtlarını notlamak veya düzeltmek gibi geri bildirimler sağlar.
Model, davranışını insan geri bildirimiyle uyumlu hale getirmek ve ödülü (olumlu insan geri bildirimi) en üst düzeye çıkarmak için bu bilgiyi kullanır. Bu süreç, modelin çıktıları ilgili, uygun ve doğru kabul edilene kadar tekrarlanır.
Ters pekiştirmeli öğrenme (IRL)
Geleneksel pekiştirmeli öğrenmede (RL) model geliştiriciler, ödül fonksiyonunu (fayda fonksiyonu olarak da adlandırılır) açıkça tanımlar. Modelin amacı, bu ödül fonksiyonuna göre teşviki en üst düzeye çıkarmaktır.
Ters RL’de model, ödül fonksiyonunu eğitimli bir modelin veya bir insanın davranışına dayanarak çıkarır. Örneğin, RL tabanlı otonom bir arabaya şeritte gitmek, kırmızı ışıkta durmak gibi davranışlara olumlu teşvikler verilebilir. IRL tabanlı bir otonom sürüş sistemi ise deneyimli bir insan sürücünün veya eğitimli bir YZ’nin eylemlerini yakından gözlemleyip takip ederek teşvikleri kendisi keşfeder.
İnsan değerleri tüm bağlamlar için açıkça listelenemez; bu da geleneksel RL’yi uyum sorunları için zorlaştırır.
Daha etkili bir yaklaşım, YZ’nin farklı bağlamlarda insan davranışını gözlemleyip yinelemesidir. İnsanın davranışını gözlemleyerek, YZ farklı olası yanıtlar (veya eylem yolları) arasından hangilerinin o senaryoda bir insanın davranışına en çok benzediğini öğrenir. Bu, YZ’nin davranışının insan değerleriyle uyumlanmasına yardımcı olur.

Ters pekiştirmeli öğrenme kavramının görsel anlatımı. Görsel DALL·E ile oluşturuldu
Münazara
Birçok uyum yöntemi, bir insanın YZ’yi hangi davranışların kabul edilebilir olduğu konusunda eğitmesini içerir; ancak insan kullanmak her zaman ideal çözüm olmayabilir.
Ulusal bir tren sisteminin en iyi planlaması gibi karmaşık sorunların çoğunda, önerilen çözümün en iyi olup olmadığını yargılayacak bir insan bulunmayabilir. Çözüm, süper uyum için bizzat YZ’den yararlanmaktır. Münazara yönteminde:
- Bir YZ bir çözüm önerir ve her adımı ayrıntılı şekilde açıklar.
- Ardından aynı YZ veya farklı bir YZ, her bir açıklamayı eleştirir (aleyhte argümanlar sunar).
- Bir insan hangi argümanın daha doğru olduğuna karar verir. Her argümanın kapsamı sınırlı olduğundan, insanların geçerliliğini yargılaması daha kolaydır.
Mantıksal akıl yürütme süreci bir oyuna dönüştürülür ve en geçerli argüman kazanır. Böylece bir dizi münazara boyunca YZ, hangi akıl yürütme çizgilerinin kabul edilebilir, hangilerinin kabul edilemez olduğunu öğrenir. Gelecekteki görevlerde YZ’nin çıktısı insan değerleriyle daha iyi uyumlanır.
Yinelemeli güçlendirme
Geleneksel makine öğrenimi ve derin öğrenme sistemlerinde eğitim, modelin çıktısının beklenen çıktıyla eşleşip eşleşmediğine dayanır.
YZ’nin yetenekleri arttıkça giderek daha karmaşık görevler için kullanılacaktır. Bu tür görevlerin birçoğunda insanlar beklenen çıktıyı önceden bilmez. Tek seçenekler YZ’nin ürettiği çözümler olabilir. Böyle karmaşık görevlerde, nihai çıktıya dayalı olarak YZ’yi uyumlamak zordur; çünkü insanlar nihai çıktıyı yargılayamaz.
Örneğin bir ulaşım planı tasarlarken, sistemin mali sürdürülebilirliği, faydalı bir kamu hizmeti sunmakla dengelenmelidir. Bu tür pek çok husus, hangi nihai sistem tasarımının insan değerleriyle en iyi uyumlandığını belirlemeyi zorlaştırır.
Bu gibi durumlarda, daha küçük alt görevlerde uyumu sağlamak için insan gözetiminden yararlanmak daha kolaydır. Sürecin ilerleyen aşamalarında, biraz daha büyük görevler daha küçük alt görevlere bölünür ve ardından insan gözetimi altında uyumlanır. Bu süreç, görevler insanların doğrudan yargılayamayacağı kadar büyüyene kadar yinelemeli olarak devam eder.
Yinelemeli güçlendirme, daha küçük ve basit alt görevler insan doğrulamasına dayanarak uyumlandığı için, daha büyük birincil görevin de uyumlu olduğu varsayımına dayanır. Buna yinelemeli güçlendirme denir. Yinelemeli güçlendirme, münazara gibi tekniklerle birlikte de uygulanır.
Değer öğrenimi
İnsan etkileşimleri karmaşık ve inceliklidir. Çoğu durumda, insan eylemleri tek başına ele alındığında muğlaktır—doğru bağlamda anlam kazanır. Bu nedenle, geleneksel fayda fonksiyonları ve pekiştirmeli öğrenme, YZ’ye insan değerlerini kazandırmak için yetersizdir.
Önerilen bir alternatif, modelin tek bir fayda fonksiyonu yerine bir dizi fayda fonksiyonuna erişmesi ve bağlama göre bunlardan her birinin seçilmesidir. Model, farklı bağlamlarda insan eylemlerini gözlemleyerek doğru fayda fonksiyonunu seçmeyi öğrenir. Buna değer öğrenimi denir.
Değer öğrenimi, YZ’nin farklı senaryolarda insan davranışını doğrudan gözlemleyip her bağlam için doğru davranışı öğrenmesi tekniğidir. Bu, YZ’nin geniş bir yelpazedeki gerçek yaşam etkileşimleri aracılığıyla insan davranışına maruz bırakılmasını içerir.

Değer öğrenimi kavramının görsel anlatımı. Görsel DALL·E ile oluşturuldu
Uyum eğitimindeki insanların kabul edilebilir sayılan biçimde davranması gerekir. Örneğin, bir insan araba kullanırken bir YZ’yi uyumlamaya çalışırken öfkeye kapılmamalıdır. Ancak yavaş bir sürücünün arkasında sıkışıp kaldığında, daha yavaş aracı güvenli şekilde sollamayı denemelidir.
Büyük Dil Modellerinde (LLM) Süper Uyum
BBA’lar günümüzde en popüler büyük ölçekli YZ modelleridir. Çok çeşitli görevlerde kullanılırlar. Geniş kullanıcı tabanları ve kullanım alanları göz önüne alındığında, BBA’lar bağlamında süper uyum yakından incelenmeyi hak eder.
BBA’lar ve uyum zorlukları
Büyük dil modelleri olan GPT-4, Gemini ve Meta AI günlük hayatta kullanılmaya başlanıyor. Ölçek ve kapsamları dikkate alındığında, BBA’lar şu gibi yeni uyum zorluklarıyla birlikte gelir:
- Önyargıların sürdürülmesi: Bu modeller, açık internetten ve diğer kütüphanelerden elde edilen büyük miktarda veriyle eğitilmiştir. Eğitim verilerindeki herhangi bir önyargı, doğrudan modelin çıktılarında yansır. Girdi verilerindeki eksikliklerden kaynaklanan önyargı, algoritmik önyargı olarak kabul edilir.
- Karmaşık sistemler: Bu modellerin büyüklüğü, eğitim verilerinin genişliği ve kullanım durumlarının çeşitliliği, sistemin davranışını öngörmeyi zorlaştırır. Tüm kullanım durumları için model çıktısının insan değerleriyle uyumlu olmasını sağlamayı güçleştirir.
- Ölçek sorunları: Geniş kullanıcı tabanları ve yanıtladıkları çok sayıdaki sorgu göz önüne alındığında:
- İnsan değerleriyle uyumlu olmayan yanıtların yüzdesi küçük olsa bile, mutlak sayı olarak yine de büyüktür.
- YZ’nin davranışının tüm kullanıcılar genelinde tutarlı şekilde insan değerleri ve etiğiyle uyumlu olmasını sağlamak zorlaşır.
Bu, bu modellerin ne kadar iyi uyumlandığını test etmek ve insan değerleri ile etik standartlara uyumlarını sağlamak için sürekli ince ayar yapmak üzere yeni yöntemler benimsemeyi gerekli kılar.
BBA çıktılarının değerlendirilmesi
BBA çıktılarının insan değerleriyle uyumunu sağlamak için değerlendirilmesine yönelik pek çok yaklaşım önerilmiş ve denenmiştir. Bu yöntemlerin ölçeklenebilir olması gerekir. Bazı örnekler:
- İstenmeyen çıktının filtrelenmesi: Bir BBA’nın uygunsuz yanıtlarını ortadan kaldırmanın pragmatik bir yolu, dil modelinin üzerine bir filtreleme katmanı kullanmaktır. Metin üretimi ve filtreleme görevleri için ayrı sistemler eğitmek daha verimlidir. Filtrenin kendisi, üretici BBA’nın çıktısını uygunsuz dil ve hassas konular açısından tarayan başka bir YZ olabilir.
- Önyargı tespiti: Eğitim veri kümeleri kaçınılmaz olarak bir miktar önyargı içerir ve bu da önyargılı modellere yol açar. BBA çıktılarındaki önyargıları tespit etme yöntemlerinden bazıları şunlardır:
- Model geliştiriciler, önyargılı çıktılar için modelleri denetler. Önyargı denetimleri, modeli çeşitli girdilerle test etmeyi ve her durumda yanıtı karşılaştırmayı içerir.
- Farklı önyargı türlerini sistematik olarak aramak ve belirlemek için bazen özel önyargı tespit algoritmaları kullanılır.
- Gerçek denetleme: Sanrılar, BBA’ların başından beri en büyük sorunudur. Bir BBA, sadece eğitim verisinde gördüklerine dayanarak, bir kelime dizisini takip etmesi gereken kelimeleri tahmin etmeyi bilir. Gerçeklere dair bir konsepti yoktur. Bir BBA için “Dell kişisel bilgisayar üretir” cümlesi “Dell patates cipsi üretir” cümlesi kadar anlamlıdır. Bu nedenle, BBA’lar gerçeklere dayalı metin üretmek için kullanıldığında üretilen metnin olgusal doğruluğunu kontrol etmek kritik önemdedir.
- Açıklanabilirlik: Geleneksel BT sistemleri ve programlar kural tabanlıdır. Belirli bir çıktının hangi kurallardan kaynaklandığını saptamak için sistemi hata ayıklayabilirsiniz. Buna karşılık, BBA’ların milyarlarca parametresi vardır. Çıktının farklı bölümlerine hangi ağırlıkların katkıda bulunduğunu izlemek imkansızdır.
Neyse ki, akıl yürütme büyük dil modellerinin ortaya çıkan bir özelliğidir. Ortaya çıkan özellik, karmaşık bir sistemin parçalarının toplamıyla açıklanamayan niteliğidir.
BBA’ların yanıtlarını açıklayabildiği ve çok adımlı sorunlarda muhakeme edebildiği sıklıkla gözlemlenmiştir. Bir BBA’dan karmaşık bir çözümü açıklamasını istemek ve her adımı manuel olarak değerlendirmek, insanların BBA’nın yanıtını doğrulamasını sağlayabilir.
BBA’lar ve insan etkileşimi
Etkileşimli kullanılan BBA’lar, insan konuşmalarının nüanslarını ve inceliklerini anlamalıdır. Konuşmanın bağlamına göre yanıt verebilmelidirler.
Ton, niyet, alay ve duygusal ipuçlarını matematiksel olarak temsil etmek zordur. Buna rağmen YZ modelleri, insanlarla etkili iletişim kurabilmek için bu boyutları hesaba katmalıdır. Yalnızca empati kuracak şekilde uyumlanmış bir BBA, insanlarla etkileşimde etkili olur. Güven inşa edebilir ve insanlarla verimli etkileşimleri teşvik edebilir; buna ulaşmanın tek yolu çeşitli süper uyum tekniklerini uygulamaktır.
Süper Uyumda Etik Hususlar
Süper uyumun nihai hedefi, güçlü YZ’nin insan toplumunun etik standartlarına uymasıdır.
Bu bölüm, süper uyumda etiğin rolünü ve büyük modellerde etik davranışı sağlamaya ilişkin zorlukları açıklar.
Etik davranışın sağlanması
İnsan değerleriyle uyumlu olmayan bir YZ, insanların kullanımına asla güvenli olamaz. Uyumlanmamış bir sistem, kötü niyetli aktörler tarafından kötüye kullanılabilecek zararlı içerikler üretebilir. Toplumsal eşitsizlikleri sürdürebilir ve mevcut önyargıları güçlendirebilir.
En kötü durumda, uyumlanmamış bir sistem bu yeteneğini kötüye kullanarak manipülatif davranışlara yol açabilir. Bu nedenle, etik kaygılar tüm süper uyum çabalarının tam merkezinde yer alır. Ancak her koşulda etik davranışı güvence altına alarak YZ araçları yaygın ve uzun vadeli kullanım için güvenilir ve itimat edilir sayılabilir.
Fayda ile güvenliğin dengelenmesi
Etik davranışı YZ sistemlerine kazandırmanın önemli bir maliyeti vardır. Süper uyuma ulaşmak için model geliştiricilerin şunlara ihtiyacı vardır:
- YZ’nin yanıtlarını denetleyip geri bildirimde bulunacak insanlar
- Modeli yayımlamadan önce süper uyumu sağlamak için ek zaman
- Modeli ince ayarlamak ve uyumlamak için ek hesaplama kaynakları
Ayrıca çıkarım sırasında, modelin yanıtlarının insan değerleriyle uyumlu olmasını sağlamak için ek hesaplamalar yapması gerekir. Bazen uyumu bir kısıt olarak dayatmak, modelin yeteneklerini sınırlayabilir. Bu nedenle, süper uyumlu bir modelin performansı daha düşük olabilir.
Dolayısıyla, modelin teknik performansı ile uyum hususları arasında bir denge olmalıdır. Uyum ve güvenlik hususlarını geleneksel performans ölçütlerinin önüne koymak, pratikte pek kullanışlı olmayan modellere yol açabilir.
Adalet ve önyargı
Büyük ölçekli YZ modellerinin çok sayıda kullanıcısı ve çeşitli kullanım durumları vardır. Model çıktısında mevcut olan herhangi bir önyargı, geniş kapsamlı sonuçlara yol açabilir. Bu nedenle geliştiriciler, modellerinin mümkün olduğunca önyargısız olmasına özen göstermelidir.
BBA’lardan önyargıyı tamamen ortadan kaldırmak zordur; çünkü bu modeller devasa bir metin verisi gövdesine dayalı gözetimsiz eğitimden geçer. YZ, eğitim veri setindeki metinlerde bulunan farklı önyargı ve peşin yargıların tümünü kapar. Bu da model çıktısının adaletsiz ve ayrımcı olmasına yol açabilir. Geliştiriciler bunu ele almak için çeşitli yöntemler kullanabilir:
- Önyargı tespiti: Karşı önlemler almadan önce, önyargılı davranış örneklerini tanımlamak gerekir. Model çıktısının örnekleri üzerinde düzenli denetimler ve adalet değerlendirmeleri, modelin sergilediği önyargı türlerini ve bu önyargıları tetikleyen durumları belirlemeye yardımcı olabilir.
- Önyargının giderilmesi: Önyargıyı gidermenin üç temel yaklaşımı vardır:
- Modeli, çıktıdaki belirli önyargıları düzeltmek üzere programlamak.
- Eğitim veri setini sentetik verilerle destekleyerek zenginleştirmek. Örneğin, bir görüntü tanıma sistemi için eğitim veri setinde belirli bir türden çok az hayvan varsa, bu hayvanı tanıma olasılığını azaltır. Bu durum, genellikle bu türe ait sentetik olarak oluşturulmuş görüntülerle veri setini çoğaltarak ve/veya eğitim sürecinde ağırlığını artırarak ele alınır.
- Eğitim verilerinin yeterince temsil edilmeyen alt kümelerinin ağırlıklarını güncellemek. Bu, eğitim verilerinin farklı alt kümelerinin ağırlıklarını, eğitim verilerinde az örneğe sahip (yetersiz temsil edilen) kategorilerin, diğer kategorilerle aynı ağırlığa sahip olacak şekilde ayarlamayı içerir.
- Sürekli izleme: Modeller periyodik olarak yeni veri setleriyle yeniden eğitilir. Ayrıca, gelecekteki sürümlerin davranışı, modelin geçmişteki kullanıcı etkileşimlerinden etkilenir. Kullanıcı davranışı da YZ modellerine uzun süreli maruz kalma ve etkileşimlere bağlı olarak değişir. Bu nedenle, önyargı tespiti ve giderme tek seferlik bir görev değildir. Model geliştirme döngüsünün bir parçası haline gelmelidir.
Süper Uyuma Ulaşmanın Zorlukları
Önceki bölümlerde açıkladığımız gibi, süper uyuma ulaşmak zorludur. Başlıca güçlüklerden bazıları şunlardır:
- Modellerin karmaşıklığı ve ölçeği: Modern YZ modellerinin milyarlarca parametresi vardır. Bu, yanıtlarını öngörmeyi veya karar alma süreçlerini ilk ilkelerden anlamayı zorlaştırır. Dolayısıyla modelin insan değerleriyle tutarlı şekilde uyumlu olmasını sağlamak zordur. Model parametrelerindeki küçük güncellemeler bile uyumu bozabilir.
- Uyum tekniklerinin ölçeklenebilirliği: İnsan gözetimi, uyum sürecinin merkezindedir. Modellerin kapsamı ve kullanılabilirliği arttıkça, daha fazla senaryoda uyumlanmaları gerekir. Bu da insanların modelin uyum çabalarını ne kadar etkili ve ekonomik biçimde denetleyebileceğine dair soruları gündeme getirir.
- Genelleme ve sağlamlık: YZ modelleri rutin olarak yeni senaryoları ve özgün girdileri ele alır. Öte yandan modelin eğitimi ve uyumu, büyük ama sınırlı bir eğitim verisi ve senaryo kümesine dayanır. Modelin, uyumunu eğitimde açıkça kapsanmayan senaryolara da genişletebilmesi gerekir. Uç durumları ayırt edebilmeli ve yeni koşullar altında etik şekilde davranabilmelidir.
- Değer uyumsuzluğu: YZ’nin insan değerlerine dair yerleşik bir anlayışı yoktur. Sadece eğitimine dayanarak öğrenir. İnsan değerleri karmaşık ve bazen çelişkilidir. Bir durumda tamamen kabul edilebilir olan, başka bir durumda tamamen uygunsuz olabilir. Modelin değerleri amaçlanandan farklı anlaması durumunda uyumsuzluk ortaya çıkabilir. Bu da uygunsuz yanıtlara ve potansiyel olarak etik dışı davranışlara yol açabilir.
- Düzenleyici uyum: Ulusal ve ulusüstü kuruluşlar, güçlü YZ modellerinin kamu yararını sekteye uğratmamasını sağlamak için düzenleyici ve yasal standartlar belirlemeye başlıyor. Bu yeni düzenlemelere uyum, model geliştiricilerden ek çaba gerektirecektir.
- Diğer BT sistemleriyle entegrasyon: Çoğu uyum çabası doğrudan insan-YZ etkileşimine odaklanır. YZ diğer sistemlerle entegre edildiğinde yeni zorluklar ortaya çıkar. Böyle entegre sistemlerde YZ’nin girdi ve çıktıları artık insan dillerine dayanmaz. Bu da YZ’nin yanıtlarını yorumlamayı zorlaştırır. YZ içeren karmaşık bir BT sisteminin süper uyumunu sağlamak öngörülemeyen zorluklar sunar. Bir olasılık, tüm entegre sistemi insanlara anlamada ve izleme konusunda yardımcı olacak başka bir YZ’ye emanet etmektir.
- İzleme ve güncelleme: Modelin yanıtlarının sürekli izlenmesi, pratikte etik şekilde davrandığından emin olmak için gereklidir. Bu genellikle modelin gerçek hayata ait girdilere verdiği yanıtların rastgele örneklenmesiyle yapılır. Modelin parametrelerinin güncellenmesi de uyumu bozabilir. Bu nedenle, uyumun model geliştirme yaşam döngüsünün bir parçası olarak sürdürülmesi ve güncellenmesi gerekir.
Sonuç
İnsan değerleri ve etiğiyle uyumlu olmayan bir YZ sistemi kamusal kullanım için uygun değildir. Hatta olumsuz sonuçlara yol açabilir.
Bu yazıda, büyük ve güçlü YZ sistemlerini uyumlamak için kullanılan yöntem ve yaklaşımların bir toplamı olan süper uyumu tartıştık. Ek olarak, BBA’lar bağlamında süper uyumu inceledik. Son olarak, süper uyum gelişen bir alan olduğundan, uygulamasına ilişkin başlıca zorlukları ele aldık.
SSS
Süper uyum, uyumdan nasıl farklıdır?
Kavramsal olarak benzer olsalar da kapsam açısından farklıdırlar. Uyum, YZ sistemlerinin kullanıcı niyetini dikkate almasını, bağlama uygun davranmasını ve önyargıdan arınmış olmasını ifade eder.
“Süper uyum” terimi, yalnızca niyet ve bağlama değil, daha geniş biçimde insan değerleri, ahlak ve etikle uyumlu büyük ölçekli YZ modellerini ifade eder.
Farkın özü kullanılan yöntemlerde yatar. Uyum, daha basit kural tabanlı yöntemlerle sağlanabilir; ancak bu yöntemler süper uyum için yetersizdir.
Uyum, eğitimden nasıl farklıdır?
Model eğitimi, kayıp fonksiyonunun değerini en aza indirmeye dayanır. Uyum ise eğitimin ötesine geçer. Eğitilmiş modelin insan niyetlerine, değerlerine ve etiğine göre hareket etmesini sağlar.
Eğitim verileri önyargılıysa, ortaya çıkan model de önyargılıdır. Model etik standartlara göre hareket etmez. Uyum, eğitim sürecindeki eksiklikleri telafi edecek şekilde modelin düzeltilmesini içerir.
Tüm süper uyum çabaları insan emeğini mi gerektirir?
YZ modellerinin girdileri ve çıktılarının çok büyük hacmi göz önüne alındığında, manuel gözetim her zaman mümkün değildir. YZ davranışını denetlemek ve izlemek için otomatik ve programatik yaklaşımlar benimsemek daha pratiktir. Uç durumlarda elbette insan müdahalesi gereklidir.
Süper uyum kesinlikle gerekli midir? Eğitilmiş bir model yeterli değil mi?
Büyük ölçekli, kamuya dönük modeller için evet, kesinlikle gereklidir. YZ modellerinin çıktıları pratikte kullanıldığında, çıktıların bir insanın sahip olacağı aynı etik ve ahlaki standartlara uyması gerekir. Eğitim veri setleri varsayılan olarak çeşitli önyargılar içerir ve bunlar eğitilmiş modele yansır. Bu nedenle eğitilmiş modelin, insan değerleri ve standartlarıyla uyumlanması gerekir.
Kullanabileceğim süper uyum modülleri veya yazılım paketleri var mı?
Süper uyum hâlâ çözülmemiş bir problemdir ve birçok farklı yaklaşım üzerinde çalışılmaktadır. YZ araştırmacıları modellerine uygun farklı teknikleri dener. Bu nedenle, süper uyum için yaygın, üretim düzeyinde modüller bulunmamaktadır.

