Google'un Titans Mimarisi: Temel Kavramlar Açıklanıyor

2017'de Google, çığır açan "Attention is All You Need" makalesiyle yapay zeka topluluğunu sarstı. Bu makale, öz-dikkat mekanizmalarını kullanarak dizi modellemesinde devrim yaratan Transformer mimarisini tanıttı.

Yakın zamanda Google, "Titans: Learning to Memorize at Test Time" başlıklı yeni bir makale yayımladı; burada, yapay zeka sistemlerinin bilgiyi depolayıp kullanma biçimini geliştirmek üzere tasarlanmış yeni bir bellek mimarisi öneriyorlar.

İnsan belleğinin inceliklerinden ilham alan bu araştırma, özellikle Transformer'ların sınırlı bağlam penceresi gibi mevcut bellek sistemlerinin kısıtlarını aşmayı hedefliyor.

Titans mimarisi kısa vadeli, uzun vadeli ve kalıcı bellek gibi farklı bellek türlerini yapay zeka modellerine entegre etmek için sofistike bir yaklaşım sunar; bu sayede modeller, test zamanında dinamik olarak öğrenip ezberleyebilir.

Bu yaklaşımın merkezinde, insan beyninin beklenmedik olayları hatırlama eğiliminden esinlenen "sürpriz" mekanizması yer alır. Mimari, anlık ve geçmiş sürprizleri devreye alarak verimli veri ezberleme ve geri getirme sağlayacak şekilde belleğin etkin yönetimine imkân verir.

Bu yazıda, Titans makalesinde tanıtılan kavram ve mekanizmaları sadeleştirip açıklayacak ve bu yeni mimarinin yapay zekânın geleceği üzerindeki olası etkisini inceleyeceğim.

Mevcut Transformer Mimarisiyle İlgili Sorun

Transformer'lar bugün çoğu LLM'de kullanılan mimaridir. Bir cümledeki sözcükler gibi veri dizilerini işleme yetenekleriyle bilinirler. Verinin ilgili kısımlarına odaklanmalarına yardımcı olan "dikkat" mekanizmasını kullanarak oldukça etkili çalışırlar. Ancak önemli bir zorlukla karşı karşıyalar: bağlam penceresinin boyutu.

Bağlam penceresi, temel olarak bir Transformer'ın aynı anda ne kadar bilgiyi dikkate alabileceğidir. Bir cümle boyunca ilerleyen ve anlamı bağlam içinde kavramak için bir sözcük bölümünü yakalayan bir pencere gibi düşünebilirsiniz.

İdeal olarak, bu pencerenin mümkün olduğunca büyük olmasını isteriz ki aynı anda büyük metin parçalarını işleyebilelim; ancak bir sorun var. Bu bağlam penceresini büyütmeye çalıştıkça, kare zaman ve bellek karmaşıklığı nedeniyle gereken hesaplama miktarı önemli ölçüde artar.

Bu şu anlama gelir: Bağlam penceresinin boyutunu iki katına çıkarırsak, hesaplama yalnızca iki katına çıkmaz—dört kat daha talepkâr hale gelir! Bunun nedeni, penceredeki her kelimenin diğer her kelimeyle karşılaştırılması gerektiğinden, hesaplamaların hızla artmasıdır.

Günümüzün en iyi (SOTA) modelleri 2 milyon belirteçlik bağlam pencerelerine sahip. Ancak bunları işlemek oldukça maliyetlidir ve video anlama gibi bazı uygulamalar daha da büyük bağlam pencereleri gerektirir. Hesaplama maliyetinde büyük bir artış olmaksızın daha uzun bir bağlam penceresine sahip olmak, LLM'lerin daha uzun dizileri daha etkili biçimde işlemesini sağlayarak, aynı anda daha büyük veri parçalarını anlamayı gerektiren görevlerde performansı artırır. Bu nedenle kare maliyet sorununu aşmak, bu modelleri ilerletmede büyük bir odak noktasıdır.

Titans Mimarisi Nedir?

Titans, özellikle büyük ve karmaşık verilerle uğraşırken, insan belleğinin inceliklerinden esinlenerek yapay zeka modellerinin bilgiyi etkili biçimde depolayıp geri çağırma becerisini artıran yeni bir mimaridir.

İnsan belleğinden ilham

Bellek, insan öğrenmesi ve davranışında kritik bir rol oynar. Geçmiş deneyimlerden bilgiyi korumamıza yardımcı olur; bu bilgiyi karar vermek, yeni durumlara uyum sağlamak ve sorun çözmek için kullanırız. İnsan belleği genel olarak üç türe ayrılabilir:

• Kısa süreli bellek: Mevcut bilgiyi işlemek içindir. Hemen şimdi ihtiyaç duyduğumuz veriyi geçici olarak depolayıp yönetebildiğimiz zihinsel bir çalışma alanı gibidir; örneğin bir telefon numarasını, arayacak kadar kısa süreliğine hatırlamak.
• Uzun süreli bellek: Bilgiyi uzun süreler boyunca depolar. Bilgi birikimimizi, becerilerimizi ve kişisel anılarımızı içerir; yıllar sonra bile deneyimleri hatırlamamıza ve onlardan öğrenmemize imkân verir.
• Meta-bellek: Ne bildiğimizi bilme hâlidir. Bir görevi ne kadar iyi hatırlayabileceğimizi veya yerine getirebileceğimizi değerlendirmemize yardımcı olur; bu da karar ve yargılarımızı etkiler.

İnsan davranışında bu bellek türleri birlikte çalışarak çevremizden öğrenmemizi, stratejilerimizi uyarlamamızı ve zaman içinde davranışlarımızı geliştirmemizi sağlar. Bellek olmadan, temel refleksler ve kalıplaşmış davranışlarla sınırlı kalırdık.

Titans'ın bellek yapısı

Tıpkı insan bellek modelinde olduğu gibi, Titan'ın bellek yapısı da üç bölümden oluşur:

• Kısa süreli bellek (çekirdek): Bu modül, mevcut görevleri işlemeye odaklanır ve yapay zekânın anlık veriyi hassasiyetle ele almasını sağlar. Beynin kısa süreli belleğine benzer şekilde, bu bileşen ilgili bilgileri hızlı işlem için hazır tutar ancak süresiz olarak korumaz.
• Uzun süreli bellek: Bilgiyi uzun süreler boyunca depolamak için bir havuz görevi görür. İnsanlardaki uzun süreli belleğe benzer; hemen gerekmeyen ancak gelecekte önem kazanabilecek deneyimleri, bilgileri ve anıları tutar. Zaman içinde bağlamı anlamayı gerektiren görevler için kritik olan geçmiş bilgiyi hatırlayıp erişmeyi sağlar.
• Kalıcı bellek: Beynin meta-belleği gibi çalışır; görevle ilişkili bilgiyi modelin içine gömer. Bu bellek türü, mevcut girdiye bağlı olmayan ancak belirli görevleri anlamak ve icra etmek için kritik olan parametreleri içerir. Kalıcı bellek, öğrenilmiş kalıp ve çerçevelerin modelin parçası olarak kalmasını sağlar; böylece geçmiş öğrenmeyi yeni durumlara uygulama yeteneğini artırır.

Bu üç bellek türünü entegre ederek, Titans mimarisi yapay zekâ modellerinin bilgiyi tıpkı beyinlerimiz gibi dinamik biçimde yönetmesini sağlar; anlık işlemeyi geçmiş deneyim ve bilgi birikiminin tutulmasıyla harmanlar.

"Sürpriz" Mekanizması

Titans'taki "sürpriz" mekanizması, insan belleğinin temel bir yönünü taklit eder: beklenmedik olayları daha canlı hatırlama eğilimimiz. Bu yaklaşım, modelin beklediğinden ayrışan verileri tespit ederek hangi bilginin depolanacağına karar vermesine yardımcı olur.

Diyelim ki sokakta yürüyorsunuz ve her şey sıradan, rutin. Bu günlük yürüyüşü birkaç hafta sonra hatırlamayabilirsiniz. Ancak beklenmedik bir şey olursa—örneğin renkli bir geçit töreniyle karşılaşmak ya da heyecan verici bir haber veren bir telefon almak—bu sürpriz unsurlar dikkatinizi çeker ve daha kalıcı olur.

Benzer şekilde, Titans hangi bilginin ezberleneceğine öncelik vermek için bu sürpriz fikrini kullanır. Model, beklediğinden önemli ölçüde farklı olan verilerle (tıpkı renkli geçit töreni gibi) karşılaştığında, bu bilgiyi sürpriz olarak işaretler. Ardından Titans'ın bellek sistemi bu beklenmedik olayları depolamaya öncelik verir; böylece önemli ama alışılmadık veriler gözden kaçmaz.

Bu mekanizma, her ayrıntıyı tutmaya çalışmak yerine, önemli aykırı bilgilere odaklanarak Titans'ın bellek kaynaklarını verimli biçimde yönetmesini sağlar. İnsanlar gibi beklenmedik olanı daha çok hatırlayan Titans, bu doğal stratejiyi hayati bilgileri etkili biçimde işlemek ve saklamak için uygular; böylece büyük veri yığınlarını ele alan karmaşık görevlerde daha iyi performans sergiler.

Biçimsel olarak, sürpriz kavramı kayıp fonksiyonunun girdiye göre gradyanı olarak tanımlanır. Bu, yeni girdiye yanıt olarak kaybı en aza indirmek için modelin parametrelerinde ne kadar değişim gerektiğini ölçer.

Sürprizin ölçüsü olarak gradyanı kullanmanın sezgisi şudur: Büyük bir gradyan, yeni girdiyi karşılamak için modelde önemli değişiklikler gerektiğini ima eder; bu da girdinin modelin daha önce gördüklerinden oldukça farklı veya beklenmedik olduğunu ve dolayısıyla sürpriz kabul edilmesi gerektiğini gösterir.

Unutma Mekanizması

Titans mimarisindeki unutma mekanizması, uzun vadeli sinirsel belleği etkili biçimde yönetmek üzere tasarlanmış kritik bir bileşendir; modelin gerekli bilgiyi tutarken artık ihtiyaç duyulmayanı elemesini sağlar.

Bu mekanizma, bellek potansiyel olarak güncel olmayan ya da ilgisiz bilgilerle dolup taşabileceği büyük veri hacimleriyle çalışırken hayati öneme sahiptir. Pratikte unutma mekanizması, çıkarım sırasında dinamik olarak değerlendirilen sürpriz faktörü ve alaka düzeyine göre bilgiyi seçici olarak silmek için bellek güncelleme kuralını ayarlayarak çalışır.

Özellikle, uyarlanabilir bir kapı parametresi, önceki bellek durumunun ne kadarının korunacağını belirler; bu da modelin bellek içeriğini uyarlanabilir biçimde temizlemesine veya muhafaza etmesine olanak tanır. Böyle bir mekanizma, belleğin taşmasını önler ve bellek alanının verimli kullanımını teşvik eder; nihayetinde modelin gereksiz veri birikimi tarafından yavaşlatılmadan kritik ve yeni girdilere odaklanma yeteneğini artırır.

Bu yaklaşım, önemsiz veya güncelliğini yitirmiş anıların zamanla silikleştiği insan bilişsel süreçlerini yakından yansıtır; böylece daha verimli bilişsel işlem ve bilgi geri çağırma sağlanır.

Çıkarım Zamanında Öğrenme

Geleneksel makine öğrenmesi modellerinde öğrenme, eğitim aşamasında gerçekleşir. Model eğitildikten sonra, öğrenilmiş parametrelerinde daha fazla değişiklik yapmadan yeni, görülmemiş veriler üzerinde tahmin üretmek—yani çıkarım—için devreye alınır.

Titans mimarisi, modellere çıkarım sırasında—diğer adıyla test zamanında—dinamik olarak öğrenme imkânı tanıyarak bu paradigmayı kökten değiştirir. Bu yetenek, Titans'ın gelen verinin sürpriz ve önem derecesine bağlı olarak işleme sırasında belleğini ve parametrelerini güncellemesini sağlar.

Çıkarım zamanında öğrenme yeteneği birkaç önemli avantaj sunar:

• Yeni verilere dinamik uyum: Geleneksel modeller, geçmiş eğitim verilerine dayalı sabitlenmiş parametrelere bağlı olduklarından statik bir öğrenme doğasıyla sınırlıdır. Titans, çıkarım sırasında öğrenerek değişen kalıplara ve yeni girdilere gerçek zamanlı uyum sağlayabilir; böylece değişken ortamlar veya beklenmedik verilerle karşılaşıldığında alaka düzeyi ve doğruluğu artar.
• Gelişmiş veri alaka düzeyi ve bellek yönetimi: Test sırasında belleğini sürekli güncelleyerek, Titans mevcut bilgiden farklı ya da sürpriz kabul edilen verilerden öğrenmeye öncelik verebilir. Bu dinamik bellek yönetimi, insan beyninin yeni veya önemli olana odaklanıp sıradan olanı eleme yeteneğini yansıtır ve bilgi yüklenmesini önler.
• Geliştirilmiş genelleme: Titans, canlı veriye dayalı anlayışını rafine edebildiği için, orijinal eğitim setinin dışında kalan—dağılım dışı—girdilere daha iyi genelleyebilir. Bu yetenek, girdilerin eğitim verilerinden önemli ölçüde farklılaştığı gerçek dünya uygulamalarında önemlidir.
• Uzun vadeli bağımlılıklar için artan kapasite: Çıkarım zamanında öğrenme, Titans'ın verideki uzun vadeli bağımlılıkları daha etkili biçimde tanıyıp depolamasını sağlar. Bu, uzun metinler veya videolar gibi kapsamlı dizilerin işlenmesini gerektiren görevler için özellikle faydalıdır.
• Gerçek dünya uygulanabilirliği: Çıkarım zamanı öğrenme mekanizması, Titans'ın sürekli evrilmesini, yeni kalıpları ve bilgileri ortaya çıktıkça öğrenmesini sağlar. Bu özellik, modellerin dinamik ve karmaşık veri ortamlarında güncel kalması gereken gerçek dünya gereksinimleriyle yakından örtüşür.

Titans'ta Bellek Kipleri

Titans mimarisi, her biri insan bilişinin farklı yönlerinden ilham alan üç farklı bellek kullanım yoluna sahiptir. Her bellek kipini basit benzetmelerle ele alalım.

Kaynak: Behrouz vd., 2024

Bağlam olarak bellek (MAC)

Bir toplantıda kişisel bir asistanınız olduğunu düşünün. Bu asistan, önceki konuşmaların kapsamlı notlarını alır (uzun süreli bellek) ve gerektiğinde ilgili bilgileri kulağınıza fısıldar (geri getirme).

MAC kipinde yapay zeka modeli benzer şekilde çalışır. Geçmiş verilerin ayrıntılı bir geçmişini tutar ve bunu mevcut girdilerle entegre ederek bilinçli kararlar verir. Asistanınızın geçmiş bilgiyi mevcut tartışmalarla harmanlayarak karar almanızı güçlendirmesi gibi, MAC de işlenen anlık bilgiye bağlam sağlamak için uzun süreli belleği kullanır.

Kapı olarak bellek (MAG)

Zihninizde iki danışman olduğunu hayal edin. Biri yalnızca şu anda olanlara odaklanır, anlık görevlere dair içgörüler sunar (kısa vadeli dikkat). Diğeri ise yıllara dayanan deneyim ve bilgeliği (uzun süreli bellek) devreye sokar.

MAG kipi, her danışmana ne kadar dikkat verileceğine karar veren bir kapı bekçisi gibi davranır; odağı, mevcut ihtiyaçlar ile geçmiş öğrenme arasında dinamik olarak ayarlar. Bu, elinizdeki görev anlık kesinlik mi yoksa geçmiş deneyimlerden çıkarılan içgörüler mi gerektiriyor olursa olsun, uyarlanabilir ve dengeli bir yaklaşım sağlar.

Katman olarak bellek (MAL)

Bu kipi, her birinin bilgiyi kendine özgü biçimde işlediği çoklu anlayış katmanları olarak düşünün:

• İlk katman, uzun vadeli kalıplara ve anılara odaklanan tarihsel bir filtre gibi davranabilir.
• İkinci katman, kısa vadeli gözlemler gibi anlık bağlamları ele alır.
• Bilgi her katmandan geçerken rafine edilir ve dönüştürülür; böylece model, karar vermeden önce hem geniş bağlamı hem de ince ayrıntıları kapsamlı biçimde anlar.

Bu katmanlı işleme, karmaşık bilgiyi çoğu zaman aşamalar hâlinde sindirme biçimimizi yansıtır; anlayışımızı adım adım kurup rafine ederiz. Her kip, insanların bilgiyi işleyip saklama biçiminin farklı yönlerini taklit ederek Titans'ın çeşitli görevleri etkili biçimde ele almasını sağlar.

Gerçek Dünya Yansımaları ve Deneysel Başarı

Deneysel sonuçlar, çeşitli görevlerde Titans mimarisinin geleneksel Transformer'lar ve modern modellere üstünlüğünü vurguluyor. İşte temel bulguların özeti:

• Dil modelleme ve sağduyu akıl yürütme: Özellikle bağlam olarak bellek (MAC) varyantı, dil modelleme ve sağduyu gerektiren görevlerde güçlü performans sergiler.
• Samanlıkta iğne görevleri: Uzun dizilerden belirli bilgiyi geri getirmeyi içeren, "samanlıkta iğne" olarak bilinen görevlerde Titans belirgin şekilde üstün gelir.
• Daha büyük bağlamları ele alma: Titans, doğruluktan ödün vermeden 2 milyon belirtecin üzerindeki bağlam penceresi boyutlarına ölçeklenebilir; bu, mevcut en iyi modellere kıyasla önemli bir gelişmedir.
• Zaman serisi tahmini: Titans içindeki sinirsel bellek modülü, öngörü görevlerinde Transformer tabanlı ve doğrusal modeller de dâhil olmak üzere çeşitli taban çizgilerini geride bırakır.
• DNA modelleme: Titans mimarisi, DNA modelleme görevlerinde de rekabetçi performans göstererek geleneksel doğal dil görevlerinin ötesindeki çok yönlülüğünü kanıtlar.

Genel olarak Titans, karmaşık ve uzun bağlamlı görevleri daha etkili biçimde ele almasını sağlayan yeni bir bellek yönetimi yaklaşımından yararlanır; hem ölçeklenebilirlik hem de doğruluk açısından yapay zeka modelleri için yeni bir standart belirler.

Sonuç

Mevcut Transformer mimarisi güçlü olsa da, ölçekleme sorunları nedeniyle son derece uzun bağlamları ele almakta zorlanır. İnsan belleğinden ilham alan yenilikçi Titans mimarisi, kısa vadeli, uzun vadeli ve kalıcı belleği dinamik biçimde yöneterek bu sınırlamaları aşar.

Titans'ın çıkarım zamanında öğrenme, yeni veriye uyum sağlama ve belleği "sürpriz" mekanizmasına göre önceliklendirme yeteneğinin, bilgiyi işleme bakımından daha insan benzeri yapay zeka sistemleri yaratma potansiyeline sahip olduğuna inanıyorum. Bu, OpenAI’nin Operator gibi yapay zeka ajanları için oyunun kurallarını değiştirebilecek karmaşık ve dinamik ortamlarda performansı iyileştirebilir.