Konumsal Kodlama Açıklaması: Transformer’lara Düzen Duygusu Vermek

Konumsal Kodlama Nedir?

Konumsal kodlama, sinir ağlarının girdi verisinin sıralı düzenini anlamasına yönelik bir tekniktir. Bir belirtecin göreli ya da mutlak konumunu temsil eden bir koordinatlar kümesi gibi davranır ve standart veri gösteriminizle birleştirilir.

Metin bir sinir ağına girmeden önce, kelimeler sürekli sayısal formalara dönüştürülür; bunlara gömme vektörleri (embeddings) denir. Ancak, standart gömmeler yalnızca anlamsal içeriği yakalar: size bir kelimenin metin içindeki konumu hakkında hiçbir şey söylemez. Bu sürecin nasıl çalıştığını tam olarak öğrenmek için OpenAI API ile Gömme Vektörlerine Giriş kursumuzu alabilirsiniz.

Konumsal kodlama, bu belirteç gömmelerine doğrudan eklenen ilave bir matematiksel katmandır. Anlamsal temsili konumsal bir damgayla birleştirerek, transformer modelinin bir cümlenin farklı bölümlerinde geçen aynı kelimeleri ayırt edebilmesini sağlar.

Permütasyon değişmezliği problemi

Sıralı veriler büyük ölçüde düzene dayanır. Doğal dilde, "the dog bit the man" cümlesi "the man bit the dog" cümlesinden tamamen farklı bir anlama gelir.

Tarihsel olarak, Yinelemeli Sinir Ağları (RNN’ler) ve Uzun Kısa Süreli Bellek ağları (LSTM’ler) bunu doğuştan ele alırdı. Belirteçleri sıralı şekilde işlerlerdi; yani ağ ikinci kelimeyi matematiksel olarak ancak ilk kelimeyi bitirdikten sonra alırdı. Benzer şekilde, Evrişimli Sinir Ağları (CNN’ler) komşu piksellerin ya da kelimelerin mekânsal düzenini yakalayan yerel kayan pencerelerle veriyi işler.

Transformer’lar sıralı işlemeyi tamamen terk eder. Tüm belirteçleri paralel olarak işlerler. Bir transformer’ın çekirdeği, dizideki her bir belirteç çifti arasındaki ilişki puanlarını aynı anda hesaplayan öz-dikkat (self-attention) mekanizmasıdır; bu mekanizma matematikselleştirildiğinde permütasyon değişmezidir. Girdi dizisini karıştırırsanız, öz-dikkat mekanizması kelime çiftleri için tam olarak aynı dikkat puanlarını üretir.

Düzeni koruyan bir mekanizma olmadan, model sıralı bilgiyi tamamen yitirir. Anlamsal içerik, düzenlenmemiş bir kelime torbasına çöker. Konumsal kodlama, girdi vektörlerini zorunlu olarak değiştirerek öz-dikkat mekanizmasının 1. pozisyondaki belirteçleri 10. pozisyondakilerden farklı kaydetmesini sağlar ve böylece permütasyon değişmezliği problemini çözer.

Konumsal Kodlama Nasıl Çalışır?

Konumsal kodlama, öz-dikkat katmanlarına ulaşmadan önce girdi belirteç vektörlerini matematiksel olarak değiştirerek çalışır. Bu, modelin ilişkileri hem anlama hem de konuma dayalı olarak hesaplamasını sağlar.

Bunun ne anlama geldiğine dair sezgi oluşturalım. Standart belirteç gömmelerini bir konferanstaki yaka kartları olarak düşünün. Yaka kartı size kişinin kim olduğunu söyler; ancak konferans alanındaki yeri, onun kim olduğunu ya da diğer insanlarla ilişkisini değiştirmez. Konumsal kodlama, bu yaka kartına bir koltuk numarası eklemek gibidir. İkisini birleştirdiğinizde, hem kişinin kim olduğunu hem de nerede oturduğunu bilirsiniz. Bu da konferansta kurabileceği etkileşimlere bağlam katar.

Bir transformer’da bu kombinasyon genellikle basit bileşen bazında toplama ile yapılır. Model, bir kelimenin anlamsal gömme vektörünü alır ve aynı boyutta bir konumsal kodlama vektörü ekler. Ortaya çıkan vektör, sonraki katmanların mekânsal koordinatlar olarak yorumlamayı öğrendiği ince bir modülasyon içerir.

Örnek hesaplama

Basitleştirilmiş bir örneğe bakalım. Boyutu 4 olan küçücük bir gömme uzayımız olduğunu düşünelim. Dizimizde 0. pozisyonda yer alan "DataCamp" kelimesini işlemek istiyoruz.

1. Anlamsal gömme: Sinir ağı "DataCamp" için gömmeyi getirir; bu [0.51, -0.22, 0.88, 0.14] gibi görünebilir.
2. Konumsal kodlama: Konumsal formül, 0. pozisyon için bir koordinat vektörü üretir. Bu örnekte [0.00, 1.00, 0.00, 1.00] hesapladığını varsayalım.
3. Kombinasyon: İki vektörü bileşen bazında toplarız.
4. Nihai girdi: İleri geçiş [0.51, 0.78, 0.88, 1.14] alır.

Aynı "DataCamp" belirteci daha sonra 5. pozisyonda görünse bile, konumsal kodlama vektörü farklı olacaktır. Dolayısıyla nihai girdi vektörü öz-dikkat mekanizmasına tamamen farklı görünecektir.

Sinüzoidal Konumsal Kodlama

Orijinal "Attention Is All You Need" makalesi, temel trigonometri kullanarak konumsal vektörler üretmek için zekice bir yöntem sundu. Bu yaklaşım makine öğrenimi ağırlıkları gerektirmez ve tamamen sabit matematiksel işlevlere dayanır.

Matematiksel temel

Sinüzoidal konumsal kodlama, konumsal bilgiyi kodlamak için farklı frekanslarda sinüs ve kosinüs işlevlerini kullanır. Orijinal formül, belirli bir pozisyon (pos) ve gömme vektörü içindeki belirli bir boyut indeksi (i) için kodlamanın şu şekilde hesaplandığını söyler:

• Çift boyutlar (2i) için: PE(pos, 2i) = sin(pos / 10000^(2i/dmodel))

• Tek boyutlar (2i+1) için: PE(pos, 2i+1) = cos(pos / 10000^(2i/dmodel))

Bu formülde dmodel, gömme vektörünün toplam boyutudur. Vektörün boyutları boyunca 0 indeksinden dmodel’e ilerledikçe sinüzoidal işlevlerin dalga boyu geometrik olarak artar.

Avantajlar ve özellikler

Bu geometrik frekans ilerlemesi birkaç belirgin avantaj sağlar. 

1. Sinüs ve kosinüs çıktıları -1 ile 1 arasında kesin olarak sınırlıdır. Bu sınırlı doğa, konumsal kodlamaların anlamsal gömmeleri sayısal olarak bastırmamasını sağlar.
2. İşlevler periyodiktir. Trigonometrik toplam formülleri sayesinde, doğrusal bir dönüşüm, gelecekteki bir pozisyonun (pos + k) konumsal kodlamasını mevcut pozisyonun (pos) bir fonksiyonu olarak kolayca temsil edebilir. Bu özellik, modelin göreli konum kodlamasını doğal olarak öğrenmesine imkân verir.
3. Sinüzoidal kodlama sabit parametreler kullanır. Öğrenilebilir ağırlık gerektirmez; bellek yükünü ciddi şekilde azaltır. Sürekli bir matematiksel işlev üzerinde çalıştığından, modelin eğitimde görülenden daha uzun diziler için konumsal koordinatları eşleyebilmesi anlamına gelen teorik bir ekstrapolasyon kabiliyeti vardır.

Görselleştirme

Sinüzoidal kodlamayı anlamaya yardımcı olmak için bunu bir ısı haritası olarak görselleştirmek faydalı olabilir.

Görselleştirmenin x ekseni gömme boyutu büyüklüğünü, y ekseni ise belirtecin konumunu gösterir. 

Soldaki daha düşük boyutlar negatif ve pozitif değerler arasında hızla salınır; bu da yakın belirteç konumlarını ayırt etmelerini sağlar. Boyut indeksi arttıkça dalga boyu uzar ve kodlama daha kademeli değişir. Bu boyutlar, daha büyük mesafelerdeki konumsal farklılıkları yakalar.

Burada gösterilen 50 pozisyon için, birçok daha yüksek boyut neredeyse yeknesak dikey şeritler gibi görünür. Bunun nedeni, dalga boylarının o kadar uzun olmasıdır ki, bu kısa dizi içinde sinüs değerleri 0’a ve kosinüs değerleri 1’e yakın kalır; sırasıyla 0 ve 1 değildir. Dolayısıyla, görülen şeritler basit bir ikili kodlamayı değil, bitişik sinüs–kosinüs boyutlarını yansıtır. Daha uzun bir dizide bu boyutlar da belirgin biçimde değişmeye başlar.

Çıkarım şu: Farklı frekanslar, modele çoklu ölçeklerde konumsal bilgi sağlar; hızla değişen boyutlar yakın belirteçler arasındaki ince farkları yakalarken, yavaş değişen boyutlar daha uzun dizilerde daha geniş konumsal konumu izler.

Öğrenilmiş Konumsal Kodlama

Sabit matematiksel formüller zarif olsa da, modern derin öğrenme mimarileri genellikle en iyi temsilleri veriden öğrenmeye dayanır. Öğrenilmiş konumsal gömmeler, düzen yükünü bütünüyle eğitim aşamasına kaydırır.

Kavram ve uygulama

Sinüs ve kosinüs işlevleriyle konumsal değerleri sabitlemek yerine, öğrenilmiş konumsal gömmeler konum koordinatlarını standart öğrenilebilir parametreler olarak ele alır. 

Model, her satırı belirli bir dizi pozisyonuna karşılık gelen tamamen boş bir gömme matrisiyle başlatılır. Standart geri yayılım eğitim döngüsü sırasında, ağ bu konumsal ağırlıkları anlamsal belirteç gömmeleriyle birlikte güncelleyerek toplam kayıp fonksiyonunu en aza indirir.

Karşılaştırmalı avantajlar

Öğrenilmiş konumsal gömmelerin başlıca avantajı aşırı esnekliktir. Belirli bir veri kümesi için en iyi çalışan konumsal temsilleri tamamen serbestçe öğrenebilir. BERT ve GPT-2 gibi mimariler, yüksek uyarlanabilirliği ve aşağı akış görevlerindeki güçlü performansı nedeniyle bu yaklaşımı başarıyla popülerleştirmiştir.

Sınırlamalar ve zorluklar

Öğrenilmiş konumsal gömmelerin en önemli sınırlaması, dizi uzunluğu üzerinde katı bir sınırdır. Bir model en fazla 2.048 öğrenilmiş konum vektörüyle eğitildiyse, fiziksel olarak 2.049 belirteçlik bir belgeyi işleyemez. 

Bu kısıt, uzunluk ekstrapolasyonunu ciddi biçimde sınırlar ve sıklıkla bağlam penceresini genişletmek için maliyetli yeniden eğitimi gerektirir.

Göreli Konumsal Kodlama

Modeller daha uzun belgeleri ele alacak şekilde evrildikçe, mühendisler bir kelimenin mutlak konumundan ziyade diğer kelimelere olan göreli uzaklığının çoğu zaman daha önemli olduğunu fark etti.

Göreli konumlara kavramsal geçiş

"the rapid advancement of AI" ifadesini düşünün. "advancement" ile "AI" arasındaki dilbilgisel ilişki, ifadenin bir belgenin en başında mı yoksa en sonunda mı göründüğünden bağımsız olarak aynıdır. Göreli konumsal kodlama mutlak kılavuz koordinatlarını bırakır. Bunun yerine, etkileşen belirteçler arasındaki mesafe ofsetlerine tamamen odaklanır.

Dikkat mekanizmalarında uygulama

Göreli kodlamaları uygulamak için mühendisler, ağın en başındaki girdi gömmelerini değiştirmek yerine dikkat puanı hesaplamalarını doğrudan değiştirir. 

Bir "sorgu" matrisi ile bir "anahtar" matrisi arasındaki dikkat puanı hesaplanırken, göreli mesafeyi temsil eden ek bir öğrenilmiş önyargı terimi eklenir. Bu değişiklik, metin içinde kaymaya karşı değişmezliği garantiler. Bu matrislerin nasıl çalıştığına daha derinlemesine dalmak için, LLM’lerde dikkat mekanizması rehberimizi okuyun.

Pratik ödünleşimler

Bu yaklaşım, son derece doğru bağlamsal anlayış sağlar ancak ciddi hesaplama yükü getirir. Her bir dikkat başlığı için benzersiz göreli mesafe matrisleri hesaplamak, bellek tüketimini büyük ölçüde artırır. Ayrıca metin üretimini hızlandırmak için kullanılan dahili önbellekleme mekanizmalarını da karmaşıklaştırır.

Mutlak ve göreli konumsal bilgi

Mutlak ve göreli kodlama arasında karar vermek, özel göreve bağlıdır. 

• Mutlak kodlama, tam mekânsal düzenin katı olduğu ve hızlı yürütmenin önceliklendirildiği durumlarda harika çalışır. 
• Göreli kodlama, dilbilgisel yapının mutlak belge koordinatlarından ziyade tamamen yerel bağlam mesafelerine bağlı olduğu uzun biçimli doğal dil işleme için çok daha üstündür.

Döner Konum Gömmesi (RoPE)

Transformer mimarilerini mükemmelleştirme arayışında araştırmacılar Rotary Position Embedding (RoPE) tekniğini tanıttı. Mutlak ve göreli konumsal kodlamaların en iyi özelliklerini birleştirir ve hızla sektör standardı haline gelmiştir.

Yenilikçi yaklaşım

RoPE, mutlak yerleşim ve göreli mesafeleri döndürme dönüşümleriyle birleştirir. Gömmelere bir vektör eklemek ya da dikkat puanlarına ağır önyargılar eklemek yerine, RoPE gömme vektörünü karmaşık düzleme eşler ve onu belirli bir açıyla döndürür. Bu açının büyüklüğü, belirtecin dizideki mutlak konumu tarafından kesin olarak belirlenir.

Matematiksel içgörüler

2B bir uzayda döndürme, standart bir 2B döndürme matrisi kullanılarak uygulanır. Daha yüksek boyutlarda, RoPE gömme boyutlarını çiftler halinde gruplar ve her parçaya mutlak konum indeksine dayalı benzersiz 2B döndürmeler uygular.

Döndürme matrislerinin geometrik özellikleri nedeniyle, döndürülmüş bir sorgu vektörü ile döndürülmüş bir anahtar vektörünün noktasal çarpımı sonunda yalnızca aralarındaki göreli açıya bağlı olur. Böylece RoPE, belirteçler arasındaki göreli mesafeyi doğal olarak kodlamak için mutlak bir konum eşlemesini kullanır.

RoPE ve sinüzoidal kodlama

Yukarıdaki görselin de gösterdiği gibi, sinüzoidal kodlama orijinal vektörün büyüklüğünü ve yönünü değiştirir. RoPE ise büyüklük bilgisini korur ve iki farklı konum arasındaki göreli mesafeyi anlamak için yalnızca açıya ihtiyaç duyar.

Doğrusal Önyargılı Dikkat (ALiBi)

RoPE karmaşık döner matematiğe dayanırken, Doğrusal Önyargılı Dikkat (ALiBi) adı verilen bir başka teknik tamamen farklı bir yaklaşım benimser.

Basitlik ve verimlilik

ALiBi, başlangıçtaki belirteç gömmelerine konumsal bilgi ekleme fikrini tamamen rafa kaldırır. Kelime gömmeleri transformer’a tamamen dokunulmadan girer. 

Bunun yerine ALiBi, dikkat hesaplamasının en son adımında devreye girer. softmax işlevine girmeden hemen önce, iki belirteç arasındaki mesafe ile orantılı sabit bir ceza dikkat logitlerinden düşülür. İki kelime birbirinden ne kadar uzaktaysa, dikkat puanlarından düşülen ceza o kadar büyüktür.

Performans

Bu yöntem uygulaması oldukça basittir ve çok verimlidir. En büyük faydası, uzunluk ekstrapolasyonu görevlerinde son derece etkili olmasıdır. 1.024 belirteçlik diziler üzerinde ALiBi ile eğitilmiş bir model, uzunluğu iki katına çıkan dizilerde de çakmadan tutarlı metin üretebilir. 

Hızlı metin üretimi ve çıkarım görevleri için kullanılan diğer ileri teknikleri keşfetmek isteyen uygulayıcılar, spekülatif çözümleme rehberimize bakabilir.

Hangi Konumsal Kodlama Ne Zaman Kullanılır

Önce ne inşa ettiğinizden yola çıkın, sonra uyan yöntemi seçin — bazen tek bir yöntem, bazen birkaçının birleşimi.

• Basit, sıfır parametreli bir başlangıç istiyorsunuz: Sinüzoidal (sabit formüller, eğitilecek bir şey yok).
• Dizi uzunluğunuz sabit ve belirli bir veri kümesinde azami performans istiyorsunuz: Öğrenilmiş.
• Eğitimde kullandığınızdan daha uzun dizileri ele almanız gerekiyor: Ekstrapolasyon yapabilen teknikler arasında RoPE en güçlü seçenektir.
• Dilbilgisi mutlak konumdan değil, belirteçler arası mesafeden etkileniyor: Göreli veya RoPE.
• Modern, genel amaçlı bir LLM inşa ediyorsunuz: RoPE.
• Uzunluk ekstrapolasyonu tek önceliğiniz ve en basit uygulamayı istiyorsunuz: ALiBi.
• Bellek ve önbellekleme yükü olmadan göreli konum faydaları istiyorsunuz: RoPE (göreli kodlamalar faydalıdır ama daha masraflıdır).

Pratik Uygulama ve Mimari Hususlar

Teori ile pratiği köprülemek, konumsal kodlamaların gerçek kod tabanlarına nasıl entegre edileceğini ve mimari sınırlamaların nasıl yönetileceğini anlamayı gerektirir.

Transformer’larda konumsal kodlama uygulamak

PyTorch gibi çerçevelerde bir transformer’a konumsal kodlama eklemek için geliştiriciler genellikle özel bir modül oluşturur. Bu modül, kodlama matrisini bir kez üretir ve geri yayılım sırasında yanlışlıkla güncellenmemesi için bir arabellek (buffer) olarak kaydeder. 

Aşağıda, sinüzoidal kodlamaları içeren bir ileri geçişin standart pratik uygulaması yer alır. Kodlamalar sinüs ve kosinüs formüllerinden bir kez hesaplanır ve eğitim sırasında asla değişmez; bu nedenle öğrenilebilir parametreler yerine bir arabellekte saklanırlar (ve bu yüzden eğitime maliyet eklemezler).

import torch
import torch.nn as nn
import math

class PositionalEncoding(nn.Module):
    def __init__(self, d_model: int, max_len: int = 5000):
        super().__init__()
        
        pe = torch.zeros(max_len, d_model)
        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)
        
        # Calculate the division term for frequencies
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))
        
        # Apply sine to even indices and cosine to odd indices
        pe[:, 0::2] = torch.sin(position * div_term)
        pe[:, 1::2] = torch.cos(position * div_term)
        
        pe = pe.unsqueeze(0)
        
        # Register as a buffer
        self.register_buffer('pe', pe)

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        # Add positional encoding directly to the input embeddings
        seq_len = x.size(1)
        x = x + self.pe[:, :seq_len, :]
        return x

__init__ içinde, modül max_len pozisyona kadar kodlama tablosunu önceden hesaplar: position bir indeks sütunudur (0, 1, 2, …) ve div_term frekanslardır; 1 / 10000^(2i/d_model)’e denk gelir; böylece alt boyutlar hızlı dalgalar, üst boyutlar yavaş dalgalar alır. 

sin’in çift boyutlara (0::2) ve cos’un tek boyutlara (1::2) uygulanması tabloyu doldurur. Ardından forward çalışmadaki tek işi yapar: tabloyu girdinin dizi uzunluğuna göre dilimler ve belirteç gömmelerine bileşen bazında ekler. Modülün [batch, seq_len, d_model] şeklinde yığın-öncelikli bir tensör varsaydığına dikkat edin; bu nedenle forward 1. boyuttan dilimler.

Konum önyargısı ve ortada kaybolma olgusu

Uzun dizi uzunluklarını eşlemenin istenmeyen bir sonucu konum önyargısıdır. Bu durum sıklıkla "ortada kaybolma" olgusu olarak kendini gösterir. Çok büyük belgeleri işlerken, dil modelleri bir istemin en başındaki ya da en sonundaki bilgileri ortadakilere göre çok daha iyi hatırlama eğilimindedir. Bu tanıdık gelebilir; zira insan hafızası da benzer çalışır (en azından bende öyle; kitapların başını ve sonunu aradakilerden daha iyi hatırlayan tek kişi ben değilimdir herhalde!).

Teoriye göre bu, dikkat mekanizması ilgisiz bağlamla bunaldığı ve doğal olarak erken belirteçlere (talimatı belirleyen) ve en son belirteçlere (bellekte en taze olan) tutunduğu için olur. Bu önyargıyı azaltmak için geliştiriciler gelişmiş parçalama (chunking) stratejilerine ve anlamsal getirme sistemlerine başvurur.

Uzmanlık alanları için konumsal kodlama

Transformer’lar artık yalnızca metinle sınırlı değil. Konumsal kodlama kavramı, birden çok alanda farklı veri türlerini ele alacak şekilde hızla uyarlanıyor.

Görsel transformer’lar için, görüntüler yama ızgaralarına bölünür. Basit bir 1B dizi kodlaması, 2B uzayda mekânsal yakınlığı yakalayamaz. Bu nedenle görsel modeller sıklıkla hem X hem de Y koordinatlarını hesaba katan 2B öğrenilmiş konumsal kodlamalar kullanır. 

Sürekli zaman serisi modelleri için de benzer uyarlamalar vardır; burada uzmanlaşmış kodlamalar zamansal uzaklıkları, mevsimselliği ve zaman damgalarını takip eder.

Konumsal Kodlama Üzerine İleri Araştırmalar

Bağlam pencereleri büyüdükçe, modellerin konumu nasıl anladığını iyileştirmek makine öğrenimi araştırmalarının son derece etkin ve kritik bir alanı olmaya devam ediyor.

Uzunluk ekstrapolasyonu ve bağlam genişletme

Günümüz kullanıcıları, tüm kod tabanlarını ya da roman serilerini tek seferde işlemek için devasa bağlam pencereleri talep ediyor. Modelleri baştan itibaren çok büyük dizi uzunluklarında eğitmek fazla maliyetli olduğundan, araştırmacılar bağlam genişletme tekniklerine güveniyor. 

Konumsal enterpolasyon gibi yöntemler, çok daha uzun bir dizinin konumsal koordinatlarını, orijinal eğitim uzunluğunun sınırlarına matematiksel olarak sıkıştırır. YaRN gibi uyarlamalı yöntemler, modelin mesafe anlayışını sorunsuz biçimde esnetmek için RoPE parametrelerinin döngüsel frekansını dinamik olarak ayarlar.

Açık konumsal kodlama olmadan transformer’lar

Şaşırtıcı biçimde, bazı araştırmalar açık konumsal kodlamanın her zaman kesinlikle gerekli olmayabileceğini öne sürüyor. Yalnızca kod çözücü (decoder-only) nedensel dil modellerinde, standart nedensel maskelenme (belirteçleri yalnızca geriye bakmaya zorlayan mekanizma) doğası gereği zamansal sıralama bilgisini sızdırır. 

Bu, yalnızca stratejik sıcaklık ayarı ve mimari düzenlemelerle nedensel maskeden konumsal kuralların örtük olarak öğrenilmesinin mümkün olabileceği anlamına gelir.

Zorluklar ve Gelecek Yönelimler

Nihai ufuk, sıkı uyarlama (belirli bir dizi uzunluğu için performansı optimize etme) ile kusursuz ekstrapolasyon (modelin sonsuza dek genelleyebilmesine izin verme) arasındaki kalıcı ödünleşimi vurgular. 

Ortaya çıkan araştırma alanları, yoğun şekilde çok modlu kodlamaya odaklanıyor. 3B video koordinatlarını metin ve ses akışlarıyla birleştiren evrensel konumsal temsiller oluşturmak, yeni nesil yapay zeka modelleri için hedeflerden biridir.

Sonuç

Konumsal kodlama, paralel işlemeyle sıralı anlama arasındaki boşluğu kapatır ve verileri sıralı biçimde işleyebilen modeller oluşturmamıza olanak tanır. Öğrenilmiş ve göreli gömmelerin nasıl aşırı esneklik sunduğunu ve RoPE ile ALiBi gibi modern yeniliklerin hem matematiksel zarafeti hem de hesaplama verimliliğini nasıl optimize ettiğini inceledik. 

Bağlam pencereleri birkaç bin belirteçten milyonlara uzadıkça, bir sinir ağına şeylerin tam olarak nerede olduğunu söyleyen bu basit matematiksel eylem, model tasarımının kalbinde yer almaya devam edecektir. 

Daha derine inmek ve uygulamalı deneyim kazanmak isterseniz, Developing Large Language Models beceri yoluna kaydolmanızı öneririm.