Transformer'lar Nasıl Çalışır: Transformer Mimarisi Üzerine Ayrıntılı Bir İnceleme

Transformer'lar Nedir?

Transformer'lar ilk olarak dizi dönüşümü (sequence transduction) ya da sinirsel makine çevirisi sorununu çözmek için geliştirildi; yani bir girdi dizisini çıktı dizisine dönüştüren her türlü görevi çözmek üzere tasarlandılar. Bu yüzden onlara “Transformer” adı verildi.

Ama en baştan başlayalım.

Transformer Modelleri Nedir?

Bir transformer modeli, ardışık verinin bağlamını öğrenen ve buradan yeni veri üreten bir sinir ağıdır.

Basitçe ifade etmek gerekirse:

Transformer, büyük miktarda metin verisindeki örüntüleri analiz ederek insan benzeri metinleri anlamayı ve üretmeyi öğrenen bir yapay zekâ modelidir.

Transformer'lar güncel en gelişmiş NLP modelleridir ve encoder–decoder mimarisinin evrimi olarak kabul edilir. Ancak encoder–decoder mimarisi, ardışık bilgiyi çıkarmak için ağırlıklı olarak Tekrarlayan Sinir Ağlarına (RNN) dayanırken Transformer'larda bu yinelenme hiç yoktur.

Peki bunu nasıl başarıyorlar?

Özellikle, farklı ögeler arasındaki ilişkileri analiz ederek bağlam ve anlamı kavramak üzere tasarlanmışlardır ve bunu yapmak için neredeyse tamamen attention adlı matematiksel bir tekniğe güvenirler.

Görsel: Yazar.

Tarihsel Bağlam

Google’ın 2017 tarihli araştırma makalesinden doğan Transformer modelleri, Makine Öğrenimi alanındaki en yeni ve etkili gelişmelerden biridir. İlk Transformer modelinin açıklaması "Attention is All You Need" adlı etkili makalede yer aldı.

Bu öncü kavram yalnızca kuramsal bir ilerleme olmakla kalmadı; TensorFlow’un Tensor2Tensor paketinde dikkate değer bir uygulama da buldu. Ayrıca Harvard NLP grubu, PyTorch uygulamasıyla desteklenen açıklamalı bir kılavuz sundu. Sıfırdan bir Transformer nasıl uygulanır konusunu ayrı bir eğitimimizde öğrenebilirsiniz.

Tanıtımları, sıklıkla Transformer AI olarak anılan alanda büyük bir sıçramayı tetikledi. Bu devrim niteliğindeki model, BERT de dâhil olmak üzere büyük dil modelleri alanındaki sonraki atılımlara zemin hazırladı. 2018’e gelindiğinde bu gelişmeler NLP’de bir dönüm noktası olarak görülüyordu.

2020’de OpenAI araştırmacıları GPT-3’ü duyurdu. Haftalar içinde GPT-3’ün çok yönlülüğü, insanların onunla şiirler, programlar, şarkılar, web siteleri ve daha fazlasını üretmesiyle hızla ortaya çıktı ve dünya çapında kullanıcıların hayal gücünü cezbetti. Bu dönüşümü gözlemleyen Stanford araştırmacıları, 2021’de yayımladıkları bir makalede bu yenilikleri "temel modeller" olarak adlandırdı ve yapay zekâyı yeniden şekillendirmedeki kritik rollerini vurguladı.

Erken dönemde tescilli modeller geniş kamu ilgisini çekse de, paralel bir açık kaynak devrimi Transformer teknolojisini hızla demokratikleştirdi. Hugging Face gibi platformlar model paylaşımı için hayati merkezler hâline geldi, ancak manzara 2023’te Meta’nın Llama ailesinin yayımlanmasıyla temelden değişti. Bu gelişme, “açık ağırlıklar” hareketini ateşledi ve geliştiricilerin, en yeni yapay zekâyı kurmak için kapalı kurumsal ekosistemlere güvenmek zorunda olmadığını kanıtladı.

2024 ve 2025 boyunca açık kaynak geliştirme sert biçimde hızlandı. Meta’nın devasa Llama 3.1’i ve ardından gelen Llama 4 serisi, Mistral gibi girişimlerden yüksek verimli mimariler ve DeepSeek’ten güçlü akıl yürütme modelleriyle birlikte, açıkça erişilebilir modellerin tescilli devlerle eşleşebileceğini, hatta bazen onları aşabileceğini gösterdi.

Bu arada kapalı kaynak modeller karmaşık yeteneklerle evrimleşmeye devam etti. 2023’te çok kipli yetenekler getiren GPT-4 ve 2024’te metin, görme ve sesi tek bir modelde birleştiren GPT-4o.

2024’ün sonlarında, OpenAI’nin o1 serisi ve DeepSeek’in açık R1’i gibi modeller, yanıt vermeden önce karmaşık mantık ve matematiği çözümlemek için dahili bir "zincirleme düşünme" yaklaşımı tanıtarak sektörde yeni bir dönüm noktasını işaretledi.

2025’in sonlarına doğru ve 2026’ya girerken, GPT-5 ailesinin piyasaya sürülmesiyle sohbet asistanlarından otonom sistemlere doğru eksen tamamen kaydı; kurumsal altyapıya gelişmiş çok adımlı planlama, uzun süreli bellek ve sağlam ajans iş akışları geldi.

NLP problemleri için LSTM gibi RNN modellerinden Transformer’lara geçiş

Transformer modelinin tanıtımı sırasında, girdide belirli bir sırayla karakterize edilen ardışık verilerle çalışmak için Tekrarlayan Sinir Ağları (RNN) tercih edilen yaklaşımdı.

RNN’ler, bir ileri beslemeli sinir ağına benzer şekilde çalışır ancak girdiyi öğe öğe, sıralı olarak işler.

Transformer'lar, RNN’lerde bulunan encoder–decoder mimarisinden esinlenmiştir. Ancak yinelenme kullanmak yerine Transformer modeli bütünüyle Attention mekanizmasına dayanır.

RNN performansını iyileştirmenin yanı sıra Transformer'lar, metin özetleme, görsel altyazılama ve konuşma tanıma gibi birçok başka görevi çözmek için yeni bir mimari sundu.

Peki RNN’lerin başlıca sorunları neler? İki temel nedenle NLP görevlerinde oldukça verimsizdirler:

• Girdiyi art arda, birbiri ardından işlerler. Bu yinelemeli süreç, paralel hesaplama için tasarlanmış modern GPU’lardan yararlanmaz ve bu da eğitim sürecini oldukça yavaşlatır.
• Ögeler birbirinden uzaklaştıkça etkisizlik artar. Çünkü bilgi her adımda aktarılır ve zincir uzadıkça bilginin zincir boyunca kaybolma olasılığı artar.

LSTM gibi RNN’lerden Transformer’lara geçişi, bu iki temel sorun ve Transformer’ların Attention mekanizmasındaki iyileştirmeler sayesinde her ikisini de ele alabilme yetisi yönlendirmiştir:

• Uzak olsalar bile belirli kelimelere odaklanabilme.
• Çalışma hızını artırma.

Böylece Transformer’lar, RNN’lerin doğal bir ilerlemesi hâline geldi.

Şimdi sırada, transformer'ların nasıl çalıştığına bakmak var.

Transformer Mimarisi

Genel Bakış

Başlangıçta dizi dönüşümü ya da sinirsel makine çevirisi için tasarlanan transformer'lar, girdi dizilerini çıktı dizilerine dönüştürmede ustadır. Girdi ve çıktının temsillerini, dizi hizalı RNN’ler ya da evrişim kullanmadan tamamen self-attention ile hesaplayan ilk dönüşüm modelidir. Transformer mimarisinin temel özelliği encoder–decoder modelini korumasıdır.

Transformer’ı dil çevirisi için basit bir siyah kutu olarak düşünürsek, örneğin İngilizce bir cümleyi girdide alır ve çıktıda onun çevirisini üretir.

Görsel: Yazar.

Biraz derine indiğimizde bu siyah kutunun iki ana bölümden oluştuğunu görürüz:

• Encoder, girdimizi alır ve bunun bir matris temsilini çıktılar. Örneğin “How are you?” İngilizce cümlesi.
• Decoder, bu kodlanmış temsili alır ve tekrar tekrar çıktı üretir. Örneğimizde, çevrilmiş cümle “¿Cómo estás?”

Görsel: Yazar. Encoder–Decoder’ın genel yapısı.

Ancak hem encoder hem de decoder aslında çok katmanlı bir yığından oluşur (her ikisi de aynı sayıda). Tüm encoder’lar aynı yapıya sahiptir; girdiyi alır, işler ve bir sonrakine geçirir. Tüm decoder’lar da aynı yapıya sahiptir; girdiyi son encoder’dan ve bir önceki decoder’dan alır.

Özgün mimari 6 encoder ve 6 decoder içeriyordu; ancak dilediğimiz kadar katmanı çoğaltabiliriz. Öyleyse her birinden N katman varsayalım.

Görsel: Yazar. Encoder–Decoder’ın genel yapısı. Çoklu katmanlar.

Genel mimariye dair fikrimiz olduğuna göre, iş akışlarını daha iyi anlamak için Encoder ve Decoder’ların ayrıntılarına odaklanalım:

Encoder İş Akışı

Encoder, Transformer mimarisinin temel bir bileşenidir. Encoder’ın birincil işlevi, girdi belirteçlerini (token) bağlamsallaştırılmış temsillere dönüştürmektir. Önceki modellerin belirteçleri bağımsız işlemesinin aksine Transformer encoder’ı, her belirtecin bağlamını tüm diziye göre yakalar.

Yapısal bileşimi şu şekildedir:

Görsel: Yazar. Encoder’ların genel yapısı.

İş akışını temel adımlarına ayıralım:

ADIM 1 - Girdi Gömme (Input Embeddings)

Gömme işlemi yalnızca en alttaki encoder’da gerçekleşir. Encoder, girdi belirteçlerini — kelimeler veya alt kelimeler — gömme katmanlarını kullanarak vektörlere dönüştürerek başlar. Bu gömmeler, belirteçlerin anlamsal karşılığını yakalar ve onları sayısal vektörlere çevirir.

Tüm encoder’lar, her biri 512 boyutlu (sabit boyut) vektörlerden oluşan bir liste alır. En alt encoder’da bu, kelime gömmeleri olurken diğer encoder’larda doğrudan altlarındaki encoder’ın çıktısıdır.

Görsel: Yazar. Encoder’ın iş akışı. Girdi gömme.

ADIM 2 - Konumsal Kodlama

Transformer’larda RNN’ler gibi yinelenme mekanizması bulunmadığından, dizideki her belirtecin konumu hakkında bilgi sağlamak için girdi gömmelerine eklenen konumsal kodlamalar kullanılır. Bu sayede her kelimenin cümle içindeki yerini anlayabilirler.

Bunu yapmak için araştırmacılar, çeşitli sinüs ve kosinüs fonksiyonlarının bir kombinasyonunu kullanarak konumsal vektörler oluşturmayı önerdi; böylece bu konumsal kodlayıcı her uzunluktaki cümlede kullanılabildi.

Bu yaklaşımda, her boyut dalganın benzersiz frekans ve ötelemeleriyle temsil edilir; değerler -1 ile 1 arasında değişir ve her konumu etkili şekilde ifade eder.

Görsel: Yazar. Encoder’ın iş akışı. Konumsal kodlama.

ADIM 3 - Encoder Katmanlarının Yığını

Transformer encoder’ı, özdeş katmanlardan oluşan bir yığından oluşur (özgün modelde 6).

Encoder katmanı, tüm girdi dizilerini, tüm diziden öğrenilen bilgiyi kapsayan sürekli ve soyut bir temsile dönüştürür. Bu katman iki alt modülden oluşur:

• Çok başlıklı attention mekanizması.
• Tam bağlantılı bir ağ.

Ek olarak, her alt katman etrafında artık bağlantılar bulunur ve bunları katman normalizasyonu izler.

Görsel: Yazar. Encoder’ın iş akışı. Encoder Katmanları Yığını

ADIM 3.1 Çok Başlıklı Self-Attention Mekanizması

Encoder’da çok başlıklı attention, self-attention adı verilen özel bir attention mekanizması kullanır. Bu yaklaşım, modelin girdideki her kelimeyi diğer kelimelerle ilişkilendirmesine imkân tanır. Örneğin, model “are” kelimesini “you” ile ilişkilendirmeyi öğrenebilir.

Bu mekanizma, encoder’ın her belirteci işlerken girdi dizisinin farklı bölümlerine odaklanmasını sağlar. Attention puanlarını şu temelde hesaplar:

• Sorgu (query), attention mekanizmasında girdi dizisinden belirli bir kelimeyi ya da belirteci temsil eden vektördür.

• Anahtar (key), attention mekanizmasında girdideki her kelime veya belirtece karşılık gelen vektördür.

• Her değer (value), bir anahtarla ilişkilidir ve attention katmanının çıktısını inşa etmek için kullanılır. Bir sorgu ve anahtar iyi eşleştiğinde, yani yüksek attention puanına sahip olduğunda, karşılık gelen değer çıktı içinde vurgulanır.

Bu ilk Self-Attention modülü, modelin tüm diziden bağlamsal bilgi yakalamasını sağlar. Tek bir attention işlemi yapmak yerine sorgular, anahtarlar ve değerler h kez doğrusal olarak yansıtılır. Bu yansıtılmış sürümlerin her birinde attention mekanizması paralel yürütülür ve h boyutlu çıktılar elde edilir.

Ayrıntılı mimari şu şekildedir:

Matris Çarpımı (MatMul) - Sorgu ve Anahtarın Nokta Çarpımı

Sorgu, anahtar ve değer vektörleri doğrusal katmandan geçirildikten sonra, sorgular ile anahtarlar arasında nokta çarpımı matris çarpımı yapılır ve bir puan matrisi oluşturulur.

Puan matrisi, her kelimenin diğer kelimelere ne ölçüde odaklanması gerektiğini belirler. Böylece her kelimeye, aynı zaman adımındaki diğer kelimelerle ilişkisine göre bir puan atanır. Yüksek puan daha fazla odak anlamına gelir.

Bu süreç sorguların karşılık gelen anahtarlara eşlenmesini etkili biçimde gerçekleştirir.

Görsel: Yazar. Encoder’ın iş akışı. Attention mekanizması - Matris Çarpımı.

Attention Puanlarının Büyüklüğünü Azaltma

Puanlar, sorgu ve anahtar vektörlerinin boyutunun kareköküne bölünerek ölçeklendirilir. Bu adım, değerlerin çarpımının aşırı büyük etkilere yol açabilmesi nedeniyle gradyanların daha kararlı olmasını sağlamak için uygulanır.

Görsel: Yazar. Encoder’ın iş akışı. Attention puanlarını azaltma.

Ayarlandıktan Sonra Puanlara Softmax Uygulama

Ardından ayarlanmış puanlara softmax fonksiyonu uygulanarak attention ağırlıkları elde edilir. Bu, 0 ile 1 arasında olasılık değerleri üretir. Softmax, yüksek puanları vurgulayıp düşükleri bastırarak modelin hangi kelimelere daha fazla dikkat etmesi gerektiğini daha etkili belirlemesini sağlar.

Görsel: Yazar. Encoder’ın iş akışı. Softmax ile ayarlanmış puanlar.

Softmax Sonuçlarının Değer Vektörüyle Birleştirilmesi

Attention mekanizmasının bir sonraki adımı, softmax’tan türetilen ağırlıkların değer vektörüyle çarpılması ve bir çıktı vektörü elde edilmesidir.

Bu süreçte yalnızca yüksek softmax puanlarına sahip kelimeler korunur. Son olarak bu çıktı vektörü daha ileri işleme için doğrusal bir katmana verilir.

Görsel: Yazar. Encoder’ın iş akışı. Softmax sonuçlarını değer vektörüyle birleştirme.

Ve sonunda Attention mekanizmasının çıktısını elde ederiz!

Peki buna neden Çok Başlıklı Attention deniyor, diye merak ediyor olabilirsiniz?

Sürecin başında, sorgularımızı, anahtarlarımızı ve değerlerimizi h kez böldüğümüzü unutmayın. Self-attention olarak bilinen bu süreç, bu daha küçük aşamaların ya da “başlıkların” her birinde ayrı ayrı gerçekleşir. Her başlık bağımsız çalışır ve bir çıktı vektörü üretir.

Bu takım, son bir doğrusal katmandan geçer; adeta toplu performanslarını ince ayar yapan bir filtreden. Güzellik, her başlıkta çeşitlenen öğrenmede yatar; bu da encoder modelini güçlü ve çok yönlü bir anlayışla zenginleştirir.

Attention mekanizmasını daha derinlemesine anlamak için Transformer’larda çok başlıklı attention eğitimimize bakın.

ADIM 3.2 Normalizasyon ve Artık Bağlantılar

Bir encoder katmanındaki her alt katmanı bir normalizasyon adımı izler. Ayrıca her alt katmanın çıktısı, kaybolan gradyan sorununu hafifletmek ve daha derin modelleri mümkün kılmak için girdisine eklenir (artık bağlantı). Bu süreç, İleri Beslemeli Sinir Ağı’ndan sonra da tekrarlanır.

Görsel: Yazar. Encoder’ın iş akışı. Çok Başlıklı Attention sonrası normalizasyon ve artık bağlantı.

ADIM 3.3 İleri Beslemeli Sinir Ağı

Normalize edilmiş artık çıktının yolculuğu, ek iyileştirme için noktasal (pointwise) ileri beslemeli bir ağdan geçerek devam eder.

Bu ağı, arasında bir ReLU aktivasyonunun köprü görevi gördüğü iki doğrusal katmandan oluşan bir ikili olarak düşünebilirsiniz. İşlendikten sonra çıktı, tanıdık bir yolu izler: geri döner ve noktasal ileri beslemeli ağın girdisiyle birleşir.

Bu buluşmayı, bir sonraki adımlara her şeyin iyi ayarlanmış ve uyumlu olmasını sağlayan bir başka normalizasyon turu izler.

Görsel: Yazar. Encoder’ın iş akışı. İleri Beslemeli Sinir Ağı alt katmanı.

ADIM 4 - Encoder Çıkışı

Son encoder katmanının çıktısı, girdi dizisini zengin bir bağlamsal anlayışla temsil eden vektörlerden oluşur. Bu çıktı daha sonra Transformer modelinde decoder’ın girdisi olarak kullanılır.

Bu özenli kodlama, decoder’ın çözümleme zamanı geldiğinde girdi içindeki doğru kelimelere dikkat etmesinin yolunu açar.

Bunu, N encoder katmanını üst üste koyabildiğiniz bir kule inşa etmek gibi düşünün. Bu yığındaki her katman, tıpkı bilgi katmanları gibi, attention’ın farklı yönlerini keşfetme ve öğrenme şansı bulur. Bu yalnızca anlayışı çeşitlendirmekle kalmaz, transformer ağının öngörü gücünü de önemli ölçüde artırabilir.

Decoder İş Akışı

Decoder’ın rolü, metin dizileri oluşturmaya odaklanır. Encoder’ı yansıtan şekilde, decoder benzer bir alt katman setiyle donatılmıştır. İki çok başlıklı attention katmanı, noktasal bir ileri beslemeli katman ve her alt katmandan sonra hem artık bağlantılar hem de katman normalizasyonu içerir.

Görsel: Yazar. Encoder’ların genel yapısı.

Bu bileşenler, encoder katmanlarına benzer şekilde çalışır; ancak bir farkla: decoder’daki her çok başlıklı attention katmanının kendine özgü bir görevi vardır.

Decoder sürecinin son aşaması, bir sınıflandırıcı görevi gören doğrusal bir katman ve farklı kelimelerin olasılıklarını hesaplamak için onun üzerinde bir softmax fonksiyonudur.

Transformer decoder’ı, kodlanmış bilgiyi adım adım çözüp çıktı üretmek üzere özel olarak tasarlanmıştır.

Decoder’ın artzamanlı çalıştığına dikkat etmek önemlidir; süreç bir başlangıç belirteciyle başlar. İlk girdiden zengin attention bilgisi taşıyan encoder çıktılarıyla birlikte, daha önce üretilen çıktılardan oluşan bir listeyi girdileri olarak akıllıca kullanır.

Bu ardışık çözümleme dansı, decoder çıktının sonunu işaret eden bir belirteç üretene kadar sürer.

ADIM 1 - Çıktı Gömme

Decoder’ın başlangıç çizgisinde süreç, encoder’dakine benzer. Girdi önce bir gömme katmanından geçer

ADIM 2 - Konumsal Kodlama

Gömmenin ardından, yine encoder’da olduğu gibi girdi konumsal kodlama katmanından geçer. Bu sıra, konumsal gömmeler üretmek üzere tasarlanmıştır.

Bu konumsal gömmeler daha sonra decoder’ın ilk çok başlıklı attention katmanına aktarılır ve burada decoder girişine özgü attention puanları titizlikle hesaplanır.

ADIM 3 - Decoder Katmanlarının Yığını

Decoder, özdeş katmanlardan oluşan bir yığından oluşur (özgün modelde 6). Her katmanın üç ana alt bileşeni vardır:

ADIM 3.1 Maskeli Self-Attention Mekanizması

Bu, encoder’daki self-attention’a benzer; ancak kritik bir farkla: konumların, kendilerinden sonraki konumlara dikkat etmesini engeller; yani dizideki her kelime, gelecekteki belirteçlerden etkilenmez.

Örneğin, “are” kelimesi için attention puanları hesaplanırken, “are”’ın dizide daha sonra gelen “you” kelimesine göz atamaması önemlidir.

Görsel: Yazar. Decoder’ın iş akışı. İlk Çok Başlıklı Attention Maskesi.

Bu maskeleme, belirli bir konum için yapılan tahminlerin yalnızca ondan önceki konumlardaki bilinen çıktılara dayanabilmesini sağlar.

ADIM 3.2 - Encoder–Decoder Çok Başlıklı Attention ya da Çapraz Attention

Decoder’ın ikinci çok başlıklı attention katmanında encoder ve decoder bileşenleri arasında benzersiz bir etkileşim görürüz. Burada encoder çıktıları hem sorgu hem de anahtar rolünü üstlenirken, decoder’ın ilk çok başlıklı attention katmanının çıktıları değer olarak kullanılır.

Bu kurulum, encoder’ın girdisini decoder’ınkiyle etkili biçimde hizalar ve decoder’ın encoder girdisinin en alakalı bölümlerini belirleyip vurgulamasını sağlar.

Bunun ardından, bu ikinci çok başlıklı attention katmanının çıktısı, işlemi daha da iyileştiren noktasal bir ileri beslemeli katmandan geçirilir.

Görsel: Yazar. Decoder’ın iş akışı. Encoder–Decoder Attention.

Bu alt katmanda sorgular önceki decoder katmanından, anahtarlar ve değerler ise encoder çıktısından gelir. Bu sayede decoder’daki her konum, girdi dizisindeki tüm konumlara dikkat edebilir ve encoder’dan gelen bilgiyi decoder’daki bilgilerle etkili biçimde bütünleştirir.

ADIM 3.3 İleri Beslemeli Sinir Ağı

Encoder’a benzer şekilde, her decoder katmanı, her konuma ayrı ayrı ve özdeş biçimde uygulanan tam bağlantılı bir ileri beslemeli ağ içerir.

ADIM 4 Çıktı Olasılıklarını Üretmek için Doğrusal Sınıflandırıcı ve Softmax

Verinin transformer modelindeki yolculuğu, bir sınıflandırıcı işlevi gören son bir doğrusal katmandan geçerek tamamlanır.

Bu sınıflandırıcının boyutu, dâhil olan toplam sınıf sayısına (sözlükteki kelime sayısı) karşılık gelir. Örneğin 1000 farklı kelimeyi temsil eden 1000 ayrı sınıfın olduğu bir senaryoda, sınıflandırıcının çıktısı 1000 elemanlı bir dizi olur.

Bu çıktı daha sonra, her biri 0 ile 1 arasında yer alan olasılık puanlarına dönüştüren bir softmax katmanına verilir. Bu olasılık puanlarının en yükseği kilit önemdedir; karşılık gelen indeks, modelin dizide bir sonraki kelime olarak tahmin ettiği kelimeyi doğrudan işaret eder.

Görsel: Yazar. Decoder’ın iş akışı. Transformer’ın nihai çıktısı.

Normalizasyon ve Artık Bağlantılar

Her alt katmanı (maskeli self-attention, encoder–decoder attention, ileri beslemeli ağ) bir normalizasyon adımı izler ve her biri etrafında bir artık bağlantı bulunur.

Decoder Çıkışı

Son katmanın çıktısı, genellikle bir doğrusal katman ve ardından sözlük üzerinde olasılıkları üretmek için bir softmax ile, tahmin edilen bir diziye dönüştürülür.

Decoder, işlem akışında yeni üretilen çıktıyı büyüyen girdi listesine dahil eder ve çözümlemeye devam eder. Bu döngü, modelin tamamlanmayı işaret eden belirli bir belirteç tahmin etmesine kadar sürer.

En yüksek olasılıkla tahmin edilen belirteç, genellikle bitiş belirteciyle temsil edilen nihai sınıf olarak atanır.

Yine, decoder’ın tek katmanla sınırlı olmadığını unutmayın. Encoder’dan ve önceki katmanlarından aldığı girdinin üzerine inşa olan N katmanla yapılandırılabilir. Bu katmanlı mimari, modelin odağını çeşitlendirmesine ve attention başlıkları arasında farklı dikkat örüntüleri çıkarmasına olanak tanır.

Böylesi çok katmanlı bir yaklaşım, farklı attention kombinasyonlarına daha incelikli bir anlayış geliştirdikçe modelin tahmin yetisini önemli ölçüde artırabilir.

Nihai mimari (özgün makaleden) şu şekildedir:

Görsel: Yazar. Transformer’ların özgün yapısı.

Bu mimariyi daha iyi anlamak için, PyTorch ile bir transformer oluşturma eğitimimizi izleyerek sıfırdan bir Transformer uygulamayı denemenizi öneririm.

Gerçek Hayattaki Transformer Modelleri

BERT

Google’ın 2018’de yayımladığı açık kaynak doğal dil işleme çerçevesi BERT, benzersiz iki yönlü eğitimiyle NLP’de devrim yarattı; bu sayede model, bir sonraki kelimenin ne olması gerektiğine dair daha bağlam bilgili tahminler yapabiliyor.

Bir kelimenin bağlamını tüm yönleriyle anlayarak BERT, soru yanıtlama ve belirsiz dili anlama gibi görevlerde önceki modelleri geride bıraktı. Çekirdeğinde, her çıktı ve girdi ögesini dinamik olarak bağlayan Transformer’lar yer alır.

Wikipedia üzerinde önceden eğitilen BERT, çeşitli NLP görevlerinde mükemmel sonuçlar verdi ve Google’ın daha doğal sorgular için arama motoruna entegre edilmesine yol açtı. Bu yenilik, gelişmiş dil modelleri geliştirme yarışını tetikledi ve karmaşık dil anlayışı konusunda alanı önemli ölçüde ileri taşıdı.

BERT hakkında daha fazla bilgi için BERT modelini tanıtan ayrı makalemize göz atabilirsiniz.

LaMDA

LaMDA (Language Model for Dialogue Applications), Google tarafından özellikle sohbet odaklı görevler için geliştirilen ve 2021 Google I/O açılışında tanıtılan Transformer tabanlı bir modeldir. Daha doğal ve bağlamsal olarak uygun yanıtlar üretmek üzere tasarlanmış olup, çeşitli uygulamalarda kullanıcı etkileşimlerini iyileştirir.

LaMDA’nın tasarımı, geniş konu ve kullanıcı niyetlerini anlama ve bunlara yanıt verme yeteneği sağlar; bu da dinamik sohbetin kilit olduğu sohbet botları, sanal asistanlar ve diğer etkileşimli yapay zekâ sistemleri için idealdir.

Sohbet anlayışı ve yanıta odaklanması, LaMDA’yı doğal dil işleme ve yapay zekâ destekli iletişim alanında önemli bir ilerleme olarak öne çıkarır.

LaMDA modellerini daha iyi anlamakla ilgileniyorsanız, LaMDA üzerine makalemizle daha iyi bir kavrayış edinebilirsiniz.

GPT ve ChatGPT

OpenAI tarafından geliştirilen GPT ve ChatGPT, tutarlı ve bağlamsal olarak uygun metin üretebilme yetenekleriyle bilinen gelişmiş üretici modellerdir. İlk model GPT-1 Haziran 2018’de, en etkili modellerden biri olan GPT-3 ise iki yıl sonra 2020’de yayımlandı.

Bu modeller içerik üretimi, sohbet, dil çevirisi ve daha fazlası dâhil geniş bir görev yelpazesinde yetkindir. GPT’nin mimarisi, insan yazımına oldukça benzeyen metinler üretmesini sağlar ve onu yaratıcı yazım, müşteri desteği ve hatta kod yardımı gibi uygulamalarda faydalı kılar. Sohbet bağlamlarına optimize edilmiş bir varyant olan ChatGPT, insan benzeri diyalog üretiminde mükemmeldir ve sohbet botları ile sanal asistanlardaki kullanımını güçlendirir.

Claude

Anthropic tarafından geliştirilen Claude, güvenlik ve faydalılığa odaklanarak tasarlanmış Transformer tabanlı yapay zekâ asistanları ailesidir. Claude, modelin yardımcı, zararsız ve dürüst yanıtlar üretmesi için ilke setleriyle yönlendirildiği Anayasal Yapay Zekâ (CAI) yaklaşımını kullanır.

Claude 3 (2024’te yayımlandı), hız ve yetenek arasında farklı dengeler sunan Haiku, Sonnet ve Opus olmak üzere üç model katmanı tanıttı. Modeller, incelikli akıl yürütme, karmaşık talimatları izleme ve uzun sohbetler boyunca (200K token’a kadar) bağlamı korumada başarılıdır.

2025 ve 2026’da Anthropic, en yenileri Opus 4.6 ve Sonnet 4.6 olan Claude 4 modellerini piyasaya sürdü; bu modeller birçok LLM karşılaştırmasında zirvede yer aldı. 

Diğer Varyasyonlar

Temel modellerin, özellikle de transformer modellerinin manzarası hızla genişliyor. Bir çalışma 50’den fazla önemli transformer modelini tanımlarken, Stanford grubu bunlardan 30’unu değerlendirdi ve alanın hızlı büyümesini vurguladı. NVIDIA’nın Inception programının bir parçası olan yenilikçi girişim NLP Cloud, havayolları ve eczaneler gibi çeşitli sektörlerde ticari olarak yaklaşık 25 büyük dil modeli kullanıyor.

Bu modelleri açık kaynak yapma eğilimi artıyor; Hugging Face’in model merkezi gibi platformlar öncülük ediyor. Ek olarak, farklı NLP görevleri için uzmanlaşmış çok sayıda Transformer tabanlı model geliştirildi; bu da modelin çeşitli uygulamalarda ne kadar çok yönlü ve verimli olduğunu gösteriyor.

Ayrı bir makalede, Temel Modeller hakkında daha fazlasını, ne olduklarını ve en çok hangilerinin kullanıldığını öğrenebilirsiniz.

Modern Transformer Varyantları

2017’deki özgün mimariden bu yana Transformer’lar, sınırlamaları ele almak ve yeni alanlara genişlemek için önemli ölçüde evrildi.

Vision Transformers (ViT)

Vision Transformer’lar, görüntüleri parçalara ayırıp her parçayı bir belirteç olarak ele alarak self-attention mekanizmasını görsellere uygular. Bu yaklaşım, büyük veri kümelerinde genellikle geleneksel CNN’leri geride bırakarak görüntü sınıflandırma, nesne tespiti ve görüntü üretiminde son derece etkili olmuştur.

Çok Kipli Transformer’lar

GPT-5, Gemini 3 ve Llama 4 gibi modern modeller, tek bir mimari içinde birden fazla girdi türünü (metin, görsel, ses, video) işler. Bu çok kipli Transformer’lar, farklı kipler arasında eşzamanlı akıl yürütmek için birleşik gömme uzayları ve çapraz attention mekanizmaları kullanır.

Verimli Transformer’lar

Self-attention’ın karesel karmaşıklığı, bağlam uzunluğunu sınırlar. Bunu ele alan çeşitli yenilikler vardır:

• Flash Attention: GPU bellek kullanımını azaltmak ve eğitimi 2–4 kat hızlandırmak için bellek erişim örüntülerini optimize eder
• Rotary Position Embeddings (RoPE): Konum bilgisini döndürme (rotasyon) matrisleriyle kodlar; daha uzun dizilere daha iyi genelleme sağlar
• Doğrusal attention varyantları: Linformer, Performer ve Longformer çok uzun belgeleri işlerken karmaşıklığı O(n)’e düşürür
• Uzman Karışımı (MoE): Her belirteç için yalnızca bir alt küme parametreyi etkinleştirerek benzer hesaplama maliyetiyle daha büyük modelleri mümkün kılar

Kıyaslamalar ve Performans

NLP’de Transformer modellerinin performansını kıyaslamak ve değerlendirmek, etkililik ve verimliliklerini ölçmek için sistematik bir yaklaşım gerektirir.

Görevin doğasına bağlı olarak bunu yapmanın farklı yolları ve kaynakları vardır:

Makine Çevirisi Görevleri

Makine Çevirisi görevlerinde, MT sistemlerinin her biri kendine özgü zorluklar sunan dil çiftleri yelpazesiyle karşılaştığı WMT (Workshop on Machine Translation) gibi standart veri setlerinden yararlanabilirsiniz.

BLEU, METEOR, TER ve chrF gibi ölçütler, doğruluk ve akıcılığa yönlendiren yol göstericilerdir.

Ayrıca haber, edebiyat ve teknik metinler gibi farklı alanlarda test etmek, bir MT sisteminin uyarlanabilirliğini ve çok yönlülüğünü güvence altına alır; onu dijital dünyanın gerçek bir çokdillisi yapar.

Soru-Cevap (QA) Kıyaslamaları

QA modellerini değerlendirmek için SQuAD (Stanford Question Answering Dataset), Natural Questions veya TriviaQA gibi özel soru-cevap derlemelerini kullanırız.

Her biri, kendi kuralları olan farklı bir oyuna benzer. Örneğin SQuAD verilen bir metinde yanıt bulmaya odaklanırken, diğerleri her yerden gelebilecek sorularla bir bilgi yarışması gibidir.

Bu programların ne kadar iyi performans gösterdiğini görmek için Kesinlik (Precision), Duyarlılık (Recall), F1 ve bazen tam eşleşme puanları gibi metrikler kullanırız.

Doğal Dil Çıkarımı (NLI) Kıyaslamaları

Doğal Dil Çıkarımı (NLI) ile uğraşırken, SNLI (Stanford Natural Language Inference), MultiNLI ve ANLI gibi özel veri setlerini kullanırız.

Bunlar, dil varyasyonları ve zorlayıcı örneklerin büyük kütüphaneleri gibidir; bilgisayarlarımızın farklı türde cümleleri ne kadar iyi anladığını görmemize yardımcı olur. Başlıca, ifadelerin uzlaştığını mı, çeliştiğini mi yoksa ilgisiz mi olduğunu anlama konusundaki doğruluğa bakarız.

Ayrıca, bir kelimenin daha önce anılmış bir şeye gönderme yapması gibi zorlayıcı dil olgularını ya da ‘değil’, ‘tümü’ ve ‘bazı’ gibi niceleyicileri modelin nasıl çözdüğünü de incelemek önemlidir.

Diğer Mimarilerle Karşılaştırma

Sinir Ağları dünyasında Transformer’larla sıklıkla karşılaştırılan iki belirgin yapı bulunur. Her biri, belirli türde veri işleme için tasarlanmış farklı faydalar ve zorluklar sunar: Bu makale boyunca birkaç kez geçen RNN’ler ve Evrişimsel Katmanlar.

Tekrarlayan Katmanlar

Tekrarlayan Katmanlar, Tekrarlayan Sinir Ağlarının (RNN) temel taşlarıdır ve ardışık verileri işlemekte başarılıdır. Bu mimarinin gücü, dil işleme veya zaman serisi analizi gibi görevler için kritik olan sıralı işlemleri gerçekleştirebilmesinde yatar. Bir Tekrarlayan Katmanda, önceki adımdan çıkan çıktı, bir sonraki adımda ağa giriş olarak geri beslenir. Bu döngüsel mekanizma, ağın önceki bilgileri hatırlamasını sağlar; bu da bir dizide bağlamı anlamak için hayati önemdedir.

Ancak tartıştığımız üzere bu sıralı işleme iki ana sonuca yol açar:

• Her adım bir öncekine bağlı olduğundan paralel işlemeyi zorlaştırır ve eğitim sürelerini uzatabilir.
• Kaybolan gradyan problemi nedeniyle uzun dönem bağımlılıklarıyla zorlanırlar; ağ, bir dizide birbirinden uzak noktaları öğrenmede daha az etkili hâle gelir.

Transformer modelleri, tekrarlayan katmanlar kullanan mimarilerden önemli ölçüde farklıdır; çünkü yinelenme içermezler. Daha önce gördüğümüz gibi, Transformer’ın Attention katmanı bu iki sorunu da ele alır ve onları NLP uygulamaları için RNN’lerin doğal evrimi yapar.

Evrişimsel Katmanlar

Öte yandan Evrişimsel Katmanlar, Evrişimsel Sinir Ağlarının (CNN) yapı taşlarıdır ve görüntü gibi uzamsal verileri işlemekteki verimlilikleriyle bilinir.

Bu katmanlar, girdinin üzerinden gezinerek öznitelikler çıkaran çekirdekler (filtreler) kullanır. Bu çekirdeklerin genişliği ayarlanabilir; böylece ağ, eldeki göreve bağlı olarak küçük ya da büyük özniteliklere odaklanabilir.

Evrişimsel Katmanlar verideki uzamsal hiyerarşileri ve örüntüleri yakalamakta son derece iyi olsa da, uzun dönem bağımlılıklarıyla ilgili zorluklar yaşarlar. Doğaları gereği ardışık bilgiyi hesaba katmazlar; bu da bir dizinin sırasını ya da bağlamını anlamayı gerektiren görevler için onları daha az uygun kılar.

Bu nedenle CNN’ler ve Transformer’lar farklı veri ve görev türleri için uyarlanmıştır. CNN’ler, uzamsal bilgiyi işlemekteki verimlilikleri sayesinde bilgisayarlı görü alanında baskındır; Transformer’lar ise özellikle NLP’de uzun menzilli bağımlılıkları anlama yetileri nedeniyle karmaşık ardışık görevlerde başvurulan yöntemdir.

Transformer’ların Eksileri ve Sınırlamaları

Başarılarına rağmen Transformer’ların dikkat çeken sınırlamaları vardır:

• Karesel karmaşıklık: Self-attention, dizi uzunluğuyla O(n²) ölçeklenir; çok uzun bağlamlar hesaplama açısından maliyetlidir
• Bellek gereksinimleri: Büyük modeller önemli GPU belleği ister ve dağıtım seçeneklerini sınırlar
• Eğitim verisi gereksinimleri: Güçlü performans için genellikle çok büyük veri kümeleri gerekir
• Açık seçik akıl yürütme eksikliği: Güçlü örüntü eşleyiciler olsalar da sembolik akıl yürütme yapmazlar ve olguları hayal edebilirler
• Konum kodlama sınırlamaları: Standart konumsal kodlamalar, eğitimde görülmeyen dizi uzunluklarına genellemede zorlanır

Araştırmalar, Flash Attention, uzman karışımı ve geri getirme artırımlı üretim (RAG) gibi mimari yeniliklerle bu sınırlamaları ele almaya devam ediyor.

Sonuç

Sonuç olarak Transformer’lar, yapay zekâ ve doğal dil işleme (NLP) alanlarında anıtsal bir atılım olarak ortaya çıktı.

Ardışık veriyi benzersiz self-attention mekanizmalarıyla etkili biçimde yöneterek bu modeller, geleneksel RNN’leri geride bıraktı. Uzun dizileri daha verimli ele alabilmeleri ve veriyi paralelleştirerek işlemeleri, eğitimi önemli ölçüde hızlandırır.

Google’ın BERT’i ve OpenAI’nin GPT serisi gibi öncü modeller, Transformer’ların arama motorlarını iyileştirme ve insan benzeri metin üretimindeki dönüştürücü etkisini somutlaştırır.

Sonuç olarak, modern makine öğreniminde vazgeçilmez hâle geldiler; yapay zekânın sınırlarını ileri taşıyarak teknolojik ilerlemelerde yeni yollar açtılar.

Transformer’lara ve pratik kullanımına dalmak isterseniz, Transformer’lar ve Hugging Face üzerine makalemiz mükemmel bir başlangıç! Ayrıca ayrıntılı rehberimizle PyTorch ile bir Transformer inşa etmeyi de öğrenebilirsiniz.