RAFT nedir? LLM’leri Uzmanlık Alanlarına Uyarlamak İçin RAG ve İnce Ayarın Birleşimi

Doğal dil işleme (NLP) hızla büyümeye devam ederken, büyük dil modelleri (LLM’ler) giderek daha fazla görevi yerine getirebilen güçlü araçlar hâline geldi. Ancak, bu genel amaçlı modelleri tıbbi literatür veya yazılım dokümantasyonu gibi yüksek derecede uzmanlaşmış alanlara uyarlamak hâlâ süregelen bir zorluk.

İşte bu noktada, alan odaklı NLP’yi dönüştürme potansiyeline sahip yeni bir teknik olan Retrieval-Augmented Fine-Tuning (RAFT) devreye giriyor. RAFT, LLM’leri haricî veri kaynaklarıyla birleştiren bir yöntem olan Retrieval-Augmented Generation (RAG) ile ince ayarın gücünü bir araya getirir; böylece modeller yalnızca alan bilgisi öğrenmekle kalmaz, aynı zamanda görevleri yerine getirebilmek için haricî bağlamı doğru şekilde getirip anlamayı da öğrenir.

Bu yazıda RAFT’ın iç işleyişini inceleyecek, avantajlarına bakacak ve bu ileri tekniklerin alan odaklı NLP görevlerine yaklaşımımızı nasıl değiştirebileceğini göreceğiz. Başlamak için, RAG’e girişimiz ve RAG’in pratik uygulamaları gibi bazı RAG kaynaklarına göz atın.

Retrieval Augmented Fine-Tuning (RAFT) nedir

Retrieval Augmented Fine-Tuning (RAFT), RAG ve ince ayarın faydalarını birleştiren, dil modellerine yönelik çığır açıcı bir yaklaşımdır. Bu teknik, modellerin alan bilgilerini anlama ve kullanma yeteneklerini güçlendirerek ve hatalı getirilen içeriklere karşı sağlamlık sağlayarak dil modellerini belirli alanlara uyarlamayı mümkün kılar.

RAFT, özellikle LLM’leri uzmanlık gerektiren alanlara uyarlamanın zorluklarını ele almak üzere tasarlanmıştır. Bu bağlamlarda, genel bilgi çıkarımı ikincil planda kalır; esas odak, önceden tanımlanmış alan belgeleri kümesine göre azami doğruluk elde etmektir.

RAG ve İnce Ayarı Anlamak

RAG nedir?

Retrieval-Augmented Generation (RAG), haricî bilgi tabanlarından ilgili bilgileri getiren bir getirme modülünü entegre ederek dil modellerini güçlendiren bir tekniktir.

Bu getirme modülü, girdi sorgusuna göre ilgili belgeleri getirir. Dil modeli daha sonra bu ek bağlamı kullanarak nihai çıktıyı üretir.

“Getir ve oku” paradigmasıyla çalışan RAG; dil modelleme ve açık alan soru-cevaplama dâhil olmak üzere çeşitli NLP görevlerinde son derece etkili olduğunu kanıtlamıştır.

Ancak bu dil modelleri, doğru alan belgelerini getirmek üzere eğitilmemiştir; ön eğitimden yalnızca genel alan bilgisine sahiptir.

Orijinal makalede belirtildiği gibi, mevcut bağlam içi getirme yöntemleri, hangi belgelerin soruyu yanıtlamak için en ilgili olduğunu bilmeden açık kitap sınavına girmeye eşdeğerdir.

RAG hakkında daha fazla bilgi edinmek için, Soru-Cevap için RAG’in GPT ve Milvus ile nasıl kullanılabileceğine göz atın.

İnce ayar (fine-tuning) nedir?

İnce ayar, önceden eğitilmiş LLM’leri aşağı akış görevlerine uyarlamak için yaygın biçimde benimsenen bir yaklaşımdır. Bu süreç, modeli görev özelinde verilerle ilave olarak eğitmeyi, böylece kalıpları öğrenmesini ve istenen çıktı formatına hizalanmasını sağlar.

İnce ayar; özetleme, soru-cevaplama ve diyalog üretimi gibi çeşitli NLP uygulamalarında başarılı olmuştur. Ancak geleneksel ince ayar yöntemleri, haricî alan bilgisinden yararlanmakta veya çıkarım sırasında kusurlu getirilen içerikleri ele almakta zorlanabilir.

Benzer bir benzetmeyle, ince ayar; belgeleri ezberleyip sınavda onlara bakmadan soruları yanıtlamaya benzer. Bu yaklaşımın sorunu, ince ayarın maliyetli olabilmesi ve ince ayarla öğrenilen bilginin zamanla güncelliğini yitirebilmesidir. Ayrıca, bu yöntemler RAG tabanlı yöntemler kadar tepkisel değildir.

İnce ayar hakkında daha fazla bilgi için, işte LLM’lerde ince ayara giriş rehberi.

Neden ikisi birden olmasın? RAFT ile RAG ve İnce Ayarın Birleşimi

RAFT’ın ardındaki sezgi

RAFT, mevcut yaklaşımların sınırlamalarını kabul eder ve RAG ile ince ayarın güçlü yönlerini birleştirmeyi amaçlar. İnce ayar sürecine alan belgelerini dâhil ederek RAFT, modelin hedef alana özgü kalıpları öğrenmesini ve haricî bağlamı etkili biçimde anlama ve kullanma kabiliyetini artırmasını sağlar.

Üst düzeyde, RAFT’ta eğitim verileri; sorulardan, belgelerden (hem ilgili hem ilgisiz) ve ilgili belgelerden üretilmiş, düşünce zinciri (chain-of-thought) tarzı yanıtlardan oluşur. Model, ilgili bilgileri içermeyen yanıltıcı (distractor) belgeler de dâhil olmak üzere sağlanan bu belgelere dayanarak soruları yanıtlamak üzere eğitilir. Bu yaklaşım, modelin ilgili bilgiyi belirleyip önceliklendirmeyi ve ilgisiz içeriği görmezden gelmeyi öğrenmesini sağlar.

RAFT’ın Temel Bileşenleri

Retrieval-Augmented Fine-Tuning’in nasıl çalıştığının mekaniklerine biraz daha derinlemesine bakalım. RAFT, alan içi RAG yanıtlayıcı modelleri eğitmek için ince ayar verisini hazırlamaya yönelik özgün bir yöntem önerir. RAFT’ta eğitim kümesindeki her bir veri noktası şunlardan oluşur:

1. Bir soru (Q)
2. İki türden oluşan bir belge kümesi (Dk):
1. “Kehanet (Oracle)” belgeleri — sorunun yanıtını içeren belgeler. Her soru için birden fazla kehanet belgesi olabilir.
2. “Yanıltıcı (Distractor)” belgeler — soruyu yanıtlamak için ilgili bilgi içermeyen belgeler.
3. Düşünce zinciri tarzında bir yanıt (A*): Kehanet belgelerinden üretilmiş, ayrıntılı bir akıl yürütme süreci içeren bir yanıt.

RAFT ince ayar eğitim veri setinde, her soru; bazısı yanıtı içeren, bazısı içermeyen bir belge kümesi ve düşünce zinciri tarzında bir yanıtla eşleştirilir. Bu yapı, modelin yanıt türetirken faydalı ve ilgisiz bilgiyi ayırt etmesini öğretmek için özellikle elverişlidir.

Modelin öğrenimini daha da güçlendirmek için RAFT eğitim veri seti farklı soru türlerinin bir karışımını içerir:

• Hem Kehanet hem Yanıltıcı belgeler içeren sorular: Soruların belirli bir yüzdesi 𝑃, hem kehanet hem de yanıltıcı belgeleri içerecektir. Bu, modelin ilgili bilgiyi belirleyip önceliklendirmeyi öğrenmesine yardımcı olur.
• Yalnızca Yanıltıcı belgeler içeren sorular: Kalan 1−𝑃 yüzdelik kısımda yalnızca yanıltıcı belgeler bulunacaktır. Bu, geleneksel ince ayarı taklit ederek modelin haricî belgelere dayanmeden soruları ele almasını öğretir.

Son olarak, düşünce zinciri tarzındaki yanıtlar kehanet belgelerinden alınmış pasajları ve ayrıntılı bir akıl yürütme sürecini içerir. Bu yaklaşım, modelin özgün bağlamdaki ilgili pasajları kullanarak bir akıl yürütme zinciri kurmayı öğrenmesini sağlayarak soru yanıtlama doğruluğunu artırır.

Görsel Kaynağı: RAFT: Language Model’in Alan Özel RAG’e Uyarlanması

İnce ayar süreci

Eğitim verileri hazırlandıktan sonra, ince ayar süreci şunları içerir:

• Modelin eğitimi: Denetimli öğrenme kullanılarak model, sorular ve belge kümelerini içeren sağlanan bağlamdan düşünce zinciri tarzında yanıtlar üretmek üzere eğitilir.
• Amaç: Modelin, kehanet belgelerinden ilgili bilgiyi belirleyip önceliklendirmeyi öğrenmesi ve yanıltıcı belgeleri görmezden gelmesi hedeflenir.

Çıkarım

Çıkarım aşamasında, ince ayarlı modelimize bir soru ve RAG hattı tarafından getirilen en iyi K belge sunulur. Getirici modülünün RAFT’tan bağımsız çalıştığını unutmayın.

RAFT’tan elde edilen sonuçlar

RAFT’ın alan içi belgelerden ilgili bilgiyi çıkarmada ve soruları yanıtlamada üstün olduğunu göstermek için, orijinal makale RAFT yaklaşımını RAG’e sahip genel amaçlı bir model ve alan özelinde ince ayarlı modellerle karşılaştırdı. Özellikle, RAFT yöntemini kullanarak Llama-2’yi ince ayarlayıp RAFT 7B modelini oluşturdular ve şunlarla kıyasladılar:

1. 0-shot istemleme ile Llama-2
2. RAG ile Llama-2
3. Alan-Özel İnce Ayar (DSF) Llama-2 (standart denetimli ince ayar süreci)
4. DSF + RAG (RAG ile alan-özel ince ayarlı Llama-2)
5. GPT-3.5 + RAG

Bu modeller, RAFT’ın çeşitli alanlardaki performansını değerlendirmek için üç tür veri kümesi üzerinde test edildi:

1. Genel bilgi veri kümeleri — Natural Questions, Trivia QA ve HotpotQA dâhil; genel bilgi soru-cevaplamaya odaklanır.
2. Yazılım dokümantasyonu (API’ler) — HuggingFace, Torch Hub ve TensorFlow Hub dâhil; dokümantasyona dayalı doğru, çalıştırılabilir API çağrıları üretmeye odaklanır.
3. Alan-özel veri kümeleri — PubMedQA dâhil; biyomedikal ve biyolojik araştırma sorularına odaklanır.

Genel olarak sonuçlar, RAFT’ın PubMed, HotpotQA ve diğer API veri kümeleri genelinde, RAG’li ve RAG’siz denetimli ince ayar yöntemini tutarlı biçimde geride bıraktığını gösteriyor.

Alan-özel ince ayarla (DSF) karşılaştırıldığında RAFT, DSF’yi belirgin şekilde aştı. Dikkat çekici biçimde, DSF + RAG daha iyi performans sağlamadı; hatta daha kötü sonuç verdi.

Bu durum, DSF’nin sağlanan belgelerden ilgili bilgiyi etkin biçimde çıkarma yeteneğinden yoksun olduğunu gösteriyor. RAFT kullanarak modeli hem belgeleri doğru şekilde işlemeye hem de uygun bir yanıtlama tarzı sunmaya eğitiyoruz.

RAFT yaklaşımı, çok daha büyük bir dil modeli olan RAG’li GPT-3.5’i dahi geride bırakarak RAFT’ın etkinliğini ortaya koydu.

Görsel kaynağı: RAFT: Language Model’in Alan Özel RAG’e Uyarlanması

Ablation çalışmaları

Ana deneylere ek olarak, orijinal makale RAFT’ın performansı üzerindeki çeşitli bileşenlerin etkisini anlamak için birkaç ablation çalışması da yürüttü:

1. Düşünce Zincirinin Etkisi — Sonuçlar, çoğu durumda Düşünce Zinciri (CoT) içeren RAFT’ın, CoT olmayan RAFT’tan daha iyi performans gösterdiğini ortaya koyuyor.
2. Kehanet Belgelerinin Oranı — Eğitim verilerinde ne oranda kehanet belgesi bulunmalı? Ablation çalışması, kehanet belgeleri içermesi gereken eğitim örneklerinin en uygun yüzdesinin veri kümelerine göre değiştiğini, ancak %80’in veri kümeleri genelinde istikrarlı biçimde güçlü performans sağladığını gösteriyor.
3. Yanıltıcı Belgelerin Sayısı — Çalışma, bir kehanet belgesi ile dört yanıltıcı belgeden oluşan eğitim kurulumunun, modeli bunaltmadan ilgili bilgiyi önceliklendirme ve seçme arasında en iyi dengeyi sağladığını buldu.

RAFT ile nasıl deney yapılır

RAFT’ı uygulamak için araştırmacılar ve uygulayıcılar, makalede özetlenen adımları izleyebilir. Buna, ilgili belgelerden düşünce zinciri tarzında yanıtlar üretmek, eğitim sırasında yanıltıcı belgeleri dâhil etmek ve modeli denetimli öğrenme teknikleriyle ince ayarlamak dahildir. Yazarlar ayrıca kodu açık kaynaklı paylaştı ve RAFT’ın daha fazla denenmesi ve benimsenmesini kolaylaştırmak için bir demo sağladı.

RAG ve İnce Ayar Hakkında Daha Fazla Bilgi Edinin

RAFT, alan-özel dil modellemesi alanında önemli bir ilerlemeyi temsil eder ve LLM’leri uzmanlık alanlarına uyarlamak için güçlü bir çözüm sunar. RAG ve ince ayarın güçlü yönlerini birleştirerek RAFT, dil modellerine alan bilgilerini etkin şekilde kullanma ve getirme hatalarına karşı sağlam kalma becerisi kazandırır.

RAG ve ince ayarın dünyasına daha derinlemesine dalmak isteyenler için aşağıdaki kaynakları öneriyoruz:

• LangChain ile LLM uygulamaları nasıl geliştirilir
• LangChain ile LLM uygulamaları geliştirme

Alan-özel dil modellerine olan talep artmaya devam ederken, RAFT gibi teknikler, farklı sektör ve alanlarda daha doğru ve güvenilir NLP uygulamalarını mümkün kılmada kritik bir rol oynayacaktır.