Falcon 40B’ye Giriş: Mimarisi, Eğitim Verisi ve Özellikleri

Bu yazının Falcon 40B ile ilgili içeriğini tam olarak kavrayabilmek için, okuyucuların makine öğrenimi ve doğal dil işleme kavramlarına dair temel bir anlayışa sahip olması gerekir. Dikkat mekanizmaları ve konumsal gömme gibi bileşenleriyle birlikte transformer modellerine aşinalık değerli olacaktır.

Yapay zekâda yeniyseniz ve temelleri öğrenmek istiyorsanız, AI Fundamentals beceri programımızı takip edin. ChatGPT, Makine Öğrenimi, LLM’ler, Üretken Yapay Zekâ ve yapay zekâ etiği hakkında bilgi edineceksiniz.

Falcon 40B nedir?

Falcon 40B, Technology Innovation Institute (TII) tarafından geliştirilen ve Falcon 7B ile Falcon 180B’yi de içeren Falcon büyük dil modeli (LLM) ailesinin bir parçasıdır. Nedensel, yalnızca kod çözücü (decoder-only) bir model olan Falcon 40B, çeşitli doğal dil üretimi görevleri için tasarlanmıştır.

Falcon 40B’nin çok dilli yetenekleri İngilizce, Almanca, İspanyolca ve Fransızcayı kapsar; bunun yanı sıra İtalyanca, Portekizce, Lehçe, Felemenkçe, Rumence, Çekçe ve İsveççe gibi birkaç dilde sınırlı bir yetkinliğe sahiptir.

Model Mimarisi

Falcon 40B’nin mimarisi, geliştirilmiş performans için kilit değişikliklerle GPT-3’ten uyarlanmıştır. Daha iyi dizi (sequence) anlayışı için döner konumsal gömmeler (rotary positional embeddings) kullanır. Dikkat mekanizmaları çoklu sorgu dikkati (multi-query attention) ve FlashAttention ile zenginleştirilmiştir. Kod çözücü bloğu, hesaplama verimliliğini dengeleyen paralel dikkat ve Çok Katmanlı Algılayıcı (MLP) yapıları ile iki katmanlı bir normalleştirme şemasına sahiptir.

Eğitim Verisi

Falcon 40B, kalite için filtrelenmiş bir internet korpusu olan RefinedWeb’den 1 trilyon belirteç (token) ve ek özenle derlenmiş veri kümeleri üzerinde eğitilmiştir. Dağınık kürasyonlu kaynakları toplamaktansa, TII geniş ölçekli yinelemelerin kaldırılması (deduplikasyon) ve sıkı filtreleme uygulayarak web verisinin kalitesini artırmış, böylece Falcon modellerinin yüksek performansına katkıda bulunan yüksek kaliteli bir eğitim veri seti elde edilmiştir.

Eğitim Prosedürü

Falcon 40B, AWS SageMaker üzerinde 384 adet A100 40GB GPU ile eğitildi; ZeRO ile birlikte 3D paralellik stratejisi (TP=8, PP=4, DP=12) kullanıldı. Eğitim Aralık 2022’de başladı ve iki ayda tamamlandı.

PyTorch kullanarak büyük dil modellerini başlangıç kurulumundan nihai uygulamaya kadar nasıl eğiteceğinizi öğrenmek için PyTorch ile Büyük Bir Dil Modeli Nasıl Eğitilir öğreticisini izleyin.

Çoklu Sorgu Dikkati (MQA)

Geleneksel çok başlı dikkat şemasından farklı olarak, Falcon 40B tüm dikkat başlıkları arasında paylaşılan tek bir anahtar ve değerin kullanıldığı Çoklu Sorgu Dikkati uygular. Bu yenilikçi dikkat mekanizması, ön eğitim üzerinde önemli bir etkiye sahip değildir ancak çıkarımda ölçeklenebilirliği büyük ölçüde artırır.

Falcon blogu görseli

Instruct Sürümleri

TII ayrıca, talimatlar ve konuşma verileri üzerinde ince ayar yapılmış, asistan tarzı görevlerde daha iyi performans sağlayan Falcon-7B-Instruct ve Falcon 40B-Instruct gibi instruct sürümlerini de tanıttı.

Tüketici Erişilebilirliği

Falcon 40B önemli ölçüde GPU belleği gerektirse de, daha ucuz GPU’larda bu modele erişimi mümkün kılmak için her zaman niceleme (quantization) kullanabilir veya Google Colab’de modelin daha küçük sürümü olan Falcon-7B’yi çalıştırabilirsiniz.

Neden Falcon 40B kullanmalı?

Falcon 40B, OpenLLM Leaderboard’da da görüldüğü gibi LLaMA, StableLM, RedPajama ve MPT gibi diğer açık kaynak modelleri geride bırakır. Üstün performansı, mevcut açık kaynak modeller arasında onu önde gelen bir seçenek haline getirir.

Open LLM Leaderboard görseli

Falcon 40B mimarisi, FlashAttention ve çoklu sorgu dikkati gibi özellikler kullanılarak verimli çıkarım için optimize edilmiştir; bu da daha yüksek çıkarım hızı ve ölçeklenebilirlik sağlar. Bu model, çoğu kullanım durumu için ek ince ayar gerektiren ham, önceden eğitilmiş bir dil modelidir.

Falcon 40B, Apache 2.0 lisansıyla gelir; bu lisans, model ve veri setini telif yükümlülüğü ya da kısıtlama olmaksızın ticari kullanım için kullanmanıza olanak tanır.

Falcon 40B ile Başlarken

Bu bölümde Falcon 40B modelini yükleme ve çıkarım çalıştırma sürecini ele alacağız. Ayrıca, Google Colab üzerinde 4 bit Niceleme kullanarak daha küçük Falcon 7B sürümünde çıkarımın nasıl çalıştırılacağını inceleyeceğiz. Son olarak, modelimizi yeni bir veri seti üzerinde ince ayar yapmak için QLoRA ve SFT Trainer kullanımını öğreneceğiz.

Falcon 40B’de Çıkarım

40 milyar parametreli Falcon 40B modelini çalıştırmak bellek açısından zorluklar doğurur. Model, yaklaşık 45 GB RAM gerektiren azaltılmış hassasiyetli 8 bit mod kullanıldığında bile, 80 GB RAM’li tek bir NVIDIA A100 GPU’nun bellek kapasitesini aşmaktadır.

bitsandbytes, transformers ve accelerate kütüphanelerinin en son sürümleriyle 4 bit hassasiyette yükleme yaparak bellek ayak izi yaklaşık 27 GB RAM’e düşürülebilir. Bu sayede Falcon-40B, 40 GB A100 GPU’lara yüklenebilir.

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model = "tiiuae/falcon-40b"

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    torch_dtype=torch.bfloat16,
    load_in_8bit=True,
    trust_remote_code=True,
    device_map="auto",
)

prompt = "What are the main benefits of enrolling in a DataCamp career track?"

sequences = pipeline(
    prompt,
    max_length=100,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")Altyapı:

Google Colab’de Falcon 7B’yi Çalıştırma

Falcon 40B’yi yüklemek ve 4 bit niceleme ile çıkarım çalıştırmak, tüketici GPU’larında mümkün değildir. Bu nedenle, Google Colab’in ücretsiz sürümünde kolayca çalıştırılabilen daha küçük Falcon 7B modelini kullanacağız.

Gerekli tüm Python kütüphanelerini kuracağız.

%pip install transformers bitsandbytes accelerate -qAltyapı:

Ardından modeli yüklemek ve çıkarımı çalıştırmak için gerekli modülleri yükleyeceğiz.

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import transformers
import torchAltyapı:

BitsAndBytes’i kullanarak NF4 türü yapılandırma ile 4 bit niceleme oluşturuyoruz. Bu, bellek ayak izini azaltır ve modeli Colab GPU’suna yüklememize imkân tanır. 4 bit niceleme ve QLoRA hakkında okuyun.

compute_dtype = getattr(torch, "float16")

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=False,
)Altyapı:

Falcon 7B modelini ve belirteçleyicisini (tokenizer) yükleyecek ve çıkarım çalıştırmak için Transformers kütüphanesini kullanarak bir metin üretim hattı (pipeline) oluşturacağız.

model_name = "tiiuae/falcon-7b"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    quantization_config=bnb_config,
    device_map="auto",
)

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)Altyapı:

İstemi (prompt) hatta vererek yanıt oluşturabiliriz.

prompt = "What are the main benefits of enrolling in a DataCamp career track?"
sequences = pipeline(
    prompt,
    max_length=100,
    do_sample=True,
    top_k=20,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")Altyapı:

Sonucumuz etkileyici. Modelin yanıtını daha da iyileştirmek için haddin içindeki çeşitli parametrelerle deneyler yapabilirsiniz.

Result: What are the main benefits of enrolling in a DataCamp career track? A: When you enroll in a DataCamp career track you have the opportunity to: - Build a solid foundation in one specific topic. - Learn new data science skills. - Gain valuable job search and interview prep tools. - Build a project portfolio that you can easily showcase to potential employers. - Network with thousands of like-minded people from diverse backgrounds.Altyapı:

Colab’de Falcon 7B’yi çalıştırırken zorluk yaşıyorsanız, yol gösterici olarak Colab Defterini kullanabilirsiniz.

Falcon 7B’nin İnce Ayarı

QLoRA ile TRL kütüphanesini kullanarak modeli ince ayar yapabiliriz. Aşağıdaki kod, ince ayar sürecinin bir parçasıdır ve PEFT olmadan SFTTrainer’ın çalıştırılmasını sağlar.

from datasets import load_dataset
from trl import SFTTrainer

dataset = load_dataset("timdettmers/openassistant-guanaco
", split="train")

trainer = SFTTrainer(
    model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=512,
)
trainer.train()Altyapı:

Falcon-Guanaco.ipynb defterinde, Falcon-7B’nin Guanaco veri seti üzerinde nasıl ince ayar yapılacağına ilişkin kodu bulabilirsiniz. Yaklaşık 10.000 diyaloğu içeren Open Assistant veri setinin yüksek kaliteli bir alt kümesi olan Guanaco üzerinde modeli eğitmek için, dondurulmuş 4 bit modelin üzerine yerleştirilen adaptörleri ince ayar yapmak üzere PEFT kütüphanesini, yakın tarihli QLoRA yaklaşımıyla birlikte kullanabiliriz.

Düşük Dereceli Adaptörler (LoRA) kullanıldığında, modelin yalnızca çok küçük bir kısmı eğitilebilir; bu da öğrenilen parametrelerin sayısında ve eğitilen çıktının boyutunda önemli bir azalma sağlar. Böylece, bellek kaynaklarını korurken modelin daha hızlı ince ayar yapılmasına imkân tanınır.

İnce ayar kısmını atlayabilir ve yanıtı kişiselleştirmek için özel belgelerinize erişim sağlayarak Bilgi Getirimli Artırılmış Üretim (RAG) kullanabilirsiniz. Bunu, LlamaIndex: Büyük Dil Modellerine (LLM) Dayalı Uygulamalar için Bir Veri Çerçevesi öğreticisini izleyerek yapabilirsiniz.

Ayrıca, LlamaIndex’e benzer şekilde LangChain ile LLM Uygulamaları Geliştirebilirsiniz ve yakın zamanda ince ayar yaptığınız modeli kullanabilirsiniz.

Yeni Model: Falcon 180B

Falcon-180B, RefinedWeb veri setinden 3.500B belirteç üzerinde eğitildi. 180 milyar parametreli, yalnızca kod çözücü (causal decoder-only) bir modeldir ve Falcon-180B TII lisansı altındadır; OpenLLM Leaderboard’da LLaMA-2, StableLM, RedPajama, MPT ve diğer üst düzey modelleri geride bırakır.

Falcon 180B modelinin olumsuz yanı, çıkarım çalıştırmak için en az 400 GB bellek gerektirmesidir. Kısacası yaklaşık 8xA100 80GB’a ihtiyacınız vardır.

Bu sürümün olumlu tarafı ise TII’nin, Ultrachat, Platypus ve Airoboros veri kümelerinin bir kombinasyonu üzerinde ince ayar yapılmış Falcon-180B-Chat’i de yayınlamış olmasıdır. Yapay zekâ topluluğu arasında önemli bir popülerlik kazanmıştır. Hugging Face Spaces’teki demoyu deneyerek yüksek kaliteli yanıtları tecrübe edebilirsiniz.

Falcon-180B Demo görseli

Sonuç

TII’nin Falcon 40B modeli, açık kaynaklı üretken bir dil modeli olarak etkileyici bir performans sergiler. 40 milyar parametreli ve yüksek kaliteli, filtrelenmiş web verileri üzerinde eğitilmiş olan bu model, OpenLLM Leaderboard’da son teknoloji sonuçlar elde eder.

Tam Falcon 40B modeli önemli hesaplama kaynakları gerektirse de, daha küçük 7B sürümü 4 bit niceleme kullanılarak ücretsiz Colab GPU’larında çalıştırılabilir. QLoRA, PEFT ve SFT Trainer aracılığıyla ince ayar mümkündür. Yeni 180B Falcon sürümü performansı daha da ileri taşır; ancak yalnızca çıkarım çalıştırmak için 400 GB bellek gerekir.

Makine öğreniminde bir kariyer peşindeyseniz ve kendi büyük dil modelinizi oluşturmak istiyorsanız, Python ile Makine Öğrenimi Bilimcisi kariyer programını değerlendirin.

Resmi Kaynaklar

• Resmi Hugging Face Sayfası: tiiuae (Technology Innovation Institute)
• Blog: Falcon, Hugging Face ekosistemine iniş yaptı
• Liderlik Tablosu: Open LLM Leaderboard
• Model Kartı: tiiuae/falcon-40b · Hugging Face
• Veri Seti: tiiuae/falcon-refinedweb