Databricks DBRX Eğitimi: Adım Adım Kılavuz

Databricks kısa süre önce, ince taneli bir yaklaşıma sahip karışık-uzmanlar (MoE) mimarisi üzerine inşa edilmiş, açık genel amaçlı büyük dil modeli (LLM) DBRX'i tanıttı. Tüm görevler için tek bir sinir ağı kullanmak yerine, sistem farklı görev veya veri türleri için optimize edilmiş birden fazla özel "uzman" ağdan oluşur.

Bu model, daha hızlı ve daha uygun maliyetli olduğu için GPT-3.5 ve Llama 2 gibi geleneksel BBA'lara göre daha iyi performans göstermiştir. Testlere göre, DBRX dil anlama görevlerinde LLaMa2'den (69,8%) daha yüksek olan %73,7 puan alıyor.

Bu yazıda, yeteneklerini ve Databricsk DBRX ile nasıl başlayabileceğinizi daha ayrıntılı olarak ele alacağız.

Databricks DBRX nedir?

DBRX, bir sonraki belirteç tahmini kullanılarak eğitilmiş, yalnızca kod çözücü (decoder-only) dönüşümcü tabanlı bir mimari kullanır. İnce taneli bir karışık-uzmanlar (MoE) mimarisi uygular. Bu ‘uzmanlar’, alan bilgisi ve akıl yürütme becerileriyle güçlendirilmiş, BBA'lara dayanan özel ajanları ifade eder.

DBRX çok sayıda daha küçük uzmana sahiptir (toplam 16 uzman) ve herhangi bir girdi için bunların bir alt kümesini (4 uzman) seçer.

Basitçe söylemek gerekirse, uzmanların 65 kat daha fazla olası kombinasyonuna izin veren bu ince taneli yaklaşım, daha az uzmana sahip olup girdi başına daha az uzman seçen Mixtral ve Grok-1 gibi diğer açık MoE modellere kıyasla model kalitesini artırır.

DBRX ile ilgili bazı önemli ayrıntılar şunlardır:

1. Parametre boyutu: DBRX toplamda 132 milyar parametreye sahiptir; bunun 36 milyar parametresi herhangi bir girdi üzerinde aktiftir.
2. Ön eğitim verisi: Özenle derlenmiş 12 trilyon belirteç ve 32.000 belirteçlik bağlam uzunluğu ile ön eğitildi; bu, belirteç başına en az 2 kat daha iyidir ve MPT model ailesini ön eğitmek için kullanılan verilerden üstündür.

DBRX nasıl eğitildi?

Model, Databricks'in daha önce kullandığı veri kümelerine kıyasla iki kat daha etkili olduğu tahmin edilen, son derece büyük bir veri kümesi üzerinde ön eğitildi. Modeli eğitmek için Apache Spark ve veri işleme için Databricks not defterleri ile veri yönetişimi için Unity Catalog gibi bir dizi Databricks aracı kullanıldı.

Eğitim sırasında, aşamalı öğrenme (curriculum learning) uygulandı ve veri karması model kalitesini önemli ölçüde iyileştirecek şekilde değiştirildi. Eğitim veri karmasındaki bu stratejik değişiklikler, modelin çeşitli girdileri etkili biçimde ele alma yeteneğini optimize etti.

DBRX’in ön eğitimi için kullanılan başlıca teknolojilerden bazıları şunlardır:

• Rotary Position Encodings (RoPE): Dizi anlayışını geliştirmek için yüksek boyutlu uzayda döngüsel dönüşümlerle belirteç konumlarını kodlayan bir dönüşümcü yöntemi.
• Gated Linear Units (GLU): Bilgi akışını kontrol eden bir kapı mekanizması kullanan, karmaşık kalıpları yakalamaya yardımcı olan bir sinir ağı katmanı.
• Grouped Query Attention (GQA): Hesaplama maliyetini azaltmak ve odağı iyileştirmek için sorguları gruplar içinde ağırlıklandıran bir dikkat mekanizması.
• tiktoken deposundan GPT-4 belirteçleyici: Metni modele hazır belirteçlere dönüştüren, GPT-4'ün işleme ihtiyaçları için optimize edilmiş özel bir belirteçleyici uygulaması.

DBRX Benzer Modellerle Nasıl Karşılaştırılır?

Databricks, DBRX modelinin verimlilik ve görev performansı açısından bir dizi üst düzey açık kaynak modelden üstün olduğunu iddia ediyor.

DBRX'in rakiplerine karşı nasıl konumlandığına dair ayrıntılı bir karşılaştırma burada:

1) DBRX vs. LLaMA2-70B

• Genel bilgi (MMLU): DBRX Instruct, LLaMA2-70B'ye göre %9,8 daha yüksek puan alıyor.
• Gündelik akıl yürütme (HellaSwag veri kümesi): DBRX Instruct %3,1 daha yüksek puanla liderliğini sürdürüyor.
• Databricks gauntlet (önceden eğitilmiş BBA'ların farklı görevlere dayalı yeteneklerini değerlendiren bir model): DBRX Instruct belirgin bir farkla önde—LLaMA2-70B'ye göre %14 daha yüksek puan.
• Programlama ve matematiksel akıl yürütme: DBRX Instruct, programlamada %37,9 ve matematiksel akıl yürütmede %40,2 ile öne çıkıyor.

2) DBRX Instruct vs. Mixtral Instruct

• Genel bilgi: DBRX Instruct, %2,3 daha yüksek puanla Mixtral Instruct'ı az farkla geçiyor.
• Gündelik akıl yürütme (HellaSwag veri kümesi): DBRX Instruct %1,4 daha yüksek puanla daha iyi performans gösteriyor.
• Databricks gauntlet: DBRX Instruct, %6,1'lik kayda değer bir farkla Mixtral Instruct'ı geride bırakıyor.
• Programlama ve matematiksel akıl yürütme: DBRX Instruct, programlamada %15,3 ve matematiksel akıl yürütmede %5,8 ile Mixtral Instruct'ı geride bıraktı.

3) DBRX vs Grok-1

• Genel bilgi: Performans bir ölçüde benzer; DBRX Instruct, Grok-1'e kıyasla %0,7'lik hafif bir üstünlüğe sahip.
• Programlama ve matematiksel akıl yürütme: DBRX Instruct, programlamada %6,9 ve matematiksel akıl yürütmede %4'lük farkla Grok-1'i geride bıraktı.

4) DBRX vs Mixtral Base

• Genel bilgi: DBRX Instruct, Mixtral Base'e kıyasla %1,8 daha yüksek puanla az farkla önde.
• Gündelik akıl yürütme (HellaSwag veri kümesi): DBRX %2,5 farkla daha yüksek puan alıyor.
• Databricks gauntlet: DBRX, Mixtral Base'e göre %10 önde.
• Programlama ve matematiksel akıl yürütme: DBRX Instruct, Mixtral Base'e kıyasla %29,9 daha yüksek puanla dikkat çekici bir performans üstünlüğü sergiliyor.

Karşılaştırma tablosu

Aşağıda, karşılaştırmaları bir tabloda derledik ve bazı sonuçlara dayalı bir grafik gösterdik:

DBRX’in kalitesini diğer açık kaynak BBA'larla karşılaştırma - kaynak

DBRX Nasıl Kullanılır: Adım Adım Kılavuz

DBRX'e erişmeden önce, sisteminizde en az 320 GB bellek olduğundan emin olun. Ardından DBRX'e erişmek için şu adımları izleyin:

DBRX'e erişim

• transformers kütüphanesini kurun

pip install "transformers>=4.40.0"

• Ardından, Hugging Face'ten okuma izinlerine sahip bir erişim belirteci isteyin (Modeli indirmek için gereklidir.)
• Erişimi aldıktan sonra, aşağıdaki kodu kullanarak modeli içe aktarın ve yükleyin.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("databricks/dbrx-base", token="hf_YOUR_TOKEN")
model = AutoModelForCausalLM.from_pretrained("databricks/dbrx-base", device_map="auto", torch_dtype=torch.bfloat16, token="hf_YOUR_TOKEN")

# Directing tensors to "cuda" (GPU) for faster computation as GPUs are better at handling parallel tasks.
input_text = "Databricks was founded in "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

# DBRX accepts a context length of up to 32768 tokens. Here`max_new_tokens` specifies the maximum number of tokens to generate.
outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

Transformers ve Hugging Face kullanmayı öğrenmek ister misiniz? Transformers ve Hugging Face kullanımıyla ilgili eğitimimize göz atın.

DBRX ile temel görevler

DRBX, herhangi bir BBA gibi temel içerik oluşturma ve komut yanıtlama görevlerinde size yardımcı olabilir. DBRX ile şunları yapabilirsiniz:

• Metin tamamlama: DBRX, istemlerinize (prompt) dayalı metin yanıtları üretebilir.
• Dil anlama: Doğal dil girdilerini ayrıştırma, uzun belgeleri özetleme veya metni kodlama dilleri ya da betik stilleri arasında çevirme gibi görevleri gerçekleştirebilir.
• Sorgu optimizasyonu: DBRX ayrıca veritabanı sorgularını yürütme süresini en aza indirecek şekilde optimize edebilir ve veri mühendislerinin performanstan ödün vermeden diğer kritik görevlere odaklanmasına yardımcı olabilir.

DBRX ile kodlama görevleri

DBRX, veri uygulayıcılarına veya kodlayıcılara yardımcı olmak için ileri düzey kodlama ile ilgili görevleri de gerçekleştirebilir:

• Kod ve açıklama: Çeşitli programlama görevleri için kod üretebilir ve mevcut işlevleri açıklayabilir ya da belirli sorunlara yönelik algoritmalar önererek kodu anlamaya ve optimize etmeye yardımcı olabilir.

DBRX'in basit komutlara yanıtı - kaynak

• DBRX ile hata ayıklama: Geliştirici verimliliğini artırmak ve hata ayıklama sürecinizi hızlandırmak için önerilen kod düzeltmeleri sağlar.
• Zafiyet tespiti: Koddaki sorunları da belirleyebilir ve bunları azaltmaya yönelik çözümler önerebilir.

DBRX Nasıl İnce Ayar (Fine-Tune) Edilir

DBRX'i Github’ın açık kaynaklı LLM foundrysi ile ince ayar yapabilirsiniz. Ancak ince ayar, eğitim örneklerinin sözlükler olarak biçimlendirilmesini gerektirir:

formatted_example = {'prompt': <prompt_text>, 'response': <response_text>}

Prompt: Modele verdiğiniz başlangıç sorusu veya talimattır.

Response: Modelin üretecek şekilde eğitildiği yanıttır.

Herhangi bir BBA'ya ince ayar yapmak için üç farklı veri kümesi kullanabilirsiniz:

1. HuggingFace Hub'da bulunan bir veri kümesi.
2. Cihazınızda veya makinenizde yerel olarak depolanan bir veri kümesi.
3. StreamingDataset .mds formatındaki bir veri kümesi.

1) Hugging Face Hub kullanma

İnce ayarı HuggingFace Hub'daki bir veri kümesiyle yapmak istiyorsanız ve

veri kümesinin önceden tanımlanmış bir ön işleme işlevi varsa veya zaten

"prompt"/"response" biçimini takip ediyorsa, veri yükleyiciyi doğrudan bu veri kümesine işaret edebilirsiniz.

train_loader:
    name: finetuning
    dataset:
        hf_name: tatsu-lab/alpaca
        split: train
        ...

Herhangi bir ön işleme işlevi tanımlı değilse, veri yükleyici için özel bir ön işleme işlevi belirtmek üzere preprocessing_fn kullanın.

train_loader:
    name: finetuning
    dataset:
        hf_name: mosaicml/doge-facts
        preprocessing_fn: my_data.formatting:dogefacts_prep_fn
        split: train
        ...

2) Yerel bir veri kümesi kullanma

Cihazınızda halihazırda bir ince ayar veri kümeniz varsa, yerel JSONL dosyalarını

YAML yapılandırmasında yamls/finetune/1b_local_data_sft.yaml olarak tanımlayın.

train_loader:
    name: finetuning
    dataset:
        hf_name: json # assuming data files are json formatted
        hf_kwargs:
            data_dir: /path/to/data/dir/
        preprocessing_fn: my.import.path:my_preprocessing_fn
        split: train
        ...

Yerel verileriniz zaten "prompt"/"response" biçimindeyse preprocessing_fn'i atlayın.

3) StreamingDataset kullanma

HuggingFace veri kümenizi,

convert_finetuning_dataset.py betiğini kullanarak MDS biçimine dönüştürün.

HuggingFace veri kümenizi akış formatına dönüştürdükten sonra YAML yapılandırmanızı şu şekilde ayarlayın.

train_loader:
    name: finetuning
    dataset:
        remote: s3://my-bucket/my-copy-doge-facts
        local: /tmp/mds-cache/
        split: train
        ...

Tam parametre ince ayarını görmek isterseniz,

dbrx-full-ft.yaml adresindeki YAML yapılandırmasına bakın

Sonuç

Databricks DBRX, model hızını ve maliyet etkinliğini artırmak için birden çok özel ağ kullanır. Bu ince taneli yaklaşım, karmaşık görevleri ele almada diğer BBA'ları geride bırakmasını sağlar.

Büyük dil modelleri ve onlara nasıl ince ayar yapacağınız hakkında daha fazla bilgi edinmek ister misiniz? Şu kaynaklara göz atın:

• Hugging Face ile Çalışmak
• Llama 2'ye İnce Ayar
• Google Gemma'ya İnce Ayar
• Phi-2 Modeline İnce Ayar