Tutorial Databricks DBRX: Panduan Langkah demi Langkah

Databricks baru-baru ini memperkenalkan DBRX, model bahasa besar (LLM) serbaguna dan terbuka yang dibangun di atas arsitektur mixture-of-experts (MoE) dengan pendekatan bertingkat halus. Alih-alih menggunakan satu jaringan saraf untuk semua tugas, sistem ini terdiri dari banyak jaringan "pakar" khusus, masing-masing dioptimalkan untuk jenis tugas atau data yang berbeda.

Model ini menunjukkan kinerja lebih baik dibandingkan LLM tradisional seperti GPT-3.5 dan Llama 2 karena lebih cepat dan lebih hemat biaya. Menurut pengujian, DBRX meraih skor 73,7%, lebih tinggi daripada LLaMa2 (69,8%) dalam tugas pemahaman bahasa.

Dalam artikel ini, kami akan membahas kemampuannya dan cara memulai dengan Databricks DBRX secara lebih mendalam.

Apa itu Databricks DBRX?

DBRX menggunakan arsitektur decoder-only berbasis transformer yang dilatih dengan prediksi token berikutnya. Model ini mengadopsi arsitektur mixture-of-experts (MoE) bertingkat halus. Para ‘pakar’ ini merujuk pada agen-agen khusus berbasis LLM yang diperkaya dengan pengetahuan domain dan kemampuan bernalar.

DBRX memiliki banyak pakar berukuran kecil (total 16 pakar) dan memilih subsetnya (4 pakar) untuk setiap masukan yang diberikan.

Sederhananya, pendekatan bertingkat halus dengan 65x lebih banyak kemungkinan kombinasi pakar ini meningkatkan kualitas model dibandingkan model MoE terbuka lain seperti Mixtral dan Grok-1, yang memiliki lebih sedikit pakar dan memilih lebih sedikit pakar per masukan.

Berikut beberapa detail kunci tentang DBRX:

1. Ukuran parameter: DBRX memiliki total 132 miliar parameter, dengan 36 miliar parameter aktif pada setiap masukan.
2. Data pra-pelatihan: Model ini dipra-latih pada 12 triliun token data yang diseleksi dengan cermat dan panjang konteks 32.000 token, setidaknya 2x lebih baik token-per-token daripada data yang digunakan untuk memra-latih keluarga model MPT.

Bagaimana DBRX dilatih?

Model ini dipra-latih pada himpunan data yang sangat besar, diperkirakan dua kali lebih efektif daripada himpunan data sebelumnya yang digunakan Databricks. Serangkaian alat Databricks, seperti Apache Spark dan notebook Databricks untuk pemrosesan data serta Unity Catalog untuk tata kelola data, digunakan untuk melatih model.

Selama pelatihan, digunakan curriculum learning, dan komposisi data diubah untuk meningkatkan kualitas model secara signifikan. Perubahan strategis dalam komposisi data pelatihan ini mengoptimalkan kemampuan model dalam menangani beragam masukan secara efektif.

Beberapa teknologi kunci yang digunakan untuk pra-pelatihan DBRX mencakup:

• Rotary Position Encodings (RoPE): Metode dalam transformer yang mengodekan posisi token melalui transformasi rotasional pada ruang berdimensi tinggi, meningkatkan pemahaman urutan.
• Gated Linear Units (GLU): Lapisan jaringan saraf yang menggunakan mekanisme gerbang untuk mengendalikan aliran informasi, membantu menangkap pola yang kompleks.
• Grouped Query Attention (GQA): Mekanisme atensi yang menghitung bobot di dalam kelompok query untuk mengurangi biaya komputasi dan meningkatkan fokus.
• Tokenizer GPT-4 dari repositori tiktoken: Implementasi tokenizer khusus untuk GPT-4 yang mengonversi teks menjadi token siap model, dioptimalkan untuk kebutuhan pemrosesan GPT-4.

Bagaimana DBRX Dibandingkan dengan Model Serupa?

Databricks mengklaim model DBRX unggul dibandingkan beberapa model sumber terbuka teratas dalam hal efisiensi dan kinerja tugas.

Berikut perbandingan terperinci tentang bagaimana DBRX bersaing dengan para kompetitornya:

1) DBRX vs. LLaMA2-70B

• Pengetahuan umum (MMLU): DBRX Instruct mencatat skor 9,8% lebih tinggi daripada LLaMA2-70B.
• Penalaran nalar sehari-hari (dataset HellaSwag): DBRX Instruct tetap memimpin dengan skor 3,1% lebih tinggi.
• Databricks gauntlet (model yang menilai kemampuan LLM pra-latih berdasarkan berbagai tugas): DBRX Instruct memiliki keunggulan kuat—14% lebih tinggi daripada LLaMA2-70B.
• Pemrograman dan penalaran matematika: DBRX Instruct menonjol dengan 37,9% pada pemrograman dan 40,2% pada penalaran matematika.

2) DBRX Instruct vs. Mixtral Instruct

• Pengetahuan umum: DBRX Instruct sedikit mengungguli Mixtral Instruct dengan skor 2,3% lebih tinggi.
• Penalaran nalar sehari-hari (dataset HellaSwag): DBRX Instruct berkinerja lebih baik dengan skor 1,4% lebih tinggi.
• Databricks gauntlet: DBRX Instruct melampaui Mixtral Instruct dengan selisih mencolok 6,1%.
• Pemrograman dan penalaran matematika: DBRX Instruct mengungguli Mixtral Instruct sebesar 15,3% pada pemrograman dan 5,8% pada penalaran matematika.

3) DBRX vs Grok-1

• Pengetahuan umum: Kinerjanya relatif serupa, dengan DBRX Instruct unggul tipis 0,7% atas Grok-1.
• Pemrograman dan penalaran matematika: DBRX Instruct mengungguli Grok-1 dengan keunggulan 6,9% pada pemrograman dan 4% pada penalaran matematika.

4) DBRX vs Mixtral Base

• Pengetahuan umum: DBRX Instruct sedikit memimpin dengan skor 1,8% lebih tinggi daripada Mixtral Base.
• Penalaran nalar sehari-hari (dataset HellaSwag): DBRX mencatat skor lebih tinggi dengan selisih 2,5%.
• Databricks gauntlet: DBRX memimpin 10% atas Mixtral Base.
• Pemrograman dan penalaran matematika: DBRX Instruct menunjukkan keunggulan kinerja yang mencolok dengan skor 29,9% lebih tinggi daripada Mixtral Base.

Tabel perbandingan

Di bawah ini, kami rangkum perbandingan dalam sebuah tabel, dan menampilkan grafik berdasarkan sebagian hasilnya:

Membandingkan kualitas DBRX dengan LLM sumber terbuka lainnya - sumber

Cara Menggunakan DBRX: Panduan Langkah demi Langkah

Sebelum mengakses DBRX, pastikan sistem Anda memiliki setidaknya 320GB memori. Lalu ikuti langkah-langkah berikut untuk mengakses DBRX:

Mengakses DBRX

• Instal pustaka transformers

pip install "transformers>=4.40.0"

• Kemudian, minta token akses dengan izin baca dari Hugging Face (Ini diperlukan untuk mengunduh model.)
• Setelah Anda mendapatkan akses, impor dan muat model menggunakan kode berikut.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("databricks/dbrx-base", token="hf_YOUR_TOKEN")
model = AutoModelForCausalLM.from_pretrained("databricks/dbrx-base", device_map="auto", torch_dtype=torch.bfloat16, token="hf_YOUR_TOKEN")

# Directing tensors to "cuda" (GPU) for faster computation as GPUs are better at handling parallel tasks.
input_text = "Databricks was founded in "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

# DBRX accepts a context length of up to 32768 tokens. Here`max_new_tokens` specifies the maximum number of tokens to generate.
outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

Ingin belajar cara menggunakan Transformers dan Hugging Face? Baca tutorial kami tentang penggunaan Transformers dan Hugging Face.

Tugas dasar dengan DBRX

DRBX dapat membantu Anda membuat konten dasar dan merespons prompt seperti LLM lainnya. Berikut yang dapat Anda lakukan dengan DBRX:

• Penyelesaian teks: DBRX dapat menghasilkan respons berbasis teks berdasarkan prompt Anda.
• Pemahaman bahasa: Model ini dapat melakukan tugas seperti mengurai masukan bahasa alami, meringkas dokumen panjang, atau menerjemahkan teks antarbasa pemrograman atau gaya skrip.
• Optimasi kueri: DBRX juga dapat mengoptimalkan kueri basis data untuk meminimalkan waktu eksekusi dan membantu data engineer fokus pada tugas penting lain tanpa mengorbankan performa.

Tugas pengodean dengan DBRX

DBRX juga dapat melakukan tugas terkait pengodean tingkat lanjut untuk membantu praktisi data atau pengembang:

• Kode dan penjelasan: Model ini dapat menghasilkan kode untuk berbagai tugas pemrograman dan menjelaskan fungsi yang ada atau menyarankan algoritme untuk masalah tertentu guna memahami dan mengoptimalkan kode.

DBRX merespons perintah sederhana - sumber

• Debugging dengan DBRX: Model ini memberikan saran koreksi kode untuk meningkatkan produktivitas pengembang dan mempercepat proses debugging Anda.
• Identifikasi kerentanan: Model ini juga dapat mengidentifikasi masalah pada kode dan mengusulkan solusi untuk menguranginya.

Cara Fine-Tune DBRX

Anda dapat melakukan fine-tuning DBRX dengan LLM foundry sumber terbuka di Github. Namun, fine-tuning memerlukan contoh pelatihan yang diformat sebagai kamus:

formatted_example = {'prompt': <prompt_text>, 'response': <response_text>}

Prompt: Ini adalah pertanyaan atau instruksi awal yang Anda berikan kepada model.

Response: Ini adalah jawaban yang dilatih untuk dihasilkan oleh model.

Anda dapat menggunakan tiga set data berbeda untuk melakukan fine-tune pada LLM apa pun:

1. Dataset yang tersedia di HuggingFace Hub.
2. Dataset yang disimpan secara lokal pada perangkat atau mesin Anda.
3. Dataset dalam format StreamingDataset .mds.

1) Menggunakan Hugging Face Hub

Jika Anda ingin melakukan fine-tuning menggunakan dataset dari HuggingFace Hub, dan

dataset tersebut memiliki fungsi prapemrosesan yang telah ditentukan atau sudah mengikuti

format "prompt"/"response", Anda dapat langsung mengarahkan dataloader ke dataset tersebut.

train_loader:
    name: finetuning
    dataset:
        hf_name: tatsu-lab/alpaca
        split: train
        ...

Jika tidak ada fungsi prapemrosesan yang ditentukan, gunakan preprocessing_fn untuk menentukan fungsi prapemrosesan kustom bagi dataloader.

train_loader:
    name: finetuning
    dataset:
        hf_name: mosaicml/doge-facts
        preprocessing_fn: my_data.formatting:dogefacts_prep_fn
        split: train
        ...

2) Menggunakan dataset lokal

Jika Anda sudah memiliki dataset fine-tuning di perangkat, definisikan file JSONL lokal dalam

konfigurasi YAML yamls/finetune/1b_local_data_sft.yaml.

train_loader:
    name: finetuning
    dataset:
        hf_name: json # assuming data files are json formatted
        hf_kwargs:
            data_dir: /path/to/data/dir/
        preprocessing_fn: my.import.path:my_preprocessing_fn
        split: train
        ...

Lewati preprocessing_fn jika data lokal Anda sudah dalam format "prompt"/"response".

3) Menggunakan StreamingDataset

Konversikan dataset HuggingFace Anda ke format MDS menggunakan

convert_finetuning_dataset.py.

Setelah mengonversi dataset HuggingFace Anda ke format streaming, cukup sesuaikan konfigurasi YAML seperti ini.

train_loader:
    name: finetuning
    dataset:
        remote: s3://my-bucket/my-copy-doge-facts
        local: /tmp/mds-cache/
        split: train
        ...

Jika Anda ingin melihat fine-tuning parameter penuh, lihat konfigurasi YAML di

dbrx-full-ft.yaml

Kesimpulan

Databricks DBRX menggunakan banyak jaringan khusus untuk meningkatkan kecepatan model dan efisiensi biaya. Pendekatan bertingkat halus ini memungkinkannya mengungguli LLM lain dalam menangani tugas-tugas kompleks.

Ingin mempelajari lebih jauh tentang model bahasa besar dan cara melakukan fine-tuning? Lihat sumber daya berikut:

• Working with Hugging Face
• Fine-Tuning Llama 2
• Fine-Tuning Google Gemma
• Fine-Tuning the Phi-2 Model