Databricks DBRX: guida pratica passo dopo passo

Databricks ha introdotto di recente DBRX, il suo modello di linguaggio di grandi dimensioni (LLM) generale e open, basato su un'architettura mixture-of-experts (MoE) a grana fine. Invece di usare una singola rete neurale per tutti i compiti, il sistema comprende più reti "esperte" specializzate, ognuna ottimizzata per diversi tipi di attività o dati.

Questo modello ha ottenuto risultati migliori rispetto agli LLM tradizionali come GPT-3.5 e Llama 2 perché è più veloce e più economico. Secondo i test, DBRX totalizza il 73,7%, un punteggio superiore a LLaMa2 (69,8%) nei compiti di comprensione del linguaggio.

In questo articolo parleremo delle sue capacità e di come iniziare a usare Databricks DBRX in modo più dettagliato.

Che cos'è Databricks DBRX?

DBRX utilizza un'architettura decoder-only basata su transformer, addestrata con la previsione del token successivo. Impiega un'architettura mixture-of-experts (MoE) a grana fine. Questi "esperti" si riferiscono ad agenti specializzati basati su LLM, arricchiti con conoscenze specifiche di dominio e capacità di ragionamento.

DBRX dispone di un gran numero di esperti più piccoli (16 in totale) e ne seleziona un sottoinsieme (4 esperti) per ogni input.

In poche parole, questo approccio a grana fine, con 65 volte più combinazioni possibili di esperti, migliora la qualità del modello rispetto ad altri modelli MoE open come Mixtral e Grok-1, che hanno meno esperti e ne selezionano meno per input.

Ecco alcuni dettagli chiave su DBRX:

1. Numero di parametri: DBRX ha un totale di 132 miliardi di parametri, di cui 36 miliardi attivi su qualsiasi input.
2. Dati di pretraining: È stato pre-addestrato su 12 trilioni di token di dati accuratamente selezionati e con una lunghezza del contesto di 32.000 token, almeno 2 volte migliore, token per token, rispetto ai dati usati per pre-addestrare la famiglia di modelli MPT.

Come è stato addestrato DBRX?

Il modello è stato pre-addestrato su un dataset impressionante, stimato essere due volte più efficace rispetto ai dataset precedenti usati da Databricks. Per l'addestramento è stata utilizzata una suite di strumenti Databricks, come Apache Spark e i notebook Databricks per l'elaborazione dei dati e Unity Catalog per la governance dei dati.

Durante l'addestramento è stato impiegato il curriculum learning e la miscela di dati è stata modificata per migliorare sostanzialmente la qualità del modello. Queste modifiche strategiche nella composizione dei dati di training hanno ottimizzato la capacità del modello di gestire efficacemente input diversificati.

Alcune delle tecnologie chiave utilizzate per il pretraining di DBRX includono:

• Rotary Position Encodings (RoPE): Un metodo nei transformer che codifica le posizioni dei token tramite trasformazioni rotazionali in uno spazio ad alta dimensionalità, migliorando la comprensione delle sequenze.
• Gated Linear Units (GLU): Uno strato di rete neurale che usa un meccanismo di gate per controllare il flusso di informazioni, aiutando a catturare pattern complessi.
• Grouped Query Attention (GQA): Un meccanismo di attenzione che calcola i pesi all'interno di gruppi di query per ridurre il costo computazionale e migliorare la focalizzazione.
• Tokenizer GPT-4 dal repository tiktoken: Una specifica implementazione di tokenizer per GPT-4, che converte il testo in token pronti per il modello, ottimizzata per le esigenze di elaborazione di GPT-4.

Come si confronta DBRX con modelli simili?

Databricks sostiene che il suo modello DBRX sia superiore a diversi modelli open source di punta in termini di efficienza e prestazioni sui compiti.

Ecco un confronto dettagliato di come DBRX si posiziona rispetto ai concorrenti:

1) DBRX vs. LLaMA2-70B

• Conoscenze generali (MMLU): DBRX Instruct ha un punteggio superiore del 9,8% rispetto a LLaMA2-70B.
• Ragionamento di buon senso (dataset HellaSwag): DBRX Instruct continua a condurre con un punteggio superiore del 3,1%.
• Databricks gauntlet (un modello che valuta le capacità degli LLM pre-addestrati su diversi compiti): DBRX Instruct ha un netto vantaggio—un punteggio superiore del 14% rispetto a LLaMA2-70B.
• Programmazione e ragionamento matematico: DBRX Instruct spicca con il 37,9% nella programmazione e il 40,2% nel ragionamento matematico.

2) DBRX Instruct vs. Mixtral Instruct

• Conoscenze generali: DBRX Instruct supera di poco Mixtral Instruct con un punteggio superiore del 2,3%.
• Ragionamento di buon senso (dataset HellaSwag): DBRX Instruct performa meglio con un vantaggio dell'1,4%.
• Databricks gauntlet: DBRX Instruct supera Mixtral Instruct con un margine notevole del 6,1%.
• Programmazione e ragionamento matematico: DBRX Instruct ha superato Mixtral Instruct del 15,3% nella programmazione e del 5,8% nel ragionamento matematico.

3) DBRX vs Grok-1

• Conoscenze generali: Le prestazioni sono in qualche modo simili, con DBRX Instruct che mantiene un leggero vantaggio dello 0,7% su Grok-1.
• Programmazione e ragionamento matematico: DBRX Instruct ha superato Grok-1 con un vantaggio del 6,9% nella programmazione e del 4% nel ragionamento matematico.

4) DBRX vs Mixtral Base

• Conoscenze generali: DBRX Instruct guida leggermente con un punteggio superiore dell'1,8% rispetto a Mixtral Base.
• Ragionamento di buon senso (dataset HellaSwag): DBRX ottiene un punteggio più alto con una differenza del 2,5%.
• Databricks gauntlet: DBRX è in testa del 10% su Mixtral Base.
• Programmazione e ragionamento matematico: DBRX Instruct mostra un vantaggio notevole con un punteggio superiore del 29,9% rispetto a Mixtral Base.

Tabella di confronto

Di seguito, abbiamo raccolto i confronti in una tabella e mostrato un grafico basato su alcuni dei risultati:

Confronto della qualità di DBRX con altri LLM open source - fonte

Come usare DBRX: guida passo dopo passo

Prima di accedere a DBRX, assicurati che il tuo sistema abbia almeno 320 GB di memoria. Poi segui questi passaggi per accedere a DBRX:

Accesso a DBRX

• Installa la libreria transformers

pip install "transformers>=4.40.0"

• Quindi richiedi a Hugging Face un token di accesso con permessi di lettura (serve per scaricare il modello).
• Una volta ottenuto l'accesso, importa e carica il modello usando il seguente codice.

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("databricks/dbrx-base", token="hf_YOUR_TOKEN")
model = AutoModelForCausalLM.from_pretrained("databricks/dbrx-base", device_map="auto", torch_dtype=torch.bfloat16, token="hf_YOUR_TOKEN")

# Directing tensors to "cuda" (GPU) for faster computation as GPUs are better at handling parallel tasks.
input_text = "Databricks was founded in "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

# DBRX accepts a context length of up to 32768 tokens. Here`max_new_tokens` specifies the maximum number of tokens to generate.
outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

Vuoi imparare a usare Transformers e Hugging Face? Leggi il nostro tutorial su Transformers e Hugging Face.

Attività di base con DBRX

DRBX può aiutarti con la creazione di contenuti di base e con risposte ai prompt come qualsiasi LLM. Ecco cosa puoi fare con DBRX:

• Completamento del testo: DBRX può generare risposte testuali in base ai tuoi prompt.
• Comprensione del linguaggio: Può svolgere compiti come l'analisi di input in linguaggio naturale, il riassunto di documenti lunghi o la traduzione di testo tra linguaggi di programmazione o stili di script.
• Ottimizzazione delle query: DBRX può anche ottimizzare le query ai database per minimizzare i tempi di esecuzione e aiutare i data engineer a concentrarsi su altre attività critiche senza compromettere le prestazioni.

Attività di coding con DBRX

DBRX può anche svolgere attività avanzate legate al coding per aiutare data practitioner o sviluppatori:

• Codice e spiegazione: Può generare codice per vari compiti di programmazione e spiegare funzioni esistenti o suggerire algoritmi per problemi specifici per comprendere e ottimizzare il codice.

DBRX risponde a comandi semplici - fonte

• Debug con DBRX: Fornisce suggerimenti di correzione del codice per migliorare la produttività degli sviluppatori e accelerare il processo di debug.
• Individuazione delle vulnerabilità: Può anche identificare problemi nel codice e proporre soluzioni per mitigarli.

Come fare fine-tuning di DBRX

Puoi fare fine-tuning di DBRX con la LLM foundry open source di Github. Tuttavia, il fine-tuning richiede che gli esempi di training siano formattati come dizionari:

formatted_example = {'prompt': <prompt_text>, 'response': <response_text>}

Prompt: È la domanda o l'istruzione iniziale che fornisci al modello.

Response: È la risposta che il modello viene addestrato a generare.

Puoi usare tre diversi dataset per fare fine-tuning di qualsiasi LLM:

1. Un dataset disponibile su HuggingFace Hub.
2. Un dataset archiviato localmente sul tuo dispositivo o macchina.
3. Un dataset nel formato StreamingDataset .mds.

1) Utilizzo di Hugging Face Hub

Se vuoi fare fine-tuning usando un dataset dall'HuggingFace Hub e il

dataset ha una funzione di pre-processing predefinita o segue già il

formato "prompt"/"response", puoi semplicemente puntare il dataloader a quel dataset.

train_loader:
    name: finetuning
    dataset:
        hf_name: tatsu-lab/alpaca
        split: train
        ...

Se non è definita alcuna funzione di pre-processing, usa preprocessing_fn per specificare una funzione di pre-processing personalizzata per il dataloader.

train_loader:
    name: finetuning
    dataset:
        hf_name: mosaicml/doge-facts
        preprocessing_fn: my_data.formatting:dogefacts_prep_fn
        split: train
        ...

2) Utilizzo di un dataset locale

Se hai già un dataset di fine-tuning sul tuo dispositivo, definisci i file JSONL locali nello

YAML di configurazione yamls/finetune/1b_local_data_sft.yaml.

train_loader:
    name: finetuning
    dataset:
        hf_name: json # assuming data files are json formatted
        hf_kwargs:
            data_dir: /path/to/data/dir/
        preprocessing_fn: my.import.path:my_preprocessing_fn
        split: train
        ...

Salta preprocessing_fn se i tuoi dati locali sono già nel formato "prompt"/"response".

3) Utilizzo di StreamingDataset

Converti il tuo dataset HuggingFace in formato MDS usando lo script

convert_finetuning_dataset.py.

Dopo aver convertito il tuo dataset HuggingFace in un formato di streaming, modifica semplicemente la tua configurazione YAML in questo modo.

train_loader:
    name: finetuning
    dataset:
        remote: s3://my-bucket/my-copy-doge-facts
        local: /tmp/mds-cache/
        split: train
        ...

Se vuoi vedere il fine-tuning a pieno numero di parametri, consulta la configurazione YAML in

dbrx-full-ft.yaml

Conclusione

Databricks DBRX utilizza più reti specializzate per aumentare la velocità del modello e l'efficienza dei costi. Questo approccio a grana fine gli consente di superare altri LLM nella gestione di compiti complessi.

Vuoi saperne di più sui large language model e su come fare fine-tuning? Dai un'occhiata a queste risorse:

• Working with Hugging Face
• Fine-Tuning di Llama 2
• Fine-Tuning di Google Gemma
• Fine-Tuning del modello Phi-2