Guida per Principianti alla WebUI di LlaMA-Factory: Fine-Tuning degli LLM

Primi passi con la WebUI di LlaMA-Factory

In questa sezione, vedremo come installare e avviare la WebUI di LlaMA-Factory in Google Colab e su Microsoft Windows. 

Google Colab mette a disposizione GPU gratuite; quindi, se il tuo laptop non ha una GPU o CUDA installati, ti consiglio di iniziare con un notebook Colab. 

1. Avvia il notebook Google Colab con il runtime “T4 GPU”. 
2. Nella cella di codice, digita il seguente comando per clonare il repository GitHub di LLaMA-Factory e installare tutti i pacchetti Python necessari. 

%cd /content/
%rm -rf LLaMA-Factory
!git clone https://github.com/hiyouga/LLaMA-Factory.git
%cd LLaMA-Factory
%ls
%pip install -e .[torch,bitsandbytes]

3. Per accedere a modelli e dataset, devi effettuare il login alla CLI di Hugging Face. Per farlo, genera un nuovo access token andando nelle impostazioni di Hugging Face, cliccando su "Access Tokens" e creando un nuovo token per Google Colab.

4. Crea la variabile d'ambiente di Hugging Face usando la funzione "Secrets" di Colab, che consente di creare variabili d'ambiente accessibili in modo sicuro all'interno del notebook.

5. Accedi a Hugging Face Hub usando l'access token di Hugging Face. 

from huggingface_hub import login
from google.colab import userdata
hf_token = userdata.get("HUGGINGFACE_TOKEN")
login(token = hf_token)

6. Avvia la WebUI di LLaMA-Factor usando il llamafactory-cli. Impostiamo GRADIO_SHARE=1 in modo da generare un link pubblico per accedere alla web app. 

%cd /content/LLaMA-Factory/
!GRADIO_SHARE=1 llamafactory-cli webui

7. Clicca sull'URL pubblico per aprire la WebUI in una nuova scheda. 

La WebUI di LLAMA-Factory è semplice ma ricca di opzioni e schede. Le esploreremo nella prossima sezione. 

Se riscontri problemi ad avviare la tua WebUI di LlaMA-Factory, consulta il notebook Google Colab.

Esecuzione della WebUI di LlaMA-Factory su Windows

Se vuoi eseguire la WebUI di LlaMA-Factory in locale su Windows, devi installare una versione precompilata della libreria bitsandbytes. Supporta CUDA dalla 11.1 alla 12.2, quindi seleziona la versione di rilascio appropriata in base alla tua versione di CUDA.

1. Apri il terminale di Windows e digita il comando Git per clonare il repository GitHub di LLaMA-Factory.
2. Installa tutti i pacchetti Python necessari.
3. Installa la libreria bitsandbytes per Windows.

$ git clone https://github.com/hiyouga/LLaMA-Factory.git

$ cd LLaMA-Factory

$ pip install -e .[torch,bitsandbytes]

$ pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

4. Avvia la WebUI di LLaMA-Factory.

$ llamafactory-cli webui

5. Non dimenticare di accedere a Hugging Face tramite la CLI fornendo un access token. 

$ huggingface-cli login

Fine-tuning di LlaMA-3 8B Chat con la WebUI di LlaMA-Factory

In questa sezione non scriveremo codice. Selezioneremo il modello e il dataset per il fine-tuning, modificheremo alcuni parametri e premeremo alcuni pulsanti per un addestramento più rapido. 

Per comprendere la teoria dietro il fine-tuning dei large language model, dai un'occhiata a questa guida completa: Fine-Tuning Large Language Models.

Selezione del dataset e del modello

Effettueremo il fine-tuning del modello unsloth/llama-3-8b-bnb-4bit sul dataset Microsoft/wiki_qa. Il dataset contiene più colonne, come mostrato di seguito, ma useremo le colonne “question” e “answer” per il fine-tuning del modello. 

Fonte: microsoft/wiki_qa | Corpus Wiki Question Answering di Microsoft

Non possiamo caricare il modello LLaMA-3-8B instruction completo nella versione gratuita di Google Colab. In alternativa, caricheremo la versione quantizzata a 4 bit dello stesso modello fornita da Unsloth. 

Per farlo, seleziona come nome modello "Custom" e incolla il link al repository "unsloth/llama-3-8b-bnb-4bit" nel percorso del modello.

Possiamo selezionare più dataset per il fine-tuning del modello. Tuttavia, per questo tutorial useremo solo il dataset “Wikiqa”, che puoi selezionare facilmente da un dataset predefinito, come mostrato sopra. 

Regolazione dei parametri di addestramento 

Regola gli argomenti di addestramento del modello scorrendo la pagina. Imposteremo i seguenti parametri:

• Learning rate a 4e-5
• Epochs a 1.0
• Max samples a 1000 per velocizzare l'addestramento

Il resto degli argomenti rimarrà ai valori predefiniti. Questi valori possono essere cambiati per modificare il comportamento del modello ottimizzato. 

Abbiamo anche la possibilità di modificare il rank di LoRA e altre configurazioni correlate. Per questo tutorial, lasciamo tutte le altre impostazioni ai valori predefiniti.

Avvio del processo di addestramento

Scorri ulteriormente verso il basso per vedere la configurazione di training. Fornisci la directory di output e il percorso della configurazione e premi il pulsante “Start”. Il grafico della loss impiegherà un po' a comparire perché LlaMA-Factor scaricherà prima il modello e il dataset e poi li caricherà: possono volerci almeno 5 minuti.

Una volta che il modello è completamente caricato e l'addestramento inizia, vedrai le visualizzazioni sul grafico della loss. Come si può osservare, la loss diminuisce gradualmente con l'aumentare degli step, il che è ottimo.

Al termine dell'addestramento, vedrai il messaggio di fine in basso a sinistra. Come si può osservare, la loss si è ridotta gradualmente e si è stabilizzata dopo 45 step.

Se sei un data scientist o uno sviluppatore, troverai semplice fare fine-tuning del tuo modello in Python. 

Abbiamo una guida dettagliata per profili tecnici che vogliono addestrare LlaMA-3 qui: Fine-Tuning di Llama 3 e utilizzo in locale: guida passo passo.

Valutazione del modello ottimizzato

Per valutare il modello ottimizzato, dobbiamo passare il menu da “Train” a “Chat”. Poi, vai su “Checkpoint path” e carica l'adapter ottimizzato salvato. 

Dopodiché, clicca sul pulsante “Load model” e attendi qualche secondo finché il modello non è stato caricato correttamente. 

Scorri verso il basso per vedere la casella di input della chat e scrivi una domanda generale sulla catena montuosa. 

Di conseguenza, otterrai una risposta semplice e diretta, simile al dataset "wiki_qa".

Proviamo a fare un'altra domanda. Possiamo vedere che il modello si comporta in modo eccellente. In 30 minuti abbiamo fatto il fine-tuning del modello, cosa che con la libreria Transformers avrebbe richiesto più di 4 ore. Fantastico. 

A volte, il fine-tuning non risolve tutti i problemi degli LLM. Per questo dovresti leggere RAG vs Fine-Tuning: un tutorial completo con esempi pratici e capire cosa funziona meglio per te.

Funzionalità aggiuntive della WebUI di LlaMA-Factory

Oltre al fine-tuning e al testing dei modelli, l'ecosistema LLaMA-Factory offre diverse funzionalità principali, tra cui l'uso di dati personalizzati per il fine-tuning, il merge e l'esportazione dei modelli e la distribuzione dei modelli ottimizzati tramite VLLM. 

Dataset personalizzato

Per aggiungere un dataset personalizzato, ti basta modificare il file data/dataset_info.json, che diventerà così accessibile nella WebUI di LLaMA-Factory. 

Per informazioni dettagliate sul formato richiesto dei file di dataset e su come modificare il file dataset_info.json, fai riferimento alla documentazione data/README.md. 

Puoi scegliere di usare dataset dagli hub di Hugging Face o ModelScope, oppure caricare il dataset dal tuo disco locale.

Anteprima del file data/dataset_info.json

Merge ed esportazione del modello 

Possiamo unire facilmente l'adapter LoRA ottimizzato con il modello completo ed esportarlo su Hugging Face Hub cliccando sulla scheda “Export”. 

Regola la dimensione massima degli shard, imposta il percorso della directory di export e specifica l'ID del repository su Hugging Face Hub e il device di export. Il processo richiederà alcuni minuti per unire il modello e caricare tutti i file su Hugging Face Hub.

Nota: la versione gratuita di Colab offre solo 12 GB di RAM, mentre il merge della LoRA di un modello da 8 miliardi di parametri richiede almeno 16 GB di RAM. Pertanto, questa operazione non può essere eseguita nella versione gratuita di Colab.

Merge ed export del modello ottimizzato su Hugging Face Hub

Deployment con API in stile OpenAI e vLLM

LlaMA-Factory include il framework vLLM per il serving e il deployment dei modelli. Digitando il seguente comando, possiamo servire il modello Llama-3-8B-Instruct e accedervi tramite l'API Python di OpenAI o RestAPI. 

$ API_PORT=8000 llamafactory-cli api examples/inference/llama3_vllm.yaml

Puoi anche modificare il file o crearne uno tuo .yaml per servire il tuo modello ottimizzato in produzione. Devi solo fornire il percorso alla cartella del modello in locale o su Huggin Face Hub. 

Fonte: hiyouga/LLaMA-Factory (github.com)

Se cerchi una soluzione low-code simile che permetta di fare fine-tuning degli LLM, in particolare del modello proprietario GPT-4o, abbiamo una guida completa per te. Dai un'occhiata al nostro tutorial passo passo qui: Fine-tuning di GPT-4 di OpenAI: guida passo passo.

Conclusione

La WebUI di LLaMA-Factory semplifica il processo sia per i principianti sia per gli esperti. Ti basta regolare alcuni parametri per fare fine-tuning del modello su un dataset personalizzato. Con la stessa interfaccia, puoi testare il modello ed esportarlo su Hugging Face o salvarlo in locale. Questo ti permette di distribuire il modello in produzione in seguito usando il comando api della CLI di LLaMA-Factory. È davvero così semplice. 

Invece di scrivere centinaia di righe di codice e risolvere problemi di fine-tuning, puoi ottenere risultati simili con pochi clic.

In questo tutorial, abbiamo visto la WebUI di LLaMA-Factory e come fare il fine-tuning del modello LLaMA-3-8B-Instruct su un dataset di Wikipedia Q&A usando questo framework. Inoltre, abbiamo testato il modello ottimizzato tramite il menu chatbot integrato ed esplorato le funzionalità aggiuntive offerte da LLaMA-Factory.

Impara come effettuare il fine-tuning degli LLM con Python iscrivendoti gratuitamente al prossimo webinar Fine-Tuning del tuo Llama 3.