After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
Messa a punto del modello Llama
Questo corso ti dà tutte le informazioni che ti servono per preparare e usare i modelli Llama. Grazie a esempi concreti ed esercizi pratici, imparerai come configurare varie attività di ottimizzazione di Llama.Prepara i set di dati per la messa a punto
Inizia a dare un'occhiata alle tecniche di preparazione dei set di dati, come caricare, dividere e salvare i set di dati usando la libreria Hugging Face Datasets, per avere dati di alta qualità per i tuoi progetti Llama.Lavora con framework di ottimizzazione
Scopri come ottimizzare i flussi di lavoro usando librerie all'avanguardia come TorchTune e SFTTrainer di Hugging Face. Imparerai a configurare ricette di ottimizzazione, impostare argomenti di formazione e usare tecniche efficienti come LoRA (Low-Rank Adaptation) e quantizzazione con BitsAndBytes per ottimizzare l'uso delle risorse. Mettendo insieme le tecniche che hai imparato durante il corso, potrai personalizzare i modelli Llama in modo efficiente per adattarli alle esigenze dei tuoi progetti.Prerequisiti
Curriculum
Programma del corso
1
Prepararsi al fine-tuning di Llama
Esplora le opzioni per il fine-tuning dei modelli Llama 3 e scopri TorchTune, una libreria creata per semplificare il fine-tuning. Questo capitolo ti guida nella preparazione dei dati, nel sistema basato su ricette di TorchTune e nella configurazione efficiente dei task, fornendoti i passaggi chiave per avviare il tuo primo task di fine-tuning.
- Le librerie per il fine-tuning di Llama50 XP
- Elencare le ricette TorchTune50 XP
- Eseguire un task TorchTune50 XP
- Pre-elaborazione dei dati per il fine-tuning50 XP
- Filtrare gli insiemi di dati per la valutazione100 XP
- Creare esempi di training100 XP
- Salvataggio degli insiemi di dati preelaborati100 XP
- Fine-tuning con TorchTune50 XP
- Definire ricette personalizzate100 XP
- Salvare ricette personalizzate100 XP
- Eseguire un fine-tuning personalizzato50 XP
2
Fine-tuning con SFTTrainer su Hugging Face
Scopri come il fine-tuning può migliorare sensibilmente le prestazioni dei modelli più piccoli su task specifici. Inizia con il fine-tuning dei modelli Llama più compatti per potenziarne le capacità mirate. Poi, approfondisci tecniche di fine-tuning a elevata efficienza dei parametri come LoRA ed esplora la quantizzazione per caricare e usare modelli ancora più grandi.
Fine-tuning con Llama 3
Corso
completato
