After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrierea cursului
Ajustarea fină a modelului Llama
Acest curs oferă un ghid complet pentru pregătirea și lucrul cu modelele Llama. Prin exemple practice și exerciții aplicate, vei învăța cum să configurezi diverse sarcini de fine-tuning pentru Llama.Pregătește seturi de date pentru fine-tuning
Începe prin a explora tehnici de pregătire a seturilor de date, inclusiv încărcarea, împărțirea și salvarea seturilor de date folosind biblioteca Hugging Face Datasets, pentru a asigura date de înaltă calitate pentru proiectele tale Llama.Lucrează cu framework-uri de fine-tuning
Explorează fluxurile de lucru de fine-tuning folosind biblioteci de ultimă generație precum TorchTune și SFTTrainer de la Hugging Face. Vei învăța cum să configurezi rețete de fine-tuning, să setezi argumentele de antrenare și să utilizezi tehnici eficiente precum LoRA (Low-Rank Adaptation) și cuantizarea folosind BitsAndBytes pentru a optimiza utilizarea resurselor. Combinând tehnicile învățate pe parcursul cursului, vei putea personaliza modelele Llama pentru a se potrivi nevoilor proiectelor tale într-un mod eficient.Cerințe prealabile
Curriculum
Structura cursului
1
Pregătirea pentru fine-tuning cu Llama
Explorează opțiunile de fine-tuning pentru modelele Llama 3 și descoperă TorchTune, o bibliotecă creată pentru a simplifica acest proces. Capitolul te ghidează prin pregătirea datelor, sistemul bazat pe rețete al TorchTune și configurarea eficientă a sarcinilor, oferindu-ți pașii esențiali pentru a lansa prima ta sesiune de fine-tuning.
- Bibliotecile pentru fine-tuning cu Llama50 XP
- Listarea rețetelor TorchTune50 XP
- Rularea unei sarcini TorchTune50 XP
- Preprocesarea datelor pentru fine-tuning50 XP
- Filtrarea seturilor de date pentru evaluare100 XP
- Crearea eșantioanelor de antrenament100 XP
- Salvarea seturilor de date preprocesate100 XP
- Fine-tuning cu TorchTune50 XP
- Definirea rețetelor personalizate100 XP
- Salvarea rețetelor personalizate100 XP
- Rularea unui fine-tuning personalizat50 XP
2
Fine-Tuning cu SFTTrainer pe Hugging Face
Descoperă cum fine-tuning-ul poate îmbunătăți semnificativ performanța modelelor mai mici pentru sarcini specifice. Începe cu fine-tuning pe modele Llama mai mici pentru a le spori capacitățile specializate. Apoi, explorează tehnici eficiente de fine-tuning, precum LoRA, și cuantizarea pentru a încărca și utiliza modele și mai mari.
Fine-Tuning cu Llama 3
Curs
finalizat
