After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
Het Llama-model nog wat bijschaven
Deze cursus is een complete handleiding voor het maken en werken met Llama-modellen. Met behulp van praktische voorbeelden en oefeningen leer je hoe je verschillende Llama-fijnafstemmingstaken kunt instellen.Maak datasets klaar voor het afstemmen
Begin met het verkennen van technieken voor het voorbereiden van datasets, zoals het laden, splitsen en opslaan van datasets met behulp van de Hugging Face Datasets-bibliotheek, zodat je verzekerd bent van hoogwaardige data voor je Llama-projecten.Werk met frameworks voor fijnafstemming
Check eens hoe je workflows kunt finetunen met toffe bibliotheken zoals TorchTune en SFTTrainer van Hugging Face. Je leert hoe je recepten kunt afstemmen, trainingsargumenten kunt instellen en handige technieken zoals LoRA (Low-Rank Adaptation) en kwantisering met BitsAndBytes kunt gebruiken om je gebruik van bronnen te optimaliseren. Door de technieken die je tijdens de cursus hebt geleerd te combineren, kun je Llama-modellen op een efficiënte manier aanpassen aan de behoeften van je projecten.Vereisten
Curriculum
Cursusoverzicht
1
Voorbereiden op Llama fine-tuning
Verken opties voor het fijn-afstemmen van Llama 3-modellen en duik in TorchTune, een bibliotheek die fine-tuning eenvoudiger maakt. Dit hoofdstuk begeleidt je bij het voorbereiden van data, het receptgebaseerde systeem van TorchTune en het efficiënt configureren van taken, zodat je de belangrijkste stappen kent om je eerste fine-tuningtaak te starten.
- De Llama-finetuningbibliotheken50 XP
- TorchTune-recepten weergeven50 XP
- Een TorchTune-taak uitvoeren50 XP
- Data voorbereiden voor fine-tuning50 XP
- Gegevenssets filteren voor evaluatie100 XP
- Trainingsvoorbeelden maken100 XP
- Voorbewerkte gegevenssets opslaan100 XP
- Fine-tunen met TorchTune50 XP
- Aangepaste recepten definiëren100 XP
- Aangepaste recepten opslaan100 XP
- Aangepaste fine-tuning uitvoeren50 XP
2
Fine-tunen met SFTTrainer op Hugging Face
Leer hoe fine-tuning de prestaties van kleinere modellen voor specifieke taken aanzienlijk kan verbeteren. Begin met het fijn-afstemmen van kleinere Llama-modellen om hun taakspecifieke capaciteiten te vergroten. Ontdek daarna parameter-efficiënte fine-tuningtechnieken zoals LoRA, en verken kwantisatie om nog grotere modellen te laden en te gebruiken.
Fijn-afstemmen met Llama 3
Cursus
voltooid
