Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Ajustement du modèle Llama
Ce cours fournit un guide complet pour la préparation et l'utilisation des modèles Llama. Grâce à des exemples concrets et des exercices pratiques, vous apprendrez à configurer diverses tâches de réglage fin de Llama.Préparez les ensembles de données pour le réglage fin.
Commencez par explorer les techniques de préparation des ensembles de données, notamment le chargement, le fractionnement et l'enregistrement des ensembles de données à l'aide de la bibliothèque Hugging Face Datasets, afin de garantir la qualité des données pour vos projets Llama.Travailler avec des cadres de réglage fin
Découvrez comment affiner vos workflows à l'aide de bibliothèques de pointe telles que TorchTune et SFTTrainer de Hugging Face. Vous apprendrez à configurer des recettes de réglage fin, à mettre en place des arguments de formation et à utiliser des techniques efficaces telles que LoRA (Low-Rank Adaptation) et la quantification à l'aide de BitsAndBytes afin d'optimiser l'utilisation des ressources. En combinant les techniques acquises tout au long du cours, vous serez en mesure de personnaliser les modèles Llama afin de répondre efficacement aux besoins de vos projets.Prérequis
Programme de formation
Plan du cours
1
Se préparer à l’ajustement fin de Llama
Explorez les options d’ajustement fin des modèles Llama 3 et plongez dans TorchTune, une bibliothèque conçue pour simplifier ce processus. Ce chapitre vous guide dans la préparation des données, le système de recettes de TorchTune et la configuration efficace des tâches, en vous donnant les étapes clés pour lancer votre premier ajustement fin.
- Les bibliothèques de réglage fin de Llama50 XP
- Lister les recettes TorchTune50 XP
- Lancer une tâche TorchTune50 XP
- Prétraiter les données pour l’affinage50 XP
- Filtrer des jeux de données pour l’évaluation100 XP
- Créer des exemples d’entraînement100 XP
- Enregistrer des jeux de données prétraités100 XP
- Affiner avec TorchTune50 XP
- Définir des recettes personnalisées100 XP
- Enregistrer des recettes personnalisées100 XP
- Lancer un fine-tuning personnalisé50 XP
2
Ajustement fin avec SFTTrainer sur Hugging Face
Découvrez comment l’ajustement fin peut améliorer sensiblement les performances de modèles plus petits sur des tâches spécifiques. Commencez par ajuster de petits modèles Llama pour renforcer leurs capacités ciblées. Ensuite, explorez des techniques d’ajustement fin efficaces en paramètres comme LoRA, et découvrez la quantification pour charger et utiliser des modèles encore plus grands.
Ajustement fin avec Llama 3
Cours
terminé
