Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
La formation distribuée est une compétence essentielle dans le domaine de l'apprentissage automatique à grande échelle. Elle vous permet de réduire le temps nécessaire à la formation de grands modèles de langage comportant des milliards de paramètres. Dans ce cours, vous explorerez les outils, les techniques et les stratégies essentiels pour une formation distribuée efficace en utilisant PyTorch, Accelerator et Trainer.
Préparation des données pour la formation distribuée
Vous commencerez par préparer les données pour la formation distribuée en divisant les ensembles de données sur plusieurs appareils et en déployant des copies de modèle sur chaque appareil. Vous acquerrez une expérience pratique dans le prétraitement des données pour les environnements distribués, y compris les images, le son et le texte.Explorer les techniques d'efficacité
Une fois que vos données sont prêtes, vous explorerez les moyens d'améliorer l'efficacité de la formation et de l'utilisation des optimiseurs à travers de multiples interfaces. Vous verrez comment relever ces défis en améliorant l'utilisation de la mémoire, la communication avec les périphériques et l'efficacité des calculs grâce à des techniques telles que l'accumulation du gradient, le contrôle du gradient, la descente stochastique locale du gradient et l'apprentissage en précision mixte. Vous comprendrez les compromis entre les différents optimiseurs pour vous aider à réduire l'empreinte mémoire de votre modèle.À l'issue de ce cours, vous disposerez des connaissances et des outils nécessaires pour créer des services distribués alimentés par l'IA.Prérequis
Programme de formation
Plan du cours
1
Préparation des données avec Accelerator
Vous préparerez les données pour l’entraînement distribué en répartissant les données sur plusieurs appareils et en copiant le modèle sur chacun d’eux. Accelerator offre une interface pratique pour la préparation des données, et vous apprendrez à prétraiter des images, de l’audio et du texte comme première étape de l’entraînement distribué.
- Préparer des modèles avec AutoModel et Accelerator50 XP
- Charger et inspecter des modèles préentraînés100 XP
- Placement automatique sur l’appareil avec Accelerator100 XP
- Prétraiter les images et l’audio pour l’entraînement50 XP
- Prétraiter des jeux de données d’images100 XP
- Prétraiter des jeux de données audio100 XP
- Préparer des jeux de données pour l’entraînement distribué100 XP
- Prétraiter le texte pour l’entraînement50 XP
- Prétraiter du texte avec AutoTokenizer100 XP
- Enregistrer et charger l’état d’un texte prétraité100 XP
2
Entraînement distribué avec Accelerator et Trainer
En entraînement distribué, chaque appareil s’entraîne en parallèle sur ses propres données. Vous étudierez deux méthodes : Accelerator, qui permet d’écrire des boucles d’entraînement personnalisées, et Trainer, qui simplifie l’interface d’entraînement.
3
Améliorer l’efficacité de l’entraînement
L’entraînement distribué sollicite fortement les ressources avec de grands modèles et jeux de données, mais vous pouvez relever ces défis en améliorant l’utilisation mémoire, les communications entre appareils et l’efficacité de calcul. Vous découvrirez l’accumulation de gradients, le gradient checkpointing, le local stochastic gradient descent et l’entraînement en précision mixte.
4
S’entraîner avec des optimiseurs efficaces
Vous vous concentrerez sur les optimiseurs comme leviers pour améliorer l’efficacité de l’entraînement distribué, en mettant en avant les compromis entre AdamW, Adafactor et Adam 8 bits. Réduire le nombre de paramètres ou utiliser une faible précision permet de diminuer l’empreinte mémoire d’un modèle.
Entraîner efficacement des modèles d’IA avec PyTorch
Cours
terminé
