Après avoir suivi ces cours, je me sens confiant dans la création de visualisations et de tableaux de bord professionnels.
Shoebur RahmanSpécialiste des marchés publics, Giz Bangladesh
Description du cours
Approfondissez vos connaissances sur l'architecture Transformer
Les modèles de transformateurs ont révolutionné la modélisation de texte, déclenchant l'essor de l'IA générative en rendant possibles les grands modèles linguistiques (LLM) actuels. Dans ce cours, vous étudierez les composants clés de cette architecture, notamment le codage positionnel, les mécanismes d'attention et les sous-couches feed-forward. Vous coderez ces composants de manière modulaire afin de construire votre propre transformateur étape par étape.Mettre en œuvre des mécanismes d'attention avec PyTorch
Le mécanisme d'attention est une avancée majeure qui a contribué à formaliser l'architecture du transformateur. L'auto-attention permet aux transformateurs de mieux identifier les relations entre les tokens, ce qui améliore la qualité du texte généré. Découvrez comment créer une classe de mécanisme d'attention multi-têtes qui constituera un élément clé de vos modèles de transformateurs.Construisez vos propres modèles de transformateurs
Apprenez à créer des modèles de transformateurs encodeurs uniquement, décodeurs uniquement et encodeurs-décodeurs. Découvrez comment sélectionner et coder ces différentes architectures de transformateurs pour diverses tâches linguistiques, notamment la classification de texte et l'analyse des sentiments, la génération et la complétion de texte, ainsi que la traduction séquence-à-séquence.Prérequis
Programme de formation
Plan du cours
1
Les briques des modèles Transformer
Découvrez ce qui fait battre le cœur de l’architecture de deep learning la plus en vue en IA ! Apprenez les composants qui constituent les modèles Transformer, y compris les célèbres mécanismes d’auto-attention décrits dans l’article de référence « Attention is All You Need ».
- Transformers avec PyTorch50 XP
- Décomposer le Transformer50 XP
- Transformers PyTorch100 XP
- Encodage des embeddings et positionnel50 XP
- Créer les embeddings d’entrée100 XP
- Créer des encodages positionnels100 XP
- Auto-attention multi-tête50 XP
- Implémenter l’attention multi-têtes100 XP
- Commencer la classe MultiHeadAttentionClass100 XP
- Ajout de méthodes à la classe MultiHeadAttention100 XP
2
Construire des architectures Transformer
Concevez des blocs encodeur et décodeur, et combinez-les avec l’encodage positionnel, l’attention multi-têtes et les réseaux feed-forward positionnels pour construire vos propres architectures Transformer. Au passage, vous développerez une compréhension fine et une vraie appréciation du fonctionnement interne des transformers.
Modèles Transformer avec PyTorch
Cours
terminé
