Cours
Modèles Transformer avec PyTorch
AvancéNiveau de compétence
Actualisé 01/2025PyTorchArtificial Intelligence2 h7 vidéos23 Exercices1,900 XP6,483Certificat de réussite.
Créez votre compte gratuit
ou
En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données seront hébergées aux États-Unis.Apprécié par des utilisateurs provenant de milliers d'entreprises
Former 2 personnes ou plus ?
Essayez DataCamp for BusinessDescription du cours
Approfondissez vos connaissances sur l'architecture Transformer
Les modèles de transformateurs ont révolutionné la modélisation de texte, déclenchant l'essor de l'IA générative en rendant possibles les grands modèles linguistiques (LLM) actuels. Dans ce cours, vous étudierez les composants clés de cette architecture, notamment le codage positionnel, les mécanismes d'attention et les sous-couches feed-forward. Vous coderez ces composants de manière modulaire afin de construire votre propre transformateur étape par étape.Mettre en œuvre des mécanismes d'attention avec PyTorch
Le mécanisme d'attention est une avancée majeure qui a contribué à formaliser l'architecture du transformateur. L'auto-attention permet aux transformateurs de mieux identifier les relations entre les tokens, ce qui améliore la qualité du texte généré. Découvrez comment créer une classe de mécanisme d'attention multi-têtes qui constituera un élément clé de vos modèles de transformateurs.Construisez vos propres modèles de transformateurs
Apprenez à créer des modèles de transformateurs encodeurs uniquement, décodeurs uniquement et encodeurs-décodeurs. Découvrez comment sélectionner et coder ces différentes architectures de transformateurs pour diverses tâches linguistiques, notamment la classification de texte et l'analyse des sentiments, la génération et la complétion de texte, ainsi que la traduction séquence-à-séquence.Prérequis
Deep Learning for Text with PyTorch1
The Building Blocks of Transformer Models
Discover what makes the hottest deep learning architecture in AI tick! Learn about the components that make up Transformer models, including the famous self-attention mechanisms described in the renowned paper "Attention is All You Need."
2
Building Transformer Architectures
Design transformer encoder and decoder blocks, and combine them with positional encoding, multi-headed attention, and position-wise feed-forward networks to build your very own Transformer architectures. Along the way, you'll develop a deep understanding and appreciation for how transformers work under the hood.
Modèles Transformer avec PyTorch
Cours terminé
Obtenez un certificat de réussite
Ajoutez cette certification à votre profil LinkedIn, à votre CV ou à votre portfolioPartagez-la sur les réseaux sociaux et dans votre évaluation de performance
Inclus avecPremium or Teams
S'inscrire MaintenantRejoignez plus de 19 millions d'utilisateurs et commencez Modèles Transformer avec PyTorch dès aujourd'hui !
Créez votre compte gratuit
ou
En continuant, vous acceptez nos Conditions d'utilisation, notre Politique de confidentialité et le fait que vos données seront hébergées aux États-Unis.