Build your ultimate AI agent
Description du cours
Découvrez les techniques de pointe qui permettent aux machines d'apprendre et d'interagir avec leur environnement. Vous plongerez dans l'univers du Deep Reinforcement Learning (DRL) et acquerrez une expérience pratique des algorithmes les plus puissants qui font progresser ce domaine. Vous utiliserez PyTorch et l'environnement Gymnasium pour créer vos propres agents.
Maîtrisez les principes fondamentaux de l'apprentissage par renforcement profond
Notre parcours commence par les fondements du DRL et leur relation avec l'apprentissage par renforcement traditionnel. À partir de là, nous passons rapidement à la mise en œuvre des réseaux Deep Q-Networks (DQN) dans PyTorch, y compris des améliorations avancées telles que Double DQN et Prioritized Experience Replay pour optimiser vos modèles.Développez vos compétences en découvrant les méthodes basées sur les politiques. Vous apprendrez et mettrez en œuvre des techniques essentielles de gradient de politique telles que les méthodes REINFORCE et Actor-Critic.Utilisez des algorithmes de pointe
Vous découvrirez de puissants algorithmes DRL couramment utilisés dans l'industrie aujourd'hui, notamment l'optimisation de la politique proximale (PPO). Vous acquerrez une expérience pratique des techniques qui révolutionnent la robotique, l'intelligence artificielle dans les jeux vidéo et bien d'autres domaines. Enfin, vous apprendrez à optimiser vos modèles à l'aide d'Optuna pour le réglage des hyperparamètres.À la fin de ce cours, vous aurez acquis les compétences nécessaires pour appliquer ces techniques de pointe à des problèmes concrets et exploiter tout le potentiel du DRL.Prérequis
Programme de formation
Plan du cours
1
Introduction à l'apprentissage par renforcement profond
Découvrez comment l'apprentissage par renforcement profond améliore l'apprentissage par renforcement traditionnel tout en étudiant et en mettant en œuvre votre premier algorithme d'apprentissage profond par Q.
- Introduction à l'apprentissage par renforcement profond50 XP
- Environnement et configuration du réseau neuronal100 XP
- Boucle de formation DRL100 XP
- Introduction à l'apprentissage profond Q50 XP
- Apprentissage profond et DQN50 XP
- L'architecture du réseau Q100 XP
- Instancier le réseau Q100 XP
- L'algorithme DQN de base50 XP
- Sélection d'actions DQN de base100 XP
- Fonction de perte DQN de Barebone100 XP
- Formation du DQN minimal100 XP
2
Apprentissage profond par Q
Explorez le Deep Q-learning en mettant en œuvre l'algorithme DQN original, qui comprend la réutilisation de l'expérience, l'epsilon-greediness et des cibles Q fixes. Au-delà du DQN, vous explorerez ensuite deux extensions intéressantes qui améliorent les performances et la stabilité du Deep Q-learning : Double DQN et relecture d'expérience priorisée.
3
Introduction aux méthodes de gradient de politique
Découvrez les concepts fondamentaux des méthodes de gradient de politique dans le domaine du DRL. Vous commencerez par le théorème du gradient de la politique, qui constitue la base de ces méthodes. Ensuite, vous implémenterez l'algorithme REINFORCE, une approche puissante pour l'apprentissage des politiques. Ce chapitre vous guidera ensuite à travers les méthodes Actor-Critic, en mettant l'accent sur l'algorithme Advantage Actor-Critic (A2C), qui combine les forces des méthodes basées sur le gradient de politique et celles basées sur la valeur afin d'améliorer l'efficacité et la stabilité de l'apprentissage.
4
Optimisation de la politique proximale et conseils pour le DRL
Découvrez l'optimisation de la politique proximale (PPO) pour des performances DRL robustes. Ensuite, vous examinerez l'utilisation d'un bonus d'entropie dans le PPO, qui encourage l'exploration en empêchant la convergence prématurée vers des politiques déterministes. Vous découvrirez également les mises à jour par lots dans les méthodes de gradient de politique. Enfin, vous découvrirez l'optimisation des hyperparamètres avec Optuna, un outil puissant permettant d'optimiser les performances de vos modèles DRL.
Apprentissage par renforcement profond en Python
Cours
terminé
