After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Відкрийте для себе передові методи, які дають змогу машинам навчатися та взаємодіяти зі своїм середовищем. Ви зануритеся у світ глибокого навчання з підкріпленням (DRL) і отримаєте практичний досвід роботи з найпотужнішими алгоритмами, що рухають цю сферу вперед. Ви будете використовувати PyTorch і середовище Gymnasium, щоб створювати власних агентів.
Опануйте основи глибокого навчання з підкріпленням
Наш шлях починається з основ DRL та їхнього зв’язку з традиційним навчанням з підкріпленням. Звідти ми швидко переходимо до реалізації Deep Q-Networks (DQN) у PyTorch, включно з такими вдосконаленнями, як Double DQN і Prioritized Experience Replay, щоб максимально посилити ваші моделі.Підніміть свої навички на новий рівень, вивчаючи методи, засновані на політиках. Ви навчитеся застосовувати та впроваджувати основні методи policy-gradient, такі як REINFORCE та Actor-Critic.Використовуйте передові алгоритми
Ви ознайомитеся з потужними алгоритмами DRL, які сьогодні широко використовуються в галузі, зокрема з Proximal Policy Optimization (PPO). Ви отримаєте практичний досвід роботи з техніками, що стоять за проривами в робототехніці, ігровому ШІ та не тільки. Нарешті, ви навчитеся оптимізувати свої моделі за допомогою Optuna для налаштування гіперпараметрів.Наприкінці цього курсу ви опануєте навички застосування цих передових методів до реальних задач і зможете повністю розкрити потенціал DRL!Попередні вимоги
Навчальний план
Зміст курсу
1
Вступ до глибокого навчання з підкріпленням
З'ясуйте, як глибоке навчання з підкріпленням перевершує класичний Reinforcement Learning, і водночас розберіться та реалізуйте свій перший алгоритм Deep Q Learning.
- Вступ до глибокого навчання з підкріпленням50 XP
- Налаштування середовища та нейронної мережі100 XP
- Тренувальний цикл DRL100 XP
- Вступ до deep Q learning50 XP
- Глибоке навчання та DQN50 XP
- Архітектура Q-мережі100 XP
- Створення екземпляра Q-Network100 XP
- Базовий алгоритм DQN50 XP
- Базовий вибір дії у DQN100 XP
- Базова функція втрат DQN100 XP
- Тренування базового DQN100 XP
2
Глибоке Q-навчання
Зануртеся в глибоке Q-навчання, реалізувавши оригінальний алгоритм DQN з Experience Replay, епсілон-жадібністю та фіксованими Q-цілями. Далі ви дослідите дві цікаві модифікації, що підвищують ефективність і стабільність глибокого Q-навчання: Double DQN і Prioritized Experience Replay.
3
Вступ до методів градієнта політики
Дізнайтеся про базові концепції методів градієнта політики в DRL. Ви почнете з теореми про градієнт політики, яка є основою цих методів. Потім ви реалізуєте алгоритм REINFORCE — потужний підхід до навчання політик. Далі розгляд перейде до методів Actor-Critic із фокусом на алгоритмі Advantage Actor-Critic (A2C), який поєднує переваги градієнтних і ціннісних методів, підвищуючи ефективність і стабільність навчання.
4
Proximal Policy Optimization і поради з DRL
Ознайомтеся з Proximal Policy Optimization (PPO) для надійної роботи DRL. Далі ви розглянете використання ентропійного бонусу в PPO, який заохочує дослідження середовища та запобігає передчасному переходу до детермінованих політик. Ви також вивчите пакетні оновлення в методах градієнта політики. Нарешті, ви дізнаєтеся про оптимізацію гіперпараметрів за допомогою Optuna — потужного інструмента для підвищення продуктивності ваших DRL-моделей.
Глибоке навчання з підкріпленням у Python
Курс
завершено
