After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Bắt đầu hành trình giúp máy học thông minh hơn với Deep Reinforcement Learning (DRL). Khóa học này mang đến trải nghiệm thực hành với các thuật toán mạnh mẽ sử dụng PyTorch và Gymnasium.
Khởi động với nền tảng DRL và Reinforcement Learning truyền thống, sau đó bạn sẽ hiện thực hóa Deep Q-Networks (DQN) kèm các cải tiến nâng cao như Prioritized Experience Replay.
Nâng tầm kỹ năng với các phương pháp dựa trên policy và khám phá các thuật toán tiêu chuẩn trong ngành như Proximal Policy Optimization (PPO) trước khi tối ưu mô hình bằng Optuna.
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Giới thiệu về Deep Reinforcement Learning
Khám phá cách deep reinforcement learning cải tiến so với Reinforcement Learning truyền thống, đồng thời tìm hiểu và triển khai thuật toán Deep Q Learning đầu tiên của bạn.
- Giới thiệu về deep reinforcement learning50 XP
- Thiết lập môi trường và mạng nơ-ron100 XP
- Vòng lặp huấn luyện DRL100 XP
- Giới thiệu về deep Q learning50 XP
- Deep learning và DQN50 XP
- Kiến trúc Q-Network100 XP
- Khởi tạo Q-Network100 XP
- Thuật toán DQN tối giản50 XP
- Chọn hành động với DQN tối giản100 XP
- Hàm mất mát DQN bản tối giản100 XP
- Huấn luyện DQN bản tối giản100 XP
2
Deep Q-learning
Đi sâu vào Deep Q-learning bằng cách triển khai thuật toán DQN gốc, với Experience Replay, epsilon-greediness và fixed Q-targets. Vượt ra ngoài DQN, bạn sẽ khám phá hai phần mở rộng thú vị giúp cải thiện hiệu năng và độ ổn định của Deep Q-learning: Double DQN và Prioritized Experience Replay.
3
Giới thiệu về các phương pháp Policy Gradient
Tìm hiểu các khái niệm nền tảng của phương pháp policy gradient trong DRL. Bạn sẽ bắt đầu với định lý policy gradient, nền tảng của các phương pháp này. Sau đó, bạn sẽ triển khai thuật toán REINFORCE, một cách tiếp cận mạnh mẽ để học policy. Chương này sẽ hướng dẫn bạn qua các phương pháp Actor-Critic, tập trung vào thuật toán Advantage Actor-Critic (A2C), kết hợp điểm mạnh của cả policy gradient và phương pháp dựa trên giá trị để tăng hiệu quả và ổn định khi học.
4
Proximal Policy Optimization và các mẹo DRL
Khám phá Proximal Policy Optimization (PPO) để đạt hiệu năng DRL vững chắc. Tiếp theo, bạn sẽ tìm hiểu việc dùng entropy bonus trong PPO, giúp khuyến khích khám phá bằng cách ngăn hội tụ sớm vào các policy tất định. Bạn cũng sẽ học về cập nhật theo lô (batch) trong các phương pháp policy gradient. Cuối cùng, bạn sẽ tìm hiểu cách tối ưu siêu tham số với Optuna, một công cụ mạnh mẽ để tối ưu hiệu năng cho các mô hình DRL của bạn.
Deep Reinforcement Learning bằng Python
Hoàn
thành khóa học
