Po ukończeniu tych kursów czuję się pewnie w tworzeniu profesjonalnych wizualizacji i pulpitów nawigacyjnych
Shoebur RahmanSpecjalista ds. zakupów, Giz Bangladesh
Opis kursu
Poznaj nowoczesne techniki, które pozwalają maszynom uczyć się i wchodzić w interakcje ze swoim otoczeniem. Zanurzysz się w świat Deep Reinforcement Learning (DRL) i zdobędziesz praktyczne doświadczenie z najpotężniejszymi algorytmami napędzającymi rozwój tej dziedziny. Będziesz korzystać z PyTorch oraz środowiska Gymnasium, aby stworzyć własnych agentów.
Opanuj podstawy głębokiego uczenia ze wzmocnieniem
Nasza podróż zaczyna się od podstaw DRL oraz ich związku z tradycyjnym Reinforcement Learning. Następnie szybko przechodzimy do implementacji Deep Q-Networks (DQN) w PyTorch, w tym zaawansowanych ulepszeń, takich jak Double DQN oraz Prioritized Experience Replay, aby maksymalnie zwiększyć możliwości Twoich modeli.Rozwiń swoje umiejętności, poznając metody oparte na politykach. Nauczysz się i zastosujesz kluczowe techniki policy-gradient, takie jak REINFORCE oraz metody Actor-Critic.Korzystaj z najnowocześniejszych algorytmów
Poznasz potężne algorytmy DRL, które są obecnie powszechnie stosowane w branży, w tym Proximal Policy Optimization (PPO). Zdobędziesz praktyczne doświadczenie z technikami, które napędzają przełomy w robotyce, sztucznej inteligencji w grach i nie tylko. Na koniec nauczysz się optymalizować swoje modele za pomocą Optuna, wykorzystując strojenie hiperparametrów.Po ukończeniu tego kursu zdobędziesz umiejętności, które pozwolą Ci wykorzystać te nowoczesne techniki do rozwiązywania rzeczywistych problemów i w pełni wykorzystać potencjał DRL!Wymagania wstępne
Program nauczania
Plan kursu
1
Wprowadzenie do głębokiego uczenia ze wzmocnieniem
Odkryj, w jaki sposób głębokie uczenie ze wzmocnieniem usprawnia tradycyjne uczenie ze wzmocnieniem – poznaj teorię i zaimplementuj swój pierwszy algorytm Deep Q-Learning.
- Wprowadzenie do głębokiego uczenia ze wzmocnieniem50 XP
- Konfiguracja środowiska i sieci neuronowej100 XP
- Pętla treningowa DRL100 XP
- Wprowadzenie do głębokiego Q-learningu50 XP
- Uczenie głębokie i DQN50 XP
- Architektura sieci Q100 XP
- Tworzenie instancji sieci Q100 XP
- Podstawowy algorytm DQN50 XP
- Wybór akcji w uproszczonym algorytmie DQN100 XP
- Funkcja straty w uproszczonym DQN100 XP
- Trenowanie podstawowego algorytmu DQN100 XP
2
Głębokie Q-learning
Zagłęb się w Deep Q-learning, implementując oryginalny algorytm DQN z buforowaniem doświadczeń, strategią epsilon-zachłanną i stałymi celami Q. Następnie poznasz dwa interesujące rozszerzenia poprawiające wydajność i stabilność Deep Q-learning: Double DQN oraz Priorytetyzowany bufor doświadczeń.
3
Wprowadzenie do metod gradientu polityki
Poznaj podstawowe koncepcje metod gradientu polityki stosowanych w DRL. Zaczniesz od twierdzenia o gradiencie polityki, które stanowi fundament tych metod, a następnie zaimplementujesz algorytm REINFORCE – skuteczne podejście do uczenia polityk. Rozdział przeprowadzi cię też przez metody Actor-Critic, ze szczególnym uwzględnieniem algorytmu Advantage Actor-Critic (A2C), który łączy zalety metod gradientu polityki i metod opartych na wartości, zwiększając efektywność i stabilność uczenia.
4
Proximal Policy Optimization i wskazówki dotyczące DRL
Poznaj Proximal Policy Optimization (PPO) jako niezawodne narzędzie w DRL. Następnie dowiesz się, jak stosować bonus entropijny w PPO – zachęca on do eksploracji i zapobiega przedwczesnemu zbieganiu do polityk deterministycznych. Poznasz też aktualizacje wsadowe w metodach gradientu polityki. Na końcu nauczysz się optymalizacji hiperparametrów za pomocą Optuny – potężnego narzędzia do poprawy wydajności modeli DRL.
Głębokie uczenie ze wzmocnieniem w Pythonie
Kurs
ukończony
