Build your ultimate AI agent
Opis kursu
Rozproszone trenowanie to kluczowa umiejętność w uczeniu maszynowym na dużą skalę, pomagająca skrócić czas potrzebny do trenowania dużych modeli językowych z bilionami parametrów. W tym kursie poznasz narzędzia, techniki i strategie niezbędne do efektywnego rozproszonego trenowania z użyciem PyTorch, Accelerator i Trainer.
Przygotowywanie danych do treningu rozproszonego
Zaczniesz od przygotowania danych do treningu rozproszonego, dzieląc zbiory danych między wiele urządzeń i wdrażając kopie modelu na każdym z nich. Zdobędziesz praktyczne doświadczenie w przetwarzaniu danych wstępnych dla środowisk rozproszonych, w tym obrazów, dźwięku i tekstu.Techniki zwiększania efektywności
Gdy Twoje dane będą gotowe, poznasz sposoby na zwiększenie efektywności podczas trenowania i korzystania z optymalizatora w wielu interfejsach. Zobaczysz, jak radzić sobie z tymi wyzwaniami, poprawiając wykorzystanie pamięci, komunikację z urządzeniem i efektywność obliczeniową dzięki technikom takim jak akumulacja gradientów, checkpointing gradientów, lokalny stochastyczny spadek gradientu oraz trening z mieszaną precyzją. Zrozumiesz kompromisy między różnymi optymalizatorami, aby pomóc zmniejszyć zużycie pamięci przez Twój model.Po ukończeniu tego kursu będziesz dysponować wiedzą i narzędziami potrzebnymi do tworzenia rozproszonych usług opartych na AI.Wymagania wstępne
Program kursu
Plan kursu
1
Przygotowanie danych z Accelerate
Nauczysz się przygotowywać dane do trenowania rozproszonego – dzielić je między wiele urządzeń i kopiować model na każdym z nich. Accelerate oferuje wygodny interfejs do przygotowania danych. Jako pierwszy krok w trenowaniu rozproszonym poznasz sposoby wstępnego przetwarzania obrazów, dźwięku i tekstu.
- Przygotowanie modeli z AutoModel i Accelerator50 XP
- Ładowanie i analiza wstępnie wytrenowanych modeli100 XP
- Automatyczne przypisywanie urządzeń z Accelerator100 XP
- Wstępne przetwarzanie obrazów i dźwięku do trenowania50 XP
- Przetwarzanie zbiorów danych z obrazami100 XP
- Przetwarzanie zbiorów danych audio100 XP
- Przygotowanie zbiorów danych do treningu rozproszonego100 XP
- Wstępne przetwarzanie tekstu do trenowania50 XP
- Przetwarzanie tekstu za pomocą AutoTokenizer100 XP
- Zapisywanie i wczytywanie stanu przetworzonego tekstu100 XP
2
Trenowanie rozproszone z Accelerate i Trainer
W trenowaniu rozproszonym każde urządzenie trenuje na swoich danych równolegle. Poznasz dwa podejścia: Accelerate, które umożliwia tworzenie własnych pętli treningowych, oraz Trainer, który upraszcza cały proces trenowania.
3
Poprawa efektywności trenowania
Duże modele i zbiory danych mocno obciążają zasoby podczas trenowania rozproszonego. Możesz temu zaradzić, optymalizując wykorzystanie pamięci, komunikację między urządzeniami i wydajność obliczeń. Poznasz techniki akumulacji gradientów, punktów kontrolnych gradientów, lokalnego stochastycznego spadku gradientu oraz trenowania w mieszanej precyzji.
4
Trenowanie z wydajnymi optymalizatorami
Skupisz się na optymalizatorach jako narzędziach poprawy efektywności trenowania rozproszonego. Przeanalizujesz kompromisy między AdamW, Adafactorem i 8-bitowym Adam. Zmniejszenie liczby parametrów lub zastosowanie niższej precyzji pozwala ograniczyć ślad pamięciowy modelu.
Efektywne trenowanie modeli AI z PyTorch
Kurs
ukończony
