After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Розподілене навчання — це важлива навичка у великомасштабному машинному навчанні, яка допомагає скоротити час, потрібний для навчання великих мовних моделей із трильйонами параметрів. У цьому курсі ви ознайомитеся з інструментами, техніками та стратегіями, необхідними для ефективного розподіленого навчання з використанням PyTorch, Accelerator і Trainer.
Підготовка даних для розподіленого навчання
Ви почнете з підготовки даних для розподіленого навчання, розподіляючи набори даних між кількома пристроями та розгортаючи копії моделі на кожному пристрої. Ви отримаєте практичний досвід попередньої обробки даних для розподілених середовищ, зокрема зображень, аудіо та тексту.Вивчення технік підвищення ефективності
Коли ваші дані будуть готові, ви дослідите способи підвищення ефективності під час навчання та використання оптимізатора в кількох інтерфейсах. Ви побачите, як розв’язувати ці виклики, покращуючи використання пам’яті, обмін даними між пристроями та обчислювальну ефективність за допомогою таких технік, як накопичення градієнтів, контрольні точки градієнтів, локальний стохастичний градієнтний спуск і навчання з мішаною точністю. Ви зрозумієте компроміси між різними оптимізаторами, щоб допомогти вам зменшити обсяг пам’яті, який використовує ваша модель.Після завершення цього курсу ви отримаєте знання та інструменти, щоб створювати розподілені сервіси на основі ШІ.Попередні вимоги
Навчальний план
Зміст курсу
1
Підготовка даних з Accelerator
Ви підготуєте дані для розподіленого тренування, розділивши їх між кількома пристроями та скопіювавши модель на кожен пристрій. Accelerator надає зручний інтерфейс для підготовки даних. Ви навчитеся попередньо обробляти зображення, аудіо та текст як перший крок у розподіленому тренуванні.
- Підготуйте моделі за допомогою AutoModel і Accelerator50 XP
- Завантаження та огляд попередньо натренованих моделей100 XP
- Автоматичне розміщення на пристрої з Accelerator100 XP
- Передобробка зображень і аудіо для тренування50 XP
- Попередня обробка наборів даних із зображеннями100 XP
- Попередня обробка аудіонаборів даних100 XP
- Підготуйте набори даних для розподіленого навчання100 XP
- Попередня обробка тексту для навчання50 XP
- Попередня обробка тексту з AutoTokenizer100 XP
- Збереження й завантаження стану попередньо обробленого тексту100 XP
2
Розподілене тренування з Accelerator і Trainer
У розподіленому тренуванні кожен пристрій паралельно навчається на своїх даних. Ви розглянете два способи розподіленого тренування: Accelerator дає змогу створювати власні цикли тренування, а Trainer спрощує інтерфейс для навчання.
3
Підвищення ефективності тренування
Розподілене тренування навантажує ресурси великими моделями та наборами даних, але ці виклики можна подолати, поліпшивши використання пам’яті, обмін даними між пристроями та обчислювальну ефективність. Ви ознайомитеся з прийомами акумулювання градієнтів, градієнтного контрольного збереження (gradient checkpointing), локального стохастичного градієнтного спуску та тренування зі змішаною точністю.
4
Тренування з ефективними оптимізаторами
Ви зосередитеся на оптимізаторах як важелях підвищення ефективності розподіленого тренування, розглянувши компроміси між AdamW, Adafactor і 8-bit Adam. Зменшення кількості параметрів або використання низької точності допомагає скоротити обсяг пам’яті, потрібної моделі.
Ефективне тренування моделей ШІ з PyTorch
Курс
завершено
