После прохождения этих курсов я уверенно создаю профессиональные визуализации и дашборды.
Shoebur RahmanСпециалист по закупкам, Giz Bangladesh
Описание курса
Распределённое обучение — это важнейший навык в крупномасштабном машинном обучении, который помогает сократить время, необходимое для обучения больших языковых моделей с триллионами параметров. В этом курсе вы познакомитесь с инструментами, техниками и стратегиями, необходимыми для эффективного распределённого обучения с использованием PyTorch, Accelerator и Trainer.
Подготовка данных для распределённого обучения
Вы начнёте с подготовки данных для распределённого обучения, разделив наборы данных между несколькими устройствами и развернув копии модели на каждом устройстве. Вы получите практический опыт предварительной обработки данных для распределённых сред, включая изображения, аудио и текст.Изучение техник повышения эффективности
Когда ваши данные будут готовы, вы изучите способы повышения эффективности при обучении и использовании оптимизаторов в различных интерфейсах. Вы узнаете, как решать эти задачи, улучшая использование памяти, обмен данными между устройствами и вычислительную эффективность с помощью таких техник, как накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение с смешанной точностью. Вы поймёте компромиссы между различными оптимизаторами, чтобы помочь вам уменьшить объём памяти, занимаемый вашей моделью.К концу этого курса вы будете обладать знаниями и инструментами, необходимыми для создания распределённых сервисов на базе ИИ.Предварительные требования
Программа
План курса
1
Подготовка данных с Accelerate
Вы подготовите данные для распределённого обучения: разобьёте их между несколькими устройствами и скопируете модель на каждое из них. Accelerate предоставляет удобный интерфейс для подготовки данных. В качестве первого шага к распределённому обучению вы научитесь предобрабатывать изображения, аудио и текст.
- Подготовка моделей с AutoModel и Accelerator50 XP
- Загрузка и изучение предобученных моделей100 XP
- Автоматическое размещение на устройстве с помощью Accelerator100 XP
- Предобработка изображений и аудио для обучения50 XP
- Предобработка наборов данных с изображениями100 XP
- Предобработка аудионаборов данных100 XP
- Подготовка наборов данных к распределённому обучению100 XP
- Предобработка текста для обучения50 XP
- Предобработка текста с помощью AutoTokenizer100 XP
- Сохранение и загрузка состояния предобработанного текста100 XP
2
Распределённое обучение с Accelerate и Trainer
При распределённом обучении каждое устройство обрабатывает свою часть данных параллельно. Вы рассмотрите два подхода: Accelerate, позволяющий настраивать циклы обучения вручную, и Trainer, упрощающий интерфейс для обучения моделей.
3
Повышение эффективности обучения
Большие модели и наборы данных создают серьёзную нагрузку на ресурсы при распределённом обучении. Справиться с этим помогут техники повышения эффективности: накопление градиентов, контрольные точки градиентов, локальный стохастический градиентный спуск и обучение со смешанной точностью.
4
Обучение с эффективными оптимизаторами
Основное внимание уделяется оптимизаторам как инструментам повышения эффективности распределённого обучения. Вы сравните AdamW, Adafactor и 8-bit Adam, а также узнаете, как уменьшить объём памяти, занимаемой моделью, за счёт сокращения числа параметров или использования пониженной точности.
Эффективное обучение моделей ИИ с PyTorch
Курс
завершён
