Build your ultimate AI agent
Описание курса
Этот курс предлагает всестороннее введение в Data Version Control (DVC) — инструмент, предназначенный для эффективного управления данными машинного обучения и их версионирования. Вы получите представление о жизненном цикле продукта машинного обучения, научитесь различать версионирование данных и версионирование кода, а также познакомитесь с возможностями и сценариями использования DVC.
Изучение возможностей DVC
Вы поймёте, зачем нужна версионизация данных, как устроен жизненный цикл машинного обучения и чем DVC отличается по функциям и сценариям применения. Вы также узнаете о настройке DVC, включая установку, инициализацию репозитория и файл .dvcignore. Вы изучите кэш DVC и staging-файлы, научитесь добавлять и удалять файлы, управлять кэшами и понимать лежащие в основе механизмы. Вы узнаете о DVC-удалённых хранилищах, объясните различие между DVC- и Git-удалёнными хранилищами, добавите удалённые хранилища, перечислите их и измените их. Вы научитесь взаимодействовать с удалёнными репозиториями, отправлять и получать данные, переключаться на определённые версии и загружать данные в кэш.Автоматизируйте и оценивайте
Вы будете мотивированы автоматизировать ML-пайплайны, уделяя особое внимание модульной структуре кода и созданию файла конфигурации. Вы познакомитесь с конвейерами DVC как с направленными ациклическими графами и на практике научитесь добавлять этапы, а также их входные и выходные данные. Вы научитесь эффективно выполнять эти конвейеры, чтобы обеспечить различные сценарии использования при обучении моделей машинного обучения. Курс завершается акцентом на оценке, демонстрируя, как метрики и графики отслеживаются в DVC.Предварительные требования
Программа
Структура курса
1
Введение в DVC
Эта глава даёт развёрнутое введение в Data Version Control (DVC) — инструмент, необходимый для версионирования данных в машинном обучении. Вы познакомитесь с причинами, по которым версионирование данных так важно, разберётесь в его отличиях от версионирования кода и поработаете с простой задачей классификации. Вы повторите основные команды Git, узнаете о DVC и попрактикуетесь в настройке репозитория. Глава завершается обзором возможностей и сценариев применения DVC, включая версионирование данных и моделей, CI/CD для машинного обучения, отслеживание экспериментов, пайплайны и многое другое.
- Зачем нужно версионирование данных50 XP
- Анатомия модели машинного обучения100 XP
- Различия между версионированием данных и кода50 XP
- Что такое гиперпараметры50 XP
- Введение в DVC50 XP
- Работа с Git CLI100 XP
- Знакомство с CLI DVC50 XP
- Возможности и сценарии использования DVC50 XP
- Пайплайны DVC50 XP
- CI/CD для машинного обучения50 XP
2
Настройка DVC и управление данными
Эта глава посвящена настройке DVC: установке, инициализации репозитория и использованию файла .dvcignore. Вы также изучите кеш DVC и работу с промежуточными файлами — узнаете, как добавлять и удалять файлы, управлять кешем и разберётесь с принципом работы хеша MD5. Помимо этого, глава объясняет, что такое удалённые хранилища DVC, чем они отличаются от удалённых репозиториев Git, и как их добавлять, просматривать и изменять. В заключение вы научитесь взаимодействовать с удалёнными хранилищами: отправлять и получать данные, переключаться между версиями и загружать данные в кеш.
3
Пайплайны в DVC
Эта глава посвящена автоматизации пайплайнов машинного обучения с помощью DVC. Вы создадите конфигурационный файл с настройками и гиперпараметрами, а также познакомитесь с визуализацией пайплайнов с помощью направленных ациклических графов и научитесь описывать зависимости, команды и выходные данные. Рассматривается выполнение пайплайнов DVC, включая локальное обучение модели и отслеживание метаданных DVC средствами Git. Кроме того, вы изучите отслеживание метрик и графиков в DVC: как выводить метрики, создавать файлы графиков и сравнивать метрики и графики на разных этапах пайплайна.
Введение в версионирование данных с DVC
Курс
завершён
