After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Цей курс пропонує вичерпне ознайомлення з Data Version Control (DVC) — інструментом, створеним для ефективного керування та версіонування даних для машинного навчання. Ви отримаєте розуміння життєвого циклу продукту машинного навчання, навчитеся розрізняти версіонування даних і версіонування коду та ознайомитеся з можливостями й сценаріями використання DVC.
Дослідження можливостей DVC
Ви зрозумієте, чому потрібне версіонування даних, життєвий цикл машинного навчання, а також особливості й сценарії використання DVC. Ви також дізнаєтеся про налаштування DVC, зокрема встановлення, ініціалізацію репозиторію та файл .dvcignore. Ви ознайомитеся з кешем DVC і файлами staging, навчитеся додавати й видаляти файли, керувати кешами та розуміти базові механізми роботи. Ви дізнаєтеся про віддалені сховища DVC, поясните різницю між віддаленими сховищами DVC та Git, додасте віддалені сховища, переглянете їх список і змінюватимете їх. Ви навчитеся взаємодіяти з віддаленими репозиторіями, надсилати й отримувати дані, перевіряти певні версії та завантажувати дані в кеш.Автоматизуйте та оцінюйте
Ви будете мотивовані автоматизувати ML-пайплайни, з акцентом на модульність коду та створення конфігураційного файлу. Ви ознайомитеся з конвеєрами DVC як із напрямленими ациклічними графами та отримаєте практичний досвід додавання етапів і їхніх входів та виходів. Ви потренуєтеся ефективно виконувати ці конвеєри, щоб забезпечити різні варіанти використання під час навчання моделей машинного навчання. Курс завершується зосередженням на оцінюванні, демонструючи, як метрики та графіки відстежуються в DVC.Попередні вимоги
Навчальний план
Зміст курсу
1
Вступ до DVC
У цьому розділі подано ґрунтовний вступ до Data Version Control (DVC) — інструмента, необхідного для версіонування даних у машинному навчанні. Ви дослідите мотивацію версіонування даних, зрозумієте його відмінності від версіонування коду та попрацюєте з простою задачею класифікації. Ви переглянете базові команди Git, ознайомитеся з DVC і потренуєтеся налаштовувати репозиторій. Розділ завершується оглядом можливостей DVC і типових застосувань, зокрема версіонування даних і моделей, CI/CD для ML, відстеження експериментів, конвеєрів тощо.
- Мотивація версіонування даних50 XP
- Анатомія моделі машинного навчання100 XP
- Відмінності між версіонуванням даних і коду50 XP
- Розуміння гіперпараметрів50 XP
- Вступ до DVC50 XP
- Робота з Git CLI100 XP
- Огляд DVC CLI50 XP
- Можливості DVC та випадки використання50 XP
- Конвеєри DVC50 XP
- CI/CD для машинного навчання50 XP
2
Налаштування DVC та керування даними
У цьому розділі ви детально розглянете налаштування DVC: інсталяцію, ініціалізацію репозиторію та використання файла .dvcignore. Далі ви дослідите кеш DVC і проміжні (staging) файли, навчитеся додавати й вилучати файли, керувати кешем і зрозумієте внутрішні механізми на основі MD5-хеша. Також розділ пояснює роботу з віддаленими сховищами DVC (remotes), відмінними від віддалених Git, і показує, як їх додавати, перелічувати та змінювати. Насамкінець ви навчитеся взаємодіяти з такими сховищами: виконувати push і pull даних, переходити на конкретні версії (checkout) та завантажувати дані в кеш (fetch).
3
Конвеєри в DVC
Цей розділ зосереджено на автоматизації ML-конвеєрів за допомогою DVC. Ви створите файл конфігурації з налаштуваннями та гіперпараметрами. Також ви дізнаєтеся про візуалізацію конвеєрів за допомогою орієнтованих ациклічних графів і використаєте команди для опису залежностей, команд і результатів. Розглянуто виконання конвеєрів DVC, зокрема локальне навчання моделей і те, як Git відстежує метадані DVC. Додатково ви дослідите відстеження метрик і графіків у DVC: як виводити метрики, створювати файли графіків і порівнювати метрики та графіки на різних етапах конвеєра.
Вступ до керування версіями даних із DVC
Курс
завершено
