After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Опис курсу
Great Expectations — це потужний інструмент для моніторингу якості даних у робочих процесах data science та data engineering. Платформу можна легко інтегрувати в Python, що робить її корисною бібліотекою для користувачів Python, яку варто опанувати.
В основі Great Expectations лежать Expectations, або твердження, які ви хочете перевірити щодо своїх даних. Ви почнете цей курс із вивчення того, як підключатися до реальних наборів даних і застосовувати до них Expectations. Далі ви навчитеся отримувати, редагувати, видаляти Expectations і створювати пайплайни для застосування Expectations до нових наборів даних у виробничому розгортанні.
На завершення ви дізнаєтеся про конкретні типи Expectations, зокрема для числових і рядкових стовпців, а також про те, як писати Expectations для одного стовпця, залежні від значень інших стовпців.
Наприкінці цього курсу ви матимете міцну базу знань із бібліотеки Great Expectations для Python. Ви зможете використовувати основні функції платформи для контролю якості ваших даних, а також зможете використовувати свої дані з упевненістю, що вони відповідають вашим стандартам якості даних.
Попередні вимоги
Навчальний план
Зміст курсу
1
Під'єднання до даних
Зрозумійте, чому Great Expectations (GX) — настільки потужний інструмент для моніторингу якості даних. Ознайомтеся з основами GX, зокрема як запустити сесію за допомогою Data Context і як завантажити датафрейм pandas за допомогою Data Source, Data Asset і Batch Definition.
- Створіть Data Context50 XP
- Створіть свій Data Context100 XP
- Перший погляд на GX100 XP
- Визначення ключових термінів100 XP
- Під'єднання до даних50 XP
- Перевірка понять100 XP
- Створення Data Source і Data Asset100 XP
- Читання даних пакетами50 XP
- Створення Batch Definition і Batch100 XP
- Ознайомтеся зі своїм Batch100 XP
2
Створення Expectations
Створюйте та оцінюйте базові Expectations щодо форми та схеми даних. Валідовуйте свої Expectations окремо, у складі Expectation Suite із Batch Definition, або за допомогою Validation Definition.
3
GX на практиці
Опanuйте практичні навички, які допоможуть вам упоратися з динамічною природою Expectations у реальних умовах. Розгортайте Validation Definition за допомогою Checkpoints; оновлюйте свої Expectation Suites; а також навчіться додавати, отримувати, перелічувати й видаляти ключові компоненти GX.
4
Усе про Expectations
Пориньте з головою у світ Expectations. Попрактикуйтеся у створенні базових Expectations для стовпців, числових Expectations на рівні рядків та агрегатів, рядкових і щодо придатності рядків до парсингу, та інших. Дізнайтеся, як застосовувати Expectations лише до частини рядків датафрейму.
Вступ до контролю якості даних із Great Expectations
Курс
завершено
