Build your ultimate AI agent
Описание курса
Great Expectations — мощный инструмент для мониторинга качества данных в рабочих процессах data science и data engineering. Платформу можно легко интегрировать в Python, что делает её полезной библиотекой для пользователей Python, которую стоит освоить.
В основе Great Expectations лежат Expectations, или утверждения, которые вы хотите проверить на своих данных. Вы начнёте этот курс с изучения того, как подключаться к реальным наборам данных и применять к ним Expectations. Затем вы узнаете, как извлекать, редактировать и удалять Expectations, а также создавать конвейеры для применения Expectations к новым наборам данных в промышленном развертывании.
Наконец, вы узнаете о конкретных типах Expectations, например для числовых столбцов и столбцов строк, а также о том, как писать Expectations для одного столбца, зависящие от значений других столбцов.
По завершении этого курса у вас будет прочная база по библиотеке Great Expectations для Python. Вы сможете использовать основные функции платформы для контроля качества ваших данных, а также сможете использовать свои данные с уверенностью, что они соответствуют вашим стандартам качества данных.
Предварительные требования
Программа
Структура курса
1
Подключение к данным
Узнайте, почему Great Expectations (GX) — такой мощный инструмент для мониторинга качества данных. Освойте основы GX: как запустить сессию с помощью Data Context и как загрузить датафрейм pandas, используя Data Source, Data Asset и Batch Definition.
2
Создание Expectations
Создавайте и оценивайте базовые Expectations для формы и схемы данных. Выполняйте валидацию Expectations по отдельности, в составе Expectation Suite с Batch Definition или с помощью Validation Definition.
3
GX на практике
Освойте практические навыки работы с динамической природой Expectations в реальных условиях. Развёртывайте Validation Definitions с помощью Checkpoints, обновляйте Expectation Suites, а также учитесь добавлять, получать, просматривать и удалять ключевые компоненты GX.
4
Всё об Expectations
Погрузитесь в мир Expectations. Практикуйтесь в создании базовых Expectations для столбцов, числовых Expectations на уровне строк и агрегатов, Expectations для строк и их разбора, и не только. Узнайте, как применять Expectations только к части строк датафрейма.
Введение в качество данных с Great Expectations
Курс
завершён
