Build your ultimate AI agent
课程介绍
Great Expectations 是一款强大的工具,可用于监控数据科学和数据工程工作流中的数据质量。 该平台可轻松集成到Python中,使其成为Python用户值得掌握的实用库。
Great Expectations 的核心是 Expectations,也就是你希望对数据进行验证的断言。 你将从学习如何连接到真实世界的数据集并将 Expectations 应用于其中开始这门课程。 然后,您将学习如何检索、编辑、删除 Expectations,以及如何构建管道,将 Expectations 应用于生产部署中的新数据集。
最后,你将学习特定类型的 Expectations,例如针对数值列和字符串列的 Expectations,以及如何编写基于其他列取值条件的一列 Expectations。
在本课程结束时,你将对 Great Expectations Python 库打下坚实的基础。 您将能够使用该平台的核心功能来监控数据质量,并且能够放心地使用您的数据,因为它符合您的数据质量标准。
先修要求
课程大纲
课程大纲
1
连接数据
了解为何 Great Expectations(GX)是监控数据质量的有力工具。熟悉 GX 的基础概念,包括如何使用 Data Context 启动会话,以及如何通过 Data Source、Data Asset 和 Batch Definition 加载 pandas 数据框。
2
建立 Expectations
创建并评估基础的形状与模式(schema)Expectations。将您的 Expectations 单独验证,或与 Batch Definition 一起作为 Expectation Suite 验证,或使用 Validation Definition 进行验证。
3
GX 实践
学习在真实场景中应对 Expectations 动态变化的实用技能。使用 Checkpoints 部署 Validation Definitions;更新您的 Expectation Suites;并学习如何添加、检索、列出和删除关键的 GX 组件。
4
全面认识 Expectations
深入学习 Expectations 的方方面面。练习创建基础列级 Expectations、行级与聚合级的数值 Expectations、字符串及其可解析性 Expectations 等。学习如何仅对数据框的部分行应用 Expectations。
使用 Great Expectations 的数据质量入门
课程完成

