Build your ultimate AI agent
课程介绍
如果您去调查大量数据科学家和数据分析师的日常工作,几乎都会提到数据清理。原因很简单:真实世界的数据往往很"脏"。为帮助您处理这类数据,本课程将带您学习如何清理存储在 PostgreSQL 数据库中的数据。您将学会解决常见问题,例如清理混乱的字符串、处理空值、比较字符串相似度等。课程使用纽约市 Open Data 项目提供的有趣(但凌乱)的数据集,带您动手实践这些任务。准备好把这些杂乱数据整理得井井有条了吗?
先修要求
课程大纲
课程大纲
1
数据清理基础
在本章中,您将了解在使用 PostgreSQL 数据库时的数据清理方法,并认识到尽早在数据管道中清理数据的价值。您还将学习基础的字符串编辑方法(如去除多余空格),以及更深入的话题,如模式匹配和字符串相似度,用于识别需要清理的字符串值。
2
缺失、重复与无效数据
您将学习如何编写查询,以解决 PostgreSQL 数据库表中常见的缺失、重复和无效数据问题。通过动手练习,您将使用 COALESCE() 函数、SELECT 查询和 WHERE 子句来清理混乱数据。
3
数据类型转换
有时,您需要将 PostgreSQL 数据库中存储的数据从一种数据类型转换为另一种。本章将带您探索将文本转换为数值类型所需的表达式,以及如何为时间数据格式化字符串。
4
数据变换
在最后一章中,您将学习如何变换数据并构建数据透视表。结合真实的邮政数据,您将发现如何使用包括 CONCAT()、SUBSTRING() 和 REGEXP_SPLIT_TO_TABLE() 在内的多种强大函数,将地址合并或拆分为城市、州和邮政编码。
S
在 PostgreSQL 数据库中清理数据
课程完成

