使用 PySpark 进行数据清洗

处理数据本就不易——面对上百万甚至上十亿行的数据更具挑战。 您是否接手过在笔记本电脑上、基于相对干净数据编写的数据处理代码？ 很可能，您需要把一个基础的数据处理流程从原型推进到生产环境。 您也许已经处理过真实世界的数据集，里面有缺失字段、奇怪的格式，而且数据量大了几个数量级。即使这些对您而言都是新的，本课程也将帮助您学习如何使用 Python 与 Apache Spark 来准备数据处理流程。 您将学习相关术语、方法，以及部分最佳实践，从而构建高性能、可维护且易于理解的数据处理平台。