学完这些课程后，我对创建专业的可视化图表和仪表板充满信心
Shoebur Rahman采购专员，Giz Bangladesh
课程简介
过去几年里，大数据备受关注，如今已在许多公司成为主流。那么，大数据到底是什么？本课程将通过 PySpark 讲解大数据的基础。Spark 是用于大数据的"超高速集群计算"框架，提供通用的数据处理引擎，让程序在内存中最高快 100 倍、在磁盘上快 10 倍，优于 Hadoop。您将使用 PySpark（用于 Spark 编程的 Python 包）及其功能强大、更高层的库，如 SparkSQL、MLlib（机器学习）等。您将探索威廉·莎士比亚的作品，分析 Fifa 2018 数据，并对基因组数据集进行聚类。完成本课程后，您将深入理解 PySpark 及其在通用大数据分析中的应用。
先修要求
课程体系
课程大纲
1
使用 Spark 进行大数据分析入门
本章节将带您进入精彩的大数据世界，介绍处理大数据的核心概念和不同框架。您将了解为何 Apache Spark 被认为是处理 BigData 的最佳框架。
2
在 PySpark 中编程：RDD
Spark 提供的主要抽象是弹性分布式数据集（RDD），这是该引擎的基础且核心的数据类型。本章节将介绍 RDD，并展示如何通过 RDD 的 Transformations 与 Actions 创建并执行 RDD。
3
PySpark SQL 与 DataFrame
本章节将介绍 Spark SQL，它是用于结构化数据处理的 Spark 模块。它提供名为 DataFrame 的编程抽象，也可作为分布式 SQL 查询引擎使用。本章节将展示 Spark SQL 如何在 Python 中使用 DataFrame。
4
使用 PySpark MLlib 进行机器学习
PySpark MLlib 是 Apache Spark 在 Python 中的可扩展机器学习库，包含常用的学习算法与工具。在本最后一章中，您将学习重要的机器学习算法。您将构建电影推荐引擎和垃圾邮件过滤器，并使用 k-means 聚类。
使用 PySpark 的大数据基础
课程已完成
