After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
课程介绍
过去几年里，大数据备受关注，如今已在许多公司成为主流。那么，大数据到底是什么？本课程将通过 PySpark 讲解大数据的基础。Spark 是用于大数据的"超高速集群计算"框架，提供通用的数据处理引擎，让程序在内存中最高快 100 倍、在磁盘上快 10 倍，优于 Hadoop。您将使用 PySpark（用于 Spark 编程的 Python 包）及其功能强大、更高层的库，如 SparkSQL、MLlib（机器学习）等。您将探索威廉·莎士比亚的作品，分析 Fifa 2018 数据，并对基因组数据集进行聚类。完成本课程后，您将深入理解 PySpark 及其在通用大数据分析中的应用。
先修要求
课程大纲
课程大纲
1
使用 Spark 进行大数据分析入门
本章节将带您进入精彩的大数据世界，介绍处理大数据的核心概念和不同框架。您将了解为何 Apache Spark 被认为是处理 BigData 的最佳框架。
2
在 PySpark 中编程：RDD
Spark 提供的主要抽象是弹性分布式数据集（RDD），这是该引擎的基础且核心的数据类型。本章节将介绍 RDD，并展示如何通过 RDD 的 Transformations 与 Actions 创建并执行 RDD。
3
PySpark SQL 与 DataFrame
本章节将介绍 Spark SQL，它是用于结构化数据处理的 Spark 模块。它提供名为 DataFrame 的编程抽象，也可作为分布式 SQL 查询引擎使用。本章节将展示 Spark SQL 如何在 Python 中使用 DataFrame。
4
使用 PySpark MLlib 进行机器学习
PySpark MLlib 是 Apache Spark 在 Python 中的可扩展机器学习库，包含常用的学习算法与工具。在本最后一章中，您将学习重要的机器学习算法。您将构建电影推荐引擎和垃圾邮件过滤器，并使用 k-means 聚类。
使用 PySpark 的大数据基础
课程完成
