After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
课程介绍
学习 Spark SQL
如果你已经熟悉 SQL，并且听说过 Apache Spark 的强大之处，那么这门课程就是为你准备的。 Apache Spark 是一个用于处理大数据的计算框架，而 Spark SQL 是 Apache Spark 的一个组件。 这门四小时的课程将向你展示如何利用高级 SQL 功能（例如窗口函数），将 Spark 的实用性提升到一个新的水平。在4个章节的课程中，您将使用 Spark SQL 分析时间序列数据，从文本文档中提取最常见的词语，从自然语言文本创建特征集，并利用这些特征通过逻辑回归预测句子的最后一个词。
探索 Spark SQL 的用途
你将首先在 Spark 中创建并查询一个 SQL 表，同时学习如何使用 SQL 窗口函数来执行累计求和、差分以及其他操作。接下来，你将探索如何在 Spark SQL 中使用窗口函数进行自然语言处理，包括使用移动窗口分析来查找常见词序列。
在第 3 章中，你将学习如何使用 SQL Spark UI 在探索 Spark 中的日志记录最佳实践之前正确缓存 DataFrame 和 SQL 表。
最后，你将运用迄今为止学到的所有技能，在提取词序列之前加载并对原始文本进行分词。 然后你将使用逻辑回归对文本进行分类，利用原始自然语言数据来训练文本分类器。
全面了解 Spark SQL
在课程结束时，你将牢固掌握 Spark SQL，并了解 Spark 如何将分布式计算的强大能力与 Python 和 SQL 的易用性相结合。先修要求
课程大纲
课程大纲
1
PySpark SQL
在本章中，您将学习如何在 Spark 中创建并查询 SQL 表。Spark SQL 将 SQL 的表达力带入 Spark。您还将学习如何在 Spark 中使用 SQL 窗口函数。窗口函数在与当前行相关的多行上执行计算。它们能极大简化仅用连接和传统聚合难以表达的结果。我们将使用窗口函数来执行累计求和、累计差分，以及其他在基础 SQL 中较为困难的操作。
2
将窗口函数 SQL 用于自然语言处理
在本章中，您将加载自然语言文本。随后，您将应用移动窗口分析来查找高频词序列。
3
缓存、日志与 Spark UI
在前几章中，您已经学会了如何使用窗口函数 SQL 的强大表达力。然而，正因为这种表达力，现在有必要理解如何正确缓存 DataFrame 和缓存 SQL 表。同时，了解如何评估您的应用也很重要。您将学习如何使用 Spark UI 来完成这一点。您还将学习 Spark 中的日志记录最佳实践。Spark SQL 还带来了另一个用于优化查询性能的有用工具——查询执行计划。您将学习如何使用执行计划来评估 DataFrame 的来源与演变。
4
文本分类
前几章已经为您提供了加载原始文本、进行分词并提取词序列的工具。这些对于分析很有用，对机器学习同样适用。接下来，您将把这些知识结合起来，使用逻辑回归对文本进行分类。到本章结束时，您将加载原始自然语言文本数据，并用它来训练一个文本分类器。
Python 中的 Spark SQL 入门
课程完成
