Python 中的 Spark SQL 入门

学习 Spark SQL

如果你已经熟悉 SQL，并且听说过 Apache Spark 的强大之处，那么这门课程就是为你准备的。 Apache Spark 是一个用于处理大数据的计算框架，而 Spark SQL 是 Apache Spark 的一个组件。 这门四小时的课程将向你展示如何利用高级 SQL 功能（例如窗口函数），将 Spark 的实用性提升到一个新的水平。

在4个章节的课程中，您将使用 Spark SQL 分析时间序列数据，从文本文档中提取最常见的词语，从自然语言文本创建特征集，并利用这些特征通过逻辑回归预测句子的最后一个词。

探索 Spark SQL 的用途

你将首先在 Spark 中创建并查询一个 SQL 表，同时学习如何使用 SQL 窗口函数来执行累计求和、差分以及其他操作。

接下来，你将探索如何在 Spark SQL 中使用窗口函数进行自然语言处理，包括使用移动窗口分析来查找常见词序列。

在第 3 章中，你将学习如何使用 SQL Spark UI 在探索 Spark 中的日志记录最佳实践之前正确缓存 DataFrame 和 SQL 表。

最后，你将运用迄今为止学到的所有技能，在提取词序列之前加载并对原始文本进行分词。 然后你将使用逻辑回归对文本进行分类，利用原始自然语言数据来训练文本分类器。

全面了解 Spark SQL

在课程结束时，你将牢固掌握 Spark SQL，并了解 Spark 如何将分布式计算的强大能力与 Python 和 SQL 的易用性相结合。