使用 PySpark 进行机器学习

学习使用 Apache Spark 进行机器学习

Spark 是一个功能强大、通用的 Big Data 处理工具。 Spark 透明地处理集群中计算任务的分布。 这意味着操作速度很快，同时也让你能够专注于分析，而不必担心技术细节。 在本课程中，你将学习如何将数据导入 Spark，然后深入了解三种基础的 Spark 机器学习算法： 线性回归、逻辑回归/分类器，以及创建管道。

构建和测试决策树

构建自己的决策树是开始探索机器学习模型的绝佳方式。 你将使用一种名为“递归分区”的算法，将数据划分为两类，并在数据中找到一个预测变量，使两类之间的划分信息量最大，然后在后续节点中重复这一操作。 然后，您可以使用您的决策树对新数据进行预测。

掌握 PySpark 中的逻辑回归和线性回归

逻辑回归和线性回归是 PySpark 支持的必备机器学习技术。 你将学习构建和评估逻辑回归模型，随后再创建线性回归模型，帮助你优化预测变量，只保留最相关的选项。

在课程结束时，借助贯穿整个课程的动手任务和实践数据集，你将能够自信地运用新学到的机器学习知识。