跳至主要内容

PySpark 安装指南（所有操作系统）

本教程将演示如何安装 PySpark，以及如何在 Windows、Linux 和 Mac 操作系统中管理环境变量。
· 8分钟 阅读

使用 AI 探索

banner

Pyspark = Python + Apache Spark

Apache Spark 是一款在大数据行业用于实时处理和批处理的全新开源框架。它支持多种语言，如 Python、Scala、Java 和 R。

Apache Spark 最初使用 Java 虚拟机（JVM）语言 Scala 编写，而 Pyspark 则类似于一个包含 Py4J 库的 Python API。这使其能够与 JVM 对象进行动态交互。

Windows 安装

以下为 Windows 操作系统的安装过程。包括安装 Java 并配置环境变量，以及安装 Apache Spark 并配置环境变量。

建议先安装 Python，可从此处下载。

Java 安装

  1. 前往 下载 Java JDK。
    访问 Oracle 网站下载 Java 开发工具包（JDK）。

  2. 转到下载区域，选择操作系统为 Windows。在我的示例中，选择 Windows Offline（64-bit）。安装程序将被下载。 Java 安装

  3. 打开安装程序，开始安装。 Java 安装

  4. 打开“命令提示符”，输入“java -version”查看版本并确认是否安装成功。 Java 安装

  5. 添加 Java 路径 Java 安装

  6. 在搜索栏中输入“编辑系统环境变量”。 Java 安装
  7. 点击“环境变量”。 Java 安装
  8. 点击“新建”以创建新的环境变量。 Java 安装
  9. 将变量名设为“JAVA_HOME”，变量值设为“C:\Program Files (x86)\Java\jdk1.8.0_251”。这是您 Java 的安装路径。完成后点击“确定”。 Java 安装
  10. 添加用户变量，选择“Path”，并点击“新建”。 Java 安装
  11. 将变量名设为“PATH”，变量值设为“C:\Program Files (x86)\Java\jdk1.8.0_251\bin”，这是 Java bin 的路径。完成后点击“确定”。 Java 安装

注意：如果您在下载时未更改位置，可在 C 盘找到 Java 文件，路径为 C:\Program Files (x86)\Java\jdk1.8.0_251。 Java 安装

安装 Pyspark

  1. 前往 Spark 官网。

  2. 按如下选择 Spark 版本与打包类型并下载 .tgz 文件。

安装 Pyspark 安装 Pyspark

您可以在 C 盘创建名为“spark”的新文件夹，并使用“Winrar”解压下载的文件，这在后续会很有用。

下载并设置 winutils.exe

前往 Winutils，选择与您之前下载的 Hadoop 版本相对应的目录，然后进入“bin”下载 winutils.exe 文件。我的 Hadoop 版本链接为：https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

新建名为“winutils”的文件夹，其内再创建一个名为“bin”的文件夹。将刚下载的“winutils”文件放入其中。

环境变量

  1. 创建新的环境变量，变量名为“hadoop_home”，变量值为 winutils 的位置“C:\winutils”，然后点击“确定”。
    环境变量
  2. 为 Spark 同样创建新的环境变量，变量名为“Spark_home”，变量值为 Spark 的位置“C:\spark”，然后点击“确定”。
    环境变量
  3. 最后，双击“Path”，按下图所示新增路径，添加“%Spark_Home%\bin”，然后点击“确定”。
    环境变量

完成 Pyspark 安装

  1. 打开命令提示符并输入以下命令。
    完成 Pyspark 安装
  2. 全部成功后，将看到如下信息。
    完成 Pyspark 安装

Linux 安装

以下为 Linux 操作系统的安装过程。包括安装 Java 并配置环境变量，以及安装 Apache Spark 并配置环境变量。

建议先安装 Python，可从此处下载。

Java 安装

  1. 前往 下载 Java JDK。
    访问 Oracle 网站下载 Java 开发工具包（JDK）。

  2. 转到下载区域，选择操作系统为 Linux，并根据您的系统需求下载。
    Java 安装
  3. 保存文件并点击“确定”，将其保存到本机。
    Java 安装
  4. 打开终端，使用“ls”命令查看刚下载的文件。
    Java 安装
  5. 使用以下命令安装该软件包，这将安装刚下载的 Java Debian 包。 Java 安装
  6. 最后，您可以使用“java --version”命令查看 Java 版本。
    Java 安装
  7. 要配置环境变量，让我们通过以下命令打开“gedit”文本编辑器。
    Java 安装
  8. 按如下信息进行修改，指定“Java”的路径。
    Java 安装
  9. 最后一步，输入以下命令。 Java 安装

安装 Spark

  1. 前往 Spark 官网。
  2. 按如下选择 Spark 版本与打包类型，并下载 .tgz 文件。 安装 Spark
    安装 Spark
  3. 将文件保存到本机并点击“确定”。
    安装 Spark
  4. 打开终端，定位到刚下载的文件。
    安装 Spark
  5. 使用以下命令解压该文件。
    安装 Spark
  6. 解压后，会新建一个文件夹，可通过“ls”命令查看。
    安装 Spark

在 Linux 中配置环境变量

  1. 使用命令“vim ~/.bashrc”通过“vim 编辑器”打开“bashrc”文件。
    在 Linux 中配置环境变量
  2. 根据您电脑上的实际路径填写如下信息。在我的示例中，以下为 Spark 位置、Python 路径和 Java 路径。另请先按“Esc”，再输入“:wq”保存并退出 vim。
    在 Linux 中配置环境变量
  3. 最后，保存并退出。这样即可在任意目录下使用 pyspark 命令。 在 Linux 中配置环境变量
  4. 使用“pyspark”命令打开 pyspark，最终会显示如下信息。 在 Linux 中配置环境变量 在 Linux 中配置环境变量

Mac 安装

以下为 Mac 操作系统的安装过程。包括安装 Java 并配置环境变量，以及安装 Apache Spark 并配置环境变量。

建议先安装 Python，可从此处下载。

Java 安装

  1. 前往 下载 Java JDK。
    访问 Oracle 网站下载 Java 开发工具包（JDK）。

  2. 转到下载区域，选择操作系统为 Linux，并根据您的系统需求下载。
    Java 安装
  3. 可在终端中使用 $java --showversion 确认已安装 Java。

安装 Apache Spark

  1. 前往 Spark 官网。
  2. 按如下选择 Spark 版本与打包类型，并下载 .tgz 文件。 安装 Apache Spark
    安装 Apache Spark
  3. 将文件保存到本机并点击“确定”。
  4. 使用以下命令解压该文件。
    $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

为 Apache Spark 与 Python 配置环境变量

您需要根据当前 Mac 的使用情况，打开 ~/.bashrc 或 ~/.zshrc 文件。

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

使用“pyspark”命令打开 pyspark，最终会显示如下信息。 为 Apache Spark 与 Python 配置环境变量

恭喜您

恭喜，您已完成本教程！

在本教程中，您学习了 Pyspark 的安装流程，从安装 Java 和 Apache Spark 开始，并在 Windows、Linux 和 Mac 操作系统中配置环境变量。

如果您希望进一步学习 Pyspark，请查看 DataCamp 的Pyspark 入门。

欢迎阅读我们的Apache Spark 教程：用 PySpark 进行机器学习。

主题

Python数据科学