Installatie van PySpark (alle besturingssystemen)

Deze tutorial laat zien hoe je PySpark installeert en hoe je de omgevingsvariabelen beheert in Windows-, Linux- en Mac-besturingssystemen.

Bijgewerkt 2 okt 2026 · 8 min lezen

Verken met AI

ChatGPT Claude Perplexity

Windows-installatie
Linux-installatie
Mac-installatie

Pyspark = Python + Apache Spark

Apache Spark is een nieuw en open-source framework dat in de big data-wereld wordt gebruikt voor realtime- en batchverwerking. Het ondersteunt verschillende talen, zoals Python, Scala, Java en R.

Apache Spark is oorspronkelijk geschreven in een Java Virtual Machine (JVM)-taal genaamd Scala, terwijl Pyspark een Python-API is die een bibliotheek bevat genaamd Py4J. Dit maakt dynamische interactie met JVM-objecten mogelijk.

Windows-installatie

De installatie die we laten zien is voor het Windows-besturingssysteem. Deze bestaat uit de installatie van Java met de omgevingsvariabele en Apache Spark met de omgevingsvariabele.

De aanbevolen vereiste installatie is Python, dat je hier kunt installeren.

Java-installatie

Ga naar Java JDK downloaden.
Bezoek Oracle's website om de Java Development Kit (JDK) te downloaden.
Ga naar de downloadsectie voor het besturingssysteem Windows; in mijn geval is dat Windows Offline (64-bit). Het installatiebestand wordt gedownload.
Open het installatiebestand; de installatie begint.
Ga naar "Opdrachtprompt" en typ "java -version" om de versie te zien en te controleren of het is geïnstalleerd.
Voeg het Java-pad toe
Ga naar de zoekbalk en typ "OMGEVINGSVARIABELEN BEWERKEN".
Klik op "Omgevingsvariabelen".
Klik op "Nieuw" om een nieuwe omgevingsvariabele te maken.
Gebruik als variabelenaam "JAVA_HOME" en als variabelewaarde 'C:\Program Files (x86)\Java\jdk1.8.0_251'. Dit is de locatie van je Java-bestand. Klik op 'OK' nadat je klaar bent.
Voeg nu de gebruikersvariabele toe: selecteer 'Path' en klik op 'Nieuw' om deze aan te maken.
Voeg als variabelenaam 'PATH' toe en als padwaarde 'C:\Program Files (x86)\Java\jdk1.8.0_251\bin', de locatie van je Java bin-map. Klik op 'OK' nadat je klaar bent.

Let op: Je kunt je Java-map vinden op de C-schijf, namelijk C:\Program Files (x86)\Java\jdk1.8.0_251' als je de locatie tijdens het downloaden niet hebt aangepast.

PySpark installeren

Ga naar de Spark-homepage.
Selecteer de Spark-release en het pakkettype zoals hieronder en download het .tgz-bestand.

Je kunt een nieuwe map aanmaken met de naam 'spark' in de C-schijf en het bestand uitpakken met 'Winrar'; dat is later handig.

winutils.exe downloaden en instellen

Ga naar Winutils, kies je eerder gedownloade Hadoop-versie en download het bestand winutils.exe door naar 'bin' te gaan. De link naar mijn Hadoop-versie is: https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

Maak een nieuwe map met de naam 'winutils' en maak daarin opnieuw een map met de naam 'bin'. Plaats vervolgens het zojuist gedownloade bestand 'winutils' daarin.

Omgevingsvariabelen

Laten we een nieuwe omgevingsvariabele maken met als variabelenaam "hadoop_home" en als variabelewaarde de locatie van winutils, namelijk "C:\winutils", en klik op "OK".
Voor Spark maken we ook een nieuwe omgevingsvariabele, waarbij de variabelenaam "Spark_home" is en de variabelewaarde de locatie van Spark, namelijk "C:\spark", en klik op "OK".
Dubbelklik tot slot op 'path' en wijzig dit zoals hieronder gedaan is, waarbij een nieuw pad is toegevoegd: "%Spark_Home%\bin', en klik op "OK".

PySpark-installatie afronden

Open de Opdrachtprompt en typ het volgende commando.
Als alles is gelukt, krijg je het volgende bericht te zien.

Linux-installatie

De installatie die we laten zien is voor het Linux-besturingssysteem. Deze bestaat uit de installatie van Java met de omgevingsvariabele, samen met Apache Spark en de omgevingsvariabele.

De aanbevolen vereiste installatie is Python, dat je hier kunt installeren.

Java-installatie

Ga naar Java JDK downloaden.
Bezoek Oracle's website om de Java Development Kit (JDK) te downloaden.
Ga naar de downloadsectie voor het besturingssysteem Linux en download het volgens de vereisten van jouw systeem.
Sla het bestand op en klik op "Ok" om het op je lokale machine op te slaan.
Ga naar je terminal en controleer het zojuist gedownloade bestand met het commando 'ls'.
Installeer het pakket met het volgende commando; hiermee installeer je het zojuist gedownloade Debian-pakket van Java.
Tot slot kun je je Java-versie controleren met het commando 'java --version'.
Om omgevingsvariabelen te configureren, openen we de teksteditor 'gedit' met het volgende commando.
Voer de volgende informatie in, waarbij het 'Java'-pad wordt opgegeven.
Voor de laatste wijziging typ je het volgende commando.

Spark installeren

Ga naar de Spark-homepage.
Selecteer de Spark-release en het pakkettype zoals hieronder en download het .tgz-bestand.
Sla het bestand op je lokale machine op en klik op 'Ok'.
Open je terminal en ga naar het zojuist gedownloade bestand.
Laten we het bestand uitpakken met het volgende commando.
Na het uitpakken wordt het nieuwe bestand aangemaakt; dit zie je met het lijstcommando ('ls').

Omgevingsvariabele configureren in Linux

Open het 'bashrc'-bestand met de 'vim-editor' via het commando 'vim ~/.bashrc'.
Vul de volgende informatie in op basis van de juiste paden op jouw computer. In mijn geval waren dit de vereiste paden naar mijn Spark-locatie, Python-pad en Java-pad. Druk ook eerst op 'Esc' en typ vervolgens ":wq" om op te slaan en vim af te sluiten.
Voor de laatste wijziging: sla op en sluit af. Hierdoor kun je het pyspark-commando overal in de mapstructuur gebruiken.
Open pyspark met het commando 'pyspark'; het eindbericht ziet er als volgt uit.

Mac-installatie

De installatie die we laten zien is voor het Mac-besturingssysteem. Deze bestaat uit de installatie van Java met de omgevingsvariabele, samen met Apache Spark en de omgevingsvariabele.

De aanbevolen vereiste installatie is Python, dat je hier kunt installeren.

Java-installatie

Ga naar Java JDK downloaden.
Bezoek Oracle's website om de Java Development Kit (JDK) te downloaden.
Ga naar de downloadsectie voor het besturingssysteem Linux en download volgens de vereisten van jouw systeem.
De installatie van Java kun je bevestigen met $java --showversion in de Terminal.

Apache Spark installeren

Ga naar de Spark-homepage.
Selecteer de Spark-release en het pakkettype zoals hieronder en download het .tgz-bestand.
Sla het bestand op je lokale machine op en klik op 'Ok'.
Laten we het bestand uitpakken met het volgende commando.
$ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

Omgevingsvariabele configureren voor Apache Spark en Python

Je moet het bestand ~/.bashrc of ~/.zshrc openen, afhankelijk van je huidige Mac-versie.

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

Open pyspark met het commando 'pyspark'; het eindbericht ziet er als volgt uit.

Gefeliciteerd

Gefeliciteerd, je bent aan het einde van deze tutorial gekomen!

In deze tutorial heb je geleerd over de installatie van PySpark, te beginnen met de installatie van Java en Apache Spark, en het beheren van de omgevingsvariabelen in Windows-, Linux- en Mac-besturingssystemen.

Wil je meer leren over PySpark? Volg dan DataCamp's Introduction to Pyspark.

Bekijk ook onze Apache Spark-tutorial: ML met PySpark.

Onderwerpen

Python

Data Science