Installazione di PySpark (Tutti i sistemi operativi)

• Installazione su Windows
• Installazione su Linux
• Installazione su Mac

Pyspark = Python + Apache Spark

Apache Spark è un framework nuovo e open source usato nell’industria dei big data per l’elaborazione in tempo reale e in batch. Supporta diversi linguaggi, come Python, Scala, Java e R.

Apache Spark è scritto originariamente in un linguaggio per Java Virtual Machine (JVM) chiamato Scala, mentre Pyspark è un’API Python che include una libreria chiamata Py4J. Questo permette l’interazione dinamica con oggetti JVM.

Installazione su Windows

L’installazione mostrata è per il sistema operativo Windows. Comprende l’installazione di Java con la variabile d’ambiente e di Apache Spark con la variabile d’ambiente.

Il prerequisito consigliato è Python, che puoi installare da qui.

Installazione di Java

1. Vai su Scarica Java JDK.
   Visita il sito di Oracle per scaricare il Java Development Kit (JDK).
   
   
2. Vai alla sezione di download relativa al sistema operativo Windows e, nel mio caso, seleziona Windows Offline (64-bit). Verrà scaricato il file di installazione.
   
   
3. Apri il file di installazione e inizierà il download.
   
   

4. Apri il "Prompt dei comandi" e digita "java -version" per conoscere la versione e verificare se è installato.

5. Aggiungi il percorso di Java

6. Vai nella barra di ricerca e "MODIFICA LE VARIABILI D’AMBIENTE.
7. Fai clic su "Variabili d’ambiente"
8. Fai clic su "Nuova" per creare una nuova variabile d’ambiente.
9. Usa come Nome variabile "JAVA_HOME" e come Valore variabile "C:\Program Files (x86)\Java\jdk1.8.0_251". Questa è la posizione del file Java. Fai clic su "OK" dopo aver completato il processo.
10. Aggiungiamo la variabile utente: seleziona "Path" e fai clic su "Nuovo" per crearla.
11. Aggiungi come nome variabile "PATH" e come valore percorso "C:\Program Files (x86)\Java\jdk1.8.0_251\bin", che è la posizione della cartella bin di Java. Fai clic su "OK" dopo aver completato il processo.

Nota: Puoi trovare il file di Java andando nell’unità C, ovvero "C:\Program Files (x86)\Java\jdk1.8.0_251" se non hai cambiato posizione durante il download.

Installazione di Pyspark

1. Vai alla homepage di Spark.

2. Seleziona la versione di Spark e il tipo di pacchetto come indicato e scarica il file .tgz.

Puoi creare una nuova cartella chiamata "spark" nella directory C ed estrarre il file con "Winrar", cosa che tornerà utile più avanti.

Download e configurazione di winutils.exe

Vai su Winutils, scegli la versione di Hadoop scaricata in precedenza, quindi scarica il file winutils.exe entrando in "bin". Il link alla mia versione di Hadoop è: https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

Crea una nuova cartella chiamata "winutils" e al suo interno creane un’altra chiamata "bin". Quindi inserisci al suo interno il file appena scaricato "winutils".

Variabili d’ambiente

1. Creiamo una nuova variabile d’ambiente con nome variabile "hadoop_home" e valore variabile impostato sulla posizione di winutils, ovvero "C:\winutils", quindi fai clic su "OK".
   
2. Per Spark, creiamo anche una nuova variabile d’ambiente con nome variabile "Spark_home" e valore variabile impostato sulla posizione di Spark, ovvero "C:\spark", quindi fai clic su "OK".
   
3. Infine, fai doppio clic su "path" e modifica come mostrato di seguito aggiungendo un nuovo percorso "%Spark_Home%\bin" e fai clic su "OK".
   

Finalizzazione dell’installazione di Pyspark

1. Apri il Prompt dei comandi e digita il seguente comando.
   
2. Quando tutto è andato a buon fine, otterrai il seguente messaggio.
   

Installazione su Linux

L’installazione mostrata è per il sistema operativo Linux. Comprende l’installazione di Java con la variabile d’ambiente insieme ad Apache Spark e alla variabile d’ambiente.

Il prerequisito consigliato è Python, che puoi installare da qui.

Installazione di Java

1. Vai su Scarica Java JDK.
   Visita il sito di Oracle per scaricare il Java Development Kit (JDK).
   
   
2. Vai alla sezione di download per il sistema operativo Linux e scarica in base ai requisiti del tuo sistema.
   
3. Salva il file e fai clic su "Ok" per salvarlo in locale.
   
4. Apri il terminale e controlla il file appena scaricato usando il comando 'ls'.
   
5. Installa il pacchetto con il seguente comando, che installerà il pacchetto Debian di Java appena scaricato.
6. Infine, puoi verificare la versione di Java con il comando 'java --version'.
   
7. Per configurare le variabili d’ambiente, apriamo l’editor di testo 'gedit' con il seguente comando.
   
8. Applichiamo la modifica inserendo le seguenti informazioni, in cui è specificato il percorso di Java.
   
9. Per applicare definitivamente la modifica, digita il seguente comando.

Installazione di Spark

1. Vai alla homepage di Spark.
2. Seleziona la versione di Spark e il tipo di pacchetto come indicato e scarica il file .tgz.
   
3. Salva il file in locale e fai clic su "Ok".
   
4. Apri il terminale e vai al file appena scaricato.
   
5. Estrai il file con il seguente comando.
   
6. Dopo l’estrazione, viene creato il nuovo file, mostrato con il comando di elenco ('ls').
   

Configurazione della variabile d’ambiente in Linux

1. Apriamo il file 'bashrc' con il 'vim editor' tramite il comando 'vim ~/.bashrc'.
   
2. Inserisci le seguenti informazioni in base ai percorsi corretti sul tuo computer. Nel mio caso, questi erano i percorsi richiesti per la posizione di Spark, per Python e per Java. Inoltre, premi prima 'Esc' e poi digita ":wq" per salvare e uscire da vim.
   
3. Per applicare definitivamente la modifica, salva ed esci. In questo modo potrai usare il comando pyspark ovunque nella directory.
4. Apri pyspark con il comando 'pyspark' e verrà mostrato il messaggio finale come sotto.

Installazione su Mac

L’installazione mostrata è per il sistema operativo Mac. Comprende l’installazione di Java con la variabile d’ambiente insieme ad Apache Spark e alla variabile d’ambiente.

Il prerequisito consigliato è Python, che puoi installare da qui.

Installazione di Java

1. Vai su Scarica Java JDK.
   Visita il sito di Oracle per scaricare il Java Development Kit (JDK).
   
   
2. Vai alla sezione di download per il sistema operativo Linux e scarica in base ai requisiti del tuo sistema.
   
3. L’installazione di Java può essere confermata usando $java --showversion nel Terminale.

Installazione di Apache Spark

1. Vai alla homepage di Spark.
2. Seleziona la versione di Spark e il tipo di pacchetto come indicato e scarica il file .tgz.
   
3. Salva il file in locale e fai clic su "Ok".
4. Estrai il file con il seguente comando.
   $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

Configurazione della variabile d’ambiente per Apache Spark e Python

Devi aprire il file ~/.bashrc o ~/.zshrc a seconda della versione corrente di Mac.

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

Apri pyspark con il comando 'pyspark' e verrà mostrato il messaggio finale come sotto.

Congratulazioni

Congratulazioni, sei arrivato alla fine di questo tutorial!

In questo tutorial hai imparato a installare Pyspark, partendo dall’installazione di Java insieme ad Apache Spark e alla gestione delle variabili d’ambiente su sistemi operativi Windows, Linux e Mac.

Se vuoi saperne di più su Pyspark, segui il corso di DataCamp Introduction to Pyspark.

Dai un’occhiata al nostro Tutorial Apache Spark: ML con PySpark.