Instalasi PySpark (Semua sistem operasi)

• Instalasi Windows
• Instalasi Linux
• Instalasi Mac

Pyspark = Python + Apache Spark

Apache Spark adalah kerangka kerja baru dan sumber terbuka yang digunakan di industri big data untuk pemrosesan real-time dan batch. Spark mendukung berbagai bahasa, seperti Python, Scala, Java, dan R.

Apache Spark awalnya ditulis dalam bahasa Java Virtual Machine (JVM) bernama Scala, sedangkan Pyspark adalah seperti API Python yang berisi pustaka bernama Py4J. Ini memungkinkan interaksi dinamis dengan objek JVM.

Instalasi Windows

Instalasi yang akan ditunjukkan ditujukan untuk Sistem Operasi Windows. Proses ini mencakup instalasi Java beserta variabel lingkungannya dan Apache Spark beserta variabel lingkungannya.

Prasyarat yang direkomendasikan adalah Python, yang dapat diinstal dari sini.

Instalasi Java

1. Buka Unduh Java JDK.
   Kunjungi situs Oracle untuk mengunduh Java Development Kit (JDK).
   
   
2. Masuk ke bagian unduhan untuk sistem operasi Windows, dan dalam kasus saya, pilih Windows Offline (64-bit). Berkas penginstal akan diunduh.
   
   
3. Buka berkas penginstal, dan proses unduhan akan dimulai.
   
   

4. Buka "Command Prompt" dan ketik "java -version" untuk mengetahui versinya dan memastikan apakah sudah terpasang.

5. Tambahkan path Java

6. Buka bilah pencarian dan ketik "EDIT THE ENVIRONMENT VARIABLES.
7. Klik "Environment Variables"
8. Klik "New" untuk membuat variabel lingkungan baru.
9. Gunakan Variable Name "JAVA_HOME" dan Variable Value 'C:\Program Files (x86)\Java\jdk1.8.0_251'. Ini adalah lokasi berkas Java Anda. Klik 'OK' setelah selesai.
10. Tambahkan variabel Pengguna, pilih 'Path' dan klik 'New' untuk membuatnya.
11. Tambahkan Variable name 'PATH' dan path value 'C:\Program Files (x86)\Java\jdk1.8.0_251\bin', yaitu lokasi berkas bin Java Anda. Klik 'OK' setelah selesai.

Catatan: Anda dapat menemukan berkas Java dengan membuka drive C, yaitu C:\Program Files (x86)\Java\jdk1.8.0_251' jika Anda tidak mengubah lokasi saat mengunduh.

Menginstal Pyspark

1. Kunjungi beranda Spark.

2. Pilih rilis Spark dan jenis paket seperti berikut lalu unduh berkas .tgz.

Anda dapat membuat folder baru bernama 'spark' di direktori C dan mengekstrak berkas tersebut menggunakan 'Winrar', yang akan berguna nanti.

Unduh dan setel winutils.exe

Buka Winutils, pilih versi Hadoop yang sebelumnya Anda unduh, lalu unduh berkas winutils.exe dengan masuk ke 'bin'. Tautan untuk versi Hadoop saya adalah: https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

Buat folder baru bernama 'winutils' dan di dalamnya buat lagi folder baru bernama 'bin'. Lalu masukkan berkas 'winutils' yang baru saja diunduh ke dalamnya.

Variabel lingkungan

1. Mari buat variabel lingkungan baru dengan nama variabel "hadoop_home" dan nilai variabel berupa lokasi winutils, yaitu "C:\winutils" lalu klik "OK".
   
2. Untuk spark, buat juga variabel lingkungan baru dengan nama variabel "Spark_home" dan nilai variabel berupa lokasi spark, yaitu "C:\spark" lalu klik "OK".
   
3. Terakhir, klik ganda 'path' dan ubah seperti di bawah ini, buat path baru dengan menambahkan "%Spark_Home%\bin' lalu klik "OK".
   

Menyelesaikan Instalasi Pyspark

1. Buka Command Prompt dan ketik perintah berikut.
   
2. Setelah semuanya berhasil, pesan berikut akan muncul.
   

Instalasi Linux

Instalasi yang akan ditunjukkan ditujukan untuk Sistem Operasi Linux. Proses ini mencakup instalasi Java beserta variabel lingkungannya, juga Apache Spark beserta variabel lingkungannya.

Prasyarat yang direkomendasikan adalah Python, yang dapat diinstal dari sini.

Instalasi Java

1. Buka Unduh Java JDK.
   Kunjungi situs Oracle untuk mengunduh Java Development Kit (JDK).
   
   
2. Masuk ke bagian unduhan untuk sistem operasi Linux dan unduh sesuai kebutuhan sistem Anda.
   
3. Simpan berkasnya dan klik "Ok" untuk menyimpan di mesin lokal Anda.
   
4. Buka terminal Anda dan periksa berkas yang baru diunduh menggunakan perintah 'ls'.
   
5. Instal paket menggunakan perintah berikut, yang akan memasang paket debian Java yang baru diunduh.
6. Terakhir, Anda dapat memeriksa versi Java menggunakan perintah 'java --version'.
   
7. Untuk mengonfigurasi variabel lingkungan, mari buka editor teks 'gedit' menggunakan perintah berikut.
   
8. Mari lakukan perubahan dengan memberikan informasi berikut tempat path 'Java' ditentukan.
   
9. Untuk menerapkan perubahan akhir, ketik perintah berikut.

Menginstal Spark

1. Kunjungi beranda Spark.
2. Pilih rilis Spark dan jenis paket seperti berikut lalu unduh berkas .tgz.
   
3. Simpan berkas ke mesin lokal Anda dan klik 'Ok'.
   
4. Buka terminal Anda dan pergi ke berkas yang baru diunduh.
   
5. Mari ekstrak berkas menggunakan perintah berikut.
   
6. Setelah mengekstrak, berkas baru dibuat dan ditampilkan menggunakan perintah daftar ('ls').
   

Mengonfigurasi Variabel Lingkungan di Linux

1. Buka berkas 'bashrc' menggunakan 'vim editor' dengan perintah 'vim ~/.bashrc'.
   
2. Masukkan informasi berikut sesuai path yang tepat di komputer Anda. Dalam kasus saya, berikut adalah path yang diperlukan ke lokasi Spark, path Python, dan path Java. Juga, tekan 'Esc' lalu ketik ":wq" untuk menyimpan dan keluar dari vim.
   
3. Untuk menerapkan perubahan akhir, simpan, dan keluar. Ini memungkinkan akses perintah pyspark di seluruh direktori.
4. Buka pyspark menggunakan perintah 'pyspark', dan pesan akhir akan ditampilkan seperti di bawah ini.

Instalasi Mac

Instalasi yang akan ditunjukkan ditujukan untuk Sistem Operasi Mac. Proses ini mencakup instalasi Java beserta variabel lingkungannya, juga Apache Spark beserta variabel lingkungannya.

Prasyarat yang direkomendasikan adalah Python, yang dapat diinstal dari sini.

Instalasi Java

1. Buka Unduh Java JDK.
   Kunjungi situs Oracle untuk mengunduh Java Development Kit (JDK).
   
   
2. Masuk ke bagian unduhan untuk sistem operasi Linux dan unduh sesuai kebutuhan sistem Anda.
   
3. Instalasi Java dapat dikonfirmasi dengan menggunakan $java --showversion di Terminal.

Menginstal Apache Spark

1. Kunjungi beranda Spark.
2. Pilih rilis Spark dan jenis paket seperti berikut lalu unduh berkas .tgz.
   
3. Simpan berkas ke mesin lokal Anda dan klik 'Ok'.
4. Mari ekstrak berkas menggunakan perintah berikut.
   $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

Mengonfigurasi Variabel Lingkungan untuk Apache Spark dan Python

Anda perlu membuka berkas ~/.bashrc atau ~/.zshrc tergantung pada versi Mac Anda saat ini.

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

Buka pyspark menggunakan perintah 'pyspark', dan pesan akhir akan ditampilkan seperti di bawah ini.

Selamat

Selamat, Anda telah mencapai akhir dari tutorial ini!

Dalam tutorial ini, Anda telah mempelajari tentang instalasi Pyspark, mulai dari pemasangan Java beserta Apache Spark dan pengelolaan variabel lingkungan di Sistem Operasi Windows, Linux, dan Mac.

Jika Anda ingin mempelajari lebih lanjut tentang Pyspark, ikuti Introduction to Pyspark dari DataCamp.

Lihat juga Tutorial Apache Spark: ML dengan PySpark kami.