PySpark Kurulumu (Tüm işletim sistemleri)

• Windows Kurulumu
• Linux Kurulumu
• Mac Kurulumu

Pyspark = Python + Apache Spark

Apache Spark, büyük veri alanında gerçek zamanlı işleme ve toplu işleme için kullanılan, yeni ve açık kaynaklı bir çerçevedir. Python, Scala, Java ve R gibi farklı dilleri destekler.

Apache Spark, başlangıçta Scala adlı bir Java Sanal Makinesi (JVM) dilinde yazılmıştır; Pyspark ise Py4J adlı bir kütüphaneyi içeren bir Python API'si gibidir. Bu, JVM nesneleriyle dinamik etkileşime olanak tanır.

Windows Kurulumu

Burada gösterilecek kurulum Windows işletim sistemi içindir. Java'nın ortam değişkeniyle birlikte kurulumu ve Apache Spark'ın ortam değişkeniyle birlikte kurulumu aşamalarını içerir.

Önerilen önkoşul kurulum Python'dır; buradan yapılır.

Java kurulumu

1. Java JDK İndir sayfasına gidin.
   Java Geliştirme Kiti'ni (JDK) indirmek için Oracle'ın web sitesini ziyaret edin.
   
   
2. İşletim sistemi Windows olan indirme bölümüne gidin; benim durumumda Windows Offline (64-bit). Yükleyici dosyası indirilecektir.
   
   
3. Yükleyici dosyasını açın ve indirme başlar.
   
   

4. "Komut İstemi"ne gidin ve sürümü görmek ve kurulumun tamamlanıp tamamlanmadığını kontrol etmek için "java -version" yazın.

5. Java yolunu ekleyin

6. Arama çubuğuna gidin ve "EDIT THE ENVIRONMENT VARIABLES" yazın.
7. "Environment Variables" öğesine tıklayın.
8. Yeni bir Ortam Değişkeni oluşturmak için "New"e tıklayın.
9. Değişken Adı olarak "JAVA_HOME", Değişken Değeri olarak da 'C:\Program Files (x86)\Java\jdk1.8.0_251' kullanın. Bu, Java dosyanızın konumudur. İşlemi bitirdikten sonra 'OK' tıklayın.
10. Kullanıcı değişkenini ekleyelim; 'Path'i seçin ve oluşturmak için 'New' tıklayın.
11. Değişken adı olarak 'PATH' ve yol değeri olarak 'C:\Program Files (x86)\Java\jdk1.8.0_251\bin' ekleyin; bu, Java bin dosyanızın konumudur. İşlemi bitirdikten sonra 'OK' tıklayın.

Not: İndirme sırasında konumu değiştirmediyseniz, C sürücüsüne giderek Java dosyanızın konumunu bulabilirsiniz: C:\Program Files (x86)\Java\jdk1.8.0_251'.

Pyspark Kurulumu

1. Spark ana sayfasına gidin.

2. Aşağıdaki gibi Spark sürümünü ve paket türünü seçin ve .tgz dosyasını indirin.

C dizininde 'spark' adlı yeni bir klasör oluşturabilir ve ileride işe yarayacak olan 'Winrar' kullanarak verilen dosyayı buraya çıkarabilirsiniz.

winutils.exe'yi indirme ve kurma

Winutils sayfasına gidin, önceden indirdiğiniz Hadoop sürümünü seçin, ardından 'bin' içine girerek winutils.exe dosyasını indirin. Benim Hadoop sürümüm için bağlantı: https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

'winutils' adlı yeni bir klasör oluşturun ve içinde tekrar 'bin' adlı yeni bir klasör oluşturun. Ardından az önce indirdiğiniz 'winutils' dosyasını bunun içine koyun.

Ortam değişkenleri

1. "hadoop_home" adlı yeni bir ortam değişkeni oluşturalım ve değişken değerini winutils'in konumu olan "C:\winutils" yapalım ve "OK" tıklayalım.
   
2. Spark için de, değişken adı "Spark_home" ve değişken değeri spark'ın konumu olan "C:\spark" olacak şekilde yeni bir ortam değişkeni oluşturalım ve "OK" tıklayalım.
   
3. Son olarak, 'path'e çift tıklayın ve aşağıdaki gibi yeni bir yol oluşturarak "%Spark_Home%\bin" ekleyin ve "OK" tıklayın.
   

Pyspark Kurulumunu Tamamlama

1. Komut İstemi'ni açın ve aşağıdaki komutu yazın.
   
2. Her şey başarıyla tamamlandığında aşağıdaki mesaj görüntülenir.
   

Linux Kurulumu

Burada gösterilecek kurulum Linux işletim sistemi içindir. Java'nın ortam değişkeniyle birlikte kurulumu ve Apache Spark'ın ortam değişkeniyle birlikte kurulumu aşamalarını içerir.

Önerilen önkoşul kurulum Python'dır; buradan yapılır.

Java Kurulumu

1. Java JDK İndir sayfasına gidin.
   Java Geliştirme Kiti'ni (JDK) indirmek için Oracle'ın web sitesini ziyaret edin.
   
   
2. İşletim sistemi Linux olan indirme bölümüne gidin ve sistem gereksiniminize göre indirin.
   
3. Dosyayı kaydedin ve yerel makinenize kaydetmek için "Ok" tıklayın.
   
4. Terminalinize gidin ve 'ls' komutunu kullanarak yeni indirilen dosyayı kontrol edin.
   
5. Aşağıdaki komutu kullanarak paketi kurun; bu, yeni indirilen Java'nın debian paketini kuracaktır.
6. Son olarak, 'java --version' komutunu kullanarak Java sürümünüzü kontrol edebilirsiniz.
   
7. Ortam değişkenlerini yapılandırmak için, aşağıdaki komutla 'gedit' metin düzenleyicisini açalım.
   
8. 'Java' yolunun belirtildiği aşağıdaki bilgileri vererek değişikliği yapalım.
   
9. Son değişikliği yapmak için aşağıdaki komutu yazalım.

Spark Kurulumu

1. Spark ana sayfasına gidin.
2. Aşağıdaki gibi Spark sürümünü ve paket türünü seçin ve .tgz dosyasını indirin.
   
3. Dosyayı yerel makinenize kaydedin ve 'Ok' tıklayın.
   
4. Terminalinizi açın ve yeni indirilen dosyaya gidin.
   
5. Dosyayı aşağıdaki komutla çıkaralım.
   
6. Dosyayı çıkardıktan sonra, yeni dosya oluşturulur ve liste ('ls') komutuyla gösterilir.
   

Linux'ta Ortam Değişkenini Yapılandırma

1. 'vim ~/.bashrc' komutuyla 'bashrc' dosyasını 'vim editörü' kullanarak açalım.
   
2. Bilgisayarınızdaki uygun yollara göre aşağıdaki bilgileri sağlayın. Benim durumumda Spark konumum, Python yolum ve Java yolum için gereken yollar aşağıdaki gibiydi. Ayrıca, önce 'Esc' tuşuna basın ve ardından kaydedip çıkmak için ":wq" yazın.
   
3. Son değişikliği yapmak için kaydedin ve çıkın. Bunun sonucunda dizindeki her yerde pyspark komutuna erişilebilir.
4. 'pyspark' komutunu kullanarak pyspark'ı açın; son mesaj aşağıdaki gibi görünecektir.

Mac Kurulumu

Burada gösterilecek kurulum Mac işletim sistemi içindir. Java'nın ortam değişkeniyle birlikte kurulumu ve Apache Spark'ın ortam değişkeniyle birlikte kurulumu aşamalarını içerir.

Önerilen önkoşul kurulum Python'dır; buradan yapılır.

Java Kurulumu

1. Java JDK İndir sayfasına gidin.
   Java Geliştirme Kiti'ni (JDK) indirmek için Oracle'ın web sitesini ziyaret edin.
   
   
2. İşletim sistemi Linux olan indirme bölümüne gidin ve sistem gereksiniminize göre indirin.
   
3. Terminalde $java --showversion komutunu kullanarak Java kurulumunu doğrulayabilirsiniz.

Apache Spark'ı Kurma

1. Spark ana sayfasına gidin.
2. Aşağıdaki gibi Spark sürümünü ve paket türünü seçin ve .tgz dosyasını indirin.
   
3. Dosyayı yerel makinenize kaydedin ve 'Ok' tıklayın.
4. Dosyayı aşağıdaki komutla çıkaralım.
   $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

Apache Spark ve Python için Ortam Değişkenini Yapılandırma

Mevcut Mac sürümünüze bağlı olarak ~/.bashrc veya ~/.zshrc dosyasını açmanız gerekir.

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

'pyspark' komutunu kullanarak pyspark'ı açın; son mesaj aşağıdaki gibi görünecektir.

Tebrikler

Tebrikler, bu eğitimin sonuna geldiniz!

Bu eğitimde, Windows, Linux ve Mac işletim sistemlerinde Java ve Apache Spark kurulumuyla birlikte PySpark kurulumunu ve ortam değişkenlerinin yönetimini öğrendiniz.

PySpark hakkında daha fazla bilgi edinmek isterseniz, DataCamp'in PySpark'a Giriş kursunu alın.

Apache Spark Eğitimi: PySpark ile ML yazımıza göz atın.