2026 İçin En İyi 36 PySpark Mülakat Sorusu ve Cevabı

Temel PySpark Mülakat Soruları

Bu güçlü kütüphanenin temel kavramlarına ve avantajlarına hâkimiyetinizi ölçen bazı temel PySpark mülakat sorularını keşfederek başlayalım.

Büyük veri işleme için geleneksel Python yerine PySpark kullanmanın başlıca avantajları nelerdir?

Apache Spark için Python API'si olan PySpark, büyük veri işlemede geleneksel Python'a göre çeşitli avantajlar sunar. Bunlar arasında şunlar bulunur:

• Devasa veri kümelerini işleyebilme ölçeklenebilirliği.
• Paralel işleme sayesinde yüksek performans.
• Veri güvenilirliği için hata toleransı.
• Apache ekosistemi içindeki diğer büyük veri araçlarıyla entegrasyon.

PySpark'ta SparkSession nasıl oluşturulur? Başlıca kullanım alanları nelerdir?

PySpark'ta SparkSession, Spark işlevselliğini kullanmanın giriş noktasıdır ve SparkSession.builder API'siyle oluşturulur. 

Başlıca kullanım alanları şunlardır:

• Yapılandırılmış verileri işlemek için Spark SQL ile etkileşim.
• DataFrame oluşturma.
• Spark özelliklerini yapılandırma.
• SparkContext ve SparkSession yaşam döngüsünü yönetme.

Bir SparkSession'ın nasıl oluşturulacağına dair bir örnek: 

from pyspark.sql import SparkSession
     
spark = SparkSession.builder \
         .appName("MySparkApp") \
         .master("local[*]") \
         .getOrCreate()	

PySpark'a veri okumanın farklı yollarını açıklayın.

PySpark; CSV, Parquet ve JSON gibi çeşitli kaynaklardan veri okumayı destekler. Bunu yapmak için spark.read.csv(), spark.read.parquet(), spark.read.json(), spark.read.format(), spark.read.load() gibi farklı yöntemler sunar. 

PySpark'a verinin nasıl okunacağına dair bir örnek: 

df_from_csv = spark.read.csv("my_file.csv", header=True)
df_from_parquet = spark.read.parquet("my_file.parquet")
df_from_json = spark.read.json("my_file.json")

PySpark'ta eksik verileri nasıl ele alırsınız?

PySpark'ta eksik verileri birkaç yöntemle ele alabiliriz:

• .dropna() yöntemiyle eksik değer içeren satırları veya sütunları düşürebiliriz.

• .fillna() yöntemiyle eksik verileri belirli bir değerle doldurabilir veya enterpolasyon yöntemleri kullanabiliriz.

• Imputer kullanarak ortalama veya medyan gibi istatistiksel yöntemlerle eksik değerleri atayabiliriz.

PySpark'ta eksik verilerin nasıl ele alınacağına dair bir örnek: 

# Satırlar nasıl düşürülür 
df_from_csv.dropna(how="any")

# Eksik değerler sabit ile nasıl doldurulur
df_from_parquet.fillna(value=2)

# Değerler medyan ile nasıl atanır
from pyspark.ml.feature import Imputer
imputer = Imputer(strategy="median", inputCols=["price","rooms"], outputCols=["price_imputed","rooms_imputed"])
model = imputer.fit(df_from_json)
df_imputed = model.transform(df_from_json)

Performansı artırmak için PySpark'ta veriyi nasıl önbelleğe alırsınız?

PySpark'ın avantajlarından biri, veriyi bellekte veya belirtilen saklama düzeyinde tutmak için .cache() veya .persist() yöntemlerini kullanmamıza izin vermesidir. Bu işlem, tekrarlanan hesaplamaları önleyerek ve veri serileştirme/seriden çıkarma ihtiyacını azaltarak performansı artırır. 

PySpark'ta verinin nasıl önbelleğe alınacağına dair bir örnek: 

# Veriyi bellekte nasıl önbelleğe alırız 
df_from_csv.cache()

# Veriyi yerel diskte nasıl kalıcı hale getiririz 
df_from_csv.persist(storageLevel=StorageLevel.DISK_ONLY)

PySpark'ta join işlemlerini açıklayın.

PySpark; inner, outer, left ve right olmak üzere çeşitli join türlerini yapmamıza olanak tanır. .join() yöntemini kullanarak on parametresinde birleştirme koşulunu, how parametresinde ise join türünü belirtebiliriz. Örnekte gösterildiği gibi:

# İki veri kümesini inner join ile nasıl birleştiririz
df_from_csv.join(df_from_json, on="id", how="inner")

# Dış birleştirme (outer) nasıl yapılır
df_from_json.join(df_from_parquet, on="product_id", how="outer")

PySpark'ta RDD'ler, DataFrame'ler ve Dataset'ler arasındaki temel farklar nelerdir?

Spark Resilient Distributed Datasets (RDD), DataFrame ve Dataset'ler, dağıtık bir hesaplama ortamında yapılandırılmış verilerle çalışmayı sağlayan temel soyutlamalardır. Hepsi veriyi temsil etmenin yolları olsa da önemli farkları vardır:

• RDD'ler, şemasız olan ve veri üzerinde kontrol sunan düşük seviyeli API'lerdir. Nesnelerin değiştirilemez koleksiyonlarıdır. 
• DataFrame'ler, RDD'lerin üzerine inşa edilmiş, performans için optimize edilmiş ancak tür güvenliği sağlamayan yüksek seviyeli API'lerdir. Yapılandırılmış ve yarı yapılandırılmış verileri adlandırılmış sütunlara organize ederler.
• Dataset'ler, RDD ve DataFrame'lerin faydalarını birleştirir. Tür güvenliği sağlayan yüksek seviyeli API'lerdir. Python ve Scala'yı destekler; derleme zamanında tür kontrolü sunarken DataFrame'lerden daha hızlı olabilirler. 

PySpark'ta tembel değerlendirme (lazy evaluation) kavramını açıklayın. Performansı nasıl etkiler?

PySpark, dağıtık veri kümelerine (RDD, DataFrame veya Dataset) uygulanan dönüşümlerin (transformation) hemen yürütülmediği tembel değerlendirme stratejisini uygular. Bunun yerine Spark, veriler üzerinde gerçekleştirilecek işlemlerin bir sırasını, yani yönlendirilmiş çevrimsiz bir grafik (DAG) oluşturur. Bu tembel değerlendirme, hesaplama bir eylem (action) tetiklenene ve gerçekten gerekli olana kadar ertelendiği için performansı artırır ve yürütmeyi optimize eder.

PySpark'ta bölümleme (partitioning) hangi role sahiptir? Performansı nasıl iyileştirir?

PySpark'ta veri bölümleme, kümedeki düğümler arasında yükü eşit şekilde dağıtmamıza yardımcı olan kilit bir özelliktir. Bölümleme, verinin daha küçük parçalara (partition) ayrılması ve bu parçaların küme genelinde bağımsız ve paralel olarak işlenmesi anlamına gelir. Paralel işlemeyi mümkün kılarak, veri hareketini azaltarak ve kaynak kullanımını iyileştirerek performansı artırır. Bölümleme, .repartition() ve .coalesce() gibi yöntemlerle kontrol edilebilir.

PySpark'ta broadcast değişkenleri kavramını açıklayın ve bir kullanım örneği verin.

Broadcast değişkenleri, Spark'ın dağıtık hesaplama çerçevesinin önemli bir özelliğidir. PySpark'ta, karıştırma (shuffle) işlemlerini önlemek için küme düğümlerine önbelleğe alınarak dağıtılan, salt okunur paylaşılan değişkenlerdir. Dağıtık bir makine öğrenmesi uygulamasında önceden eğitilmiş bir modeli kullanmamız ve yüklememiz gerektiğinde oldukça kullanışlıdır. Modeli bir değişken olarak yayınlayarak veri aktarım yükünü azaltır ve performansı artırırız.

PySpark ile pandas arasındaki farklar nelerdir?

PySpark ve pandas veri işleme için popülerdir, ancak önemli farkları vardır:

• Ölçeklenebilirlik: PySpark büyük veri ve dağıtık işlem için tasarlanmıştır; pandas ise belleğe sığan daha küçük veri kümeleri için uygundur.
• Performans: PySpark, kümeler arasında paralel işlem yapar ve büyük veri kümelerinde pandas'tan çok daha hızlıdır; pandas tek bir makinede çalışır.
• Kullanım kolaylığı: Pandas, keşif amaçlı veri analizi (EDA) için daha basittir; PySpark daha karmaşıktır ancak dağıtık hesaplama için yüksek düzeyde optimize edilmiştir.

Bir Pandas DataFrame'i PySpark DataFrame'ine ve tersini nasıl dönüştürebilirsiniz?

Bir Pandas DataFrame'i PySpark DataFrame'ine spark.createDataFrame() ile, PySpark DataFrame'ini Pandas DataFrame'ine ise .toPandas() ile dönüştürebilirsiniz.

import pandas as pd
from pyspark.sql import SparkSession

# Initialize SparkSession
spark = SparkSession.builder.appName("Example").getOrCreate()

# Create Pandas DataFrame
pdf = pd.DataFrame({'id': [1, 2, 3], 'value': [10, 20, 30]})

# Convert to PySpark DataFrame
df_spark = spark.createDataFrame(pdf)

# Convert back to Pandas DataFrame
pdf_new = df_spark.toPandas()

Orta Düzey PySpark Mülakat Soruları

Temelleri ele aldıktan sonra, Spark uygulamalarının mimarisi ve yürütme modeline daha derinlemesine inen orta düzey PySpark mülakat sorularına geçelim.

Spark Driver nedir ve sorumlulukları nelerdir?

Spark Driver, kümeler genelinde görevler yürüterek Spark uygulamalarını orkestre eden temel süreçtir. Kaynak tahsisi yapmak, görevleri zamanlamak ve Spark işlerinin yürütülmesini izlemek için küme yöneticisiyle iletişim kurar.

Spark DAG nedir?

Spark'ta yönlendirilmiş çevrimsiz grafik (DAG), Spark'ın mantıksal yürütme modelini temsil ettiği için kilit bir kavramdır. Yönlendirilmiştir çünkü her düğüm, kenarlarda belirli bir sırayla yürütülen bir dönüşümü temsil eder. Çevrimsizdir çünkü yürütme planında döngü yoktur. Bu plan, ardışık dönüşümler (pipeline), görev birleştirme (task coalescing) ve koşul itme (predicate pushdown) gibi tekniklerle optimize edilir.

Spark'ta mevcut farklı küme yöneticileri nelerdir?

Spark, kaynak yönetimi ve iş zamanlaması için şu farklı küme yöneticilerini destekler:

• Standalone, Spark ile birlikte gelen basit küme yöneticisi.
• Hadoop YARN, Hadoop'ta iş zamanlama ve kaynak yönetimi için genel bir yöneticidir.
• Kubernetes, konteynerleştirilmiş uygulamaların otomasyonu, dağıtımı, ölçeklenmesi ve yönetimi için kullanılır.
• Apache Mesos (artık emekli), uygulama başına kaynakları yöneten dağıtık bir sistemdi.

PySpark'ta özel bir dönüşüm (custom transformation) nasıl uygulanır?

PySpark'ta özel bir dönüşüm uygulamak için, PySpark DataFrame'leri üzerinde çalışan bir Python fonksiyonu tanımlayıp .transform() yöntemini kullanarak dönüşümü çağırabiliriz.

PySpark'ta özel bir dönüşümün nasıl uygulanacağına dair bir örnek: 

# pySpark DataFrame'leri üzerinde çalışan bir python fonksiyonu tanımlayın
def get_discounted_price(df):
    return df.withColumn("discounted_price", \
                          df.price - (df.price * df.discount) / 100) 

# Dönüşümü çağırın
df_discounted = df_from_csv.transfrom(get_discounted_price)

PySpark'ta pencere (window) fonksiyonları kavramını açıklayın ve bir örnek verin.

PySpark Window fonksiyonları, bir satır penceresi boyunca işlemler uygulamamıza ve her giriş satırı için tek bir değer döndürmemize olanak tanır. Sıralama, analitik ve toplulaştırma fonksiyonları gerçekleştirebiliriz. 

PySpark'ta bir window fonksiyonunun nasıl uygulanacağına dair bir örnek: 

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

# Pencere fonksiyonunu tanımlayın
window = Window.orderBy("discounted_price")

# Pencere fonksiyonunu uygulayın
df = df_from_csv.withColumn("row_number", row_number().over(window))

PySpark'ta hataları ve istisnaları nasıl ele alırsınız?

PySpark dönüşüm ve eylemlerinde hataları ve istisnaları ele almanın en kullanışlı yollarından biri, kodu try-except bloklarına alarak yakalamaktır. RDD'lerde, elemanlar üzerinde yineleme yapmak ve istisnaları ele almak için foreach işlemi kullanılabilir. 

PySpark'ta checkpoint'lerin amacı nedir?

PySpark'ta checkpoint alma, RDD'lerin diske kaydedilmesi ve böylece bu ara noktanın gelecekte orijinal kaynaktan RDD'yi yeniden hesaplamak yerine referans alınabilmesi anlamına gelir. Checkpoint'ler, sürücü (driver) daha önce hesaplanmış bu durumla yeniden başlatılabildiği için hatalardan kurtulma imkânı sunar. 

PySpark şema çıkarımını nasıl yapar ve bir şemayı açıkça nasıl tanımlayabilirsiniz?

PySpark, yapılandırılmış veriler yüklenirken şemayı otomatik olarak çıkarır; ancak daha iyi kontrol ve verimlilik için StructType ve StructField kullanarak şemayı açıkça tanımlayabilirsiniz.

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("name", StringType(), True)
])

df = spark.read.csv("data.csv", schema=schema, header=True)

İleri Düzey PySpark Mülakat Soruları

Daha kıdemli rolleri hedefleyenler veya PySpark'a dair daha derin bir anlayış sergilemek isteyenler için, PySpark ekosistemi içindeki dönüşüm ve optimizasyonların inceliklerine inen ileri düzey mülakat sorularını inceleyelim.

PySpark'ta dar (narrow) ve geniş (wide) dönüşümler arasındaki farkları açıklayın.

PySpark'ta dar dönüşümler, her bir girdi bölümünün en fazla bir çıktı bölümüne katkıda bulunduğu ve karıştırma (shuffle) gerektirmeyen işlemlerdir. Örnekler: map(), filter() ve union. Buna karşılık geniş dönüşümler, her bir girdi bölümünün birden çok çıktı bölümüne katkıda bulunabildiği ve veri karıştırma, join veya toplulaştırma gerektiren işlemlerdir. Örnekler: groupBy(), join() ve sortBy().

Spark'ta Catalyst optimizer nedir ve nasıl çalışır?

Spark'ta Catalyst optimizer, sorgu performansını optimize etmek için kullanılan, Spark SQL'in kural tabanlı bir bileşenidir. Temel görevi, kullanıcının SQL veya DataFrame işlemlerini dönüştürüp iyileştirerek, belirli sorgu ve veri kümesi özelliklerine uyarlanmış verimli bir fiziksel yürütme planı oluşturmaktır.

PySpark'ta özel toplulaştırmalar nasıl uygulanır?

PySpark'ta özel toplulaştırmaları uygulamak için groupBy() ve agg() yöntemlerini birlikte kullanabiliriz. agg() çağrısı içinde pyspark.sql.functions modülündeki çeşitli fonksiyonları geçebiliriz. Ayrıca, PySpark DataFrame içindeki gruplara Pandas tabanlı özel toplulaştırmaları .applyInPandas() yöntemiyle uygulayabiliriz.

PySpark'ta özel toplulaştırmaların nasıl uygulanacağına dair bir örnek: 

# groupBy ve agg'i Functions ile kullanın
from pyspark.sql import functions as F
df_from_csv.groupBy("house_id").agg(F.mean("price_discounted"))

# applyInPandas kullanın
def normalize_price(df):
    disc_price = df["discounted_price"]
    df["normalized_price"] = disc_price.mean() / disc_price.std()

df_from_csv.groupBy("house_id").applyInPandas(normalize_price)

PySpark ve büyük veri kümeleriyle çalışırken karşılaştığınız zorluklar nelerdi? Bunları nasıl aştınız?

Bu soruda, kendi deneyimimizden yola çıkarak PySpark ve büyük veri kümeleriyle çalışırken karşılaştığımız zorluklardan ve bunların özel bir örneğinden bahsedebiliriz. Aşağıdakilerden bazılarını içerebilir:

• Bellek yönetimi ve kaynak kullanımı.
• Veri çarpıklığı (skewness) ve dengesiz iş yükü dağılımı.
• Özellikle geniş dönüşümler ve karıştırmalar için performans optimizasyonu.
• Karmaşık iş hatalarını hata ayıklama ve sorun giderme.
• Verimli veri bölümleme ve depolama.

Bu sorunları aşmak için PySpark; veri kümesini bölümlemeyi, ara sonuçları önbelleğe almayı, yerleşik optimizasyon tekniklerini kullanmayı, sağlam küme yönetimini ve hata toleransı mekanizmalarını destekler.

PySpark'ı büyük veri ekosistemindeki diğer araç ve teknolojilerle nasıl entegre edersiniz?

PySpark; Hadoop, Hive, Kafka ve HBase'in yanı sıra AWS S3 ve Google Cloud Storage gibi bulut tabanlı depolama hizmetleriyle güçlü entegrasyonlara sahiptir. Bu entegrasyonlar, PySpark tarafından sağlanan yerleşik bağlayıcılar, kütüphaneler ve API'ler kullanılarak gerçekleştirilir.

PySpark uygulamalarını test etmek ve hata ayıklamak için bazı en iyi uygulamalar nelerdir?

PySpark uygulamalarını test etmek ve hata ayıklamak için önerilen bazı en iyi uygulamalar şunlardır:

• pyspark.sql.test.SQLTestUtils'i Python kütüphaneleri (pytest) ile birlikte kullanarak birim testleri yazmak

• logging kütüphanesi ve Spark UI ile uygulamaları hata ayıklamak ve günlüklemek

• org.apache.spark.metrics gibi Spark API'leri ve performans izleme araçlarıyla performansı optimize etmek.

PySpark ortamında veri güvenliği ve gizliliği endişelerini nasıl ele alırsınız?

Günümüzde veri paylaşımı kolaylaştı; bu nedenle hassas ve gizli bilgileri korumak, veri sızıntılarını önlemenin iyi bir yoludur. Uygulayabileceğimiz en iyi uygulamalardan biri, işleme ve depolama sırasında veri şifrelemesidir.

PySpark'ta bunu, bir DataFrame'deki sütunlara aes_encrypt() ve aes_decrypt() fonksiyonlarını uygulayarak başarabiliriz. Bu amaçla cryptography gibi başka bir kütüphane de kullanabiliriz.

PySpark kullanarak bir makine öğrenmesi modeli nasıl oluşturulur ve dağıtılır?

PySpark, büyük veri kümeleri üzerinde makine öğrenmesi modelleri oluşturup dağıtmak için ölçeklenebilir bir makine öğrenmesi kütüphanesi olan MLlib'i sunar. Bu kütüphane API'si; veri ön işleme, özellik mühendisliği, model eğitimi, değerlendirme ve dağıtım gibi ML sürecindeki çeşitli görevler için kullanılabilir. Spark kümelerini kullanarak, PySpark tabanlı ML modellerini üretimde toplu veya akış (streaming) çıkarımıyla dağıtabiliriz. 

PySpark'ta shuffle işlemlerini nasıl optimize edebilirsiniz?

Shuffle işlemleri, verinin bölümler arasında yeniden dağıtılması sırasında gerçekleşir ve performans açısından maliyetli olabilir. Optimize etmek için:

• Join gibi pahalı işlemlerden önce bölümleri dengelemek için repartition()'ı stratejik olarak kullanın.

• Bölüm sayısını azaltırken repartition() yerine coalesce()'i tercih edin; veri hareketini en aza indirir.

• Büyük tablolarla join yapmadan önce küçük tabloları broadcast() ile yayınlayın; yoğun shuffle işlemlerini önler.

• spark.sql.shuffle.partitions gibi Spark yapılandırmalarını ayarlayarak shuffle işlemleri için bölüm sayısını optimize edin.

Bir Veri Mühendisi için PySpark Mülakat Soruları

Bir veri mühendisliği rolü için mülakata giriyorsanız, üretim ortamında PySpark uygulamalarını tasarlama, optimize etme ve sorun giderme yeteneğinizi ölçen sorular bekleyin. Karşılaşabileceğiniz bazı tipik mülakat sorularına bakalım.

Yavaş çalışan bir PySpark işini nasıl optimize edersiniz? Hangi temel faktörlere bakarsınız?

Bir PySpark işi yavaş çalışıyorsa performansı optimize etmek için iyileştirebileceğimiz çeşitli yönler vardır:

• Dönüşümler sırasında veri karıştırmayı en aza indirmek için uygun bölüm boyutu ve sayısını sağlamak.
• RDD yerine DataFrame kullanmak; çünkü Spark iş yüklerinin performansını artırmak için bir dizi optimizasyon modülü zaten devrededir.
• Küçük bir veri kümesini büyük bir veri kümesiyle birleştirirken yayınlanmış join'ler ve broadcast değişkenleri kullanmak.
• Yeniden kullanılan ara DataFrame'leri önbelleğe almak ve kalıcı hale getirmek.
• Küme kaynaklarını etkin kullanmak için bölüm sayısını, yürütücü çekirdeklerini ve örnek sayısını ayarlamak.
• Veri boyutunu en aza indirmek için uygun dosya formatlarını seçmek.

PySpark uygulamalarında hata toleransını nasıl sağlarsınız?

PySpark uygulamalarında hata toleransını sağlamak için şu stratejileri uygulayabiliriz:

• Belirli noktalarda veriyi kaydetmek için Checkpointing kullanmak.
• Verimizi farklı makineler arasında çoğaltarak (replication) saklamak.
• Veride yapılacak değişiklikleri gerçekleşmeden önce günlükleyerek kayıt tutmak.
• Hataları taramak için veri doğrulama kontrolleri yapmak.
• Doğru kalıcılık (persistence) düzeyini seçmek.
• Başarısız görevleri otomatik olarak yeniden deneyen Spark'ın yerleşik hata toleransını kullanmak.

PySpark uygulamalarını dağıtmanın ve yönetmenin farklı yolları nelerdir?

PySpark uygulamalarını şu araçlarla dağıtabilir ve yönetebiliriz:

• YARN: Hadoop kümelerinde uygulamaları dağıtıp yönetmemize yardımcı olan bir kaynak yöneticisi
• Kubernetes: Spark, uygulamaları Kubernetes kümeleri kullanarak dağıtmayı destekler
• Databricks: Küme yönetiminin karmaşıklığını soyutlayarak PySpark uygulamaları için tamamen yönetilen bir platform sunar.

Databricks hakkında daha fazla bilgi için şu Introduction to Databricks kursuna göz atın.

Kubernetes hakkında daha fazla bilgi edinmek için şu öğreticiyi inceleyebilirsiniz: Containerization: Docker and Kubernetes for Machine Learning.

Üretim ortamında çalışan PySpark işlerini nasıl izler ve sorun giderirsiniz?

PySpark, üretim ortamında çalışan işleri izlemek ve sorun gidermek için bize şu araçları sunar:

• Spark UI: İşin ilerleyişini, kaynak kullanımını ve görev yürütmesini izlemeye yardımcı olan web tabanlı bir arayüz.
• Günlükleme (Logging): Hata ve uyarılara ilişkin ayrıntılı bilgileri yakalamak için günlüklemeyi yapılandırabiliriz.
• Metrikler: Küme sağlığı ve iş performansına ilişkin metrikleri toplamak ve analiz etmek için izleme sistemleri kullanabiliriz.

Spark'ta dinamik ve statik tahsis arasındaki farkı ve hangisini ne zaman seçeceğinizi açıklayın.

Spark'ta statik tahsis, uygulamanın tüm süresi boyunca yürütücü belleği ve çekirdekleri gibi sabit kaynakların önceden ve sürekli olarak sağlanmasıdır. Buna karşılık dinamik tahsis, iş yükü talebine bağlı olarak yürütücü sayısını dinamik olarak ayarlamaya olanak tanır. Kaynaklar ihtiyaç halinde eklenip çıkarılabilir; bu da kaynak kullanımını iyileştirir ve maliyetleri düşürür.

PySpark'ta DataFrame ve RDD kullanımı arasında nasıl karar verirsiniz?

DataFrame ve RDD seçimi, verinizin yapısına ve gerçekleştirmeniz gereken işlemlere bağlıdır.

• Şu durumlarda DataFrame kullanın:
  • Şemaya dayalı yapılandırılmış veri işlemesine ihtiyacınız varsa.
  • Catalyst ve Tungsten ile optimize edilmiş yürütme istiyorsanız.
  • SQL sorguları ve yerleşik dönüşümlerle çalışıyorsanız.
• Şu durumlarda RDD kullanın:
  • Düşük seviyeli dönüşümlere ve hesaplamalar üzerinde ince ayar kontrolüne ihtiyaç duyuyorsanız.
  • Yapılandırılmamış veya yarı yapılandırılmış verilerle çalışıyorsanız.
  • Dönüşümleri tanımlamada daha fazla esnekliğe gereksiniminiz varsa.

PySpark'ta artımlı (incremental) veri işleme nasıl uygulanır?

Artımlı işleme, sürekli büyüyen veri kümelerini verimli bir şekilde ele almak için gereklidir. Şu yollarla uygulanabilir:

• Delta Lake kullanmak: Güncellemeleri Delta formatında saklamak, artımlı değişikliklerin verimli yönetilmesini sağlar.

• Yapılandırılmış akışta watermarking kullanmak: Durumlu toplulaştırmaları korurken eski veriyi elemenize yardımcı olur.

• Bölümleme ve filtreleme: Her şeyi yeniden işlemek yerine yalnızca yeni veya değişmiş veriyi yüklemek.

• checkpointing kullanmak: Hata durumunda sıfırdan yeniden işlemeyi önlemek için ara sonuçları kaydeder.

Sonuç

Bu makalede, temel, orta ve ileri düzey konuları kapsayan geniş bir PySpark mülakat sorusu yelpazesini ele aldık. PySpark'ın temel kavram ve avantajlarını anlamaktan, daha karmaşık optimizasyon ve sorun giderme tekniklerine kadar, potansiyel işverenlerin değinebileceği kilit alanları inceledik.

Mülakatınız için daha fazla PySpark eğitimi gerekiyorsa, aşağıdaki kurslara göz atın:

• Introduction to PySpark
• Big Data with PySpark
• Big Data Fundamentals with PySpark
• PySpark cheat sheet spark in python
• Machine Learning with PySpark