2026 के लिए शीर्ष 36 PySpark इंटरव्यू प्रश्न और उत्तर

बेसिक PySpark इंटरव्यू प्रश्न

आइए कुछ मौलिक PySpark इंटरव्यू प्रश्नों से शुरू करते हैं, जो इस शक्तिशाली लाइब्रेरी की मूल अवधारणाओं और फायदों की आपकी समझ का आकलन करते हैं।

बिग डेटा प्रोसेसिंग के लिए पारंपरिक Python की तुलना में PySpark का उपयोग करने के मुख्य फायदे क्या हैं?

Apache Spark के लिए Python API, PySpark, बिग डेटा प्रोसेसिंग के लिए पारंपरिक Python की तुलना में कई फायदे प्रदान करता है। इनमें शामिल हैं:

• विशाल डेटासेट संभालने के लिए स्केलेबिलिटी।
• पैरलल प्रोसेसिंग के माध्यम से उच्च प्रदर्शन।
• डेटा विश्वसनीयता के लिए फॉल्ट टॉलरेंस।
• Apache इकोसिस्टम के अन्य बिग डेटा टूल्स के साथ एकीकरण।

PySpark में SparkSession कैसे बनाते हैं? इसके मुख्य उपयोग क्या हैं?

PySpark में, SparkSession Spark की कार्यक्षमता का एंट्री पॉइंट है, और इसे SparkSession.builder API का उपयोग करके बनाया जाता है। 

इसके मुख्य उपयोगों में शामिल हैं:

• स्ट्रक्चर्ड डेटा प्रोसेस करने के लिए Spark SQL के साथ इंटरैक्ट करना।
• DataFrames बनाना।
• Spark गुणों को कॉन्फ़िगर करना।
• SparkContext और SparkSession के जीवनचक्र का प्रबंधन करना।

यहां SparkSession बनाने का एक उदाहरण है: 

from pyspark.sql import SparkSession
     
spark = SparkSession.builder \
         .appName("MySparkApp") \
         .master("local[*]") \
         .getOrCreate()	संचालित द्वारा

PySpark में डेटा पढ़ने के अलग-अलग तरीके बताइए।

PySpark CSV, Parquet, और JSON सहित विभिन्न स्रोतों से डेटा पढ़ने का समर्थन करता है। इसके लिए, यह अलग-अलग विधियां प्रदान करता है, जैसे spark.read.csv(), spark.read.parquet(), spark.read.json(), spark.read.format(), spark.read.load()। 

यहां PySpark में डेटा पढ़ने का एक उदाहरण है: 

df_from_csv = spark.read.csv("my_file.csv", header=True)
df_from_parquet = spark.read.parquet("my_file.parquet")
df_from_json = spark.read.json("my_file.json")संचालित द्वारा

PySpark में missing data को कैसे हैंडल करते हैं?

PySpark में, हम missing data को कई तरीकों से संभाल सकते हैं:

• .dropna() विधि का उपयोग करके missing मान वाली पंक्तियों या स्तंभों को हटाया जा सकता है।

• .fillna() विधि से किसी विशिष्ट मान से भरना या इंटरपोलेशन विधियों का उपयोग किया जा सकता है।

• Imputer का उपयोग करके औसत या माध्यिका जैसे सांख्यिकीय तरीकों से इम्प्यूट किया जा सकता है।

यहां PySpark में missing data को हैंडल करने का एक उदाहरण है: 

# How to drop rows 
df_from_csv.dropna(how="any")

# How to fill missing values with a constant
df_from_parquet.fillna(value=2)

# How to impute values with median
from pyspark.ml.feature import Imputer
imputer = Imputer(strategy="median", inputCols=["price","rooms"], outputCols=["price_imputed","rooms_imputed"])
model = imputer.fit(df_from_json)
df_imputed = model.transform(df_from_json)संचालित द्वारा

प्रदर्शन सुधारने के लिए PySpark में डेटा को कैसे कैश करते हैं?

PySpark का एक लाभ यह है कि यह हमें डेटा को मेमोरी में या निर्दिष्ट स्टोरेज स्तर पर संग्रहीत करने के लिए .cache() या .persist() विधियों का उपयोग करने देता है। यह कार्य बार-बार की गणनाओं से बचाकर और डेटा सीरियलाइज़ेशन/डीसीरियलाइज़ेशन की आवश्यकता को कम करके प्रदर्शन में सुधार करता है। 

यहां PySpark में डेटा कैश करने का एक उदाहरण है: 

# How to cache data in memory 
df_from_csv.cache()

# How to persist data in local disk 
df_from_csv.persist(storageLevel=StorageLevel.DISK_ONLY)संचालित द्वारा

PySpark में joins कैसे करते हैं, समझाइए।

PySpark हमें कई प्रकार के joins करने देता है: inner, outer, left और right joins। .join() विधि का उपयोग करके, हम on पैरामीटर में join शर्त और how पैरामीटर में join प्रकार निर्दिष्ट कर सकते हैं, जैसा कि उदाहरण में दिखाया गया है:

# How to inner join two datasets
df_from_csv.join(df_from_json, on="id", how="inner")

# How to outer datasets
df_from_json.join(df_from_parquet, on="product_id", how="outer")संचालित द्वारा

PySpark में RDDs, DataFrames, और Datasets के बीच प्रमुख अंतर क्या हैं?

Spark Resilient Distributed Datasets (RDD), DataFrame, और Datasets ऐसे प्रमुख एब्स्ट्रैक्शंस हैं जो हमें वितरित कंप्यूटिंग वातावरण में स्ट्रक्चर्ड डेटा के साथ काम करने देते हैं। यद्यपि ये सभी डेटा को दर्शाने के तरीके हैं, इनके बीच मुख्य अंतर हैं:

• RDDs लो-लेवल APIs हैं जिनमें स्कीमा नहीं होता और वे डेटा पर अधिक नियंत्रण देते हैं। ये ऑब्जेक्ट्स के अपरिवर्तनीय कलेक्शंस होते हैं। 
• DataFrames हाई-लेवल APIs हैं जो RDDs पर निर्मित हैं, प्रदर्शन के लिए ऑप्टिमाइज़्ड हैं, लेकिन टाइप-सेफ नहीं हैं। ये स्ट्रक्चर्ड और सेमी-स्ट्रक्चर्ड डेटा को नामित कॉलमों में व्यवस्थित करते हैं।
• Datasets RDDs और DataFrames के लाभों को मिलाते हैं। ये हाई-लेवल APIs हैं जो टाइप-सेफ एब्स्ट्रैक्शन प्रदान करते हैं। ये Python और Scala को सपोर्ट करते हैं और कंपाइल-टाइम टाइप चेकिंग देते हैं, जबकि DataFrames से तेज़ होते हैं। 

PySpark में lazy evaluation की अवधारणा समझाइए। यह प्रदर्शन को कैसे प्रभावित करती है?

PySpark एक रणनीति लागू करता है जिसे lazy evaluation कहा जाता है, जहां वितरित डेटासेट्स (RDDs, DataFrames या Datasets) पर लागू ट्रांसफॉर्मेशंस तुरंत निष्पादित नहीं होते। इसके विपरीत, Spark एक क्रमिक ऑपरेशंस या ट्रांसफॉर्मेशंस का अनुक्रम बनाता है जिसे directed acyclic graph (DAG) कहा जाता है। यह lazy evaluation प्रदर्शन में सुधार करता है और निष्पादन को ऑप्टिमाइज़ करता है क्योंकि गणना तब तक टाली जाती है जब तक कोई action ट्रिगर नहीं होता और अनिवार्य रूप से आवश्यक नहीं हो जाता।

PySpark में partitioning की क्या भूमिका है? यह प्रदर्शन कैसे सुधार सकती है?

PySpark में, डेटा partitioning एक प्रमुख विशेषता है जो हमें क्लस्टर के नोड्स में लोड को समान रूप से वितरित करने में मदद करती है। Partitioning का अर्थ है डेटा को छोटे-छोटे हिस्सों (partitions) में विभाजित करना, जिन्हें क्लस्टर में स्वतंत्र रूप से और पैरलल प्रोसेस किया जाता है। यह पैरलल प्रोसेसिंग को सक्षम करके, डेटा मूवमेंट को कम करके और संसाधन उपयोग में सुधार करके प्रदर्शन को बेहतर बनाता है। Partitioning को .repartition() और .coalesce() जैसी विधियों से नियंत्रित किया जा सकता है।

PySpark में broadcast variables की अवधारणा समझाइए और एक उपयोग-परिदृश्य बताइए।

Broadcast variables Spark के वितरित कंप्यूटिंग फ्रेमवर्क की एक प्रमुख विशेषता हैं। PySpark में, ये read-only shared variables होती हैं, जिन्हें शफल ऑपरेशंस से बचने के लिए क्लस्टर नोड्स पर कैश और वितरित किया जाता है। ये तब बहुत उपयोगी होती हैं जब हमारे पास कोई वितरित मशीन-लर्निंग एप्लिकेशन हो जिसे किसी pre-trained मॉडल का उपयोग और लोड करना हो। हम मॉडल को एक variable के रूप में ब्रॉडकास्ट करते हैं, जिससे डेटा ट्रांसफर का ओवरहेड कम होता है और प्रदर्शन बेहतर होता है।

PySpark और pandas में क्या अंतर हैं?

PySpark और pandas दोनों डेटा मैनिपुलेशन के लिए लोकप्रिय हैं, लेकिन इनमें महत्वपूर्ण अंतर हैं:

• स्केलेबिलिटी: PySpark बिग डेटा और वितरित प्रोसेसिंग के लिए डिज़ाइन किया गया है, जबकि pandas छोटे डेटासेट्स के लिए उपयुक्त है जो मेमोरी में फिट हो जाएं।
• प्रदर्शन: PySpark क्लस्टर्स में पैरलल प्रोसेसिंग करता है, जिससे यह बड़े डेटासेट्स पर pandas की तुलना में कहीं तेज़ होता है, जो एक ही मशीन पर काम करता है।
• उपयोग में आसानी: Exploratory Data Analysis (EDA) के लिए pandas सरल है, जबकि PySpark अधिक जटिल है लेकिन वितरित कंप्यूटिंग के लिए अत्यधिक ऑप्टिमाइज़्ड है।

आप Pandas DataFrame को PySpark DataFrame में और इसके विपरीत कैसे बदल सकते हैं?

आप spark.createDataFrame() का उपयोग करके Pandas DataFrame को PySpark DataFrame में और .toPandas() का उपयोग करके इसके विपरीत बदल सकते हैं।

import pandas as pd
from pyspark.sql import SparkSession

# Initialize SparkSession
spark = SparkSession.builder.appName("Example").getOrCreate()

# Create Pandas DataFrame
pdf = pd.DataFrame({'id': [1, 2, 3], 'value': [10, 20, 30]})

# Convert to PySpark DataFrame
df_spark = spark.createDataFrame(pdf)

# Convert back to Pandas DataFrame
pdf_new = df_spark.toPandas()संचालित द्वारा

इंटरमीडिएट PySpark इंटरव्यू प्रश्न

बुनियादी बातें कवर करने के बाद, अब हम कुछ इंटरमीडिएट-स्तरीय PySpark इंटरव्यू प्रश्नों की ओर बढ़ते हैं जो Spark एप्लिकेशंस की आर्किटेक्चर और एक्जीक्यूशन मॉडल में गहराई से उतरते हैं।

Spark Driver क्या है, और इसकी जिम्मेदारियां क्या हैं?

Spark Driver वह कोर प्रोसेस है जो क्लस्टर्स में टास्क्स को निष्पादित करके Spark एप्लिकेशंस का समन्वय करता है। यह संसाधन आवंटन, टास्क शेड्यूलिंग, और Spark जॉब्स के निष्पादन की निगरानी के लिए क्लस्टर मैनेजर के साथ संचार करता है।

Spark DAG क्या है?

Spark में directed acyclic graph (DAG) एक प्रमुख अवधारणा है क्योंकि यह Spark के लॉजिकल एक्जीक्यूशन मॉडल का प्रतिनिधित्व करता है। यह directed है क्योंकि प्रत्येक नोड एक विशिष्ट क्रम में एजेज़ पर निष्पादित ट्रांसफॉर्मेशन का प्रतिनिधित्व करता है। यह acyclic है क्योंकि एक्जीक्यूशन प्लान में कोई लूप या साइकिल नहीं होती। इस प्लान को पाइपलाइन ट्रांसफॉर्मेशंस, टास्क कोएलेसिंग और प्रेडिकेट पुशडाउन का उपयोग करके ऑप्टिमाइज़ किया जाता है।

Spark में उपलब्ध विभिन्न प्रकार के क्लस्टर मैनेजर्स कौन-कौन से हैं?

Spark वर्तमान में संसाधन प्रबंधन और जॉब शेड्यूलिंग के लिए अलग-अलग क्लस्टर मैनेजर्स सपोर्ट करता है, जिनमें शामिल हैं:

• Standalone, Spark के भीतर शामिल एक सरल क्लस्टर।
• Hadoop YARN, जो Hadoop में जॉब शेड्यूलिंग और संसाधन प्रबंधन के लिए एक जनरल मैनेजर है।
• Kubernetes, जिसका उपयोग कंटेनराइज़्ड एप्लिकेशंस के ऑटोमेशन, परिनियोजन, स्केलिंग और प्रबंधन के लिए किया जाता है।
• Apache Mesos (अब रिटायर्ड), जो प्रति एप्लिकेशन संसाधन प्रबंधन के लिए उपयोग किया जाने वाला एक वितरित सिस्टम था।

PySpark में कस्टम ट्रांसफॉर्मेशन कैसे लागू करते हैं, वर्णन कीजिए।

PySpark में कस्टम ट्रांसफॉर्मेशन लागू करने के लिए, हम एक Python फ़ंक्शन परिभाषित कर सकते हैं जो PySpark DataFrames पर कार्य करता है और फिर .transform() विधि से उस ट्रांसफॉर्मेशन को invoke कर सकते हैं।

यहां PySpark में कस्टम ट्रांसफॉर्मेशन लागू करने का एक उदाहरण है: 

# Define a python function that operates on pySpark DataFrames
def get_discounted_price(df):
    return df.withColumn("discounted_price", \
                          df.price - (df.price * df.discount) / 100) 

# Evoke the transformation
df_discounted = df_from_csv.transfrom(get_discounted_price)संचालित द्वारा

PySpark में window functions की अवधारणा समझाइए और एक उदाहरण दीजिए।

PySpark Window functions हमें पंक्तियों की एक विंडो में ऑपरेशंस लागू करने देती हैं और प्रत्येक इनपुट पंक्ति के लिए एक एकल मान लौटाती हैं। हम रैंकिंग, एनालिटिक्स और एग्रीगेट फ़ंक्शंस कर सकते हैं। 

यहां PySpark में एक window function लागू करने का उदाहरण है: 

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

# Define the window function
window = Window.orderBy("discounted_price")

# Apply window function
df = df_from_csv.withColumn("row_number", row_number().over(window))संचालित द्वारा

PySpark में errors और exceptions को कैसे हैंडल करते हैं?

PySpark ट्रांसफॉर्मेशंस और actions में errors और exceptions को हैंडल करने के सबसे उपयोगी तरीकों में से एक है कोड को try-except ब्लॉक्स में लपेटना ताकि उन्हें कैच किया जा सके। RDDs में, हम foreach ऑपरेशन का उपयोग करके एलिमेंट्स पर इटरेट कर सकते हैं और exceptions को हैंडल कर सकते हैं। 

PySpark में checkpoints का उद्देश्य क्या है?

PySpark में checkpointing का अर्थ है कि RDDs को डिस्क पर सेव कर लिया जाता है ताकि भविष्य में इस इंटरमीडिएट पॉइंट को संदर्भित किया जा सके, बजाय इसके कि मूल स्रोत से RDD को दोबारा कंप्यूट किया जाए। Checkpoints विफलताओं से रिकवरी का तरीका प्रदान करते हैं क्योंकि ड्राइवर को पहले से कंप्यूटेड स्टेट के साथ फिर से शुरू किया जा सकता है। 

PySpark स्कीमा इन्फरेंस को कैसे संभालता है, और आप स्कीमा को स्पष्ट रूप से कैसे परिभाषित कर सकते हैं?

PySpark स्ट्रक्चर्ड डेटा को लोड करते समय स्कीमा को स्वतः इन्फर कर लेता है, लेकिन बेहतर नियंत्रण और दक्षता के लिए, आप StructType और StructField का उपयोग करके स्कीमा को स्पष्ट रूप से परिभाषित कर सकते हैं।

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("name", StringType(), True)
])

df = spark.read.csv("data.csv", schema=schema, header=True)संचालित द्वारा

एडवांस्ड PySpark इंटरव्यू प्रश्न

जो लोग सीनियर भूमिकाओं की तलाश में हैं या PySpark की गहरी समझ प्रदर्शित करना चाहते हैं, उनके लिए आइए कुछ उन्नत इंटरव्यू प्रश्नों का अन्वेषण करें, जो PySpark इकोसिस्टम के भीतर ट्रांसफॉर्मेशंस और ऑप्टिमाइज़ेशंस की बारीकियों में जाते हैं।

PySpark में narrow और wide transformations के बीच क्या अंतर हैं?

PySpark में, narrow transformations तब होती हैं जब प्रत्येक इनपुट पार्टीशन अधिकतम एक आउटपुट पार्टीशन में योगदान देता है और इनमें shuffling की आवश्यकता नहीं होती। उदाहरण हैं map(), filter(), और union। इसके विपरीत, wide transformations उन ऑपरेशंस के लिए आवश्यक होती हैं जहां प्रत्येक इनपुट पार्टीशन कई आउटपुट पार्टीशंस में योगदान दे सकता है और इनमें डेटा शफलिंग, joins, या एग्रीगेशंस की आवश्यकता होती है। उदाहरण हैं groupBy(), join(), और sortBy()।

Spark में Catalyst optimizer क्या है, और यह कैसे काम करता है?

Spark में Catalyst optimizer, Spark SQL का एक नियम-आधारित घटक है जिसका उपयोग क्वेरी प्रदर्शन को ऑप्टिमाइज़ करने के लिए किया जाता है। इसका मुख्य कार्य उपयोगकर्ता के SQL या DataFrame ऑपरेशंस को बदलना और सुधारना है ताकि विशिष्ट क्वेरी और डेटासेट की विशेषताओं के अनुरूप एक कुशल भौतिक निष्पादन प्लान बनाया जा सके।

PySpark में कस्टम एग्रीगेशंस कैसे लागू करते हैं, वर्णन कीजिए।

PySpark में कस्टम एग्रीगेशंस लागू करने के लिए हम groupBy() और agg() विधियों का साथ में उपयोग कर सकते हैं। agg() कॉल के भीतर, हम pyspark.sql.functions मॉड्यूल से कई फ़ंक्शंस पास कर सकते हैं। साथ ही, हम PySpark DataFrame के भीतर समूहों पर Pandas कस्टम एग्रीगेशंस .applyInPandas() विधि से लागू कर सकते हैं।

यहां PySpark में कस्टम एग्रीगेशंस लागू करने का एक उदाहरण है: 

# Use groupBy and agg with Functions
from pyspark.sql import functions as F
df_from_csv.groupBy("house_id").agg(F.mean("price_discounted"))

# Use applyInPandas
def normalize_price(df):
    disc_price = df["discounted_price"]
    df["normalized_price"] = disc_price.mean() / disc_price.std()

df_from_csv.groupBy("house_id").applyInPandas(normalize_price)संचालित द्वारा

PySpark में बड़े डेटासेट्स के साथ काम करते समय आपने किन चुनौतियों का सामना किया है? आपने उन्हें कैसे दूर किया?

इस प्रश्न के साथ, हम अपने अनुभव से जोड़ सकते हैं और एक विशेष मामला बता सकते हैं जिसमें PySpark और बड़े डेटासेट्स के साथ चुनौतियों का सामना किया गया, जिनमें निम्नलिखित शामिल हो सकते हैं:

• मेमोरी प्रबंधन और संसाधन उपयोग।
• डेटा स्क्यूनेस और असमान वर्कलोड वितरण।
• प्रदर्शन ऑप्टिमाइज़ेशन, विशेष रूप से wide transformations और shuffles के लिए।
• जटिल जॉब विफलताओं का डिबगिंग और ट्रबलशूटिंग।
• दक्षतापूर्ण डेटा partitioning और स्टोरेज।

इन समस्याओं को दूर करने के लिए, PySpark डेटासेट का partitioning, इंटरमीडिएट परिणामों का caching, बिल्ट-इन ऑप्टिमाइज़ेशन तकनीकों का उपयोग, मज़बूत क्लस्टर प्रबंधन, और फॉल्ट टॉलरेंस मैकेनिज़्म का लाभ उठाने की सुविधा देता है।

आप PySpark को बिग डेटा इकोसिस्टम के अन्य टूल्स और टेक्नोलॉजीज़ के साथ कैसे इंटीग्रेट करते हैं?

PySpark का Hadoop, Hive, Kafka, और HBase सहित विभिन्न बिग डेटा टूल्स के साथ, साथ ही AWS S3 और Google Cloud Storage जैसे क्लाउड-आधारित स्टोरेज के साथ मजबूत इंटीग्रेशन है। यह इंटीग्रेशन PySpark द्वारा प्रदान किए गए बिल्ट-इन कनेक्टर्स, लाइब्रेरीज़ और APIs के माध्यम से किया जाता है।

PySpark एप्लिकेशंस के परीक्षण और डिबगिंग के लिए कुछ सर्वोत्तम प्रथाएं क्या हैं?

PySpark ऐप्स के परीक्षण और डिबगिंग के लिए अनुशंसित कुछ सर्वोत्तम प्रथाओं में शामिल हैं:

• pyspark.sql.test.SQLTestUtils के साथ Python लाइब्रेरीज़ (pytest) का उपयोग करके यूनिट टेस्ट लिखना

• logging लाइब्रेरी तथा Spark UI का उपयोग करके ऐप्स को डिबग करना और संदेशों को लॉग करना

• Spark APIs org.apache.spark.metrics और परफॉर्मेंस मॉनिटरिंग टूल्स का उपयोग करके प्रदर्शन को ऑप्टिमाइज़ करना।

आप PySpark वातावरण में डेटा सुरक्षा और गोपनीयता संबंधी चिंताओं को कैसे संभालेंगे?

आज डेटा साझा करना आसान हो गया है, इसलिए संवेदनशील और गोपनीय जानकारी की सुरक्षा करना डेटा लीक से बचने का एक अच्छा तरीका है। हम जिस सर्वोत्तम प्रथा का पालन कर सकते हैं, उनमें से एक है प्रोसेसिंग और स्टोरेज के दौरान डेटा एन्क्रिप्शन लागू करना।

PySpark में, हम DataFrame की कॉलम्स पर aes_encrypt() और aes_decrypt() फ़ंक्शंस का उपयोग करके इसे प्राप्त कर सकते हैं। हम इस उद्देश्य के लिए cryptography जैसी किसी अन्य लाइब्रेरी का भी उपयोग कर सकते हैं।

PySpark का उपयोग करके एक मशीन लर्निंग मॉडल कैसे बनाते और परिनियोजित करते हैं, समझाइए।

PySpark हमें MLlib लाइब्रेरी प्रदान करता है, जो बड़े डेटासेट्स पर मशीन लर्निंग मॉडल बनाने और परिनियोजित करने के लिए एक स्केलेबल मशीन लर्निंग लाइब्रेरी है। यह लाइब्रेरी API ML प्रक्रिया में कई कार्यों के लिए इस्तेमाल की जा सकती है, जैसे डेटा प्रीप्रोसेसिंग, फीचर इंजीनियरिंग, मॉडल प्रशिक्षण, मूल्यांकन और परिनियोजन। Spark क्लस्टर्स का उपयोग करके, हम PySpark-आधारित ML मॉडलों को प्रोडक्शन में बैच या स्ट्रीमिंग इन्फरेंस के साथ परिनियोजित कर सकते हैं। 

आप PySpark में shuffle ऑपरेशंस को कैसे ऑप्टिमाइज़ कर सकते हैं?

Shuffle ऑपरेशंस तब होते हैं जब डेटा को पार्टीशंस में दोबारा वितरित किया जाता है, और ये प्रदर्शन के लिहाज़ से महंगे हो सकते हैं। शफल्स को ऑप्टिमाइज़ करने के लिए:

• महंगे ऑपरेशंस जैसे joins से पहले पार्टीशंस को संतुलित करने के लिए repartition() का रणनीतिक उपयोग करें।

• पार्टीशंस को घटाते समय repartition() के बजाय coalesce() को प्राथमिकता दें, क्योंकि यह डेटा मूवमेंट को न्यूनतम करता है।

• बड़े टेबल्स के साथ join से पहले छोटे टेबल्स को broadcast() करें, ताकि shuffle-इंटेंसिव ऑपरेशंस से बचा जा सके।

• spark.sql.shuffle.partitions जैसी Spark कॉन्फ़िगरेशन को ट्यून करें ताकि शफल ऑपरेशंस के लिए पार्टीशंस की संख्या ऑप्टिमाइज़ हो।

डेटा इंजीनियर के लिए PySpark इंटरव्यू प्रश्न

यदि आप डेटा इंजीनियरिंग भूमिका के लिए इंटरव्यू दे रहे हैं, तो ऐसे प्रश्नों की अपेक्षा करें जो प्रोडक्शन वातावरण में PySpark एप्लिकेशंस को डिजाइन, ऑप्टिमाइज़ और ट्रबलशूट करने की आपकी क्षमता का आकलन करें। आइए कुछ सामान्य इंटरव्यू प्रश्नों पर नज़र डालें जिनका आप सामना कर सकते हैं।

एक धीमी चल रही PySpark जॉब को आप कैसे ऑप्टिमाइज़ करेंगे? आप किन प्रमुख कारकों पर ध्यान देंगे?

यदि कोई PySpark जॉब धीमी चल रही है, तो प्रदर्शन को ऑप्टिमाइज़ करने के लिए हम कई पहलुओं में सुधार कर सकते हैं:

• ट्रांसफॉर्मेशंस के दौरान डेटा शफलिंग को न्यूनतम करने के लिए डेटा पार्टीशंस के उपयुक्त आकार और संख्या सुनिश्चित करना।
• RDDs की बजाय DataFrames का उपयोग करना, क्योंकि वे पहले से ही Spark वर्कलोड्स के प्रदर्शन को बेहतर करने के लिए कई ऑप्टिमाइज़ेशन मॉड्यूल्स का उपयोग करते हैं।
• किसी छोटे डेटासेट को बड़े डेटासेट के साथ जोड़ने के लिए ब्रॉडकास्टिंग joins और broadcast variables का उपयोग करना।
• बार-बार उपयोग होने वाले इंटरमीडिएट DataFrames को कैश और परसिस्ट करना।
• क्लस्टर संसाधनों का प्रभावी उपयोग करने के लिए पार्टीशंस की संख्या, एक्सीक्यूटर कोर और इंस्टेंसेज़ को समायोजित करना।
• डेटा आकार को न्यूनतम करने के लिए उपयुक्त फाइल फॉर्मैट्स का चुनाव करना।

आप PySpark एप्लिकेशंस में फॉल्ट टॉलरेंस कैसे सुनिश्चित करते हैं?

PySpark एप्लिकेशंस में फॉल्ट टॉलरेंस सुनिश्चित करने के लिए, हम कई रणनीतियां अपना सकते हैं:

• विशिष्ट बिंदुओं पर डेटा सेव करने के लिए Checkpointing का उपयोग करना।
• हमारे डेटा को अलग-अलग मशीनों पर सेव करके प्रतिलिपि बनाना।
• डेटा पर होने वाले परिवर्तनों का, होने से पहले, लॉग रखना।
• त्रुटियों की स्कैनिंग के लिए डेटा वैलिडेशन चेक्स करना।
• उचित persistence स्तर चुनना।
• विफल टास्क्स को स्वतः रीट्राई करने के लिए Spark की बिल्ट-इन फॉल्ट टॉलरेंस का उपयोग करना।

PySpark एप्लिकेशंस को परिनियोजित और प्रबंधित करने के अलग-अलग तरीके क्या हैं?

हम निम्नलिखित टूल्स का उपयोग करके PySpark एप्लिकेशंस को परिनियोजित और प्रबंधित कर सकते हैं:

• YARN: एक संसाधन मैनेजर जो हमें Hadoop क्लस्टर्स पर ऐप्स को परिनियोजित और प्रबंधित करने में मदद करता है
• Kubernetes: Spark Kubernetes क्लस्टर्स का उपयोग करके ऐप्स को परिनियोजित करने का समर्थन प्रदान करता है
• Databricks: यह PySpark एप्लिकेशंस के लिए एक पूर्ण-प्रबंधित प्लेटफ़ॉर्म प्रदान करता है, जो क्लस्टर मैनेजमेंट की जटिलताओं को एब्स्ट्रैक्ट करता है।

Databricks के बारे में और जानने के लिए यह Introduction to Databricks कोर्स देखें।

आप Kubernetes के बारे में और अधिक जानने के लिए इस ट्यूटोरियल को भी देख सकते हैं: Containerization: Docker and Kubernetes for Machine Learning।

आप प्रोडक्शन वातावरण में चल रही PySpark जॉब्स की मॉनिटरिंग और ट्रबलशूटिंग कैसे करेंगे?

PySpark हमें प्रोडक्शन वातावरण में चल रही जॉब्स की मॉनिटरिंग और ट्रबलशूटिंग के लिए निम्नलिखित टूल्स प्रदान करता है:

• Spark UI: एक वेब-आधारित यूज़र इंटरफेस जो जॉब प्रगति, संसाधन उपयोग, और टास्क एक्जीक्यूशन की मॉनिटरिंग में मदद करता है।
• लॉगिंग: हम त्रुटियों और चेतावनियों के बारे में विस्तृत जानकारी कैप्चर करने के लिए लॉगिंग कॉन्फ़िगर कर सकते हैं।
• मेट्रिक्स: हम क्लस्टर की सेहत और जॉब प्रदर्शन से संबंधित मेट्रिक्स एकत्र और विश्लेषित करने के लिए मॉनिटरिंग सिस्टम्स का उपयोग कर सकते हैं।

Spark में डायनेमिक और स्टैटिक अलोकेशन के बीच अंतर समझाइए, और आप किसे कब चुनेंगे?

Spark में, स्टैटिक अलोकेशन का अर्थ है एप्लिकेशन की पूरी अवधि के लिए एक निश्चित संसाधनों, जैसे एक्सीक्यूटर मेमोरी और कोर, का अग्रिम और स्थिर प्रावधान। इसके विपरीत, डायनेमिक अलोकेशन Spark को वर्कलोड डिमांड के आधार पर एक्सीक्यूटर्स की संख्या को गतिशील रूप से समायोजित करने देता है। संसाधनों को आवश्यकता अनुसार जोड़ा या हटाया जा सकता है, जिससे संसाधन उपयोग में सुधार और लागत में कमी आती है।

PySpark में DataFrames और RDDs के बीच आप कैसे निर्णय लेते हैं?

DataFrames और RDDs के बीच चुनाव आपके डेटा की संरचना और आपको करने वाले ऑपरेशंस पर निर्भर करता है।

• DataFrames का उपयोग करें जब:
  • आपको स्कीमा-आधारित स्ट्रक्चर्ड डेटा प्रोसेसिंग चाहिए।
  • आप Catalyst और Tungsten के साथ ऑप्टिमाइज़्ड एक्जीक्यूशन चाहते हैं।
  • आप SQL क्वेरीज और बिल्ट-इन ट्रांसफॉर्मेशंस के साथ काम करते हैं।
• RDDs का उपयोग करें जब:
  • आपको लो-लेवल ट्रांसफॉर्मेशंस और गणनाओं पर सूक्ष्म नियंत्रण चाहिए।
  • आप अनस्ट्रक्चर्ड या सेमी-स्ट्रक्चर्ड डेटा के साथ काम कर रहे हैं।
  • आपको ट्रांसफॉर्मेशंस को परिभाषित करने में अधिक लचीलापन चाहिए।

आप PySpark में incremental डेटा प्रोसेसिंग कैसे लागू करेंगे?

Incremental प्रोसेसिंग लगातार बढ़ते डेटासेट्स को दक्षतापूर्वक संभालने के लिए आवश्यक है। इसे निम्न तरीकों से लागू किया जा सकता है:

• Delta Lake का उपयोग: अपडेट्स को Delta फ़ॉर्मैट में स्टोर करने से incremental परिवर्तनों को दक्षतापूर्वक संभाला जा सकता है।

• Structured Streaming के साथ watermarking का उपयोग: यह stateful aggregations को बनाए रखते हुए पुराने डेटा को त्यागने में मदद करता है।

• Partitioning और filtering: सब कुछ दोबारा प्रोसेस करने की बजाय केवल नया या परिवर्तित डेटा लोड करना।

• checkpointing का उपयोग: विफलता की स्थिति में शून्य से पुन: प्रोसेसिंग से बचने के लिए इंटरमीडिएट परिणामों को सेव करता है।

निष्कर्ष

इस लेख में, हमने बेसिक, इंटरमीडिएट और एडवांस्ड विषयों में फैले PySpark इंटरव्यू प्रश्नों की एक विस्तृत श्रृंखला को कवर किया है। PySpark की मुख्य अवधारणाओं और फायदों को समझने से लेकर अधिक जटिल ऑप्टिमाइज़ेशन और ट्रबलशूटिंग तकनीकों तक, हमने उन प्रमुख क्षेत्रों का अन्वेषण किया है जिनके बारे में संभावित नियोक्ता पूछ सकते हैं।

यदि आपको अपने इंटरव्यू के लिए और PySpark प्रशिक्षण चाहिए, तो निम्नलिखित कोर्सेज़ देखें:

• Introduction to PySpark
• Big Data with PySpark
• Big Data Fundamentals with PySpark
• PySpark cheat sheet spark in python
• Machine Learning with PySpark