Le 36 migliori domande e risposte su PySpark per i colloqui nel 2026

Domande di base su PySpark per i colloqui

Iniziamo esplorando alcune domande fondamentali sui colloqui PySpark che valutano la tua comprensione dei concetti chiave e dei vantaggi di questa potente libreria.

Quali sono i principali vantaggi dell'uso di PySpark rispetto al Python tradizionale per l'elaborazione di big data?

PySpark, l'API Python per Apache Spark, offre diversi vantaggi rispetto al Python tradizionale per l'elaborazione di big data. Tra questi:

• Scalabilità per gestire dataset enormi.
• Alte prestazioni grazie all'elaborazione parallela.
• Tolleranza ai guasti per l'affidabilità dei dati.
• Integrazione con altri strumenti per big data all'interno dell'ecosistema Apache.

Come si crea una SparkSession in PySpark? Quali sono i suoi usi principali?

In PySpark, SparkSession è il punto di ingresso per utilizzare le funzionalità di Spark e viene creata tramite l'API SparkSession.builder. 

I suoi usi principali includono:

• Interagire con Spark SQL per elaborare dati strutturati.
• Creare DataFrame.
• Configurare le proprietà di Spark.
• Gestire il ciclo di vita di SparkContext e SparkSession.

Ecco un esempio di come creare una SparkSession: 

from pyspark.sql import SparkSession
     
spark = SparkSession.builder \
         .appName("MySparkApp") \
         .master("local[*]") \
         .getOrCreate()	

Descrivi i diversi modi per leggere dati in PySpark.

PySpark supporta la lettura di dati da varie fonti, come CSV, Parquet e JSON, tra le altre. Per farlo, fornisce metodi diversi, tra cui spark.read.csv(), spark.read.parquet(), spark.read.json(), spark.read.format(), spark.read.load(). 

Ecco un esempio di come leggere i dati in PySpark: 

df_from_csv = spark.read.csv("my_file.csv", header=True)
df_from_parquet = spark.read.parquet("my_file.parquet")
df_from_json = spark.read.json("my_file.json")

Come gestisci i dati mancanti in PySpark?

In PySpark possiamo gestire i dati mancanti con diversi metodi:

• Possiamo eliminare righe o colonne contenenti valori mancanti usando il metodo .dropna().

• Possiamo riempire i dati mancanti con un valore specifico o usare metodi di interpolazione con il metodo .fillna().

• Possiamo imputare i valori mancanti usando metodi statistici, come media o mediana, tramite Imputer.

Ecco un esempio di come gestire i dati mancanti in PySpark: 

# Come eliminare righe 
df_from_csv.dropna(how="any")

# Come riempire i valori mancanti con una costante
df_from_parquet.fillna(value=2)

# Come imputare valori con la mediana
from pyspark.ml.feature import Imputer
imputer = Imputer(strategy="median", inputCols=["price","rooms"], outputCols=["price_imputed","rooms_imputed"])
model = imputer.fit(df_from_json)
df_imputed = model.transform(df_from_json)

Come puoi mettere in cache i dati in PySpark per migliorare le prestazioni?

Uno dei vantaggi di PySpark è che ci permette di usare i metodi .cache() o .persist() per archiviare i dati in memoria o al livello di storage specificato. Questa operazione migliora le prestazioni evitando calcoli ripetuti e riducendo la necessità di serializzare e deserializzare i dati. 

Ecco un esempio di come mettere in cache i dati in PySpark: 

# Come mettere in cache i dati in memoria 
df_from_csv.cache()

# Come persistere i dati sul disco locale 
df_from_csv.persist(storageLevel=StorageLevel.DISK_ONLY)

Descrivi l'esecuzione di join in PySpark.

PySpark ci permette di eseguire diversi tipi di join: inner, outer, left e right join. Usando il metodo .join(), possiamo specificare la condizione di join nel parametro on e il tipo di join tramite il parametro how, come mostrato nell'esempio:

# Come eseguire un inner join tra due dataset
df_from_csv.join(df_from_json, on="id", how="inner")

# Come eseguire un outer join tra dataset
df_from_json.join(df_from_parquet, on="product_id", how="outer")

Quali sono le principali differenze tra RDD, DataFrame e Dataset in PySpark?

Gli RDD (Resilient Distributed Datasets), i DataFrame e i Dataset sono astrazioni chiave in Spark che ci permettono di lavorare con dati strutturati in un ambiente di calcolo distribuito. Anche se sono tutti modi di rappresentare i dati, presentano differenze fondamentali:

• Gli RDD sono API di basso livello, privi di schema e offrono controllo sui dati. Sono collezioni immutabili di oggetti 
• I DataFrame sono API di alto livello costruite sopra gli RDD, ottimizzate per le prestazioni ma non type-safe. Organizzano dati strutturati e semi-strutturati in colonne nominali.
• I Dataset combinano i vantaggi di RDD e DataFrame. Sono API di alto livello che forniscono un'astrazione type-safe. Supportano Python e Scala e offrono controlli di tipo a compile-time, risultando più veloci dei DataFrame. 

Spiega il concetto di valutazione pigra (lazy evaluation) in PySpark. In che modo influisce sulle prestazioni?

PySpark implementa una strategia chiamata lazy evaluation, in cui le trasformazioni applicate ai dataset distribuiti (RDD, DataFrame o Dataset) non vengono eseguite immediatamente. Al contrario, Spark costruisce una sequenza di operazioni o trasformazioni da eseguire sui dati chiamata grafo aciclico diretto (DAG). Questa valutazione pigra migliora le prestazioni e ottimizza l'esecuzione perché il calcolo viene rimandato finché non viene attivata un'azione ed è strettamente necessario.

Qual è il ruolo del partizionamento in PySpark? Come può migliorare le prestazioni?

In PySpark, il partizionamento dei dati è la caratteristica chiave che ci aiuta a distribuire il carico in modo uniforme tra i nodi di un cluster. Il partizionamento si riferisce all'azione di dividere i dati in porzioni più piccole (partizioni) che vengono elaborate in modo indipendente e in parallelo nel cluster. Migliora le prestazioni abilitando l'elaborazione parallela, riducendo lo spostamento dei dati e migliorando l'utilizzo delle risorse. Il partizionamento può essere controllato con metodi come .repartition() e .coalesce().

Spiega il concetto di variabili broadcast in PySpark e fornisci un caso d'uso.

Le variabili broadcast sono una funzionalità chiave dei framework di calcolo distribuito di Spark. In PySpark, sono variabili condivise in sola lettura che vengono messe in cache e distribuite ai nodi del cluster per evitare operazioni di shuffle. Possono essere molto utili quando abbiamo un'applicazione di machine learning distribuita che deve utilizzare e caricare un modello pre-addestrato. Eseguiamo il broadcast del modello come variabile, riducendo l'overhead di trasferimento dei dati e migliorando le prestazioni.

Quali sono le differenze tra PySpark e pandas?

PySpark e pandas sono entrambi popolari per la manipolazione dei dati, ma presentano differenze chiave:

• Scalabilità: PySpark è progettato per i big data e l'elaborazione distribuita, mentre pandas è adatto a dataset più piccoli che entrano in memoria.
• Prestazioni: PySpark esegue elaborazione parallela tra i cluster, risultando molto più veloce sui dataset di grandi dimensioni rispetto a pandas, che opera su una singola macchina.
• Facilità d'uso: pandas è più semplice per l'EDA (analisi esplorativa), mentre PySpark è più complesso ma altamente ottimizzato per il calcolo distribuito.

Come puoi convertire un DataFrame Pandas in un DataFrame PySpark e viceversa?

Puoi convertire un DataFrame Pandas in un DataFrame PySpark usando spark.createDataFrame() e viceversa usando .toPandas().

import pandas as pd
from pyspark.sql import SparkSession

# Initialize SparkSession
spark = SparkSession.builder.appName("Example").getOrCreate()

# Create Pandas DataFrame
pdf = pd.DataFrame({'id': [1, 2, 3], 'value': [10, 20, 30]})

# Convert to PySpark DataFrame
df_spark = spark.createDataFrame(pdf)

# Convert back to Pandas DataFrame
pdf_new = df_spark.toPandas()

Domande intermedie su PySpark per i colloqui

Dopo aver coperto le basi, passiamo ad alcune domande di livello intermedio su PySpark che approfondiscono l'architettura e il modello di esecuzione delle applicazioni Spark.

Che cos'è uno Spark Driver e quali sono le sue responsabilità?

Lo Spark Driver è il processo centrale che orchestra le applicazioni Spark, eseguendo i task attraverso i cluster. Comunica con il cluster manager per allocare risorse, pianificare i task e monitorare l'esecuzione dei job Spark.

Che cos'è il DAG di Spark?

Un grafo aciclico diretto (DAG) in Spark è un concetto fondamentale perché rappresenta il modello logico di esecuzione di Spark. È diretto perché ogni nodo rappresenta una trasformazione eseguita in un ordine specifico ai lati (edge). È aciclico perché non ci sono loop o cicli nel piano di esecuzione. Questo piano viene ottimizzato tramite trasformazioni a pipeline, coalescenza dei task e predicate pushdown.

Quali sono i diversi tipi di cluster manager disponibili in Spark?

Spark supporta attualmente diversi cluster manager per la gestione delle risorse e la pianificazione dei job, tra cui:

• Standalone, un semplice cluster incluso in Spark.
• Hadoop YARN, un gestore generale in Hadoop utilizzato per la pianificazione dei job e la gestione delle risorse.
• Kubernetes, usato per automatizzare, distribuire, scalare e gestire applicazioni containerizzate.
• Apache Mesos (ora ritirato), un sistema distribuito usato per gestire risorse per applicazione.

Descrivi come implementare una trasformazione personalizzata in PySpark.

Per implementare una trasformazione personalizzata in PySpark, possiamo definire una funzione Python che opera sui DataFrame PySpark e poi usare il metodo .transform() per invocare la trasformazione.

Ecco un esempio di come implementare una trasformazione personalizzata in PySpark: 

# Definisci una funzione Python che opera sui DataFrame PySpark
def get_discounted_price(df):
    return df.withColumn("discounted_price", \
                          df.price - (df.price * df.discount) / 100) 

# Richiama la trasformazione
df_discounted = df_from_csv.transfrom(get_discounted_price)

Spiega il concetto di funzioni finestra (window functions) in PySpark e fornisci un esempio.

Le funzioni finestra di PySpark ci consentono di applicare operazioni su una finestra di righe restituendo un singolo valore per ogni riga di input. Possiamo eseguire funzioni di ranking, analitiche e di aggregazione. 

Ecco un esempio di come applicare una funzione finestra in PySpark: 

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

# Definisci la finestra
window = Window.orderBy("discounted_price")

# Applica la funzione finestra
df = df_from_csv.withColumn("row_number", row_number().over(window))

Come gestisci errori ed eccezioni in PySpark?

Uno dei modi più utili per gestire errori ed eccezioni nelle trasformazioni e azioni PySpark è racchiudere il codice in blocchi try-except per intercettarli. Negli RDD, possiamo usare l'operazione foreach per iterare sugli elementi e gestire le eccezioni. 

Qual è lo scopo dei checkpoint in PySpark?

In PySpark, il checkpointing implica che gli RDD vengano salvati su disco in modo che questo punto intermedio possa essere referenziato in futuro invece di ricalcolare l'RDD dalla sorgente originale. I checkpoint forniscono un modo per riprendersi dai guasti perché il driver viene riavviato con questo stato precedentemente calcolato. 

Come gestisce PySpark l'inferenza dello schema e come puoi definire esplicitamente uno schema?

PySpark inferisce automaticamente lo schema quando carica dati strutturati, ma per un controllo e un'efficienza migliori puoi definire lo schema in modo esplicito usando StructType e StructField.

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("name", StringType(), True)
])

df = spark.read.csv("data.csv", schema=schema, header=True)

Domande avanzate su PySpark per i colloqui

Per chi punta a ruoli più senior o desidera dimostrare una comprensione più profonda di PySpark, esploriamo alcune domande avanzate che approfondiscono le complessità delle trasformazioni e delle ottimizzazioni nell'ecosistema PySpark.

Spiega le differenze tra trasformazioni strette (narrow) e larghe (wide) in PySpark.

In PySpark, le trasformazioni strette si verificano quando ogni partizione di input contribuisce ad al più una partizione di output e non richiedono shuffle. Esempi includono map(), filter() e union. Al contrario, le trasformazioni larghe sono necessarie per operazioni in cui ogni partizione di input può contribuire a più partizioni di output e richiedono shuffle dei dati, join o aggregazioni. Esempi includono groupBy(), join() e sortBy().

Che cos'è l'ottimizzatore Catalyst in Spark e come funziona?

In Spark, l'ottimizzatore Catalyst è un componente basato su regole di Spark SQL utilizzato per ottimizzare le prestazioni delle query. Il suo compito principale è trasformare e migliorare l'SQL o le operazioni sui DataFrame dell'utente per generare un piano di esecuzione fisico efficiente, adattato alle caratteristiche specifiche della query e del dataset.

Descrivi come implementare aggregazioni personalizzate in PySpark.

Per implementare aggregazioni personalizzate in PySpark, possiamo usare insieme i metodi groupBy() e agg(). All'interno della chiamata a agg(), possiamo passare diverse funzioni dal modulo pyspark.sql.functions. Inoltre, possiamo applicare aggregazioni personalizzate di Pandas ai gruppi all'interno di un DataFrame PySpark usando il metodo .applyInPandas().

Ecco un esempio di come implementare aggregazioni personalizzate in PySpark: 

# Usa groupBy e agg con Functions
from pyspark.sql import functions as F
df_from_csv.groupBy("house_id").agg(F.mean("price_discounted"))

# Usa applyInPandas
def normalize_price(df):
    disc_price = df["discounted_price"]
    df["normalized_price"] = disc_price.mean() / disc_price.std()

df_from_csv.groupBy("house_id").applyInPandas(normalize_price)

Quali sfide hai affrontato lavorando con dataset di grandi dimensioni in PySpark? Come le hai superate?

Con questa domanda, possiamo rifarci alla nostra esperienza e raccontare un caso specifico in cui abbiamo riscontrato sfide con PySpark e grandi dataset che possono includere alcuni dei seguenti aspetti:

• Gestione della memoria e utilizzo delle risorse.
• Skew dei dati e distribuzione non uniforme del carico di lavoro.
• Ottimizzazione delle prestazioni, in particolare per trasformazioni ampie e shuffle.
• Debug e risoluzione di errori complessi nei job.
• Partizionamento ed archiviazione dei dati efficienti.

Per superare questi problemi, PySpark fornisce il partizionamento del dataset, la cache dei risultati intermedi, l'uso di tecniche di ottimizzazione integrate, una solida gestione del cluster e l'impiego di meccanismi di tolleranza ai guasti.

Come integri PySpark con altri strumenti e tecnologie dell'ecosistema big data?

PySpark offre una forte integrazione con vari strumenti per i big data, tra cui Hadoop, Hive, Kafka e HBase, oltre agli storage cloud come AWS S3 e Google Cloud Storage. Questa integrazione avviene tramite connettori integrati, librerie e API fornite da PySpark.

Quali sono alcune best practice per testare e fare debug delle applicazioni PySpark?

Alcune best practice consigliate per testare e fare debug delle app PySpark includono:

• Scrivere test unitari usando pyspark.sql.test.SQLTestUtils insieme alle librerie Python (pytest)

• Eseguire il debug delle app e registrare messaggi usando la libreria logging e la Spark UI

• Ottimizzare le prestazioni usando le API Spark org.apache.spark.metrics e strumenti di monitoraggio delle performance.

Come gestiresti problematiche di sicurezza e privacy dei dati in un ambiente PySpark?

Condividere dati è diventato più semplice oggi, quindi proteggere informazioni sensibili e riservate è un buon modo per evitare fughe di dati. Una delle best practice che possiamo seguire è applicare la crittografia dei dati durante l'elaborazione e l'archiviazione.

In PySpark, possiamo ottenere questo risultato usando le funzioni aes_encrypt() e aes_decrypt() su colonne di un DataFrame. Possiamo anche utilizzare un'altra libreria, come la libreria cryptography, per raggiungere questo obiettivo.

Descrivi come usare PySpark per creare e distribuire un modello di machine learning.

PySpark ci mette a disposizione la libreria MLlib, una libreria di machine learning scalabile per costruire e distribuire modelli su grandi dataset. L'API di questa libreria può essere usata per diverse attività del processo di ML, come il preprocessing dei dati, l'ingegneria delle caratteristiche, l'addestramento dei modelli, la valutazione e la messa in produzione. Usando i cluster Spark, possiamo distribuire in produzione modelli di ML basati su PySpark con inferenza batch o in streaming. 

Come puoi ottimizzare le operazioni di shuffle in PySpark?

Le operazioni di shuffle si verificano quando i dati vengono ridistribuiti tra le partizioni e possono essere costose in termini di prestazioni. Per ottimizzare gli shuffle:

• Usa repartition() in modo strategico per bilanciare le partizioni prima di operazioni costose come i join.

• Preferisci coalesce() invece di repartition() quando riduci le partizioni, poiché minimizza lo spostamento dei dati.

• Esegui il broadcast delle tabelle più piccole usando broadcast() prima di unirle a tabelle grandi per evitare operazioni intensive di shuffle.

• Sintonizza le configurazioni Spark come spark.sql.shuffle.partitions per ottimizzare il numero di partizioni per le operazioni di shuffle.

Domande su PySpark per un Data Engineer

Se stai sostenendo un colloquio per un ruolo di data engineering, aspettati domande che valutino la tua capacità di progettare, ottimizzare e risolvere problemi nelle applicazioni PySpark in produzione. Vediamo alcune tipiche domande di colloquio che potresti incontrare.

Descrivi come ottimizzeresti un job PySpark che sta andando a rilento. Quali sono i fattori chiave che prenderesti in considerazione?

Se un job PySpark è lento, ci sono diversi aspetti che possiamo migliorare per ottimizzarne le prestazioni:

• Garantire una dimensione e un numero appropriati di partizioni dei dati per minimizzare lo shuffle durante le trasformazioni.
• Usare i DataFrame invece degli RDD perché sfruttano già diversi moduli di ottimizzazione per migliorare le prestazioni dei carichi Spark.
• Usare join con broadcasting e variabili broadcast per unire un dataset piccolo con uno grande.
• Mettere in cache e persistere i DataFrame intermedi che vengono riutilizzati.
• Regolare il numero di partizioni, i core degli executor e le istanze per utilizzare efficacemente le risorse del cluster.
• Scegliere i formati di file più appropriati per minimizzare la dimensione dei dati.

Come garantisci la tolleranza ai guasti nelle applicazioni PySpark?

Per garantire la tolleranza ai guasti nelle applicazioni PySpark, possiamo adottare diverse strategie:

• Usare il checkpointing per salvare i dati in determinati punti.
• Replicare i dati salvandoli su macchine diverse.
• Mantenere un log delle modifiche effettuate ai dati prima che avvengano.
• Eseguire controlli di validazione dei dati per individuare errori.
• Scegliere il corretto livello di persistenza.
• Usare la tolleranza ai guasti integrata in Spark per ritentare automaticamente i task che falliscono.

Quali sono i diversi modi per distribuire e gestire applicazioni PySpark?

Possiamo distribuire e gestire applicazioni PySpark usando i seguenti strumenti:

• YARN: un gestore di risorse che ci aiuta a distribuire e gestire le app su cluster Hadoop
• Kubernetes: Spark fornisce supporto per distribuire le app usando cluster Kubernetes
• Databricks: offre una piattaforma completamente gestita per applicazioni PySpark, astraendo la complessità della gestione del cluster.

Per saperne di più su Databricks, consulta questo corso Introduzione a Databricks.

Puoi anche saperne di più su Kubernetes in questo tutorial su Containerization: Docker and Kubernetes for Machine Learning.

Come monitoreresti e risolveresti i problemi dei job PySpark in esecuzione in un ambiente di produzione?

PySpark ci offre i seguenti strumenti per monitorare e risolvere i problemi dei job in esecuzione in produzione:

• Spark UI: un'interfaccia utente web che aiuta a monitorare l'avanzamento dei job, l'utilizzo delle risorse e l'esecuzione dei task.
• Logging: possiamo configurare il logging per acquisire informazioni dettagliate su errori e avvisi.
• Metriche: possiamo usare sistemi di monitoraggio per raccogliere e analizzare metriche relative alla salute del cluster e alle prestazioni dei job.

Spiega la differenza tra allocazione dinamica e statica in Spark e quando potresti scegliere l'una o l'altra.

In Spark, l'allocazione statica si riferisce alla fornitura preventiva e costante di risorse fisse, come memoria e core degli executor, per l'intera durata dell'applicazione. Al contrario, l'allocazione dinamica consente a Spark di regolare dinamicamente il numero di executor in base al carico di lavoro. Le risorse possono essere aggiunte o rimosse secondo necessità, migliorando l'utilizzo delle risorse e riducendo i costi.

Come decidi tra l'uso di DataFrame e RDD in PySpark?

La scelta tra DataFrame e RDD dipende dalla struttura dei dati e dal tipo di operazioni da eseguire.

• Usa i DataFrame quando:
  • Hai bisogno di elaborazione di dati strutturati basata su schema.
  • Vuoi un'esecuzione ottimizzata con Catalyst e Tungsten.
  • Lavori con query SQL e trasformazioni integrate.
• Usa gli RDD quando:
  • Hai bisogno di trasformazioni di basso livello e controllo fine sui calcoli.
  • Stai lavorando con dati non strutturati o semi-strutturati.
  • Hai bisogno di maggiore flessibilità nel definire le trasformazioni.

Come implementeresti l'elaborazione incrementale dei dati in PySpark?

L'elaborazione incrementale è essenziale per gestire in modo efficiente dataset in continua crescita. Può essere implementata tramite:

• Uso di Delta Lake: archiviare gli aggiornamenti in formato Delta consente di gestire in modo efficiente le modifiche incrementali.

• Uso del watermarking con lo structured streaming: aiuta a scartare i dati vecchi mantenendo aggregazioni stateful.

• Partizionamento e filtraggio: caricare solo i dati nuovi o modificati invece di rielaborare tutto.

• Uso del checkpointing: salva i risultati intermedi per evitare di rielaborare da zero in caso di errore.

Conclusione

In questo articolo, abbiamo coperto un'ampia gamma di domande per i colloqui su PySpark, che spaziano da argomenti di base, intermedi e avanzati. Dalla comprensione dei concetti chiave e dei vantaggi di PySpark fino ad arrivare a ottimizzazioni più complesse e tecniche di troubleshooting, abbiamo esplorato le aree principali su cui i potenziali datori di lavoro potrebbero interrogarti.

Se ti serve altra formazione su PySpark in vista del colloquio, dai un'occhiata ai seguenti corsi:

• Introduzione a PySpark
• Big Data con PySpark
• Fondamenti di Big Data con PySpark
• Foglio di riferimento PySpark: Spark in Python
• Machine Learning con PySpark