36 Pertanyaan dan Jawaban Wawancara PySpark Teratas untuk 2026

Pertanyaan Wawancara PySpark Dasar

Mari mulai dengan mengeksplorasi beberapa pertanyaan wawancara PySpark mendasar yang menilai pemahaman Anda tentang konsep inti dan keunggulan pustaka yang kuat ini.

Apa keunggulan utama menggunakan PySpark dibandingkan Python tradisional untuk pemrosesan big data?

PySpark, API Python untuk Apache Spark, menawarkan beberapa keunggulan dibandingkan Python tradisional untuk pemrosesan big data. Ini meliputi:

• Skalabilitas untuk menangani dataset yang sangat besar.
• Kinerja tinggi melalui pemrosesan paralel.
• Toleransi kesalahan untuk keandalan data.
• Integrasi dengan alat big data lain dalam ekosistem Apache.

Bagaimana cara membuat SparkSession di PySpark? Apa kegunaan utamanya?

Di PySpark, SparkSession adalah titik masuk untuk menggunakan fungsionalitas Spark, dan dibuat menggunakan API SparkSession.builder. 

Kegunaan utamanya meliputi:

• Berinteraksi dengan Spark SQL untuk memproses data terstruktur.
• Membuat DataFrame.
• Konfigurasi properti Spark.
• Mengelola siklus hidup SparkContext dan SparkSession.

Berikut contoh cara membuat SparkSession: 

from pyspark.sql import SparkSession
     
spark = SparkSession.builder \
         .appName("MySparkApp") \
         .master("local[*]") \
         .getOrCreate()	

Jelaskan berbagai cara membaca data ke dalam PySpark.

PySpark mendukung pembacaan data dari berbagai sumber, seperti CSV, Parquet, dan JSON, di antaranya. Untuk ini, PySpark menyediakan berbagai metode, termasuk spark.read.csv(), spark.read.parquet(), spark.read.json(), spark.read.format(), spark.read.load(). 

Berikut contoh cara membaca data ke PySpark: 

df_from_csv = spark.read.csv("my_file.csv", header=True)
df_from_parquet = spark.read.parquet("my_file.parquet")
df_from_json = spark.read.json("my_file.json")

Bagaimana Anda menangani data hilang (missing data) di PySpark?

Di PySpark, kita dapat menangani data hilang menggunakan beberapa metode:

• Kita dapat menghapus baris atau kolom yang mengandung nilai hilang menggunakan metode .dropna().

• Kita dapat mengisi data yang hilang dengan nilai tertentu atau menggunakan metode interpolasi dengan metode .fillna().

• Kita dapat melakukan imputasi nilai hilang menggunakan metode statistik, seperti mean atau median, menggunakan Imputer.

Berikut contoh cara menangani data hilang di PySpark: 

# How to drop rows 
df_from_csv.dropna(how="any")

# How to fill missing values with a constant
df_from_parquet.fillna(value=2)

# How to impute values with median
from pyspark.ml.feature import Imputer
imputer = Imputer(strategy="median", inputCols=["price","rooms"], outputCols=["price_imputed","rooms_imputed"])
model = imputer.fit(df_from_json)
df_imputed = model.transform(df_from_json)

Bagaimana Anda melakukan cache data di PySpark untuk meningkatkan kinerja?

Salah satu keunggulan PySpark adalah memungkinkan kita menggunakan metode .cache() atau .persist() untuk menyimpan data di memori atau pada level penyimpanan yang ditentukan. Tugas ini meningkatkan kinerja dengan menghindari komputasi berulang dan mengurangi kebutuhan serialisasi serta deserialisasi data. 

Berikut contoh cara melakukan cache data di PySpark: 

# How to cache data in memory 
df_from_csv.cache()

# How to persist data in local disk 
df_from_csv.persist(storageLevel=StorageLevel.DISK_ONLY)

Jelaskan melakukan join di PySpark.

PySpark memungkinkan kita melakukan beberapa jenis join: inner, outer, left, dan right join. Dengan menggunakan metode .join(), kita dapat menentukan kondisi join pada parameter on dan tipe join menggunakan parameter how, seperti pada contoh berikut:

# How to inner join two datasets
df_from_csv.join(df_from_json, on="id", how="inner")

# How to outer datasets
df_from_json.join(df_from_parquet, on="product_id", how="outer")

Apa perbedaan utama antara RDD, DataFrame, dan Dataset di PySpark?

Spark Resilient Distributed Datasets (RDD), DataFrame, dan Dataset adalah abstraksi kunci di Spark yang memungkinkan kita bekerja dengan data terstruktur dalam lingkungan komputasi terdistribusi. Meskipun semuanya merupakan cara merepresentasikan data, ada perbedaan utama:

• RDD adalah API level rendah yang tidak memiliki skema dan menawarkan kontrol atas data. RDD adalah koleksi objek yang immutable 
• DataFrame adalah API level tinggi yang dibangun di atas RDD dan dioptimalkan untuk performa tetapi tidak type-safe. Data terstruktur dan semi-terstruktur diorganisasikan dalam kolom bernama.
• Dataset menggabungkan manfaat RDD dan DataFrame. Ini adalah API level tinggi yang menyediakan abstraksi type-safe. Mendukung Python dan Scala dan menyediakan pemeriksaan tipe saat kompilasi sekaligus lebih cepat daripada DataFrame. 

Jelaskan konsep lazy evaluation di PySpark. Bagaimana dampaknya pada kinerja?

PySpark menerapkan strategi yang disebut lazy evaluation, di mana transformasi yang diterapkan pada dataset terdistribusi (RDD, DataFrame, atau Dataset) tidak dieksekusi segera. Sebaliknya, Spark membangun urutan operasi atau transformasi yang akan dilakukan pada data yang disebut directed acyclic graph (DAG). Lazy evaluation ini meningkatkan kinerja dan mengoptimalkan eksekusi karena komputasi ditunda hingga sebuah aksi dipicu dan benar-benar diperlukan.

Apa peran partisi (partitioning) di PySpark? Bagaimana hal ini dapat meningkatkan kinerja?

Di PySpark, partisi data adalah fitur kunci yang membantu kita mendistribusikan beban secara merata di seluruh node dalam sebuah klaster. Partisi mengacu pada tindakan membagi data menjadi potongan-potongan lebih kecil (partisi) yang diproses secara independen dan paralel di seluruh klaster. Ini meningkatkan kinerja dengan memungkinkan pemrosesan paralel, mengurangi perpindahan data, dan meningkatkan pemanfaatan sumber daya. Partisi dapat dikendalikan menggunakan metode seperti .repartition() dan .coalesce().

Jelaskan konsep variabel broadcast di PySpark dan berikan contoh penggunaannya.

Variabel broadcast adalah fitur kunci dari kerangka kerja komputasi terdistribusi Spark. Di PySpark, variabel ini bersifat read-only, dibagikan, di-cache, dan didistribusikan ke node klaster untuk menghindari operasi shuffle. Variabel ini sangat berguna ketika kita memiliki aplikasi machine learning terdistribusi yang perlu menggunakan dan memuat model terlatih. Kita broadcast model sebagai variabel, yang membantu mengurangi overhead transfer data dan meningkatkan kinerja.

Apa perbedaan antara PySpark dan pandas?

PySpark dan pandas sama-sama populer untuk manipulasi data, tetapi memiliki perbedaan utama:

• Skalabilitas: PySpark dirancang untuk big data dan pemrosesan terdistribusi, sedangkan pandas cocok untuk dataset yang lebih kecil yang muat di memori.
• Kinerja: PySpark melakukan pemrosesan paralel di seluruh klaster, sehingga jauh lebih cepat untuk dataset besar dibandingkan pandas yang beroperasi pada satu mesin.
• Kemudahan penggunaan: Pandas lebih sederhana untuk exploratory data analysis (EDA), sementara PySpark lebih kompleks tetapi sangat dioptimalkan untuk komputasi terdistribusi.

Bagaimana Anda mengonversi DataFrame Pandas ke DataFrame PySpark dan sebaliknya?

Anda dapat mengonversi DataFrame Pandas ke DataFrame PySpark menggunakan spark.createDataFrame() dan sebaliknya menggunakan .toPandas().

import pandas as pd
from pyspark.sql import SparkSession

# Initialize SparkSession
spark = SparkSession.builder.appName("Example").getOrCreate()

# Create Pandas DataFrame
pdf = pd.DataFrame({'id': [1, 2, 3], 'value': [10, 20, 30]})

# Convert to PySpark DataFrame
df_spark = spark.createDataFrame(pdf)

# Convert back to Pandas DataFrame
pdf_new = df_spark.toPandas()

Pertanyaan Wawancara PySpark Tingkat Menengah

Setelah membahas dasar-dasarnya, mari beralih ke beberapa pertanyaan wawancara PySpark tingkat menengah yang menggali lebih dalam arsitektur dan model eksekusi aplikasi Spark.

Apa itu Spark Driver, dan apa tanggung jawabnya?

Spark Driver adalah proses inti yang mengorkestrasi aplikasi Spark dengan mengeksekusi tugas di seluruh klaster. Driver berkomunikasi dengan pengelola klaster untuk mengalokasikan sumber daya, menjadwalkan tugas, dan memantau eksekusi job Spark.

Apa itu Spark DAG?

Directed acyclic graph (DAG) di Spark adalah konsep kunci karena merepresentasikan model eksekusi logis Spark. Disebut directed karena setiap node merepresentasikan transformasi yang dieksekusi dalam urutan tertentu pada sisi-sisinya. Disebut acyclic karena tidak ada loop atau siklus dalam rencana eksekusi. Rencana ini dioptimalkan menggunakan transformasi pipeline, penggabungan tugas, dan predicate pushdown.

Apa saja jenis pengelola klaster yang tersedia di Spark?

Spark saat ini mendukung berbagai pengelola klaster untuk manajemen sumber daya dan penjadwalan job, termasuk:

• Standalone, klaster sederhana yang disertakan dalam Spark.
• Hadoop YARN adalah pengelola umum di Hadoop yang digunakan untuk penjadwalan job dan manajemen sumber daya.
• Kubernetes digunakan untuk otomatisasi, deployment, penskalaan, dan pengelolaan aplikasi terkontainer.
• Apache Mesos (kini dihentikan) adalah sistem terdistribusi yang digunakan untuk mengelola sumber daya per aplikasi.

Jelaskan cara mengimplementasikan transformasi kustom di PySpark.

Untuk mengimplementasikan transformasi kustom di PySpark, kita dapat mendefinisikan fungsi Python yang beroperasi pada DataFrame PySpark lalu menggunakan metode .transform() untuk memanggil transformasi tersebut.

Berikut contoh cara mengimplementasikan transformasi kustom di PySpark: 

# Define a python function that operates on pySpark DataFrames
def get_discounted_price(df):
    return df.withColumn("discounted_price", \
                          df.price - (df.price * df.discount) / 100) 

# Evoke the transformation
df_discounted = df_from_csv.transfrom(get_discounted_price)

Jelaskan konsep window function di PySpark dan berikan contohnya.

Window function PySpark memungkinkan kita menerapkan operasi pada sebuah jendela baris dan mengembalikan satu nilai untuk setiap baris masukan. Kita dapat melakukan fungsi ranking, analitik, dan agregasi. 

Berikut contoh cara menerapkan window function di PySpark: 

from pyspark.sql.window import Window
from pyspark.sql.functions import row_number

# Define the window function
window = Window.orderBy("discounted_price")

# Apply window function
df = df_from_csv.withColumn("row_number", row_number().over(window))

Bagaimana Anda menangani error dan exception di PySpark?

Salah satu cara paling berguna untuk menangani error dan exception dalam transformasi dan aksi PySpark adalah membungkus kode dalam blok try-except untuk menangkapnya. Pada RDD, kita dapat menggunakan operasi foreach untuk mengiterasi elemen dan menangani exception. 

Apa tujuan checkpoints di PySpark?

Di PySpark, checkpointing berarti RDD disimpan ke disk sehingga titik perantara ini dapat dirujuk di masa mendatang alih-alih menghitung ulang RDD dari sumber awal. Checkpoint menyediakan cara untuk memulihkan dari kegagalan karena driver dapat dimulai ulang dengan status yang telah dihitung sebelumnya. 

Bagaimana PySpark melakukan inferensi skema, dan bagaimana Anda dapat mendefinisikan skema secara eksplisit?

PySpark secara otomatis menyimpulkan skema saat memuat data terstruktur, tetapi untuk kontrol dan efisiensi yang lebih baik, Anda dapat mendefinisikan skema secara eksplisit menggunakan StructType dan StructField.

from pyspark.sql.types import StructType, StructField, IntegerType, StringType

schema = StructType([
    StructField("id", IntegerType(), True),
    StructField("name", StringType(), True)
])

df = spark.read.csv("data.csv", schema=schema, header=True)

Pertanyaan Wawancara PySpark Lanjutan

Bagi Anda yang mencari peran lebih senior atau ingin menunjukkan pemahaman lebih mendalam tentang PySpark, mari jelajahi beberapa pertanyaan wawancara lanjutan yang menyelami seluk-beluk transformasi dan optimasi dalam ekosistem PySpark.

Jelaskan perbedaan antara transformasi narrow dan wide di PySpark.

Di PySpark, transformasi narrow terjadi saat setiap partisi masukan berkontribusi pada paling banyak satu partisi keluaran dan tidak memerlukan shuffle. Contohnya termasuk map(), filter(), dan union. Sebaliknya, transformasi wide diperlukan untuk operasi di mana setiap partisi masukan dapat berkontribusi pada beberapa partisi keluaran dan memerlukan data shuffling, join, atau agregasi. Contohnya termasuk groupBy(), join(), dan sortBy().

Apa itu Catalyst optimizer di Spark, dan bagaimana cara kerjanya?

Di Spark, Catalyst optimizer adalah komponen berbasis aturan dari Spark SQL yang digunakan untuk mengoptimalkan kinerja query. Tugas utamanya adalah mentransformasikan dan memperbaiki operasi SQL atau DataFrame pengguna untuk menghasilkan rencana eksekusi fisik yang efisien yang disesuaikan dengan karakteristik query dan dataset tertentu.

Jelaskan cara mengimplementasikan agregasi kustom di PySpark.

Untuk mengimplementasikan agregasi kustom di PySpark, kita dapat menggunakan metode groupBy() dan agg() bersama-sama. Di dalam pemanggilan agg(), kita dapat meneruskan beberapa fungsi dari modul pyspark.sql.functions. Kita juga dapat menerapkan agregasi kustom Pandas pada grup dalam DataFrame PySpark menggunakan metode .applyInPandas().

Berikut contoh cara mengimplementasikan agregasi kustom di PySpark: 

# Use groupBy and agg with Functions
from pyspark.sql import functions as F
df_from_csv.groupBy("house_id").agg(F.mean("price_discounted"))

# Use applyInPandas
def normalize_price(df):
    disc_price = df["discounted_price"]
    df["normalized_price"] = disc_price.mean() / disc_price.std()

df_from_csv.groupBy("house_id").applyInPandas(normalize_price)

Tantangan apa yang Anda hadapi saat bekerja dengan dataset besar di PySpark? Bagaimana Anda mengatasinya?

Dengan pertanyaan ini, kita dapat mengaitkannya dengan pengalaman sendiri dan menceritakan kasus khusus saat menghadapi tantangan dengan PySpark dan dataset besar yang dapat mencakup beberapa hal berikut:

• Manajemen memori dan pemanfaatan sumber daya.
• Kecondongan data dan distribusi beban kerja yang tidak merata.
• Optimasi kinerja, terutama untuk transformasi wide dan shuffle.
• Debugging dan penelusuran kegagalan job yang kompleks.
• Partisi dan penyimpanan data yang efisien.

Untuk mengatasi masalah ini, PySpark menyediakan partisi dataset, caching hasil perantara, menggunakan teknik optimasi bawaan, manajemen klaster yang andal, dan memanfaatkan mekanisme toleransi kesalahan.

Bagaimana Anda mengintegrasikan PySpark dengan alat dan teknologi lain di ekosistem big data?

PySpark memiliki integrasi yang kuat dengan berbagai alat big data, termasuk Hadoop, Hive, Kafka, dan HBase, serta penyimpanan berbasis cloud seperti AWS S3 dan Google Cloud Storage. Integrasi ini dilakukan menggunakan konektor, pustaka, dan API bawaan yang disediakan oleh PySpark.

Apa praktik terbaik untuk pengujian dan debugging aplikasi PySpark?

Beberapa praktik terbaik yang direkomendasikan untuk menguji dan melakukan debugging Aplikasi PySpark meliputi:

• Menulis unit test menggunakan pyspark.sql.test.SQLTestUtils bersama pustaka Python (pytest)

• Melakukan debugging aplikasi dan logging pesan menggunakan pustaka logging serta Spark UI

• Mengoptimalkan kinerja menggunakan API Spark org.apache.spark.metrics dan alat pemantauan kinerja.

Bagaimana Anda menangani masalah keamanan dan privasi data di lingkungan PySpark?

Berbagi data menjadi lebih mudah saat ini, sehingga melindungi informasi sensitif dan rahasia adalah cara yang baik untuk menghindari kebocoran data. Salah satu praktik terbaik yang dapat kita ikuti adalah menerapkan enkripsi data selama pemrosesan dan penyimpanan.

Di PySpark, kita dapat mencapainya dengan menggunakan fungsi aes_encrypt() dan aes_decrypt() pada kolom-kolom dalam DataFrame. Kita juga dapat menggunakan pustaka lain, seperti pustaka cryptography, untuk mencapai tujuan ini.

Jelaskan cara menggunakan PySpark untuk membangun dan menerapkan model machine learning.

PySpark menyediakan pustaka MLlib, pustaka machine learning yang dapat diskalakan untuk membangun dan menerapkan model machine learning pada dataset besar. API pustaka ini dapat digunakan untuk berbagai tugas dalam proses ML, seperti prapemrosesan data, rekayasa fitur, pelatihan model, evaluasi, dan deployment. Dengan menggunakan klaster Spark, kita dapat menerapkan model ML berbasis PySpark di produksi menggunakan inferensi batch atau streaming. 

Bagaimana Anda dapat mengoptimalkan operasi shuffle di PySpark?

Operasi shuffle terjadi ketika data didistribusikan ulang di seluruh partisi, dan ini bisa mahal dari sisi kinerja. Untuk mengoptimalkan shuffle:

• Gunakan repartition() secara strategis untuk menyeimbangkan partisi sebelum operasi mahal seperti join.

• Lebih mengutamakan coalesce() daripada repartition() saat mengurangi jumlah partisi, karena meminimalkan perpindahan data.

• Broadcast tabel yang lebih kecil menggunakan broadcast() sebelum melakukan join dengan tabel besar untuk menghindari operasi intensif shuffle.

• Sesuaikan konfigurasi Spark seperti spark.sql.shuffle.partitions untuk mengoptimalkan jumlah partisi pada operasi shuffle.

Pertanyaan Wawancara PySpark untuk Seorang Data Engineer

Jika Anda mengikuti wawancara untuk peran data engineering, harapkan pertanyaan yang menilai kemampuan Anda merancang, mengoptimalkan, dan menelusuri masalah aplikasi PySpark di lingkungan produksi. Mari kita bahas beberapa pertanyaan umum yang mungkin Anda temui.

Jelaskan bagaimana Anda akan mengoptimalkan job PySpark yang berjalan lambat. Faktor kunci apa yang akan Anda perhatikan?

Jika sebuah job PySpark berjalan lambat, ada beberapa aspek yang dapat kita tingkatkan untuk mengoptimalkan kinerjanya:

• Memastikan ukuran dan jumlah partisi data yang tepat untuk meminimalkan data shuffling selama transformasi.
• Menggunakan DataFrame alih-alih RDD karena DataFrame sudah menggunakan beberapa modul optimasi untuk meningkatkan kinerja beban kerja Spark.
• Menggunakan broadcasting join dan variabel broadcast untuk menggabungkan dataset kecil dengan dataset yang lebih besar.
• Melakukan cache dan persist pada DataFrame perantara yang digunakan kembali.
• Menyesuaikan jumlah partisi, inti executor, dan instance untuk menggunakan sumber daya klaster secara efektif.
• Memilih format file yang tepat untuk meminimalkan ukuran data.

Bagaimana Anda memastikan toleransi kesalahan (fault tolerance) dalam aplikasi PySpark?

Untuk memastikan toleransi kesalahan dalam aplikasi PySpark, kita dapat mengambil beberapa strategi:

• Menggunakan Checkpointing untuk menyimpan data pada titik tertentu.
• Mereplikasi data kita dengan menyimpannya di berbagai mesin.
• Menyimpan log perubahan yang dilakukan pada data sebelum perubahan tersebut terjadi.
• Melakukan pemeriksaan validasi data untuk memindai kesalahan.
• Memilih level persistensi yang tepat.
• Menggunakan toleransi kesalahan bawaan Spark untuk secara otomatis mencoba ulang tugas yang gagal.

Apa saja cara yang berbeda untuk melakukan deployment dan mengelola aplikasi PySpark?

Kita dapat melakukan deployment dan mengelola aplikasi PySpark menggunakan alat berikut:

• YARN: pengelola sumber daya yang membantu kita melakukan deployment dan mengelola aplikasi pada klaster Hadoop
• Kubernetes: Spark menyediakan dukungan untuk melakukan deployment aplikasi menggunakan klaster Kubernetes
• Databricks: Menyediakan platform terkelola penuh untuk aplikasi PySpark, menyederhanakan kompleksitas manajemen klaster.

Untuk mempelajari lebih lanjut tentang Databricks, lihat kursus Introduction to Databricks ini.

Anda juga dapat mempelajari lebih lanjut tentang Kubernetes dalam tutorial Containerization: Docker and Kubernetes for Machine Learning ini.

Bagaimana Anda memantau dan menelusuri masalah job PySpark yang berjalan di lingkungan produksi?

PySpark menawarkan alat berikut untuk memantau dan menelusuri masalah job yang berjalan di lingkungan produksi:

• Spark UI: Antarmuka pengguna berbasis web yang membantu kita memantau kemajuan job, pemanfaatan sumber daya, dan eksekusi tugas.
• Logging: Kita dapat mengonfigurasi logging untuk menangkap informasi terperinci tentang error dan peringatan.
• Metode pengukuran (Metrics): Kita dapat menggunakan sistem pemantauan untuk mengumpulkan dan menganalisis metrik terkait kesehatan klaster dan kinerja job.

Jelaskan perbedaan antara alokasi dinamis dan statis di Spark, serta kapan Anda mungkin memilih salah satunya.

Di Spark, alokasi statis mengacu pada penyediaan sumber daya tetap, seperti memori dan inti executor, secara di muka dan konstan selama seluruh durasi aplikasi. Sebaliknya, alokasi dinamis memungkinkan Spark menyesuaikan jumlah executor secara dinamis berdasarkan kebutuhan beban kerja. Sumber daya dapat ditambah atau dikurangi sesuai kebutuhan, meningkatkan pemanfaatan sumber daya dan mengurangi biaya.

Bagaimana Anda memutuskan antara menggunakan DataFrame dan RDD di PySpark?

Pemilihan antara DataFrame dan RDD bergantung pada struktur data Anda dan jenis operasi yang perlu Anda lakukan.

• Gunakan DataFrame ketika:
  • Anda memerlukan pemrosesan data terstruktur berbasis skema.
  • Anda menginginkan eksekusi yang dioptimalkan dengan Catalyst dan Tungsten.
  • Anda bekerja dengan kueri SQL dan transformasi bawaan.
• Gunakan RDD ketika:
  • Anda memerlukan transformasi level rendah dan kontrol terperinci atas komputasi.
  • Anda bekerja dengan data tidak terstruktur atau semi-terstruktur.
  • Anda memerlukan fleksibilitas lebih dalam mendefinisikan transformasi.

Bagaimana Anda akan mengimplementasikan pemrosesan data inkremental di PySpark?

Pemrosesan inkremental sangat penting untuk menangani dataset yang terus bertambah secara efisien. Ini dapat diimplementasikan dengan:

• Menggunakan Delta Lake: Menyimpan pembaruan dalam format Delta memungkinkan penanganan perubahan inkremental secara efisien.

• Menggunakan watermarking dengan structured streaming: Membantu membuang data lama sambil mempertahankan agregasi stateful.

• Partisi dan pemfilteran: Memuat hanya data baru atau yang dimodifikasi alih-alih memproses ulang semuanya.

• Menggunakan checkpointing: Menyimpan hasil perantara untuk menghindari pemrosesan ulang dari awal jika terjadi kegagalan.

Kesimpulan

Dalam artikel ini, kami telah membahas berbagai pertanyaan wawancara PySpark yang mencakup topik dasar, menengah, hingga lanjutan. Dari memahami konsep inti dan keunggulan PySpark hingga menyelami optimasi yang lebih kompleks dan teknik penelusuran masalah, kami telah mengeksplorasi area kunci yang mungkin ditanyakan oleh calon pemberi kerja.

Jika Anda membutuhkan pelatihan PySpark lebih lanjut untuk wawancara, lihat kursus-kursus berikut:

• Introduction to PySpark
• Big Data with PySpark
• Big Data Fundamentals with PySpark
• PySpark cheat sheet spark in python
• Machine Learning with PySpark