PySpark CSV Okuma: Büyük Dosyaları Verimli Şekilde Yükleyin ve İşleyin

CSV dosyaları, veri işleme ve analitiğin temel yapı taşlarıdır. Orta seviyeden veri mühendisleri ve veri bilimcilerinden PySpark kullanan geliştiricilere kadar neredeyse her veri profesyoneli bir noktada CSV dosyalarıyla çalışır. Ancak veri kümeleri megabayttan gigabayta, hatta terabaytlara ve ötesine büyüdükçe, Pandas veya standart Python kütüphaneleri gibi tek başına kullanılan basit araçlar bu yükü taşımakta zorlanır. İşte bu noktada, dağıtık bilişim ortamlarında büyük ölçekli CSV dosyalarını yönetmek için Apache Spark ve PySpark devreye girer.

Bu makale, PySpark ile büyük CSV dosyaları okurken bilmeniz gereken her şeyi öğretecek. 

PySpark'ın kurulu olduğundan ve temellere aşina olduğunuzdan emin olmak için PySpark ile Başlarken öğreticimizi izleyin. 

PySpark'ta CSV Okuma Nedir?

PySpark, kullanıcıların CSV dosyalarını dağıtık DataFrame'lere okumasına olanak tanır. PySpark'taki DataFrame'ler, tanıdık bir arayüz sunarak Pandas DataFrame'lerine oldukça benzer. Ancak perde arkasında PySpark DataFrame'leri, hesaplama ve depolamayı birden fazla düğüme dağıtır ve çok büyük veri kümeleri için olağanüstü performans sağlar. 

PySpark, büyük CSV dosyaları için şu gibi güçlü avantajlar sunar:

• Dağıtık veri yükleme,
• Boş değerlerin sağlam şekilde ele alınması,
• Şema tanımlamada esneklik ve
• Birden fazla ya da sıkıştırılmış CSV dosyasını yönetmek için yalın yollar.

Yine de, başlıkların verimli yönetimi, şemaların doğru çıkarımı ya da belirtilmesi ve bozuk veya tutarsız kayıtların yönetimi gibi yaygın zorluklar ortaya çıkar. Tüm bu zorluklarla nasıl başa çıkacağınızı keşfetmek için okumaya devam edin. 

PySpark'ta CSV dosyalarını okumak, bir PySpark mülakatında başarı için mutlaka kavramanız gereken konulardan biridir. 2025 için En İyi 36 PySpark Mülakat Sorusu ve Cevabı yazımız, temel kavramlardan ileri teknikler ve optimizasyon stratejilerine kadar PySpark mülakat sorularına kapsamlı bir rehber sunar.  

PySpark'ta CSV Dosyalarını Okumanın Temelleri

CSV verilerini okumak, çoğu zaman PySpark iş akışlarının ilk ve en kritik adımlarından biridir; sonraki dönüşümler, keşif amaçlı analiz ve makine öğrenimi görevleri için temel oluşturur. Bu adımı doğru atmak, daha temiz veri işleme ve aşağı akışta daha iyi performans sağlar.

Kavramsal çerçeve

PySpark, CSV dosyalarını Spark'ın dağıtık modeli içinde okur. CSV verilerini tek bir makinede tamamen belleğe almak yerine, Spark büyük veri görevlerini birden çok küme düğümüne böler. Spark'ın yerleşik Catalyst iyileştiricisi, CSV alımı sırasında gereken temel işlemleri verimli şekilde yürüterek performansı daha da artırır.

Temel okuma sözdizimi

CSV dosyalarını okumanın basit yolu, Spark'ın yerleşik fonksiyonlarını kullanır: 

spark.read.csv("file_path", header=True, inferSchema=True)Altyapı:

Ya da açıkça:

spark.read.format("csv").option("header", "True").load("file_path")Altyapı:

Temel parametreler şunlardır:

• file_path - CSV dosyalarının konumu.
• header - True ise sütun adlarını CSV başlıklarından alır.
• inferSchema - sütun veri tiplerini otomatik olarak çıkarır.
• delimiter - sütunları ayıran karakter; varsayılan virgüldür.

2025'te Sıfırdan PySpark Öğrenin öğreticimiz, PySpark'ın temelleri ve nasıl öğrenileceği hakkında daha fazla ayrıntıya iner. 

CSV Dosyalarını Okuma: Seçenekler ve Yapılandırmalar

PySpark, CSV okuma süreci üzerinde ince ayar yapmanızı sağlayan kapsamlı seçenekler sunar.

Başlık ve şema çıkarımı

header=True ayarı, Spark'a ilk CSV satırını sütun adları olarak kullanmasını söyler.

inferSchema=True  ise Spark'ın verinizi tarayarak sütun tiplerini otomatik olarak tahmin etmesine izin verir:

spark.read.csv("customers.csv", header=True, inferSchema=True)Altyapı:

Şema çıkarımı başlangıçta kullanışlı ve etkili olsa da, Spark veri tiplerini belirlemek için veri üzerinde tekrar tekrar geçiş yaptığı için büyük veri kümelerinde performans düşer.

Özel şema tanımlama 

Şemanızı açıkça tanımlamak, Spark'ın tekrarlı veri taramalarını ortadan kaldırarak performansı önemli ölçüde artırır. Tanımlı bir şema, sütun adlarını ve tiplerini en baştan bildirir.

PySpark'ta özel bir şema böyle tanımlanır:

from pyspark.sql.types import StructType, StructField, StringType, IntegerType, DoubleType
schema = StructType([
    StructField("user_id", IntegerType(), True),
    StructField("name", StringType(), True),
    StructField("score", DoubleType(), True),
])
df = spark.read.csv("customers.csv", schema=schema, header=True)Altyapı:

Sırada, PySpark'ta CSV dosyalarını okurken ayırıcıların nasıl ele alındığını inceleyelim. 

Ayırıcılar ve özel karakterlerin yönetimi

Birçok CSV dosyası, virgül dışında, dikey çizgi veya sekme gibi ayırıcılar kullanır. PySpark, ayırıcıyı açıkça belirtmeye izin verir:

spark.read.csv("customers.csv", header=True, delimiter="|")Altyapı:

Ayrıca, kaçış ve tırnak karakterleri de özel karakter senaryolarını ele almak için yapılandırılabilir:

spark.read.csv("data.csv", header=True, escape='\"', quote='"')Altyapı:

Null ve eksik değerlerin yönetimi

Gerçek dünyadaki CSV verileri sıklıkla tutarsızlıklar veya eksik kayıtlar içerir. PySpark, özel yer tutucuları null değerlere çevirerek boş değerlerin yönetimini kolaylaştırır:

spark.read.csv("customers.csv", header=True, schema=schema, nullValue="NA")Altyapı:

Bu, null değerleri netleştirir ve ileride manuel veri temizleme ihtiyacını büyük ölçüde azaltır.

Null değerlerle başa çıkmak için diğer stratejileri inceleyelim. 

Null değerleri filtrelemeyi tercih edebilirsiniz: 

# Age sütunu null olmayan satırları filtrele
df_filtered = df.filter(df["Age"].isNotNull())
df_filtered.show()Altyapı:

Bu işlem, Age sütunu null olmayan satırları içerecek şekilde DataFrame'i filtreler. Çıktı şu şekilde olmalıdır:

+---+-----+---+------+
| ID| Name|Age|Salary|
+---+-----+---+------+
|  1| John| 25| 50000|
|  3|  Bob| 30|  NULL|
|  4|Carol| 28| 55000|
+---+-----+---+------+Altyapı:

Diğer strateji ise null değerleri doldurmaktır: 

# Age ve Salary'deki null değerleri varsayılanlarla değiştir
df_filled = df.na.fill({"Age": 0, "Salary": 0})
df_filled.show()Altyapı:

Çıktı şöyle görünecektir: 

+---+-----+---+------+
| ID| Name|Age|Salary|
+---+-----+---+------+
|  1| John| 25| 50000|
|  2|Alice|  0| 60000|
|  3|  Bob| 30|     0|
|  4|Carol| 28| 55000|
|  5|David|  0| 48000|
+---+-----+---+------+Altyapı:

Birden fazla dosya ve dizin okuma

PySpark, büyük ve çok dosyalı veri kümelerini yönetmede üstündür. Bir dizindeki dosyaları elle sırayla yükleyip birleştirmek yerine, PySpark hızlı ve verimli toplu yükleme için joker desenlerini destekler:

spark.read.csv("/data/sales/*.csv", header=True, schema=schema)Altyapı:

Bu, çok sayıda CSV dosyasını tek ve akıcı bir işlemle etkin şekilde tek bir DataFrame'de bir araya getirir.

Veriler PySpark'ta yüklendikten sonra, sonraki adımlar arasında veri düzenleme, özellik mühendisliği ve makine öğrenimi modelleri kurma yer alır. PySpark ile Özellik Mühendisliği kursumuz bu kavramları derinlemesine ele alır. 

Verimli CSV Okuma için Optimizasyon Teknikleri

Büyük ölçekli CSV verilerini işlerken, PySpark'ın optimizasyon stratejilerinden yararlanmak kritik önemdedir.

Bölümleme stratejileri

Bölümleme, veriyi küme düğümleri arasında eşit dağıtarak performansı ciddi biçimde etkiler. Spark, veri alımı sırasında bölüm boyutu ve sayısı üzerinde açık kontrol sağlar; bu da sonraki işlemleri hızlandırmaya yardımcı olur:

df = spark.read.csv("data.csv", header=True, schema=schema).repartition(20)Altyapı:

​​.repartition(20), DataFrame'i Spark kümeniz genelinde 20 bölüme ayırır. Spark veriyi parçalar halinde işlediğinden, daha fazla bölüm şunları sağlayabilir:

• Paralelliği artırmak
• İşi küme genelinde dengeli dağıtmak
• Dönüşümleri ve yazma işlemlerini hızlandırmak

Çok çekirdekli bir kümede çalışıyorsanız, bu yaklaşım çekirdekleri tam kapasite kullanmaya yardımcı olur. Ancak aşırıya kaçarsanız (örneğin küçük bir veri kümesinde 1000 bölüm) işleri yavaşlatabilirsiniz.

repartition gibi daha fazla Spark fonksiyonunu PySpark Kopya Kağıdı: Python'da Spark ile keşfedin. Python'da Spark'ı başlatma, veri yükleme, sıralama ve yeniden bölümleme hakkında ayrıntıya iner. 

Önbellekleme ve kalıcılık

İş akışınız, alımdan sonra aynı veri kümesine tekrar tekrar erişmeyi içeriyorsa, DataFrame'inizi bellekte veya diskte önbelleğe almak performansı önemli ölçüde artırabilir:

df.cache()Altyapı:

Ancak önbelleğe almanın yeterli sistem kaynağı gerektirdiğini unutmayın; her zaman bellek kullanımını performans kazanımlarına karşı dengeleyin.

Tembel değerlendirme ve işlemleri tetikleme

PySpark, tembel değerlendirme modeline dayanır: DataFrame işlemleri anında yürütülmek yerine planları dönüştürür. Gerçek dosya okuma yalnızca gerektiğinde, show(), count() veya collect() gibi komutlarla tetiklendiğinde gerçekleşir:

# henüz okuma yok
df = spark.read.csv("data.csv", header=True, schema=schema)   
# gerçek okuma burada tetiklenir
df.show(5)  Altyapı:

İleri Düzey Kullanım Senaryoları ve Dikkat Edilecekler

CSV dosyalarını okurken karşılaşabileceğiniz daha karmaşık senaryoları inceleyelim: 

Sıkıştırılmış CSV dosyalarını okuma

Spark, gz veya .bz2 gibi sıkıştırılmış CSV dosyalarını ek yapılandırma gerekmeksizin şeffaf bir şekilde verimli biçimde yönetir:

spark.read.csv("logs.csv.gz", header=True, schema=schema)Altyapı:

Bozuk kayıtların ele alınması

CSV veri kümeleri bozuk satırlar içerebilir. PySpark, hataları veya bozuk kayıtları zarifçe yönetmenize yardımcı olacak birden fazla seçenek sunar:

• mode="PERMISSIVE" (varsayılan): bozuk satırları sütunları null ile doldurarak dahil eder.
• mode="DROPMALFORMED: bozuk kayıtları sessizce atlar. Bu mod, CSV yerleşik fonksiyonlarında desteklenmez.
• mode="FAILFAST": herhangi bir bozuk kayıtla karşılaşıldığında istisna fırlatır.

spark.read.csv("data.csv", header=True, schema=schema, mode="FAILFAST")Altyapı:

Yerel ayar ve kodlama ayarları

Bazen CSV verileri standart dışı kodlamalar kullanır. PySpark, encoding parametresi aracılığıyla farklı kodlamaları kolayca yönetir:

spark.read.csv("data_utf8.csv", header=True, encoding="UTF-8")Altyapı:

Desteklenen kodlamalar arasında US-ASCII, ISO-8859-1, UTF-8, UTF-16BE, UTF-16LE ve UTF-16 bulunur. 

En iyi uygulamalar ve yaygın tuzaklar

Spark ile CSV dosyalarını okurken akılda tutulması gereken bazı en iyi uygulamalar şunlardır: 

• Veri kümesinin yapısı biliniyorsa şemayı açıkça belirtin.
• İş yükünü verimli dağıtmak için bölümlemeyi kontrol edin.
• Sık erişilen DataFrame'ler için stratejik olarak önbelleğe alın.
• Tembel değerlendirmeyi göz önünde bulundurarak okuma işlemlerini bilinçli şekilde tetikleyin.

Kaçınmanız gerekenler: 

• Başlık satırı bulunan CSV'ler için header=False ayarlamak.
• Büyük veya tekrar tekrar erişilen veri kümelerinde yalnızca inferSchema'ya güvenmek.
• Kritik ayırıcı veya kodlama ayarlarını göz ardı etmek.

Sonuç

PySpark'ın güçlü CSV alma yeteneklerini doğru biçimde anlamak ve kullanmak, etkili büyük veri işlemenin olmazsa olmazıdır. Açık şema belirtimi, özel null biçimlerinin ele alınması, verimli bölümleme kullanımı ve sıkıştırılmış ya da çok dosyalı senaryoların yönetimiyle iş akışınız sadeleşir ve performans kazanır.

PySpark, büyük ölçekli veri görevleri için büyük avantajlar sunsa da, küçük veri kümeleri için daha basit araçların (örneğin Pandas) yeterli olabileceğini unutmayın. Tek makinenin kapasitesini aşan verilerle çalışırken PySpark'tan yararlanın ve her zaman dağıtık hesaplamanın sunduğu avantajları göz önünde bulundurun.

PySpark'ı daha fazla keşfetmek için derinlemesine Spark kurslarımıza göz atın; bunlar arasında şunlar yer alır:

• PySpark'a Giriş
• PySpark'ın Temelleri 
• PySpark ile Büyük Verinin Temelleri
• PySpark ile Öneri Motorları Oluşturma