Python’da Yüksek Performanslı Veri Manipülasyonu: pandas 2.0 ve polars

Veri bilimi dünyası her geçen gün daha karmaşık hale gelirken ve her gün yeni teknolojiler ortaya çıkarken, doğru araç setini seçmek projeniz için kritik önem taşır. Proje ne kadar karmaşıksa, kullanacağınız araçları seçerken o kadar temkinli olmanız gerekir; çünkü seçimleriniz geliştirme sürecini ve nihayetinde projenizin başarısını önemli ölçüde etkileyecektir.

Bir veri bilimi projesi üzerinde çalışıyorsanız, tasarım tercihleri Python vs R tartışmasının çok ötesine geçer. Projenizin dayandığı programlama dillerini seçtikten sonra hangi kütüphaneleri kullanacağınıza da karar vermeniz gerekir.

Veri bilimi için Python söz konusu olduğunda, pandas veri manipülasyonu için fiili standart araçtır. pandas kullanmanın sayısız ve ikna edici nedeni vardır; ancak bazı sınırlamaları da beraberinde getirir ve bu sınırlamalar projelerinizde önemli darboğazlara yol açabilir. Özellikle, pandas büyük veri kümeleriyle çalışırken sınırlı performansıyla bilinir.

Bu sorunları ele almak için pandas kısa süre önce önemli revizyonlar ve performans iyileştirmeleri içeren 2.0 sürümünü yayınladı (pandas 2.0 hakkında bilmeniz gereken her şeyi bu yazıda bulabilirsiniz).

Bu arada, Python ekosisteminde pandas’ın hakimiyetine meydan okuyan yeni alternatifler ortaya çıktı. En popüler seçeneklerden biri, daha hızlı veri analizi yapmak için Python ve Rust tabanlı bir kütüphane olan polars.

Bu makale, veri manipülasyonu açısından pandas 2.0 ile polars arasındaki farkları inceleyecek. Önce hesaplama performansını artırma stratejilerini ele alacak, ardından iki aracın performansını karşılaştırmak için bir dizi testle devam edecek. Hadi başlayalım!

pandas ve polars Arasında Nasıl Seçim Yapılır?

Veri bilimi iş akışlarınız sırasında ortaya çıkabilecek tüm sorunları ve durumları mutlak anlamda en iyi şekilde çözen tek bir teknoloji yoktur. Bir seçim yapmadan önce çeşitli faktörlerin dengelenmesi gerekir. İşte göz önünde bulundurulması gereken en ilgili faktörlerden bazıları:

• Hesaplama performansı. Genel kural olarak, proje ne kadar büyük ve karmaşıksa, hesaplama darboğazlarından kaçınmak için yüksek performanslı araçları o kadar fazla düşünmelisiniz.
• Teknoloji yığını uyumu. Bir veri bilimi projesinde kullanılan araçlar nadiren tek başına çalışır. Aksine, teknoloji yığınını oluşturan diğer araçlarla birlikte çalışırlar. Herhangi bir seçim yapmadan önce, teknolojiler arasındaki sinerjilere ve uyumlara dikkat etmelisiniz.
• Kod uyumluluğu. Yeni bir teknoloji seçmek, kod uyumluluğu ve verimlilikle de ilgilidir. Yeni bir aracı benimsemek mevcut projelerde kodun yeniden yazılmasına yol açacaksa, bunu hesabınıza katmalısınız.
• Popülerlik. Son olarak, bir aracın popülerliği onu kaç kişinin kullandığının bir göstergesidir; bu da yeni geliştiriciler işe almak veya Stack Overflow gibi platformlarda kodlama ile ilgili soruları çözmek için avantajlı olabilir.

Veri Manipülasyonu Performansını Nasıl Artırabilirsiniz?

Bu bölümde, veri manipülasyonu performansını artırmaya yardımcı olabilecek temel teknikleri ele alacağız.

Yazma-anında-kopyalama ile kopyalamayı azaltma

Geleneksel veri manipülasyonu araçlarında, her veri işlemi tüm veri tabanının yeni bir kopyasının oluşturulmasına yol açar. Bu davranış, büyük veri kümeleriyle çalışırken bellek kaynaklarınız için sorun yaratabilir.

Copy-on-write bu sorunu çözmek için en yaygın tekniktir. Özünde, copy-on-write, değiştirilebilir kaynaklar üzerinde "çoğaltma" veya "kopyalama" işlemini verimli bir şekilde uygulamanıza olanak tanıyan bir kaynak yönetimi tekniğidir. Bu, bir veri kümesi kopyalanır ancak (tamamen) değiştirilmezse yeni bir kaynak oluşturmanın gerekli olmadığı anlamına gelir. Bunun yerine, bellek kaynakları kopya ile orijinal arasında paylaşılabilir.

Paralel hesaplama

pandas’ın başlıca dezavantajlarından biri iş parçacıklı olmasıdır; yani günümüzde veri biliminde yaygın olan paralel hesaplama tekniklerinden yararlanamaz. Paralel hesaplama esas olarak çok çekirdekli makinelerle veya dağıtık hesaplama ile (ör. bir kümede birlikte çalışan bir bilgisayar grubu) yapılır.

Popüler group by işlevini kullanan aşağıdaki örneği ele alalım. Basketbol oyuncularının yaş ortalamasını takımlara göre gruplandırarak hesaplamak istiyorsanız, her grubun ortalamasının hesaplanmasını tek tek hesaplamak yerine her birini bir çekirdeğe veya makineye atamak için paralel hesaplamayı kullanabilir, böylece performansı artırabilirsiniz.

Veri içe aktarmayı optimize etme

Veri analizinin başlangıç noktası genellikle incelemek istediğiniz veri kümelerini okumaktır. Ancak, bu durum büyük veri kümelerini içeren veri projelerinde sıklıkla bir darboğazdır. Veri dosyalarını okurken performansı artırmaya yardımcı olabilecek bazı teknikler şunlardır:

• Veri parçalara ayırma. Tüm dosyayı okumak yerine, onu parçalara bölebilirsiniz. Bu teknik, verilerin daha hızlı içe aktarılmasını sağlar ve hepsini aynı anda depolamak için gereken belleği azaltır.
• Yalnızca gerekli sütunları okuyun. Bazen analiziniz için ihtiyaç duyduğunuz bir veri kümesinin sütunlarını önceden bilirsiniz. Tüm veri kümesini okumak yerine, ön bir filtre uygulayarak yalnızca gerekli sütunları okuyabilirsiniz.
• Veri türlerini küçültme (downcasting). pandas gibi araçların içe aktarılan sütunlara veri türleri atarken varsayılan bir davranışı vardır. Bazen, bilgi kaybı olmadan daha az bellek gerektiren başka türler mevcut olabilir. Downcasting, veri türlerini değerini işleyebilecek en küçük türe dönüştürme işlemidir.

Tembel değerlendirme ve sorgu planlama

İşlemlerin yapılma sırası performansı etkileyebilir. Çoğu zaman, bazı hesaplamaları yeniden sıralayarak aynı sonuca daha verimli şekilde ulaşabilirsiniz.

Bunu başarmanın iki stratejisi vardır: tembel değerlendirme ve sorgu planlama. İlki, hesaplamaların kesinlikle gerekli olana kadar ertelenmesi sürecini ifade eder. Buna karşılık ikincisi, farklı sorgulardan oluşan bir küme verildiğinde birden çok veri manipülasyonunu gerçekleştirmenin en verimli yolunu bulma sürecidir. Bunu yapmak için sorgu planlama genellikle bir sorgu eniyileyici (optimizer) kullanımını içerir.

Çekirdek dışı (out-of-core) işleme

pandas gibi araçlar, tüm veri kümelerini belleğinizde saklar; bu da bilgisayarınızın belleğine sığmayan büyük veri kümeleriyle çalışıyorsanız veya belirli bellek yoğun işlemler yapıyorsanız sorun yaratabilir.

İşte bu noktada çekirdek dışı hesaplamalar önem kazanır. Basitçe söylemek gerekirse, çekirdek dışı işleme, aksi halde ana belleğinize sığmayacak veriyi depolayan harici belleğe (ör. harici disk) karşılık gelir. Çekirdek dışı işleme, harici olarak depolanan verileri parça parça işlemenize olanak tanır; böylece sonunda tüm işlemi bilgisayarınızda yapmışsınız gibi aynı sonuçları elde edersiniz.

Yüksek Performanslı pandas Alternatifleri Nelerdir?

Bu makale pandas 2.0 ve polars karşılaştırmasına odaklanıyor; ancak pandas alternatifi olarak ihtiyaçlarınızı karşılayabilecek diğer araçlardan da bahsetmeye değer. İşte en umut verici araçlardan bazıları:

• Koalas. PySpark üzerinde inşa edilmiş bir pandas API’si. Spark kullanıyorsanız bu aracı değerlendirmelisiniz.
• Vaex. Bellek dışı hesaplama için bir pandas API’si; milyarlarca satırı saniyede analiz etmek için harikadır.
• Modin. Büyük veri projeleri için Dask veya Ray çatılarına dayanan, paralel programlama için bir pandas API’si. Dask veya Ray kullanıyorsanız, Modin harika bir kaynaktır.
• cuDF. RAPIDS projesinin bir parçası olan cuDF, NVIDIA GPU’larına veya RAPIDS’in diğer bileşenlerine dayanarak yüksek hızlı veri manipülasyonu yapan, GPU hesaplama için pandas benzeri bir API’dir.

Neden polars’ı Seçmelisiniz?

Pandas, Python kullanan veri uzmanları için başvurulan seçenektir; ancak açıklandığı gibi, büyük veri kümeleriyle başa çıkma konusunda önemli sınırlamalarla birlikte gelir. polars’ın temel misyonu, pandas’ın tüm sorunlarını ele alan, son derece hızlı bir dataframe kütüphanesi sunmaktır.

Sorgu motorunda performans açısından kritik kısımları tamamen kontrol etmeyi mümkün kılan ve C/C++ düzeyinde performans sağlayan güçlü bir programlama dili olan Rust ile yazılan polars, performansı artırmak için son teknoloji metodolojileri entegre eder ve şu amaçlarla tasarlanmıştır:

• Makinenizdeki tüm mevcut çekirdeklerden yararlanabilmeniz için paralel hesaplamayı geliştirmek.
• Tembel değerlendirme ve sorgu planlama kullanarak gereksiz iş/bellek ayırmalarını azaltmak üzere sorguları optimize etmek.
• Copy-on-write semantiği ve Apache Arrow kullanarak depolama performansını iyileştirmek.
• Akış (streaming) API’si aracılığıyla çekirdek dışı veri yetenekleri sayesinde çok daha büyük veri kümelerini işlemek.

Son olarak, polars’ın önemli bir özelliği de pandas’a oldukça benzer bir sözdizimine sahip olması ve Series ile DataFrame’ler gibi aynı yapı taşlarını paylaşmasıdır. polars’a geçmeye karar verirseniz bu durum işinizi kolaylaştıracaktır.

Artan Rekabete pandas 2.0 ile pandas Nasıl Yanıt Veriyor?

Performans sorunlarını gidermek ve rakiplerin baskısını dengelemek için pandas yakın zamanda uzun zamandır beklenen 2.0 sürümünü yayınladı. Büyük bir güncelleme olarak, pandas 2.0 bir dizi yeni özellik sunuyor. Ayrıca, API değişiklikleriyle sonuçlanan zorunlu kullanımdan kaldırmalar da içeriyor.

Yeni PyArrow arka ucu, yeni pandas’ın performans sınırlamalarını ele almak için en büyük kozu. Kullanıcılar artık geleneksel NumPy arka ucu ile yepyeni PyArrow arka ucu arasında seçim yapabilir. PyArrow, Arrow bellek yapıları kullanarak büyük veri kümelerini yönetmek için bir arayüz sağlayan bir Python kütüphanesidir.

pd.read_csv(my_file, engine='pyarrow')

Bir diğer önemli özellik ise bellek kaynaklarını koruyarak performansı artırmayı amaçlayan çeşitli copy-on-write iyileştirmelerinin eklenmesidir.

Bunun bir sonucu olarak, birçok pandas işlemi artık, nesnelerin birebir, önbelleğe alınmış kopyaları yerine seri ve dataframe gibi temel pandas nesnelerinin tembel bir kopyasını döndürecek varsayılan bir “copy” parametresi içeriyor.

pandas’ın yeteneklerinin performans sorunlarını giderip gidermeyeceğini söylemek için hâlâ erken. Diğer araçlar onu geçse bile, pandas’ı kullanmaya devam etmek için iyi nedenler olacaktır: muhtemelen hâlihazırda kullandığınız için mevcut kodu yeniden yazmanız veya yeni bir sözdizimi öğrenmeniz gerekmez.

pandas 2.0 vs polars: Karşılaştırma Çerçevesi

Artık teoriyi bildiğinize göre, işe koyulma zamanı. Aşağıdaki bölümlerde, pandas 2.0 ile polars’ın performansını karşılaştırmak için bir dizi test gerçekleştireceğiz. Kıstasımız, bir görevi gerçekleştirmek için gereken süre olacaktır. Bunu yapmak için, yürütme sürelerini hesaplamanın basit bir yolunu sağlayan time modülünü kullanacağız.

Performans testlerine ek olarak, polars’ın pandas ile kod uyumluluğunu da analiz edeceğiz (yani polars’a geçmek isterseniz ne kadar kod değiştirmeniz gerekir?).

Veri Kümesi

1980-2022 döneminde farklı ülkelerde ofisleri bulunan bir şirketin saatlik satışlarından oluşan kurgusal bir veri kümesi üzerinde pandas 2.0 ve polars’ın performansını test edeceğiz. Kıyaslama analizine karmaşıklık katmak için rastgele bazı eksik değerler ekleyeceğiz.

Genel olarak, veri kümesi 22 milyondan fazla satır ve 1,6 GB’tan fazla bellek içeriyor; bu da pandas’ı hayli zorlayacak bir boyut. Kıyaslama testlerinin tüm kodunu bu DataLab çalışma kitabında bulabilirsiniz.

İçe aktarma testi

Veri içe aktarırken pandas 2.0 ile polars’ın performansını karşılaştırarak başlayalım. Polars, CSV’den içe aktarmada güçlü performansa sahip olduğunu özellikle vurguluyor. Bu doğru mu?

pandas ve polars’ın bir sütun ve satır alt kümesini okumasının ne kadar sürdüğünü görmek için bir test yapacağız. Örneğin, diyelim ki sadece Fransa ofisinin satışlarını analiz etmek istiyorsunuz. pandas ile tüm satırları okumanız ve ardından istenmeyen satırları kaldırmak için filtreleme yapmanız gerekir. Bunu yapmak için yepyeni .query() yöntemini kullanacağız. pandas 2.0’ın davranışını denemek için CSV’yi hem geleneksel numpy motoru hem de yeni pyarrow motoru ile içe aktaracağız.

Buna karşılık, polars, yalnızca ilginizi çeken satırları okumak için belirli bir koşul kümesiyle birlikte kullanılabilen filter() yöntemini sunar.

# pandas query
df_pd = pd.read_csv("./example.csv", engine="pyarrow")
df_pd = df_pd[['id', 'date', 'office', 'sales']]
df_pd = df_pd.query("office=='France'")

# polars filter
df_pl = pl.read_csv('example.csv').filter(
     (pl.col('office') == 'France'))
df_pl.select(pl.col(['id', 'date', 'office', 'sales']))

Testi gerçekleştirdiğimizde, grafikte gösterildiği gibi polars’ın pandas’tan önemli ölçüde daha iyi performans gösterdiğini görüyoruz. Şaşırtıcı bir şekilde, pyarrow motoru standart numpy motorundan daha iyi sonuç vermedi.

Sözdizimi uyumluluğu açısından, polars açıkça pandas ile aynı havaya sahip; pl.read_csv() gibi işlevler pandas’ı birebir yansıtıyor. Ancak, iki kütüphane kaputun altında farklı şekilde çalışır ve bu da .query() ile filter() yöntemlerinde görüldüğü gibi kaçınılmaz olarak farklı sözdizimlerine yol açar.

Group by testi

Groupby işlemleri paralelleştirme için uygun adaylardır. Ofis ve aya göre satışların ortalamasını ve medyanını hesaplayarak bir dizi gruplayarak toplulaştırma işleminde pandas ve polars’ın nasıl davrandığına bakalım.

df_pd.groupby([df_pd.office, df_pd.date.dt.month])['sales'].agg('mean') # pandas groupby mean
df_pl.groupby([pl.col('office'), pl.col('date').dt.month()]).agg([pl.mean('sales')]) # polars groupby mean

df_pd.groupby([df_pd.office, df_pd.date.dt.month])['sales'].agg('median') # pandas groupby median

df_pl.groupby([pl.col('office'), pl.col('date').dt.month()]).agg([pl.median('sales')]) pandas groupby median

Sonuçlar, group by ve toplulaştırma hesaplamalarında polars’ın pandas’tan daha iyi performans gösterdiğini ortaya koyuyor. Yine, polars’ın sözdizimi pandas’a benziyor.

Hareketli istatistikler testi

pandas ve polars’ın performansını test etmek için uygun bir diğer işlem hareketli istatistiklerdir. Bu tür hesaplamaları eniyilemek epey karmaşık algoritmik çalışma gerektirir. Günlük satışların hareketli ortalamasını aldığımızda nasıl davrandıklarına bakalım.

# pandas rolling mean
df_pd['sales'].rolling(1440, min_periods=1).mean() 
# polars rolling mean
df_pl['sales'].rolling_mean(1440, min_periods=1)

Yine kazanan polars. Sözdizimi açısından ince bir farka dikkat edin. polars, rolling_mean() yöntemini içerirken, pandas aynı sonucu vermek için mean() gibi diğer yöntemlerle birleştirilmesi gereken rolling() yöntemiyle gelir.

Örnekleme testi

Belirli bir olguyu analiz etmek için ilgi alanındaki tüm popülasyonu incelemek genellikle mümkün değildir. Bu nedenle örnekleme, istatistik ve veri bilimindeki en yaygın görevlerden biridir. Bu, önyükleme (bootstrapping) ve permütasyon gibi Monte Carlo Simülasyonu tekniklerini kullanarak rastgele örnekler almayı içerir. Ancak bu işlem aynı zamanda çok sayıda değişken kopyalamayı gerektirir ve yeterli hesaplama kaynağınız yoksa zorlayıcı olabilir.

Örneklemeyi yinelemeli olarak, yani yerine koyarak yeniden örnekleme (bootstrap) yaparken pandas ve polars’ın nasıl çalıştığına bakalım. 1000 veri noktasından oluşan 10000 örnekte satışların ortalamasını tahmin edeceğiz.

#pandas bootstrap
simu_weights = []
for i in range(10000):
    bootstrap_sample = random.choices(df_pd['sales'], k=1000)
    simu_weights.append(np.nanmean(bootstrap_sample))

#polars bootstrap
simu_weights = []
for i in range(10000):
    bootstrap_sample = df_pl['sales'].sample(n=1000,with_replacement=True)  
    simu_weights.append(bootstrap_sample.mean())

Bootstrap örnekleme yapılırken polars, pandas’tan neredeyse 5 kat daha hızlıdır.

Sözdizimi açısından, pandas örnekleme işlemleri için numpy’a dayanırken polars kullanışlı, yerleşik sample() yöntemiyle gelir.

Bileşik manipülasyonlar

Son testte, bir dizi bağlantılı veri manipülasyonu gerçekleştireceğiz. Bu, veri profesyonellerinin günlük yaşamının bir parçasıdır. Ancak birçok adımı içeren veri işlemleri, hesaplama açısından optimal olmayan bir şekilde yazılmaya açıktır.

Kurgusal şirketin İtalya ofisinin, staj dönemlerinin bitiminden sonra 2022 stajyerlerinden bazılarını işe almayı düşündüğünü hayal edin. Amacımız, 2022’de en büyük on satış işlemini yapan stajyerlerin kimler olduğunu analiz etmek; böylece en uygun adayları seçmek için bu bilgiyi kullanabilelim.

Bunu yapmak için, veri kümemizi 2022’de her işlemi yapan kişi hakkında bilgi içeren “italy_2022” adlı ikinci bir veri kümesiyle birleştirmeliyiz. “id” sütunu her iki veri kümesinin ortak sütunudur.

# pandas compound operations
df_pd.merge(italy_2022, on='id').query("responsibility =='Sales Intern'").sort_values('sales', ascending=False).head(10)[['name','surname','sales','sex']]


#polars compound manipulations
df_pl.join(italy_2022_pl, on="id").filter(pl.col('responsability') == 'Sales Intern').sort('sales',descending=True).head(10).select(pl.col(['name','surname','sales','sex']))

Önceki tüm testlerde olduğu gibi, performans açısından polars pandas’ı geçiyor. Bu testte, birleştirme (join) işlemi pandas için en büyük zorluk gibi görünüyor. Buna karşılık polars çok daha verimli; tüm zincirlenmiş görevleri iki saniyeden kısa sürede tamamlıyor.

pandas 2.0 vs polars Karşılaştırma Tablosu

Hızlı bir karşılaştırma sunmak için yukarıdaki testleri bir tabloda özetledik:

Bir Sonraki Seviyeye Taşıyın

Bu eğitimin sonuna kadar geldiğiniz için tebrikler. Testlere göre polars, neredeyse tüm denemelerde pandas 2.0’dan oldukça daha iyi performans gösteriyor. Bu durum pandas’ın hakimiyeti için gerçek bir tehdit olsa da, pandas hâlâ Python’da veri manipülasyonu için başvurulan seçenek olmanın avantajına sahip; dolayısıyla daha büyük bir kullanıcı topluluğunun tüm faydalarından yararlanıyor.

Büyük veri kümeleriyle çalışıyorsanız, performansı artırmak bir zorunluluktur. DataCamp yanınızda. İşte hesaplama performansınızı bir üst seviyeye taşımanıza yardımcı olabilecek kursların bir listesi:

• pandas ile Kolaylaştırılmış Veri Alımı,
• PySpark ile Büyük Veri Temelleri,
• Python’da Dask ile Paralel Programlama.