Apache Arrow: Uygulamalı Örneklerle Başlangıç Rehberi

Apache Arrow, farklı araçların ve sistemlerin verileri hızlı ve kolay bir şekilde paylaşmasına yardımcı olur. Verileri bellek içinde kalan özel bir sütun tabanlı formatta saklar; bu da onunla çalışmayı gerçekten çok hızlı hale getirir.

Bu eğitimde, Apache Arrow’un temellerini adım adım anlatacağım. Nasıl çalıştığını ve projelerinizde nasıl kullanabileceğinizi anlamanız için uygulamalı örnekler göreceksiniz.

Apache Arrow nedir?

Apache Arrow işin yüksek performanslı bellek içi veri işleme için açık kaynaklı, çok dilli bir platform olduğu söylenebilir. Modern CPU’lar için optimize edilmiş standartlaştırılmış bir sütunlu bellek formatı tanımlar ve verimli analitik ile vektörleştirilmiş hesaplamayı mümkün kılar.

Arrow ayrıca sistemler ve diller arasında serileştirme ihtiyacını ortadan kaldırır; bu da sıfır kopya okumalara imkân verir ve işleme yükünü azaltır. 

pandas, Apache Spark ve Dask gibi araçlarla iyi çalıştığı için verileri minimum çabayla taşıyabilirsiniz. Bu da çok fazla veriyi işlemesi gereken hızlı ve esnek sistemler kuran herkes için onu mükemmel bir seçenek yapar.

Şimdi, birkaç pratik örnekle Arrow’u keşfedelim!

Apache Arrow’u yükleme

Apache Arrow; C, C++, C#, Python, Rust, Java, JavaScript, Julia, Go, Ruby ve R dahil olmak üzere birden fazla dili destekler. 

Windows, macOS ve Debian, Ubuntu, CentOS ile Red Hat Enterprise Linux gibi popüler Linux dağıtımlarında çalışır.

Bu rehberde onu Python ile kullanacağız.

Adım adım kurulum rehberi

PyPI’de yayımlanan resmi ikili paketleri kullanarak Python için Apache Arrow nasıl kurulur, bakalım. Bu adımlar Windows, macOS ve Linux’ta aynıdır.

Adım 1: Python kurulu mu, kontrol edin

Terminalinizi açın ve şunu çalıştırın:

python --versionAltyapı:

Bu komut bir sürüm numarası döndürürse hazırsınız demektir. Aksi halde Python’u resmi siteden yükleyin.

Adım 2: pip ile pyarrow yükleyin

Python için Apache Arrow’u yüklemek üzere şunu çalıştırın:

pip install 'pyarrow==19.0.* '  Altyapı:

*, 19.0 serisinin en güncel yama sürümünü almanızı sağlar. 

requirements.txt dosyanızda da pyarrow==19.0.* kullanmanızı öneririm; böylece ortamlar arasında tutarlılık sağlanır. Bu işlem, tekerlek dosyasına dâhil edilen gerekli Apache Arrow ve Parquet C++ ikili kitaplıklarıyla birlikte pyarrow’u yükler.

Arrow’u başka bir dil için kurmak isterseniz tam dokümantasyona göz atın.

Kurulumu test etme

Her şeyin çalıştığını kontrol etmek için bu kısa Python parçacığını çalıştırabilirsiniz:

import pyarrow as pa
# Create a simple Arrow array
data = pa.array([1, 2, 3, 4, 5])
print("Apache Arrow is installed and working!")
print("Arrow Array:", data)Altyapı:

pyarrow doğru şekilde kurulmuşsa, dizinin terminalinizde yazdırıldığını görürsünüz. Aksi durumda kod bir hata fırlatır.

Apache Arrow Temelleri

Koda daha derine inmeden önce Apache Arrow’un nasıl yapılandığını anlayalım.

Sütunlu bellek formatını anlama

Bellek içi sütunlu format, Apache Arrow’un en önemli özelliklerinden biridir. Dilden bağımsız, bellek içi bir veri yapısı tanımlar. Ek olarak, üstveri serileştirmeyi, veri taşımaya yönelik bir protokolü ve sistemler arasında veriyi temsil etmenin standart bir yolunu içerir.

Sütunlu formatta veriler, geleneksel satır tabanlı depolamadan farklı olarak satırlar yerine sütunlarda saklanır. Sütunlu yerleşimler, çok daha hızlı tarandıkları ve işlendiği için analitik iş yüklerinde popülerdir.

Aşağıdaki görsel formatı açıklar:

Sütunlu format. Kaynak: Apache Arrow dokümanları

Apache Arrow’un formatı, sütunları bitişik bellek bloklarına yerleştirerek verimliliği artırır. Bu, veriyi hızlandıran modern vektörleştirilmiş (SIMD) işlemleri destekler.

Standart bir sütunlu yerleşim kullanarak Arrow, her sistemin kendi iç veri formatını tanımlama ihtiyacını ortadan kaldırır. Bu da serileştirme yükünü ve yinelenen çabayı azaltır. 

Sistemler veriyi daha kolay paylaşabilir ve geliştiriciler farklı dillerde algoritmaları yeniden kullanabilir.

Arrow gibi paylaşılan bir format olmadan, her veritabanı veya araç veriyi aktarmadan önce serileştirmek ve serisini çözmek zorundadır. Bu da maliyet ve karmaşıklık katar. Ayrıca ortak algoritmalar, her sistemin iç veri yapısına göre yeniden yazılmak zorundadır. 

Arrow bunu, verinin bellek içinde nasıl temsil edildiğini standartlaştırarak değiştirir.

Sütunlu formatlar analitik performans ve bellek yakınsaması için harika olsa da sık güncellemeler için tasarlanmamıştır.

Bunun nedeni, sütunlu depolamanın değiştirmekten ziyade hızlı okumaya optimize edilmiş olmasıdır. Veride değişiklik yapmak genellikle bellek kopyalama veya yeniden ayırma gerektirir; bu da yavaş ve kaynak yoğun olabilir.

Arrow, verinin bellek içi temsiline ve serileştirmeye odaklanır. Kullanım senaryonuz sık veri mutasyonu gerektiriyorsa, bunu uygulama seviyesinde ele almanız gerekir.

Arrow ile uyumlu formatlara daha derinlemesine dalmak için, sütun tabanlı veri depolama için ideal olan Apache Parquet rehberine göz atın.        

Arrow veri yapıları

Apache Arrow iki temel veri yapısı sunar: Array ve Table: 

•  Arrow Array: Bir Array, tek bir veri sütununu temsil eder. Değerlere bitişik bir bellek bloğunda yer verir; bu da hızlı erişim, verimli tarama ve SIMD gibi işlemci düzeyi optimizasyonlara destek sağlar. Her dizi ayrıca null göstergeleri (bitmapler) ve veri tipi bilgisi gibi üstveriler taşıyabilir.
• Arrow Table: Veriler sıklıkla veritabanı tabloları veya CSV dosyaları gibi iki boyutlu formatlarda gelir. Bu nedenle bir Arrow Table iki boyutlu bir veri kümesini temsil eder. Her sütun parçalara ayrılmış bir dizidir ve tüm sütunlar alan adlarını ve türlerini tanımlayan ortak bir şemayı izler. Parçalar sütunlar arasında farklı olabilir; ancak satırların tutarlı kalması için toplam eleman sayısı hizalı olmalıdır.

Bunu pandas veya R’deki bir DataFrame gibi düşünebilirsiniz. Tablo yapısındadır, verimlidir ve birden çok sütunda eşzamanlı işlemleri destekler.

Temel veri yapıları örneği

Python’da bir Arrow Array ve Table oluşturmanın birkaç örneğine bakalım. 

Aşağıdaki kodu çalıştırmadan önce önceki talimatları izleyerek pyarrow yüklü olduğundan emin olun.

Bir Arrow Array oluşturma

import pyarrow as pa

# Create an Arrow Array (single column)
data = pa.array([1, 2, 3, 4, 5])
print("Arrow Array:")
print(data)Altyapı:

Bir Arrow Array yazdırma. Görsel: yazar.

Bir Arrow Table oluşturma

import pyarrow as pa

# Create an Arrow Table (multiple columns)
table = pa.table({
    'column1': pa.array([1, 2, 3]),
    'column2': pa.array(['a', 'b', 'c'])
})

print("\nArrow Table:")
print(table)Altyapı:

Bir Arrow Tablosu yazdırma. Görsel: yazar.          

Apache Arrow Array’lerle çalışma

Arrow Array’lerle nasıl çalışılacağını ve dilimleme, filtreleme, üstveri kontrolü gibi yaygın işlemleri nasıl yapacağınızı görelim.

Arrow Array oluşturma

Arrow Array’ler; string, kayan noktalı sayılar ve tamsayılar dâhil farklı veri türleriyle çalışır. İşte nasıl oluşturacağınız:

import pyarrow as pa

# Integer Array
int_array = pa.array([10, 20, 30], type=pa.int32())
print("Integer Array:")
print(int_array)

# String Array
string_array = pa.array(["apple", "banana", "cherry"], type=pa.string())
print("\nString Array:")
print(string_array)

# Floating-point Array
float_array = pa.array([1.1, 2.2, 3.3], type=pa.float64())
print("\nFloating-point Array:")
print(float_array)Altyapı:

Farklı veri türlerinde Arrow Array’leri yazdırma. Görsel: yazar.

Arrow Array’lerde temel işlemler

Arrow Array’lerle yapabileceğiniz birkaç yaygın işlemi inceleyelim.

Dilimleme

Dilimleme, bir dizinin bir alt bölümünü almanızı sağlar. Örneğin belirli indeks aralıklarındaki öğeleri çıkarabilirsiniz:

import pyarrow as pa
arr = pa.array([10, 20, 30, 40, 50])
# Slice from index 1 to 4 (3 elements: 20, 30, 40)
sliced = arr.slice(1, 3)
print("Original Array:", arr)
print("Sliced Array (1:4):", sliced)Altyapı:

Dilimlenmiş bir Arrow Array yazdırma. Görsel: yazar.

Filtreleme ve üstveri

Filtreleme, bir koşulu karşılayan değerleri tutmak için Boole maskesi kullanır. Ayrıca tür, uzunluk ve null sayısı gibi üstverilere de erişebilirsiniz. 

import pyarrow.compute as pc

arr = pa.array([10, 20, 30, 40, 50])

# Create a boolean mask: Keep elements > 25
mask = pc.greater(arr, pa.scalar(25))

# Apply the filter
filtered = pc.filter(arr, mask)

print("Filtered Array (values > 25):", filtered)

print("Array Type:", arr.type)
print("Array Length:", len(arr))
print("Null Count:", arr.null_count)
print("Is Null Bitmap Buffers:", arr.buffers())Altyapı:

Filtrelenmiş bir Arrow Array yazdırma. Görsel: yazar.

Bir Arrow Array’in Üstverisini yazdırma. Görsel: yazar.

Apache Arrow Tablolarını kullanma

Arrow Tablolarını Arrow Array’lerden veya doğrudan sözlükler gibi yerel Python veri yapılarından oluşturabilirsiniz. Nasıl olduğuna bakalım. 

Tablo oluşturma ve görüntüleme

Bir Arrow Tablosu oluşturmanın iki yaygın yolu vardır:

1. Birden fazla Arrow Array kullanmak
2. pa.table() ile bir Python sözlüğü kullanmak

Her iki yöntemi de sırayla inceleyelim.

1. Arrow Array kullanma

import pyarrow as pa

# Create individual Arrow Arrays
ids = pa.array([1, 2, 3])
names = pa.array(['Alice', 'Bob', 'Charlie'])
scores = pa.array([85.0, 92.5, 78.3])

# Combine them into a Table
table = pa.table({
    'id': ids,
    'name': names,
    'score': scores
})

print("Arrow Table from Arrays:")
print(table)Altyapı:

Yukarıdaki kodda:

• Üç dizi oluşturuyoruz (tamsayı, string, float)
• Her sütuna bir ad vererek bir şema tanımlıyoruz
• Bunları pa.table() ile bir Tabloya birleştiriyoruz

Birden fazla Arrow Array kullanarak bir Arrow Tablosu oluşturma. Görsel: yazar.

2. Bir Python sözlüğü kullanma

Şimdi, bir Python sözlüğünden nasıl Tablo oluşturulacağını görelim.

# Create a table directly from Python data
data = {
    'id': [4, 5, 6],
    'name': ['Diana', 'Eve', 'Frank'],
    'score': [88.0, 79.5, 91.2]
}

table2 = pa.table(data)

print("\nArrow Table from Dictionary:")
print(table2)Altyapı:

Bu yöntem daha kısa ve derlidir. Dizileri elle tanımlamak zorunda değiliz; Arrow bunu bizim için halleder. 

Doğrudan Python sözlüklerinden bir Arrow Tablosu oluşturma. Görsel: yazar.

Arrow Tabloları ile pandas DataFrame’ler arasında dönüştürme

Arrow’un en büyük güçlü yönlerinden biri birlikte çalışabilirliğidir. Bir Arrow Tablosu ile bir pandas DataFrame arasında kolayca geçiş yapabilirsiniz. Nasıl yapıldığına bakalım:

Bir Arrow Tablosunu Pandas DataFrame’e dönüştürme

import pyarrow as pa
import pandas as pd

# Create an Arrow Table
data = {
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
}
arrow_table = pa.table(data)

# Convert Arrow Table to pandas DataFrame
df = arrow_table.to_pandas()

# Show the DataFrame
print(df)Altyapı:

Bir Arrow Tablosunu Pandas DataFrame’e dönüştürme. Görsel: yazar.

Bir Pandas DataFrame’i Arrow Tablosuna dönüştürme

Şimdi de tersini nasıl yapacağımıza bakalım: 

import pyarrow as pa
import pandas as pd

# Create a pandas DataFrame
df = pd.DataFrame({
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
})

# Convert pandas DataFrame to Arrow Table
arrow_table = pa.Table.from_pandas(df)

# Show the Arrow Table
print(arrow_table)Altyapı:

pandas DataFrame’den Arrow Tablosuna dönüştürme. Görsel: yazar.