Apache Arrow: व्यवहारिक उदाहरणों के साथ एक शुरुआती मार्गदर्शिका

Apache Arrow अलग-अलग टूल्स और सिस्टम्स को डेटा साझा करने में तेज़ी और आसानी से मदद करता है। यह डेटा को एक विशेष कॉलम-आधारित फ़ॉर्मेट में मेमोरी में ही संग्रहीत करता है, जिससे उस पर काम करना बहुत तेज़ हो जाता है।

इस ट्यूटोरियल में, मैं आपको Apache Arrow की मूल बातें समझाऊँगा। आप हाथों-हाथ उदाहरणों के माध्यम से जानेंगे कि यह कैसे काम करता है और अपने प्रोजेक्ट्स में इसका उपयोग कैसे करें।

Apache Arrow क्या है?

Apache Arrow iस एक ओपन-सोर्स, क्रॉस-लैंग्वेज प्लेटफ़ॉर्म है जो हाई-परफ़ॉर्मेंस इन-मेमोरी डेटा प्रोसेसिंग के लिए बना है। यह एक स्टैंडर्ड, कॉलमनर मेमोरी फ़ॉर्मेट परिभाषित करता है जो मॉडर्न CPU के लिए ऑप्टिमाइज़्ड है ताकि एनालिटिक्स और वेक्टराइज़्ड कम्प्यूटेशन कुशलता से हो सके।

Arrow सीरियलाइज़ेशन की ज़रूरत को भी हटाता है सिस्टम्स और भाषाओं के बीच, जिससे ज़ीरो-कॉपी रीड संभव होती है और प्रोसेसिंग ओवरहेड कम होता है। 

क्योंकि यह pandas, Apache Spark, और Dask जैसे टूल्स के साथ अच्छी तरह काम करता है, आप बहुत कम प्रयास में डेटा इधर-उधर कर सकते हैं। यह उन सभी के लिए बेहतरीन विकल्प है जो तेज़, लचीले सिस्टम बनाते हैं जिन्हें बड़े पैमाने पर डेटा संभालना होता है।

अब, कुछ व्यवहारिक उदाहरणों के साथ Arrow को एक्सप्लोर करते हैं!

Apache Arrow इंस्टॉल करना

Apache Arrow कई भाषाओं को सपोर्ट करता है, जिनमें C, C++, C#, Python, Rust, Java, JavaScript, Julia, Go, Ruby, और R शामिल हैं। 

यह Windows, macOS, और लोकप्रिय Linux डिस्ट्रीब्यूशन्स—जैसे Debian, Ubuntu, CentOS, और Red Hat Enterprise Linux—पर काम करता है।

इस गाइड में, हम इसे Python के साथ उपयोग करेंगे।

स्टेप-बाय-स्टेप इंस्टॉलेशन गाइड

आइए PyPI पर प्रकाशित आधिकारिक बाइनरी व्हील्स का उपयोग करके Python के लिए Apache Arrow इंस्टॉल करना देखें। ये स्टेप्स Windows, macOS, और Linux पर समान हैं।

स्टेप 1: जाँचें कि Python इंस्टॉल है या नहीं

अपना टर्मिनल खोलें और चलाएँ:

python --version

अगर यह कोई वर्ज़न नंबर लौटाता है, तो सब ठीक है। अगर नहीं, तो Python को आधिकारिक साइट से इंस्टॉल करें।

स्टेप 2: pip से pyarrow इंस्टॉल करें

Python के लिए Apache Arrow इंस्टॉल करने के लिए चलाएँ:

pip install 'pyarrow==19.0.* '  

यहाँ * सुनिश्चित करता है कि आपको 19.0 सीरीज़ का नवीनतम पैच रिलीज़ मिले। 

मैं यह भी सुझाव देता हूँ कि अपने requirements.txt फ़ाइल में pyarrow==19.0.* का उपयोग करें ताकि अलग-अलग वातावरणों में सामंजस्य बना रहे। इससे pyarrow के साथ आवश्यक Apache Arrow और Parquet C++ बाइनरी लाइब्रेरीज़, जो व्हील में बंडल होती हैं, इंस्टॉल हो जाएँगी।

किसी दूसरी भाषा के लिए Arrow इंस्टॉल करने हेतु, पूरी डॉक्यूमेंटेशन देखें।

इंस्टॉलेशन की जाँच

सब कुछ सही काम कर रहा है या नहीं, यह जाँचने के लिए आप यह छोटा Python स्निपेट चला सकते हैं:

import pyarrow as pa
# Create a simple Arrow array
data = pa.array([1, 2, 3, 4, 5])
print("Apache Arrow is installed and working!")
print("Arrow Array:", data)

यदि pyarrow सही से इंस्टॉल है, तो आपको टर्मिनल में ऐरे प्रिंट होकर दिखेगा। नहीं तो कोड एक एरर देगा।

Apache Arrow की बुनियादी बातें

कोड में गहराई से जाने से पहले, समझते हैं कि Apache Arrow कैसे बना है।

कॉलमनर मेमोरी फ़ॉर्मेट को समझना

इन-मेमोरी कॉलमनर फ़ॉर्मेट, Apache Arrow की सबसे अहम विशेषताओं में से एक है। यह एक भाषा-स्वतंत्र, इन-मेमोरी डेटा स्ट्रक्चर परिभाषित करता है। इसके अलावा, इसमें मेटाडेटा सीरियलाइज़ेशन, डेटा ट्रांसपोर्ट के लिए एक प्रोटोकॉल, और सिस्टम्स में डेटा को दर्शाने का एक मानक तरीका शामिल है।

कॉलमनर फ़ॉर्मेट में, डेटा पंक्तियों के बजाय कॉलम्स में संग्रहीत होता है, जो पारंपरिक रो-बेस्ड स्टोरेज से अलग है। कॉलमनर लेआउट्स विश्लेषणात्मक वर्कलोड्स के लिए लोकप्रिय हैं क्योंकि वे स्कैन और प्रोसेस करने में बहुत तेज़ होते हैं।

नीचे दी गई इमेज इस फ़ॉर्मेट को समझाती है:

कॉलमनर फ़ॉर्मेट। स्रोत: Apache Arrow डॉक्‍स

Apache Arrow का फ़ॉर्मेट सन्निहित (contiguous) मेमोरी ब्लॉक्स में कॉलम्स को रखकर दक्षता बढ़ाता है। यह आधुनिक वेक्टराइज़्ड (SIMD) ऑपरेशन्स को सपोर्ट करता है, जो डेटा प्रोसेसिंग को तेज़ करते हैं।

एक मानक कॉलमनर लेआउट का उपयोग करके, Arrow हर सिस्टम को अपना आंतरिक डेटा फ़ॉर्मेट परिभाषित करने की ज़रूरत से मुक्त करता है। इससे सीरियलाइज़ेशन ओवरहेड और दोहराए जाने वाले प्रयास दोनों कम होते हैं। 

सिस्टम्स के बीच डेटा साझा करना आसान हो जाता है, और डेवलपर्स अलग-अलग भाषाओं में एल्गोरिद्म्स को पुन: उपयोग कर सकते हैं।

Arrow जैसे साझा फ़ॉर्मेट के बिना, हर डेटाबेस या टूल को डेटा पास करने से पहले उसे सीरियलाइज़ और डी-सीरियलाइज़ करना पड़ता है। इससे लागत और जटिलता बढ़ती है। और आम एल्गोरिद्म्स को हर सिस्टम के आंतरिक डेटा स्ट्रक्चर के अनुसार दोबारा लिखना पड़ता है। 

Arrow इसे बदलता है, यह मानकीकृत करता है कि मेमोरी में डेटा को कैसे प्रस्तुत किया जाए।

हालाँकि कॉलमनर फ़ॉर्मेट्स विश्लेषणात्मक परफ़ॉर्मेंस और मेमोरी लोकैलिटी के लिए बढ़िया हैं, वे बार-बार अपडेट्स के लिए डिज़ाइन नहीं किए गए होते।

क्योंकि कॉलमनर स्टोरेज तेज़ रीडिंग के लिए ऑप्टिमाइज़ होता है, न कि संशोधित करने के लिए। डेटा में बदलाव करना अक्सर मेमोरी की कॉपी या रिअलोकेशन की मांग करता है, जो धीमा और संसाधन-गहन हो सकता है।

Arrow कुशल इन-मेमोरी प्रतिवेदन और सीरियलाइज़ेशन पर ध्यान देता है। यदि आपके उपयोग-केस में बार-बार डेटा परिवर्तन की आवश्यकता है, तो आपको उसे इम्प्लीमेंटेशन स्तर पर संभालना होगा।

Arrow-कम्पैटिबल फ़ॉर्मेट्स में गहराई से जाने के लिए, इस गुide to Apache Parquet देखें, जो कॉलुमनर डेटा स्टोरेज के लिए उपयुक्त है।        

Arrow डेटा स्ट्रक्चर्स

Apache Arrow दो मुख्य डेटा स्ट्रक्चर प्रदान करता है: Array और Table: 

•  Arrow Array: एक Array एक सिंगल कॉलम का प्रतिनिधित्व करता है। यह मानों को सन्निहित मेमोरी ब्लॉक में स्टोर करता है, जिससे तेज़ एक्सेस, कुशल स्कैनिंग और SIMD जैसी प्रोसेसर-स्तरीय ऑप्टिमाइज़ेशन संभव होती हैं। प्रत्येक ऐरे में नल इंडिकेटर्स (बिटमैप्स) और डेटा टाइप जानकारी जैसी मेटाडेटा भी हो सकती है।
• Arrow Table: डेटा अक्सर 2-डायमेंशनल फ़ॉर्मेट्स में आता है, जैसे डेटाबेस टेबल्स या CSV फ़ाइलें। इसलिए एक Arrow Table 2D डेटासेट का प्रतिनिधित्व करता है। प्रत्येक कॉलम एक चंक्ड ऐरे होता है, और सभी कॉलम एक साझा स्कीमा का पालन करते हैं जो फ़ील्ड नाम और टाइप्स परिभाषित करता है। भले ही चंक्स कॉलम्स में अलग-अलग हो सकते हैं, लेकिन कुल एलिमेंट्स की संख्या पंक्तियों को सुसंगत रखने के लिए संरेखित रहनी चाहिए।

आप इसे pandas या R के DataFrame जैसा समझ सकते हैं। यह टेब्युलर, कुशल है, और एक साथ कई कॉलम्स पर ऑपरेशन्स को सपोर्ट करता है।

बेसिक डेटा स्ट्रक्चर्स का उदाहरण

Python में Arrow Array और Table बनाने के कुछ उदाहरण देखते हैं। 

नीचे दिया गया कोड चलाने से पहले, सुनिश्चित करें कि pyarrow इंस्टॉल है—पिछले निर्देश देखें।

Arrow Array बनाना

import pyarrow as pa

# Create an Arrow Array (single column)
data = pa.array([1, 2, 3, 4, 5])
print("Arrow Array:")
print(data)

Arrow Array प्रिंट करें। चित्र: लेखक।

Arrow Table बनाना

import pyarrow as pa

# Create an Arrow Table (multiple columns)
table = pa.table({
    'column1': pa.array([1, 2, 3]),
    'column2': pa.array(['a', 'b', 'c'])
})

print("\nArrow Table:")
print(table)

Arrow Table प्रिंट करें। चित्र: लेखक।          

Apache Arrow Arrays के साथ काम करना

आइए देखें कि Arrow Arrays के साथ कैसे काम करें और स्लाइसिंग, फ़िल्टरिंग, और मेटाडेटा जाँच जैसी सामान्य क्रियाएँ करें।

Arrow Arrays बनाना

Arrow Arrays अलग-अलग डेटा टाइप्स के साथ काम करते हैं, जिनमें स्ट्रिंग, फ़्लोटिंग-पॉइंट नंबर और इंटिजर्स शामिल हैं। इन्हें ऐसे बनाएँ:

import pyarrow as pa

# Integer Array
int_array = pa.array([10, 20, 30], type=pa.int32())
print("Integer Array:")
print(int_array)

# String Array
string_array = pa.array(["apple", "banana", "cherry"], type=pa.string())
print("\nString Array:")
print(string_array)

# Floating-point Array
float_array = pa.array([1.1, 2.2, 3.3], type=pa.float64())
print("\nFloating-point Array:")
print(float_array)

अलग-अलग डेटा टाइप्स के Arrow Arrays प्रिंट करना। चित्र: लेखक।

Arrow Arrays पर बुनियादी ऑपरेशन्स

आइए कुछ आम ऑपरेशन्स देखें जो आप Arrow Arrays पर कर सकते हैं।

स्लाइसिंग

स्लाइसिंग से आप किसी ऐरे का उप-भाग ले सकते हैं। उदाहरण के लिए, आप खास इंडेक्स रेंज के एलिमेंट्स निकाल सकते हैं:

import pyarrow as pa
arr = pa.array([10, 20, 30, 40, 50])
# Slice from index 1 to 4 (3 elements: 20, 30, 40)
sliced = arr.slice(1, 3)
print("Original Array:", arr)
print("Sliced Array (1:4):", sliced)

स्लाइस किया हुआ Arrow Array प्रिंट करना। चित्र: लेखक।

फ़िल्टरिंग और मेटाडेटा

फ़िल्टरिंग किसी शर्त से मेल खाने वाले मानों को रखने के लिए बूलियन मास्क का उपयोग करती है। आप टाइप, लंबाई, और नल काउंट जैसे मेटाडेटा भी एक्सेस कर सकते हैं। 

import pyarrow.compute as pc

arr = pa.array([10, 20, 30, 40, 50])

# Create a boolean mask: Keep elements > 25
mask = pc.greater(arr, pa.scalar(25))

# Apply the filter
filtered = pc.filter(arr, mask)

print("Filtered Array (values > 25):", filtered)

print("Array Type:", arr.type)
print("Array Length:", len(arr))
print("Null Count:", arr.null_count)
print("Is Null Bitmap Buffers:", arr.buffers())

फ़िल्टर किया हुआ Arrow Array प्रिंट करना। चित्र: लेखक।

Arrow Array का मेटाडेटा प्रिंट करना। चित्र: लेखक।

Apache Arrow Tables का उपयोग

आप Arrow Tables को Arrow Arrays से या सीधे Python डेटा स्ट्रक्चर्स जैसे डिक्शनरीज़ से बना सकते हैं। आइए देखें कैसे। 

टेबल्स बनाना और देखना

Arrow Table बनाने के दो आम तरीके हैं:

1. कई Arrow Arrays का उपयोग करना
2. pa.table() के साथ Python डिक्शनरी का उपयोग करना

आइए दोनों तरीकों को एक-एक करके देखें।

1. Arrow Arrays का उपयोग

import pyarrow as pa

# Create individual Arrow Arrays
ids = pa.array([1, 2, 3])
names = pa.array(['Alice', 'Bob', 'Charlie'])
scores = pa.array([85.0, 92.5, 78.3])

# Combine them into a Table
table = pa.table({
    'id': ids,
    'name': names,
    'score': scores
})

print("Arrow Table from Arrays:")
print(table)

ऊपर दिए गए कोड में:

• हमने तीन ऐरे (इंटिजर, स्ट्रिंग, फ़्लोट) बनाए
• प्रत्येक कॉलम को एक नाम देकर एक स्कीमा परिभाषित किया
• pa.table() के साथ उन्हें एक टेबल में जोड़ा

कई Arrow Arrays का उपयोग करके Arrow Table बनाना। चित्र: लेखक।

2. Python डिक्शनरी का उपयोग

अब देखें कि Python डिक्शनरी से टेबल कैसे बनाते हैं।

# Create a table directly from Python data
data = {
    'id': [4, 5, 6],
    'name': ['Diana', 'Eve', 'Frank'],
    'score': [88.0, 79.5, 91.2]
}

table2 = pa.table(data)

print("\nArrow Table from Dictionary:")
print(table2)

यह तरीका छोटा और अधिक कॉम्पैक्ट है। हमें ऐरेज़ को मैन्युअली परिभाषित नहीं करना पड़ता; Arrow यह काम कर देता है। 

Python डिक्शनरीज़ से सीधे Arrow Table बनाना। चित्र: लेखक।

Arrow Tables और pandas DataFrames के बीच कन्वर्ज़न

Arrow की सबसे बड़ी ताकतों में से एक है इंटरऑपरेबिलिटी। आप आसानी से Arrow Table और pandas DataFrame के बीच जा सकते हैं। आइए देखें कैसे:

Arrow Table को Pandas DataFrame में बदलना

import pyarrow as pa
import pandas as pd

# Create an Arrow Table
data = {
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
}
arrow_table = pa.table(data)

# Convert Arrow Table to pandas DataFrame
df = arrow_table.to_pandas()

# Show the DataFrame
print(df)

Arrow Table को Pandas DataFrame में बदलना। चित्र: लेखक।

Pandas DataFrame को Arrow Table में बदलना

अब, इसका उलटा देखते हैं: 

import pyarrow as pa
import pandas as pd

# Create a pandas DataFrame
df = pd.DataFrame({
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
})

# Convert pandas DataFrame to Arrow Table
arrow_table = pa.Table.from_pandas(df)

# Show the Arrow Table
print(arrow_table)

pandas DataFrame को Array Table में बदलना। चित्र: लेखक।