Apache Arrow: guida per principianti con esempi pratici

Apache Arrow aiuta strumenti e sistemi diversi a condividere i dati in modo rapido e semplice. Memorizza i dati in un formato speciale basato su colonne che rimane in memoria, rendendo il lavoro molto veloce.

In questo tutorial ti guiderò attraverso le basi di Apache Arrow. Vedrai esempi pratici per capire come funziona e come usarlo nei tuoi progetti.

Che cos’è Apache Arrow?

Apache Arrow is un progetto open-source, multipiattaforma e multilanguage per l’elaborazione ad alte prestazioni di dati in memoria. Definisce un formato di memoria colonnare standardizzato e ottimizzato per le CPU moderne per abilitare analisi efficienti e computazione vettoriale.

Arrow inoltre elimina la necessità di serializzazione tra sistemi e linguaggi, consentendo letture zero-copy e riducendo l’overhead di elaborazione. 

Poiché si integra bene con strumenti come pandas, Apache Spark e Dask, puoi spostare i dati con il minimo sforzo. Questo lo rende un’ottima scelta per chi costruisce sistemi veloci e flessibili che devono gestire grandi volumi di dati.

Ora esploriamo Arrow con alcuni esempi pratici!

Installare Apache Arrow

Apache Arrow supporta diversi linguaggi, tra cui C, C++, C#, Python, Rust, Java, JavaScript, Julia, Go, Ruby e R. 

Funziona su Windows, macOS e sulle principali distribuzioni Linux, come Debian, Ubuntu, CentOS e Red Hat Enterprise Linux.

In questa guida lo useremo con Python.

Guida all’installazione passo passo

Vediamo come installare Apache Arrow per Python usando i wheel binari ufficiali pubblicati su PyPI. Questi passaggi funzionano allo stesso modo su Windows, macOS e Linux.

Passaggio 1: verifica se Python è installato

Apri il terminale ed esegui:

python --versionOfferto da

Se restituisce un numero di versione, sei a posto. In caso contrario, installa Python dal sito ufficiale.

Passaggio 2: installa pyarrow con pip

Per installare Apache Arrow per Python, esegui:

pip install 'pyarrow==19.0.* '  Offerto da

Il * garantisce che tu ottenga l’ultima patch release della serie 19.0. 

Consiglio anche di usare pyarrow==19.0.* nel tuo requirements.txt per mantenere la coerenza tra gli ambienti. Questo installerà pyarrow insieme alle librerie binarie C++ richieste di Apache Arrow e Parquet incluse nel wheel.

Per installare Arrow per un altro linguaggio, dai un’occhiata alla documentazione completa.

Testare l’installazione

Puoi eseguire questo breve snippet Python per verificare che tutto funzioni:

import pyarrow as pa
# Create a simple Arrow array
data = pa.array([1, 2, 3, 4, 5])
print("Apache Arrow is installed and working!")
print("Arrow Array:", data)Offerto da

Se pyarrow è installato correttamente, vedrai l’array stampato nel terminale. In caso contrario, il codice genererà un errore.

Fondamenti di Apache Arrow

Prima di entrare più a fondo nel codice, capiamo come è costruito Apache Arrow.

Capire il formato di memoria colonnare

Il formato colonnare in memoria è una delle caratteristiche più importanti di Apache Arrow. Definisce una struttura dati in memoria indipendente dal linguaggio. Inoltre, include la serializzazione dei metadati, un protocollo per il trasporto dei dati e un modo standard per rappresentare i dati tra i sistemi.

In un formato colonnare, i dati sono memorizzati per colonne anziché per righe, diversamente dall’archiviazione tradizionale basata su righe. I layout colonnari sono popolari per i carichi analitici perché sono molto più veloci da scandire ed elaborare.

L’immagine seguente spiega il formato:

Formato colonnare. Fonte: documentazione di Apache Arrow

Il formato di Apache Arrow aumenta l’efficienza disponendo le colonne in blocchi di memoria contigui. Questo supporta le operazioni vettorializzate (SIMD) moderne, che accelerano l’elaborazione dei dati.

Usando un layout colonnare standard, Arrow elimina la necessità per ogni sistema di definire il proprio formato dati interno. Questo riduce sia l’overhead di serializzazione sia la duplicazione degli sforzi. 

I sistemi possono condividere i dati più facilmente e gli sviluppatori possono riutilizzare algoritmi tra linguaggi diversi.

Senza un formato condiviso come Arrow, ogni database o strumento deve serializzare e deserializzare i dati prima di passarli oltre. Questo aggiunge costi e complessità. E gli algoritmi comuni devono essere riscritti per la struttura dati interna di ogni sistema. 

Arrow cambia le cose standardizzando la rappresentazione dei dati in memoria.

Sebbene i formati colonnari siano eccellenti per le prestazioni analitiche e la località della memoria, non sono progettati per aggiornamenti frequenti.

Questo perché l’archiviazione colonnare è ottimizzata per la lettura veloce, non per le modifiche. Apportare cambiamenti ai dati spesso significa copiare o riallocare memoria, operazioni lente e dispendiose in risorse.

Arrow si concentra su una rappresentazione in memoria efficiente e sulla serializzazione. Se il tuo caso d’uso richiede modifiche frequenti ai dati, dovrai gestirle a livello di implementazione.

Per approfondire i formati compatibili con Arrow, consulta questa guida a Apache Parquet, ideale per l’archiviazione di dati colonnari.        

Strutture dati di Arrow

Apache Arrow fornisce due strutture dati principali: Array e Table: 

•  Arrow Array: un Array rappresenta una singola colonna di dati. Memorizza i valori in un blocco di memoria contiguo, consentendo accesso veloce, scansioni efficienti e supporto per ottimizzazioni a livello di processore come la SIMD. Ogni array può includere anche metadati come indicatori di null (bitmap) e informazioni sul tipo di dato.
• Arrow Table: i dati spesso arrivano in formati bidimensionali, come tabelle di database o file CSV. Quindi una Arrow Table rappresenta un dataset 2D. Ogni colonna è un array a chunk, e tutte le colonne seguono uno schema condiviso che definisce nomi dei campi e tipi. Anche se i chunk possono differire tra colonne, il numero totale di elementi deve rimanere allineato per mantenere coerenti le righe.

Puoi pensarla come un DataFrame in pandas o R. È tabellare, efficiente e supporta operazioni su più colonne contemporaneamente.

Esempio di strutture dati di base

Vediamo alcuni esempi per creare un Array e una Table di Arrow in Python. 

Assicurati di aver installato pyarrow prima di eseguire il codice qui sotto, seguendo le istruzioni precedenti.

Creare un Arrow Array

import pyarrow as pa

# Create an Arrow Array (single column)
data = pa.array([1, 2, 3, 4, 5])
print("Arrow Array:")
print(data)Offerto da

Stampa di un Arrow Array. Immagine dell’autore.

Creare un Arrow Table

import pyarrow as pa

# Create an Arrow Table (multiple columns)
table = pa.table({
    'column1': pa.array([1, 2, 3]),
    'column2': pa.array(['a', 'b', 'c'])
})

print("\nArrow Table:")
print(table)Offerto da

Stampa di un Arrow Table. Immagine dell’autore.          

Lavorare con gli Arrow Array

Vediamo come lavorare con gli Arrow Array ed eseguire operazioni comuni, come slicing, filtro e verifica dei metadati.

Creare Arrow Array

Gli Arrow Array funzionano con diversi tipi di dati, inclusi stringhe, numeri in virgola mobile e interi. Ecco come crearli:

import pyarrow as pa

# Integer Array
int_array = pa.array([10, 20, 30], type=pa.int32())
print("Integer Array:")
print(int_array)

# String Array
string_array = pa.array(["apple", "banana", "cherry"], type=pa.string())
print("\nString Array:")
print(string_array)

# Floating-point Array
float_array = pa.array([1.1, 2.2, 3.3], type=pa.float64())
print("\nFloating-point Array:")
print(float_array)Offerto da

Stampa di Arrow Array con tipi di dati diversi. Immagine dell’autore.

Operazioni di base sugli Arrow Array

Vediamo alcune operazioni comuni che puoi eseguire con gli Arrow Array.

Slicing

Lo slicing ti permette di prendere una sottosezione di un array. Per esempio, puoi estrarre elementi in specifici intervalli di indici:

import pyarrow as pa
arr = pa.array([10, 20, 30, 40, 50])
# Slice from index 1 to 4 (3 elements: 20, 30, 40)
sliced = arr.slice(1, 3)
print("Original Array:", arr)
print("Sliced Array (1:4):", sliced)Offerto da

Stampa di un Arrow Array affettato (sliced). Immagine dell’autore.

Filtraggio e metadati

Il filtraggio usa una maschera booleana per mantenere solo i valori che soddisfano una condizione. Puoi anche accedere a metadati come tipo, lunghezza e conteggio dei null. 

import pyarrow.compute as pc

arr = pa.array([10, 20, 30, 40, 50])

# Create a boolean mask: Keep elements > 25
mask = pc.greater(arr, pa.scalar(25))

# Apply the filter
filtered = pc.filter(arr, mask)

print("Filtered Array (values > 25):", filtered)

print("Array Type:", arr.type)
print("Array Length:", len(arr))
print("Null Count:", arr.null_count)
print("Is Null Bitmap Buffers:", arr.buffers())Offerto da

Stampa di un Arrow Array filtrato. Immagine dell’autore.

Stampa dei metadati di un Arrow Array. Immagine dell’autore.

Usare gli Arrow Table

Puoi creare Arrow Table a partire da Arrow Array o direttamente da strutture dati native di Python come i dizionari. Vediamo come. 

Creare e visualizzare tabelle

Ci sono due modi comuni per creare un Arrow Table:

1. Usando più Arrow Array
2. Usando un dizionario Python con pa.table()

Esploriamo entrambi i modi uno per uno.

1. Usando Arrow Array

import pyarrow as pa

# Create individual Arrow Arrays
ids = pa.array([1, 2, 3])
names = pa.array(['Alice', 'Bob', 'Charlie'])
scores = pa.array([85.0, 92.5, 78.3])

# Combine them into a Table
table = pa.table({
    'id': ids,
    'name': names,
    'score': scores
})

print("Arrow Table from Arrays:")
print(table)Offerto da

Nel codice sopra:

• Creiamo tre array (intero, stringa, float)
• Definiamo uno schema assegnando un nome a ciascuna colonna
• Li combiniamo in una Tabella con pa.table()

Creazione di un Arrow Table usando più Arrow Array. Immagine dell’autore.

2. Usando un dizionario Python

Ora vediamo come creare una Tabella da un dizionario Python.

# Create a table directly from Python data
data = {
    'id': [4, 5, 6],
    'name': ['Diana', 'Eve', 'Frank'],
    'score': [88.0, 79.5, 91.2]
}

table2 = pa.table(data)

print("\nArrow Table from Dictionary:")
print(table2)Offerto da

Questo metodo è più breve e compatto. Non dobbiamo definire manualmente gli array; Arrow se ne occupa per noi. 

Creazione di un Arrow Table direttamente da dizionari Python. Immagine dell’autore.

Conversione tra Arrow Table e DataFrame di pandas

Uno dei maggiori punti di forza di Arrow è l’interoperabilità. Puoi passare facilmente da un Arrow Table a un DataFrame di pandas. Vediamo come fare:

Convertire un Arrow Table in un DataFrame pandas

import pyarrow as pa
import pandas as pd

# Create an Arrow Table
data = {
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
}
arrow_table = pa.table(data)

# Convert Arrow Table to pandas DataFrame
df = arrow_table.to_pandas()

# Show the DataFrame
print(df)Offerto da

Conversione di un Arrow Table in un DataFrame pandas. Immagine dell’autore.

Convertire un DataFrame pandas in un Arrow Table

Ora vediamo come fare l’operazione inversa: 

import pyarrow as pa
import pandas as pd

# Create a pandas DataFrame
df = pd.DataFrame({
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
})

# Convert pandas DataFrame to Arrow Table
arrow_table = pa.Table.from_pandas(df)

# Show the Arrow Table
print(arrow_table)Offerto da

Conversione di un DataFrame pandas in un Arrow Table. Immagine dell’autore.