Apache Arrow: Ein Leitfaden für Anfänger mit praktischen Beispielen

Mit Apache Arrow können verschiedene Tools und Systeme schnell und einfach Daten austauschen. Es speichert Daten in einem speziellen spaltenbasierten Format, das im Speicher bleibt und dadurch sehr schnell ist.

In diesem Lernprogramm führe ich dich durch die Grundlagen von Apache Arrow. Du bekommst praktische Beispiele, um zu verstehen, wie es funktioniert und wie du es in deinen Projekten einsetzen kannst.

Was ist Apache Arrow?

Apache Arrowist eine quelloffene, sprachübergreifende Plattform für leistungsstarke In-Memory-Datenverarbeitung. Sie definiert einandardisiertes, spaltenförmiges Speicherformat, das für moderne CPUs optimiert ist und effiziente Analysen und vektorisierte Berechnungen ermöglicht.

Arrow macht auch die Notwendigkeit der Serialisierung zwischen Systemen und Sprachen, was das Lesen von Null-Kopien ermöglicht und den Verarbeitungsaufwand verringert.

Da es gut mit Tools wie Pandas, Apache Spark und Dask zusammenarbeitet, kannst du Daten mit minimalem Aufwand verschieben. Das macht sie zu einer ausgezeichneten Wahl für alle, die schnelle, flexible Systeme bauen, die viele Daten verarbeiten müssen.

Lass uns Arrow mit einigen praktischen Beispielen erkunden!

Installation von Apache Arrow

Apache Arrow unterstützt mehrere Sprachen, darunter C, C++, C#, Python, Rust, Java, JavaScript, Julia, Go, Ruby und R. 

Es funktioniert unter Windows, macOS und gängigen Linux-Distributionen wie Debian, Ubuntu, CentOS und Red Hat Enterprise Linux.

In diesem Leitfaden werden wir es mit Python verwenden.

Schritt-für-Schritt-Anleitung zur Installation

Sehen wir uns an, wie du Apache Arrow für Python mit den offiziellen Binärrädern installierst, die auf PyPI veröffentlicht wurden. Diese Schritte funktionieren unter Windows, macOS und Linux auf die gleiche Weise.

Schritt 1: Prüfe, ob Python installiert ist

Öffne dein Terminal und führe es aus:

python --version

Wenn dies eine Versionsnummer ergibt, kannst du loslegen. Wenn nicht, installiere Python von der offiziellen Seite.

Schritt 2: Installiere pyarrow mit Pip

Um Apache Arrow für Python zu installieren, führst du aus:

pip install 'pyarrow==19.0.* '  

Die * stellt sicher, dass du die neueste Patch-Version der 19.0-Serie erhältst. 

Ich empfehle außerdem, pyarrow==19.0.* in deiner requirements.txt Datei zu verwenden, damit die Dinge in verschiedenen Umgebungen einheitlich bleiben. Dadurch wird pyarrow zusammen mit den erforderlichen Apache Arrow- und Parquet C++-Binärbibliotheken installiert, die mit dem Rad gebündelt sind.

Um Arrow für eine andere Sprache zu installieren, sieh dir die vollständige Dokumentation an.

Testen der Installation

Du kannst dieses schnelle Python-Snippet ausführen, um zu überprüfen, ob alles funktioniert:

import pyarrow as pa
# Create a simple Arrow array
data = pa.array([1, 2, 3, 4, 5])
print("Apache Arrow is installed and working!")
print("Arrow Array:", data)

Wenn pyarrow richtig installiert ist, siehst du das Array in deinem Terminal ausgedruckt. Wenn nicht, wird der Code einen Fehler ausgeben.

Apache Arrow Grundlagen

Bevor wir tiefer in den Code einsteigen, wollen wir verstehen, wie Apache Arrow aufgebaut ist.

Das Format des Spaltenspeichers verstehen

Das In-Memory-Spaltenformat ist eine der wichtigsten Funktionen von Apache Arrow. Sie definiert eine sprachunabhängige In-Memory-Datenstruktur. Darüber hinaus beinhaltet es die Serialisierung von Metadaten, ein Protokoll für den Datentransport und eine Standardmethode zur Darstellung von Daten in verschiedenen Systemen.

In einem spaltenbasierten Format werden die Daten in Spalten statt in Zeilen gespeichert, was sich von der traditionellen zeilenbasierten Speicherung unterscheidet. Spaltenförmige Layouts sind bei analytischen Workloads beliebt, weil sie viel schneller zu scannen und zu verarbeiten sind.

Das Bild unten erklärt das Format:

Säulenförmiges Format. Quelle: Apache Arrow Dokumente

Das Format von Apache Arrow steigert die Effizienz, indem es Spalten in zusammenhängende Speicherblöckelegt . Dies unterstützt moderne vektorisierte (SIMD) Operationen, die die Datenverarbeitung beschleunigen.

Durch die Verwendung eines Standardspaltenlayouts muss nicht mehr jedes System sein eigenes internes Datenformat definieren. Das reduziert sowohl den Aufwand für die Serialisierung als auch die doppelte Arbeit. 

Systeme können Daten leichter gemeinsam nutzen, und Entwickler können Algorithmen in verschiedenen Sprachen wiederverwenden.

Ohne ein gemeinsames Format wie Arrow muss jede Datenbank oder jedes Tool die Daten serialisieren und deserialisieren, bevor sie weitergegeben werden. Das erhöht die Kosten und die Komplexität. Außerdem müssen gängige Algorithmen für die interne Datenstruktur des jeweiligen Systems neu geschrieben werden. 

Arrow ändert das, indem es standardisiert, wie Daten im Speicher dargestellt werden.

Spaltenformate sind zwar gut für die analytische Leistung und die Speicherlokalität, aber sie sind nicht für häufige Aktualisierungen ausgelegt.

Das liegt daran, dass die spaltenbasierte Speicherung für schnelles Lesen und nicht für Änderungen optimiert ist. Wenn du Daten änderst, musst du sie oft kopieren oder den Speicher neu zuweisen, was langsam und ressourcenintensiv sein kann.

Arrow konzentriert sich auf eine effiziente In-Memory-Darstellung und Serialisierung. Wenn dein Anwendungsfall häufige Datenmutationen erfordert, musst du das auf der Implementierungsebene regeln.

Wenn du dich näher mit Arrow-kompatiblen Formaten befassen willst, schau dir diesen Leitfadenide zu Apache Parquet, ideal für dienarische Datenspeicherung.

Pfeil-Datenstrukturen

Apache Arrow bietet zwei wichtige Datenstrukturen: Array und Table: 

•  Pfeil-Array: Eine Array repräsentiert eine einzelne Spalte mit Daten. Sie speichert Werte in einem zusammenhängenden Speicherblock, was einen schnellen Zugriff, effizientes Scannen und die Unterstützung von Optimierungen auf Prozessorebene wie SIMD ermöglicht. Jedes Array kann auch Metadaten wie Nullindikatoren (Bitmaps) und Datentypinformationen enthalten.
• Pfeiltabelle: Daten liegen oft in zweidimensionalen Formaten vor, z. B. in Tabellen oder CSV-Dateien. Eine Arrow Table stellt also einen 2D-Datensatz dar. Jede Spalte ist ein Chunked Array, und alle Spalten folgen einem gemeinsamen Schema, das Feldnamen und -typen definiert. Während sich die Chunks in den Spalten unterscheiden können, muss die Gesamtzahl der Elemente gleich bleiben, damit die Zeilen konsistent bleiben.

Du kannst es dir wie ein DataFrame in Pandas oder R vorstellen. Es ist tabellarisch, effizient und unterstützt Operationen über mehrere Spalten gleichzeitig.

Beispiel für grundlegende Datenstrukturen

Sehen wir uns ein paar Beispiele für die Erstellung eines Pfeils Array und Table in Python an. 

Vergewissere dich, dass du pyarrow installiert hast, bevor du den untenstehenden Code ausführst, indem du die vorherigen Anweisungen befolgst.

Ein Pfeil-Array erstellen

import pyarrow as pa

# Create an Arrow Array (single column)
data = pa.array([1, 2, 3, 4, 5])
print("Arrow Array:")
print(data)

Drucke ein Pfeil-Array. Bild vom Autor.

Erstellen einer Pfeiltabelle

import pyarrow as pa

# Create an Arrow Table (multiple columns)
table = pa.table({
    'column1': pa.array([1, 2, 3]),
    'column2': pa.array(['a', 'b', 'c'])
})

print("\nArrow Table:")
print(table)

Drucke eine Tabelle mit Pfeilen. Bild vom Autor.          

Arbeiten mit Apache Arrow Arrays

Sehen wir uns an, wie du mit Arrow Arrays arbeitest und gängige Operationen durchführst, z. B. Slicen, Filtern und Prüfen von Metadaten.

Pfeil-Arrays erstellen

Arrow Arrays arbeiten mit verschiedenen Datentypen, darunter Strings, Fließkommazahlen und ganze Zahlen. Hier erfährst du, wie du sie erstellst:

import pyarrow as pa

# Integer Array
int_array = pa.array([10, 20, 30], type=pa.int32())
print("Integer Array:")
print(int_array)

# String Array
string_array = pa.array(["apple", "banana", "cherry"], type=pa.string())
print("\nString Array:")
print(string_array)

# Floating-point Array
float_array = pa.array([1.1, 2.2, 3.3], type=pa.float64())
print("\nFloating-point Array:")
print(float_array)

Drucken von Arrow Arrays mit verschiedenen Datentypen. Bild vom Autor.

Grundlegende Operationen mit Arrow-Arrays

Sehen wir uns ein paar gängige Operationen an, die du mit Arrow Arrays durchführen kannst.

Schneiden

Mit Slicing kannst du einen Teilbereich eines Arrays greifen. Du kannst zum Beispiel Elemente in bestimmten Indexbereichen extrahieren:

import pyarrow as pa
arr = pa.array([10, 20, 30, 40, 50])
# Slice from index 1 to 4 (3 elements: 20, 30, 40)
sliced = arr.slice(1, 3)
print("Original Array:", arr)
print("Sliced Array (1:4):", sliced)

Drucken eines aufgeschnittenen Pfeilfeldes. Bild vom Autor.

Filterung und Metadaten

Beim Filtern wird eine boolesche Maske verwendet, um nur die Werte zu behalten, die eine Bedingung erfüllen. Du kannst auch auf Metadaten wie Typ, Länge und Anzahl der Nullen zugreifen. 

import pyarrow.compute as pc

arr = pa.array([10, 20, 30, 40, 50])

# Create a boolean mask: Keep elements > 25
mask = pc.greater(arr, pa.scalar(25))

# Apply the filter
filtered = pc.filter(arr, mask)

print("Filtered Array (values > 25):", filtered)

print("Array Type:", arr.type)
print("Array Length:", len(arr))
print("Null Count:", arr.null_count)
print("Is Null Bitmap Buffers:", arr.buffers())

Drucken eines gefilterten Pfeilfeldes. Bild vom Autor.

Drucken von Metadaten eines Arrow Arrays. Bild vom Autor.

Apache Pfeiltabellen verwenden

Du kannst Tabellen aus Arrow-Arrays oder direkt aus nativen Python-Datenstrukturen wie Wörterbüchern erstellen. Lass uns sehen, wie. 

Tabellen erstellen und anzeigen

Es gibt zwei gängige Möglichkeiten, eine Pfeiltabelle zu erstellen:

1. Mehrere Arrow Arrays verwenden
2. Die Verwendung eines Python-Wörterbuchs mit pa.table()

Lass uns beide Wege nacheinander erkunden.

1. Pfeil-Arrays verwenden

import pyarrow as pa

# Create individual Arrow Arrays
ids = pa.array([1, 2, 3])
names = pa.array(['Alice', 'Bob', 'Charlie'])
scores = pa.array([85.0, 92.5, 78.3])

# Combine them into a Table
table = pa.table({
    'id': ids,
    'name': names,
    'score': scores
})

print("Arrow Table from Arrays:")
print(table)

Im obigen Code:

• Wir erstellen drei Arrays (Integer, String, Float)
• Wir definieren ein Schema, indem wir jeder Spalte einen Namen geben
• Wir kombinieren sie in einer Tabelle mit pa.table()

Erstelle eine Tabelle mit mehreren Pfeiltabellen. Bild vom Autor.

2. Ein Python-Wörterbuch verwenden

Sehen wir uns nun an, wie man eine Tabelle aus einem Python-Wörterbuch erstellt.

# Create a table directly from Python data
data = {
    'id': [4, 5, 6],
    'name': ['Diana', 'Eve', 'Frank'],
    'score': [88.0, 79.5, 91.2]
}

table2 = pa.table(data)

print("\nArrow Table from Dictionary:")
print(table2)

Diese Methode ist kürzer und kompakter. Wir müssen die Arrays nicht manuell definieren, das übernimmt Arrow für uns. 

Erstellen einer Pfeiltabelle direkt aus Python-Wörterbüchern. Bild vom Autor.

Konvertierung zwischen Pfeiltabellen und Pandas DataFrames

Eine der größten Stärken von Arrow ist seine Interoperabilität. Du kannst ganz einfach zwischen einer Pfeiltabelle und einem DataFrame von Pandas wechseln. Mal sehen, wie man das macht:

Konvertieren einer Tabelle in einen Pandas DataFrame

import pyarrow as pa
import pandas as pd

# Create an Arrow Table
data = {
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
}
arrow_table = pa.table(data)

# Convert Arrow Table to pandas DataFrame
df = arrow_table.to_pandas()

# Show the DataFrame
print(df)

Konvertieren einer Tabelle in einen Pandas DataFrame. Bild vom Autor.

Umwandlung eines Pandas DataFrame in eine Pfeiltabelle

Jetzt wollen wir mal sehen, wie man das Gegenteil macht: 

import pyarrow as pa
import pandas as pd

# Create a pandas DataFrame
df = pd.DataFrame({
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
})

# Convert pandas DataFrame to Arrow Table
arrow_table = pa.Table.from_pandas(df)

# Show the Arrow Table
print(arrow_table)

Konvertieren von Pandas DataFrame in eine Array-Tabelle. Bild vom Autor.