Apache Arrow：入门指南与实用示例

Apache Arrow 可帮助不同的工具和系统快速、轻松地共享数据。它将数据存储在一种特殊的基于列的内存格式中，使处理速度非常快。

在本教程中，我将带您了解 Apache Arrow 的基础知识。您将通过动手示例了解它的工作原理，以及如何在项目中使用它。

什么是 Apache Arrow？

Apache Arrow 是一个开源、跨语言的高性能内存数据处理平台。它定义了一种标准化的列式内存格式，针对现代 CPU 进行了优化，从而实现高效分析与向量化计算。

Arrow 还消除了系统与语言间的序列化需求，从而实现零拷贝读取，降低处理开销。

由于它与 pandas、Apache Spark 和 Dask 等工具配合良好，您可以以最小的代价在它们之间移动数据。这使其成为构建快速、灵活且需要处理海量数据的系统的理想选择。

现在，让我们通过一些实用示例来探索 Arrow！

安装 Apache Arrow

Apache Arrow 支持多种语言，包括 C、C++、C#、Python、Rust、Java、JavaScript、Julia、Go、Ruby 和 R。

它可在 Windows、macOS 和主流 Linux 发行版（如 Debian、Ubuntu、CentOS 和 Red Hat Enterprise Linux）上运行。

本指南将结合 Python 进行演示。

分步安装指南

我们来看如何使用 PyPI 上发布的官方二进制轮包为 Python 安装 Apache Arrow。这些步骤在 Windows、macOS 和 Linux 上都相同。

步骤 1：检查是否已安装 Python

打开终端并运行：

python --version

如果返回版本号，说明就绪。否则，请从 官方网站 安装 Python。

步骤 2：使用 pip 安装 pyarrow

要为 Python 安装 Apache Arrow，运行：

pip install 'pyarrow==19.0.* '  

其中 * 确保您获得 19.0 系列中的最新补丁版本。

我还建议在 requirements.txt 文件中使用 pyarrow==19.0.*，以在不同环境中保持一致性。此操作将安装 pyarrow，并同时通过 wheel 打包安装所需的 Apache Arrow 和 Parquet C++ 二进制库。

要为其他语言安装 Arrow，请查阅完整文档。

测试安装

您可以运行以下简短的 Python 代码片段检查一切是否正常：

import pyarrow as pa
# Create a simple Arrow array
data = pa.array([1, 2, 3, 4, 5])
print("Apache Arrow is installed and working!")
print("Arrow Array:", data)

如果 pyarrow 安装正确，您将在终端中看到打印的数组；否则，代码会抛出错误。

Apache Arrow 基础

在深入代码之前，我们先了解 Apache Arrow 的构建方式。

理解列式内存格式

内存中的列式格式是 Apache Arrow 最重要的特性之一。它定义了一种与语言无关的内存数据结构；此外，还包含元数据序列化、数据传输协议，以及跨系统的标准数据表示方法。

在列式格式中，数据按列而非按行存储，这不同于传统的行式存储。列式布局在分析型工作负载中很受欢迎，因为扫描与处理速度更快。

下图解释了这种格式：

列式格式。来源：Apache Arrow 文档

Apache Arrow 的格式通过将列布局在连续内存块中来提升效率。这支持现代的向量化（SIMD）操作，从而加速数据处理。

使用标准列式布局，Arrow 免去了每个系统自行定义内部数据格式的需要，既降低了序列化开销，也减少了重复劳动。

系统之间更容易共享数据，开发者也能在不同语言间复用算法。

没有像 Arrow 这样的共享格式时，每个数据库或工具在传递数据前都需要进行序列化与反序列化。这会增加成本与复杂度，而且通用算法还得针对每个系统的内部数据结构重写。

Arrow 通过标准化内存中的数据表示方式，改变了这一点。

尽管列式格式在分析性能与内存局部性方面表现出色，但并不适合频繁更新。

原因在于列式存储主要为快速读取优化，而非修改。进行变更往往需要复制或重新分配内存，这既慢又耗费资源。

Arrow 专注于高效的内存表示与序列化。如果您的用例需要频繁的数据变更，则需要在实现层面进行处理。

若要更深入了解与 Arrow 兼容的格式，请参阅这篇关于Apache Parquet 的指南，适用于列式数据存储。        

Arrow 数据结构

Apache Arrow 提供两个关键数据结构：Array 和 Table：

• Arrow Array：Array 表示单个数据列。它将值存储在连续的内存块中，支持快速访问、高效扫描以及诸如 SIMD 的处理器级优化。每个数组还可携带诸如空值标记（位图）和数据类型信息等元数据。
• Arrow Table：数据常以二维格式出现，如数据库表或 CSV 文件。Arrow Table 即表示一个二维数据集。每一列是一个分块数组，且所有列遵循共享的模式（schema），定义字段名称与类型。尽管各列的分块可以不同，但元素总数必须对齐以保证行一致性。

您可以将其类比为 pandas 或 R 中的 DataFrame。它是表格化的、高效的，并支持跨多列同时进行操作。

基础数据结构示例

下面我们看看在 Python 中创建 Arrow Array 和 Table 的几个示例。

在运行以下代码前，请确保已按之前的说明安装 pyarrow。

创建 Arrow Array

import pyarrow as pa

# Create an Arrow Array (single column)
data = pa.array([1, 2, 3, 4, 5])
print("Arrow Array:")
print(data)

打印 Arrow Array。图源作者。

创建 Arrow Table

import pyarrow as pa

# Create an Arrow Table (multiple columns)
table = pa.table({
    'column1': pa.array([1, 2, 3]),
    'column2': pa.array(['a', 'b', 'c'])
})

print("\nArrow Table:")
print(table)

打印 Arrow Table。图源作者。

使用 Apache Arrow Arrays

我们来看看如何使用 Arrow Array 并执行常见操作，如切片、过滤以及查看元数据。

创建 Arrow Array

Arrow Array 支持多种数据类型，包括字符串、浮点数和整数。以下是创建方法：

import pyarrow as pa

# Integer Array
int_array = pa.array([10, 20, 30], type=pa.int32())
print("Integer Array:")
print(int_array)

# String Array
string_array = pa.array(["apple", "banana", "cherry"], type=pa.string())
print("\nString Array:")
print(string_array)

# Floating-point Array
float_array = pa.array([1.1, 2.2, 3.3], type=pa.float64())
print("\nFloating-point Array:")
print(float_array)

打印不同数据类型的 Arrow Array。图源作者。

Arrow Array 的基本操作

我们来看看可在 Arrow Array 上执行的一些常见操作。

切片

切片可获取数组的一个子区间。例如，您可以提取特定索引范围内的元素：

import pyarrow as pa
arr = pa.array([10, 20, 30, 40, 50])
# Slice from index 1 to 4 (3 elements: 20, 30, 40)
sliced = arr.slice(1, 3)
print("Original Array:", arr)
print("Sliced Array (1:4):", sliced)

打印切片后的 Arrow Array。图源作者。

过滤与元数据

过滤使用布尔掩码，仅保留符合条件的值。您还可以访问类型、长度、空值计数等元数据。

import pyarrow.compute as pc

arr = pa.array([10, 20, 30, 40, 50])

# Create a boolean mask: Keep elements > 25
mask = pc.greater(arr, pa.scalar(25))

# Apply the filter
filtered = pc.filter(arr, mask)

print("Filtered Array (values > 25):", filtered)

print("Array Type:", arr.type)
print("Array Length:", len(arr))
print("Null Count:", arr.null_count)
print("Is Null Bitmap Buffers:", arr.buffers())

打印过滤后的 Arrow Array。图源作者。

打印 Arrow Array 的元数据。图源作者。

使用 Apache Arrow Tables

您可以从 Arrow Array 或直接从原生 Python 数据结构（如字典）创建 Arrow Table。我们来看看如何实现。

创建与查看表

创建 Arrow Table 的两种常见方式：

1. 使用多个 Arrow Array
2. 使用 Python 字典配合 pa.table()

我们逐一进行演示。

1. 使用 Arrow Array

import pyarrow as pa

# Create individual Arrow Arrays
ids = pa.array([1, 2, 3])
names = pa.array(['Alice', 'Bob', 'Charlie'])
scores = pa.array([85.0, 92.5, 78.3])

# Combine them into a Table
table = pa.table({
    'id': ids,
    'name': names,
    'score': scores
})

print("Arrow Table from Arrays:")
print(table)

在上述代码中：

• 我们创建了三个数组（整数、字符串、浮点）
• 通过为每列命名来定义模式（schema）
• 使用 pa.table() 将它们组合成一个 Table

使用多个 Arrow Array 创建 Arrow Table。图源作者。

2. 使用 Python 字典

现在，我们来看如何从 Python 字典创建一个 Table。

# Create a table directly from Python data
data = {
    'id': [4, 5, 6],
    'name': ['Diana', 'Eve', 'Frank'],
    'score': [88.0, 79.5, 91.2]
}

table2 = pa.table(data)

print("\nArrow Table from Dictionary:")
print(table2)

这种方法更简洁。我们无需手动定义数组；Arrow 会替我们处理。

直接从 Python 字典创建 Arrow Table。图源作者。

在 Arrow Table 与 pandas DataFrame 之间转换

Arrow 的一大优势在于互操作性。您可以轻松在 Arrow Table 与 pandas DataFrame 之间转换。如下所示：

将 Arrow Table 转为 Pandas DataFrame

import pyarrow as pa
import pandas as pd

# Create an Arrow Table
data = {
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
}
arrow_table = pa.table(data)

# Convert Arrow Table to pandas DataFrame
df = arrow_table.to_pandas()

# Show the DataFrame
print(df)

将 Arrow Table 转为 Pandas DataFrame。图源作者。

将 Pandas DataFrame 转为 Arrow Table

现在，我们来看反向操作：

import pyarrow as pa
import pandas as pd

# Create a pandas DataFrame
df = pd.DataFrame({
    'numbers': [1, 2, 3],
    'fruits': ['apple', 'banana', 'cherry'],
    'prices': [1.1, 2.2, 3.3]
})

# Convert pandas DataFrame to Arrow Table
arrow_table = pa.Table.from_pandas(df)

# Show the Arrow Table
print(arrow_table)

将 pandas DataFrame 转为 Arrow Table。图源作者。