Airflow 与 Prefect：为您的数据工作流做出正确选择

随着数据源规模和复杂度不断提升，高效、有效的 ETL 流程愈发关键。数据工程工作流编排工具在确保 ETL 流程顺畅方面发挥着重要作用。它们让数据工程师能够无缝整合各类数据源，在数据仓库之间传输数据，并在数据量增长时提升数据处理速度。

Prefect 和 Airflow 等编排工具为数据工程师提供了多种选项，便于快速了解数据工作流的健康状况与效果。两者都支持便捷部署、可与多种服务集成，并以 Python 启动。我们将深入讨论它们的一些关键优劣势。

Airflow 概览

借助 DAG（有向无环图）和多种 operator，Airflow 是一款高度灵活的数据工作流编排器。

它抽象了许多必要功能，为开发者提供了直观的工作流管理入门方式。它还通过调度器管理 DAG，并利用内部管理的数据库来触发各类 worker 处理工作流。

Airflow 提供了一个简洁的 Web 服务器界面，用户可以与 DAG 交互，以便按需触发、监控和停止它们，从而监控数据工作流。

Airflow 界面示例 - 来源

Prefect 概览

Prefect 旨在成为 Airflow 的现代化版本，提供更强的动态事件管理能力，并减少对单体依赖基础设施的需求。它通过更加 Python 驱动的极简装饰器，让数据工程师得以完全构建自己的 flow 来实现这一点。

Prefect 专注于使用 task 和 flow 装饰器来引导开发。它还提供了强大的自有 Web 服务器用于监控与调试。借助 Python API 的方式，开发者可以在本地测试，同时在云端处理编排，从而获得极高的灵活性。

Prefect 界面示例 - 来源

Airflow 与 Prefect 的关键对比

这两款数据工作流工具都为数据工程师提供了工作流监控、调试、并行执行、基于依赖的执行能力，以及与其他数据服务的集成。

两者的上手都相当容易，开发者可快速运行简单工作流。其用户界面直观，并提供了关于流程健康状况的大量信息，包括当前状态、运行时间、失败情况和历史运行信息。

易用性

两种选择都提供了易于理解的界面，可在关键的数据管理控制之外提供数据工作流健康状况的清晰概览。然而，开发者在构建这些工作流时的易用程度在不同工具间有所差异。

• Prefect 拥有更加现代且健壮的界面，在易读的仪表板中提供整体系统统计信息，如事件、完成率、活动工作池和失败情况。
• Prefect 选择了更现代的审美风格，其监控与事件管理呈现类似甘特图的外观。
• Airflow 的界面会列出所有 DAG，并用图标显示其状态。在该界面中，Airflow 的 DAG 呈现更为简约，聚焦于流程本身，并清晰展示不同节点之间的连接。
• 两者在搭建时间上相当相近，开始使用只需安装少量 Python 包。
• Prefect 采用基于 API 的基础架构，而 Airflow 使用 operator 模块。

可扩展性

两款工具都被设计为能够快速、轻松地扩展。

• 如果将执行卸载到云端，Prefect 的扩展性表现良好。本地管理编排是可行的，但任务执行需要更大规模的算力，可能并非本地机器所能提供。
• Airflow 会根据可用资源进行扩展，几乎总是在远程机器上运行。随着工作流的扩展，Airflow 将需要更多内存，因此系统需要更强健以处理带宽和数据处理需求。

灵活性

两款编排工具都提供了相似水平的灵活性。它们可与多种数据源集成，并自带传感器、事件处理器和监控等工具。

• 两者都支持与 GCP、AWS 和 Azure 等主要数据服务的无缝集成与连接器。
• Airflow 使用 operator，提供与数据源连接的关键功能。
• Prefect 使用 block、task 和 flow，使您能够创建连接数据源所需的各类组件。

监控与日志

在规模化情况下监控工作流健康状况可能具有挑战性。这些监控器会就管道或数据问题向数据工程师发出警报。理想情况下，它们能够在问题影响生产管道前阻止数据流，并对问题给出清晰预警。

• 与 Airflow 相比，Prefect 的监控更为先进，提供了更多内置与原生的日志记录。
• Prefect 拥有更好的事件管理能力，并可通过订阅现有事件系统来处理动态编排。
• Airflow 的日志需要由开发者完全自行构建。
• Airflow 具备传感器 operator，可监控诸如文件上传等外部任务，但在对不断变化的数据状态和更新进行动态响应方面存在不足。
• 在错误处理开发方面，Prefect 更为简单，因为它为各种问题提供了灵活的模块。
• 在 Airflow 中，许多这类监控和传感工具需要开发者通过组合不同的 operator 来实现。

Prefect 与 Airflow：对比一览

下表概述了 Airflow 与 Prefect 之间的关键差异：

Airflow 适用场景

总体而言，Airflow 提供了稳健的编排解决方案。借助 operator 和易于梳理的 DAG，其搭建更为简化。

Airflow 用户通过定义变量并编写代码来明确地定义 DAG。

• Airflow 在直接性方面表现出色，适合以静态数据流为主的场景。
• 对于希望以精简方式将数据从 A 点传到 B 点，并在中间进行一定 ETL 的团队而言，这是一个很好的解决方案。
• 与 Prefect 相比，其复杂度更低。团队可在投入较少开发时间的情况下快速启动，并构建结构优美且复杂的网络。

Prefect 适用场景

Prefect 提供了一款强大、现代且高度动态的工作流编排工具。它侧重于以 Pythonic 的方式进行开发，采用面向 API 的语法，并通过在函数中创建函数来生成子流。

• 这对于经验丰富、希望提升工作流管理稳健性的 数据工程团队来说是理想工具。
• 适合需要高水平监控与高度动态数据源交互的团队。
• 社区规模不大可能使排障更具挑战，但 Prefect 的文档相当详尽。

性能预期

了解各自的性能表现至关重要。如果实现不当，两者都可能停滞不前。将执行卸载给其他服务，有助于让您的编排工具专注于其所长：编排。

话虽如此，如果希望在 Airflow 和 Prefect 中并行运行多个进程，需预期占用较多内存和带宽。经验来看，Airflow 被认为比 Prefect 略慢一些，但整体性能相近。

Prefect vs Airflow：如何选择

数据管理领域复杂多变。请考虑您团队的具体需求，找到最适合的平衡点。

工作流编排将持续演进。

若您偏好更简洁、极简主义的编排方式，并专注于尽快将数据从 A 点传至 B 点，可选择 Airflow。

若您希望拥有更强韧的系统，并有开发者熟悉基于 Python 的 API，可选择 Prefect。

要真正熟悉这些工具，最佳方式是亲自上手练习。以下资源可助您快速开始：

• 优质的Airflow 入门教程
• 通过这篇用于机器学习工作流的 Prefect 教程快速上手 Prefect
• 查看其他顶级 MLOps 工具，拓展您的知识面