数据管道在规模、速度和多样性上不断增长，这意味着能够构建高效 ETL 流程的专业数据工程师变得愈发重要。
Apache NiFi 和 Apache Airflow 等数据工作流管理工具为数据工程师提供了管理数据管道的有效方案。恰当的数据工作流编排是让 ETL 流程顺畅运行的核心组成部分。
本文将对 Apache NiFi 和 Airflow 进行深入对比。
为什么数据工作流管理工具很重要？
Apache NiFi 和 Apache Airflow 等数据工作流管理工具为数据管道提供了灵活性与可扩展性。它们使数据工程师能够快速了解工作流的稳定性和健康状况。
每种工具在部署、与其他数据服务的集成以及直观界面方面各有优势。
什么是 Apache NiFi？
Apache NiFi 是一款开源工具，旨在自动化系统之间的数据流转。
NiFi 提供用户友好的界面用于设计数据工作流，并支持高度可配置的有向图来实现数据路由、转换与系统中介逻辑。
用户可以创建、调度并监控数据流，确保数据在不同来源与目标之间顺畅移动。
Apache NiFi 采用基于流的编程模型，数据在有向图中的一系列处理器之间流动。
用户通过基于 Web 的界面拖放处理器来设计和管理这些数据流，处理器可执行数据摄取、转换与路由等任务。
数据被封装在 FlowFile 中，并通过连接在处理器之间作为队列流动。
NiFi 特别适用于需要在不同系统之间可靠且可扩展地采集、转换和路由数据的场景。它常用于数据集成、ETL（抽取、转换、加载）流程以及实时数据处理。
Apache NiFi 界面示例。图片来源
什么是 Apache Airflow？
Apache Airflow 通过将 DAG（有向无环图）与用 Python 编写的算子相结合，实现灵活的数据工作流管理，并可构建ETL 管道。
它通过抽象连接不同数据源所需的功能，简化了工作流的创建过程，为数据工程师提供了一个直接明了的数据工作流管理平台。
它依靠内部调度器运行，通过内部数据库管理处理工作流的各类工作进程。
借助简洁的 Web 服务器界面，数据工程师可以方便地按需触发、监控和停止 DAG，以微调数据流。
Airflow 界面示例。图片来源
Apache NiFi 与 Apache Airflow：相似之处
NiFi 和 Airflow 都是功能强大的工具，能够处理海量数据、管理 ETL 工作流，并在数据连接方面提供灵活性。它们共享一些核心功能，为用户提供相近的使用环境。
用户界面
尽管 Airflow 主要由 Python 构建，其大部分用户界面是基于 Web 服务器的。Apache NiFi 也提供同类的图形界面，让数据工程师在一个位置查看所有工作流。
Apache NiFi 和 Airflow 的主页风格类似，都能提供所有管道的高层信息，如运行状态（成功、失败、运行中）、活动工作流数量以及失败消息。
这些直观的界面使 Apache NiFi 和 Airflow 的用户能够一眼了解数据环境的状态，并快速处理可能出现的问题。
灵活性
在数据连接方面，Apache NiFi 和 Airflow 都具有很高的灵活性。它们可处理多种数据文件，如 CSV、JSON、XML、Parquet 等。
此外，它们还能轻松连接到各类云数据仓库，如 Amazon Redshift、BigQuery、Azure Synapse 和 Snowflake。
Apache NiFi 的模块化设计可用于创建执行关键 ETL 流程的独特数据管道。Airflow 基于 Python 脚本的设计不仅能利用自身的连接器，也可借助 Python 的技术优势完成更复杂的处理。
数据管理
NiFi 和 Airflow 都是数据工作流管理的核心组件。它们为数据工程师提供了进行数据采集、处理与路由的基础框架，并允许用户在途中监控工作流与操控数据。
数据工程师可以轻松地在各位置间传输数据，同时确保管道高效运行。
掌握 Apache NiFi 或 Airflow 中任一工具，都是数据工程师的核心技能！
Apache NiFi 与 Apache Airflow：差异
虽然 Apache NiFI 和 Airflow 在使用上非常相似，但它们处理 ETL 和数据管道的方式不同。各自独特的设计决定了其在可扩展性、语法与监控方面的实现。
Apache NiFi 更侧重易用性与简洁性，而 Airflow 更偏向强大的脚本能力和 Python 后端。
可扩展性
Apache NiFi 可通过集群与节点管理轻松扩展。Airflow 会根据并行进程数量按需调用更多资源。
随着工作负载变得更复杂，Apache NiFi 可以扩展工作线程的数量以满足额外的计算需求。Airflow 则更偏串行方式，随着 DAG 规模增大会占用更多并行资源，但处理复杂数据问题会花费更多时间。
语法
Apache NiFi 采用拖拽式图形界面，几乎无需编码。NiFi 在保持灵活性与复杂度的同时，让数据工程师能够更便捷直观地构建数据管道。
另一方面，Airflow 完全基于 Python 和 SQL 构建。要搭建数据工作流，工程师必须在 DAG 中为每个步骤编写代码，然后通过 Airflow 界面处理并运行。
监控
Apache NiFi 在界面中内置了强大的监控仪表板。它为用户提供实时指标，如处理器性能、FlowFile 数量以及消耗的计算资源。这些都是开箱即用。
Airflow 仅提供基础指标，如 DAG 与任务状态、日志以及用于展示运行时长等指标的甘特图。
若要在 Airflow 中获取实时指标，数据工程师需借助 StatsD、OpenTelemetry 或 Prometheus 构建相关流程。因此，尽管设置更耗时，但也能实现与 NiFi 同样详尽的报告。
Apache NiFi 与 Apache Airflow：详细对比
在回顾了这两种平台的相似与差异后，我们将逐项对比并为各类别选出胜者。
用户界面
Apache NiFi
NiFi 提供基于浏览器的用户界面，可直观地创建与管理数据流。无需深厚编码技能即可轻松设计、控制与监控数据流。
用户可以将处理器拖拽到画布上，将其连接并配置属性。
NiFi 的 UI 支持多项实用功能。其中包括数据溯源跟踪，使用户能够查看每条数据的历史与转换过程，这对于审计、调试以及确保数据完整性至关重要。
该界面还支持基于角色的访问控制，使管理员能够定义与管理用户权限，确保只有授权用户可以访问和修改数据流。
UI 甚至支持自定义处理器的集成与配置，用户可借此拓展 NiFi 的功能。
Apache Airflow
Airflow 直观的 Web 服务器界面为用户提供简洁明了的数据工作流总览。主页面展示当前与过往运行的状态信息。
此外，可按需启用或停用、触发、刷新与删除工作流。
选择某一工作流后，您可以查看 DAG 的不同视图，了解各个组件的状态。
数据工程师可以选择重试或停止 DAG 的不同组件，也可以选中各组件并查看日志以诊断潜在问题。
胜者
这一项打成平手。NiFi 提供更直观的拖拽式界面，更适合无代码范式下的运行。
Airflow 则提供强大的工作流管理与调试工具，对任何数据工程师都至关重要。根据使用场景与实现方式，两者各有所长。
可扩展性
Apache NiFi
NiFi 能高效扩展以应对多样的数据处理工作负载，从小规模操作到大型企业级数据集成任务均可胜任。
NiFi 可通过节点集群横向扩展，多个 NiFi 节点协同工作为一个逻辑实例。每个节点执行相同任务，但各自处理不同部分的数据。NiFi 亦被设计为可灵活弹性伸缩。
向上扩展时，可增加处理器的并发任务数量以提升吞吐量。它也能缩减至在硬件资源有限的设备（如边缘设备）上运行。
这种可扩展性使 NiFi 成为在多样环境中管理数据流的稳健且灵活的方案。
Apache Airflow
Airflow 可随数据工作流规模扩展。它提供管道的并行计算，但依赖于基础机器设置的资源。其扩展并非基于计算力的动态伸缩，而更多取决于并发运行的节点/DAG 数量。
Airflow 依赖承载 Airflow 服务器的机器所提供的资源。随着数据工作流的增长，Airflow 将需要更多内存与处理能力。
工程师常选择在云端运行 Airflow，此时其资源扩展的动态性将由云服务器决定。
胜者
Apache NiFi 在灵活扩展方面更为轻松。由于它可根据操作需求动态调整节点数量，更能妥善管理工作负载。在此项对比中，NiFi 更胜一筹。
监控
Apache NiFi
NiFi 提供全面的监控功能，为用户提供数据流的实时洞察，确保高效且可靠的数据处理。
基于浏览器的 UI 展示处理器性能的详细指标，包括处理的 FlowFile 数量、数据吞吐量以及处理器状态。
用户可以配置警报与通知，以便在数据流出现异常或故障时获知，从而主动管理并将停机时间降至最低。
此外，NiFi 的监控能力还扩展至系统级指标，如 CPU 使用率、内存消耗与磁盘空间利用率，确保资源得到有效管理。
Apache Airflow
如前所述，Airflow 通过仪表板为所有工作流提供便捷的高层监控。
它提供电子邮件警报、通知与日志，帮助您了解工作流问题。您甚至可以通过各类甘特图跟踪计时与性能。
Airflow 允许用户实时查看流程在各步骤间的流转，并可对工作负载进行事后分析。
若需细粒度的实时监控，则需要使用 StatsD、遥测以及名为 Prometheus 的监控框架。从 Airflow 中提取这些指标需要额外工作。
胜者
在监控与日志方面，Apache NiFi 以其简洁性取胜。它能更快速、直接地监控计算资源与异常情况，从而比 Airflow 更好地实现对工作流的实时管理。
灵活性
Apache NiFi
NiFi 具有出色的灵活性，能适应多样的数据集成与处理需求。
其模块化架构允许用户通过连接各类预构建处理器来搭建复杂数据流，每个处理器都针对特定任务而设计。用户还可开发自定义处理器以满足独特需求。
NiFi 支持多种数据格式与协议，包括 JSON、XML、CSV、HTTP 等，确保与不同数据源与目标的兼容性。
NiFi 的实时数据流管理与强大的调度和优先级功能相结合，能够对数据处理进行精细控制，确保及时高效地处理数据。这种灵活性使 NiFi 成为在多种环境中管理数据流的多面手与强大工具。
Apache Airflow
凭借丰富的算子，Airflow 在实现层面拥有很高的灵活性。它可轻松连接 AWS、GCP、Azure 和 Snowflake 等云服务提供商。
您也可以为特定用例构建自定义算子，并将其直接纳入 DAG。
凭借高度模块化的设计，Airflow 能根据任何数据工作流进行定制。
由于 Airflow 管理数据流，它能够从容应对包括 CSV 和 Parquet 在内的广泛数据格式。
由于其以 Python 构建，您还可以根据入站数据流进行进一步的自定义 ETL 或管理。Airflow 是在不同环境中管理数据工作流的极其多样化的工具。
胜者
尽管两者在不同平台、数据类型与管道设计方面都具备广泛兼容性，但 Apache Airflow 通过允许用户利用 Python，从而在灵活性上更胜一筹。
用户还可以创建自定义类与函数，使 Airflow 能够连接非标准数据源或执行复杂的数据处理任务。
归根结底，Python 使 Apache Airflow 在灵活性方面占据优势。
Apache NiFi 与 Apache Airflow：总结
|
类别
|
Apache NiFi
|
Apache Airflow
|
胜者
|
|
用户界面
|
基于 GUI 的简易界面，用于构建与管理工作流
|
基于 Web 服务器的监控与工作流管理
|
平手
|
|
可扩展性
|
可根据工作流需求动态扩展节点
|
基于并发进程数量扩展，并依赖服务器资源
|
Apache NiFi
|
|
监控
|
在 NiFi 仪表板中内置多样的错误监控与日志功能
|
默认提供日志，需借助 Prometheus 与 StatsDB 等处理器以获取 Airflow 之外的监控信息
|
Apache NiFi
|
|
灵活性
|
通过多种模块轻松连接多样的数据源
|
通过 Python 脚本构建的连接器类实现技术集成
|
Apache Airflow
|
总体而言，Apache NiFi 更适合追求快速便捷落地的数据工程师。它提供与 Apache Airflow 相当的性能，同时通过直观便捷的 GUI 将技术复杂性降到最低，并提供易用的监控、灵活性与动态可扩展性。
如果管道需求更为严苛、特定或技术性更强，使用 Python 在 Airflow 中编写自定义 DAG 将有助于提升性能。
结语
Apache NiFi 与 Airflow 都是极其强大的工具。虽然它们在数据工作流管理上的实现路径不同，但各有优势。
但请记住，成为数据工程师意味着无论使用何种工具，都要掌握数据工作流编排的理念。DataCamp 提供多种提升数据管道技能的途径，包括认证路径！
请参考以下资源开始学习：
数据管道在规模、速度和多样性上不断增长，这意味着能够构建高效 ETL 流程的专业数据工程师变得愈发重要。
Apache NiFi 和 Apache Airflow 等数据工作流管理工具为数据工程师提供了管理数据管道的有效方案。恰当的数据工作流编排是让 ETL 流程顺畅运行的核心组成部分。
本文将对 Apache NiFi 和 Airflow 进行深入对比。
为什么数据工作流管理工具很重要？
Apache NiFi 和 Apache Airflow 等数据工作流管理工具为数据管道提供了灵活性与可扩展性。它们使数据工程师能够快速了解工作流的稳定性和健康状况。
每种工具在部署、与其他数据服务的集成以及直观界面方面各有优势。
什么是 Apache NiFi？
Apache NiFi 是一款开源工具，旨在自动化系统之间的数据流转。
NiFi 提供用户友好的界面用于设计数据工作流，并支持高度可配置的有向图来实现数据路由、转换与系统中介逻辑。
用户可以创建、调度并监控数据流，确保数据在不同来源与目标之间顺畅移动。
Apache NiFi 采用基于流的编程模型，数据在有向图中的一系列处理器之间流动。
用户通过基于 Web 的界面拖放处理器来设计和管理这些数据流，处理器可执行数据摄取、转换与路由等任务。
数据被封装在 FlowFile 中，并通过连接在处理器之间作为队列流动。
NiFi 特别适用于需要在不同系统之间可靠且可扩展地采集、转换和路由数据的场景。它常用于数据集成、ETL（抽取、转换、加载）流程以及实时数据处理。
Apache NiFi 界面示例。图片来源
什么是 Apache Airflow？
Apache Airflow 通过将 DAG（有向无环图）与用 Python 编写的算子相结合，实现灵活的数据工作流管理，并可构建ETL 管道。
它通过抽象连接不同数据源所需的功能，简化了工作流的创建过程，为数据工程师提供了一个直接明了的数据工作流管理平台。
它依靠内部调度器运行，通过内部数据库管理处理工作流的各类工作进程。
借助简洁的 Web 服务器界面，数据工程师可以方便地按需触发、监控和停止 DAG，以微调数据流。
Airflow 界面示例。图片来源
Apache NiFi 与 Apache Airflow：相似之处
NiFi 和 Airflow 都是功能强大的工具，能够处理海量数据、管理 ETL 工作流，并在数据连接方面提供灵活性。它们共享一些核心功能，为用户提供相近的使用环境。
用户界面
尽管 Airflow 主要由 Python 构建，其大部分用户界面是基于 Web 服务器的。Apache NiFi 也提供同类的图形界面，让数据工程师在一个位置查看所有工作流。
Apache NiFi 和 Airflow 的主页风格类似，都能提供所有管道的高层信息，如运行状态（成功、失败、运行中）、活动工作流数量以及失败消息。
这些直观的界面使 Apache NiFi 和 Airflow 的用户能够一眼了解数据环境的状态，并快速处理可能出现的问题。
灵活性
在数据连接方面，Apache NiFi 和 Airflow 都具有很高的灵活性。它们可处理多种数据文件，如 CSV、JSON、XML、Parquet 等。
此外，它们还能轻松连接到各类云数据仓库，如 Amazon Redshift、BigQuery、Azure Synapse 和 Snowflake。
Apache NiFi 的模块化设计可用于创建执行关键 ETL 流程的独特数据管道。Airflow 基于 Python 脚本的设计不仅能利用自身的连接器，也可借助 Python 的技术优势完成更复杂的处理。
数据管理
NiFi 和 Airflow 都是数据工作流管理的核心组件。它们为数据工程师提供了进行数据采集、处理与路由的基础框架，并允许用户在途中监控工作流与操控数据。
数据工程师可以轻松地在各位置间传输数据，同时确保管道高效运行。
掌握 Apache NiFi 或 Airflow 中任一工具，都是数据工程师的核心技能！
Apache NiFi 与 Apache Airflow：差异
虽然 Apache NiFI 和 Airflow 在使用上非常相似，但它们处理 ETL 和数据管道的方式不同。各自独特的设计决定了其在可扩展性、语法与监控方面的实现。
Apache NiFi 更侧重易用性与简洁性，而 Airflow 更偏向强大的脚本能力和 Python 后端。
可扩展性
Apache NiFi 可通过集群与节点管理轻松扩展。Airflow 会根据并行进程数量按需调用更多资源。
随着工作负载变得更复杂，Apache NiFi 可以扩展工作线程的数量以满足额外的计算需求。Airflow 则更偏串行方式，随着 DAG 规模增大会占用更多并行资源，但处理复杂数据问题会花费更多时间。
语法
Apache NiFi 采用拖拽式图形界面，几乎无需编码。NiFi 在保持灵活性与复杂度的同时，让数据工程师能够更便捷直观地构建数据管道。
另一方面，Airflow 完全基于 Python 和 SQL 构建。要搭建数据工作流，工程师必须在 DAG 中为每个步骤编写代码，然后通过 Airflow 界面处理并运行。
监控
Apache NiFi 在界面中内置了强大的监控仪表板。它为用户提供实时指标，如处理器性能、FlowFile 数量以及消耗的计算资源。这些都是开箱即用。
Airflow 仅提供基础指标，如 DAG 与任务状态、日志以及用于展示运行时长等指标的甘特图。
若要在 Airflow 中获取实时指标，数据工程师需借助 StatsD、OpenTelemetry 或 Prometheus 构建相关流程。因此，尽管设置更耗时，但也能实现与 NiFi 同样详尽的报告。
Apache NiFi 与 Apache Airflow：详细对比
在回顾了这两种平台的相似与差异后，我们将逐项对比并为各类别选出胜者。
用户界面
Apache NiFi
NiFi 提供基于浏览器的用户界面，可直观地创建与管理数据流。无需深厚编码技能即可轻松设计、控制与监控数据流。
用户可以将处理器拖拽到画布上，将其连接并配置属性。
NiFi 的 UI 支持多项实用功能。其中包括数据溯源跟踪，使用户能够查看每条数据的历史与转换过程，这对于审计、调试以及确保数据完整性至关重要。
该界面还支持基于角色的访问控制，使管理员能够定义与管理用户权限，确保只有授权用户可以访问和修改数据流。
UI 甚至支持自定义处理器的集成与配置，用户可借此拓展 NiFi 的功能。
Apache Airflow
Airflow 直观的 Web 服务器界面为用户提供简洁明了的数据工作流总览。主页面展示当前与过往运行的状态信息。
此外，可按需启用或停用、触发、刷新与删除工作流。
选择某一工作流后，您可以查看 DAG 的不同视图，了解各个组件的状态。
数据工程师可以选择重试或停止 DAG 的不同组件，也可以选中各组件并查看日志以诊断潜在问题。
胜者
这一项打成平手。NiFi 提供更直观的拖拽式界面，更适合无代码范式下的运行。
Airflow 则提供强大的工作流管理与调试工具，对任何数据工程师都至关重要。根据使用场景与实现方式，两者各有所长。
可扩展性
Apache NiFi
NiFi 能高效扩展以应对多样的数据处理工作负载，从小规模操作到大型企业级数据集成任务均可胜任。
NiFi 可通过节点集群横向扩展，多个 NiFi 节点协同工作为一个逻辑实例。每个节点执行相同任务，但各自处理不同部分的数据。NiFi 亦被设计为可灵活弹性伸缩。
向上扩展时，可增加处理器的并发任务数量以提升吞吐量。它也能缩减至在硬件资源有限的设备（如边缘设备）上运行。
这种可扩展性使 NiFi 成为在多样环境中管理数据流的稳健且灵活的方案。
Apache Airflow
Airflow 可随数据工作流规模扩展。它提供管道的并行计算，但依赖于基础机器设置的资源。其扩展并非基于计算力的动态伸缩，而更多取决于并发运行的节点/DAG 数量。
Airflow 依赖承载 Airflow 服务器的机器所提供的资源。随着数据工作流的增长，Airflow 将需要更多内存与处理能力。
工程师常选择在云端运行 Airflow，此时其资源扩展的动态性将由云服务器决定。
胜者
Apache NiFi 在灵活扩展方面更为轻松。由于它可根据操作需求动态调整节点数量，更能妥善管理工作负载。在此项对比中，NiFi 更胜一筹。
监控
Apache NiFi
NiFi 提供全面的监控功能，为用户提供数据流的实时洞察，确保高效且可靠的数据处理。
基于浏览器的 UI 展示处理器性能的详细指标，包括处理的 FlowFile 数量、数据吞吐量以及处理器状态。
用户可以配置警报与通知，以便在数据流出现异常或故障时获知，从而主动管理并将停机时间降至最低。
此外，NiFi 的监控能力还扩展至系统级指标，如 CPU 使用率、内存消耗与磁盘空间利用率，确保资源得到有效管理。
Apache Airflow
如前所述，Airflow 通过仪表板为所有工作流提供便捷的高层监控。
它提供电子邮件警报、通知与日志，帮助您了解工作流问题。您甚至可以通过各类甘特图跟踪计时与性能。
Airflow 允许用户实时查看流程在各步骤间的流转，并可对工作负载进行事后分析。
若需细粒度的实时监控，则需要使用 StatsD、遥测以及名为 Prometheus 的监控框架。从 Airflow 中提取这些指标需要额外工作。
胜者
在监控与日志方面，Apache NiFi 以其简洁性取胜。它能更快速、直接地监控计算资源与异常情况，从而比 Airflow 更好地实现对工作流的实时管理。
灵活性
Apache NiFi
NiFi 具有出色的灵活性，能适应多样的数据集成与处理需求。
其模块化架构允许用户通过连接各类预构建处理器来搭建复杂数据流，每个处理器都针对特定任务而设计。用户还可开发自定义处理器以满足独特需求。
NiFi 支持多种数据格式与协议，包括 JSON、XML、CSV、HTTP 等，确保与不同数据源与目标的兼容性。
NiFi 的实时数据流管理与强大的调度和优先级功能相结合，能够对数据处理进行精细控制，确保及时高效地处理数据。这种灵活性使 NiFi 成为在多种环境中管理数据流的多面手与强大工具。
Apache Airflow
凭借丰富的算子，Airflow 在实现层面拥有很高的灵活性。它可轻松连接 AWS、GCP、Azure 和 Snowflake 等云服务提供商。
您也可以为特定用例构建自定义算子，并将其直接纳入 DAG。
凭借高度模块化的设计，Airflow 能根据任何数据工作流进行定制。
由于 Airflow 管理数据流，它能够从容应对包括 CSV 和 Parquet 在内的广泛数据格式。
由于其以 Python 构建，您还可以根据入站数据流进行进一步的自定义 ETL 或管理。Airflow 是在不同环境中管理数据工作流的极其多样化的工具。
胜者
尽管两者在不同平台、数据类型与管道设计方面都具备广泛兼容性，但 Apache Airflow 通过允许用户利用 Python，从而在灵活性上更胜一筹。
用户还可以创建自定义类与函数，使 Airflow 能够连接非标准数据源或执行复杂的数据处理任务。
归根结底，Python 使 Apache Airflow 在灵活性方面占据优势。
Apache NiFi 与 Apache Airflow：总结
类别
Apache NiFi
Apache Airflow
胜者
用户界面
基于 GUI 的简易界面，用于构建与管理工作流
基于 Web 服务器的监控与工作流管理
平手
可扩展性
可根据工作流需求动态扩展节点
基于并发进程数量扩展，并依赖服务器资源
Apache NiFi
监控
在 NiFi 仪表板中内置多样的错误监控与日志功能
默认提供日志，需借助 Prometheus 与 StatsDB 等处理器以获取 Airflow 之外的监控信息
Apache NiFi
灵活性
通过多种模块轻松连接多样的数据源
通过 Python 脚本构建的连接器类实现技术集成
Apache Airflow
总体而言，Apache NiFi 更适合追求快速便捷落地的数据工程师。它提供与 Apache Airflow 相当的性能，同时通过直观便捷的 GUI 将技术复杂性降到最低，并提供易用的监控、灵活性与动态可扩展性。
如果管道需求更为严苛、特定或技术性更强，使用 Python 在 Airflow 中编写自定义 DAG 将有助于提升性能。
结语
Apache NiFi 与 Airflow 都是极其强大的工具。虽然它们在数据工作流管理上的实现路径不同，但各有优势。
但请记住，成为数据工程师意味着无论使用何种工具，都要掌握数据工作流编排的理念。DataCamp 提供多种提升数据管道技能的途径，包括认证路径！
请参考以下资源开始学习：