2021 年数据基础设施三大趋势

数据工程依然是企业的首要任务之一。到了 2021 年，数据基础设施领域将出现令人振奋的新进展。在一次近期的网络研讨会中，世界银行数据工程师、前圣迭戈市首席数据官 Maksim Percherskiy 着重提到了三大值得关注的趋势：数据编排平台、数据发现引擎，以及数据湖仓。

数据编排平台

尽管用于管理计算机系统和软件的编排平台已存在多年，数据编排却是一个相对较新的概念，它可在不同存储系统间抽象数据访问、实现数据虚拟化，并将数据呈现给数据驱动型应用。数据编排平台通过整合分散在多个数据存储位置的割裂数据并使其可用，帮助企业更加数据驱动。代表性工具包括 Apache Airflow、Prefect、Luigi 和 Stitch，并与版本控制、DevOps、持续集成等现代软件方法兼容。

DataCamp 的课程 Introduction to Airflow in Python（Python 中的 Airflow 入门）是学习如何以简便且可复用的方式实现并调度 ETL 和数据工程工作流的绝佳起点。

数据发现引擎

随着数据规模增长，企业势必会投入更多精力，帮助团队找到所需数据、完善文档，并减少返工。像 Lyft 的 Amundsen 和 Uber 的 Databook 等数据发现引擎，旨在通过为数据提供搜索界面来提升数据使用者的效率。这些工具依赖元数据，使数据基础设施能够随着公司成长而扩展，从而支持生产力与合规性。数据发现的目标是让数据更符合 FAIR 原则：可查找、可获取、可互操作、可复用。

数据湖仓

数据湖与数据仓库各有不同的使用场景，面向的目的与终端用户亦不相同。比如，数据仓库通常由分析师用于业务智能场景——其中包含为其工作明确处理过的平面文件。相较之下，数据湖由数据工程师搭建和维护，并将其集成进数据管道。由于数据湖涵盖更广且更实时的数据范围，数据科学家通常与之联系更紧密。

数据湖仓，正如其名，是数据湖与数据仓库的结合体。Snowflake 与 Databrick's Delta Lake 等平台提供了解决方案，将数据湖与数据仓库的优势融合为单一可信数据源。数据湖仓将数据仓库的数据结构与管理特性引入通常更具存储成本优势的数据湖，同时保留数据的模式与版本控制。借助数据湖仓，数据科学家既可开展机器学习，也能支持商业智能。

来源：Databricks

上述三大趋势对于企业在 2021 年扩展数据基础设施至关重要。无论是以数据为核心构建的公司，还是在将数据可持续融入工作流程方面仍在努力的组织，它们都能从中受益。进一步了解大型企业在实现数据运营化、迈向数据驱动过程中面临的挑战。