在新冠疫情背景下，组织加速推进数字化转型，利用数据、机器学习与分析的意义从未如此重要。
麦肯锡于 2020 年发布的《人工智能现状》全球调研显示，50% 的企业在至少一个业务职能中采用了人工智能，22% 的组织将不少于 5% 的息税前利润归因于人工智能项目。
然而，要在规模上释放数据与人工智能的价值，组织必须实现数据民主化，并提升全员数据素养。其中一种方式，是向不同团队与技能水平的员工提供可被信任、可付诸行动的数据访问，让每个人都能做出数据驱动的业务决策。
数据基础设施是数据民主化的核心
在实现数据素养之前，组织需要打好基础。这首先要理解数据如何在组织内流动，然后构建有序统一的数据基础设施。
在一场关于 2021 年数据趋势与预测的网络研讨会上，DataCamp 产品研究副总裁 Ramnath Vaidyanathan 描述了数据在组织内的典型流动路径。该流程需要数据工程工具接收原始数据、进行摄取与转换、将其存储于集中位置，并以仪表盘与报告、机器学习产出等形式生成数据洞见。
在组织内扩展数据访问，极大依赖于稳健的数据基础设施架构以及最新的数据基础设施工具，这些要素使组织能够将原始数据转化为可访问且有价值的数据洞见。
数据基础设施与工具的重要性可从其市场的快速增长与演进中得到印证。许多解决方案旨在优化组织数据基础设施中某一特定环节的工作，由此形成的工具版图日益碎片化，且愈发难以导航。
下图由 Dataiku 制作，恰当地展示了数据基础设施市场如何被细分为众多更为精细的类别，每一细分中都有不断扩大的竞争性解决方案清单。
在去年年底，Andreessen Horowitz 试图通过构建统一的架构框架，为这一令人困惑的数据基础设施版图带来一些清晰度。面对处理海量数据的日益增长需求与林林总总的可用方案，该框架在现代化改造、映射与构建组织数据栈时，提供了实用的参考。
随着这一领域与趋势的演进，我们将看到数据基础设施栈中各类工具的整合与标准化。再加上云的采用、数据发现工具与集中式数据治理平台，组织将能够在各团队与职能间提供可扩展的数据访问。
那么，理想的未来数据基础设施应当带来什么？据Maksim Pecherskiy（世界银行数据工程师、圣迭戈市前首席数据官）所言，数据必须是已收集、可发现、可靠、可理解、合规且可付诸行动的。最终目标是让数据可用且可信，从而推动全组织的数据素养。
随着围绕数据民主化的数据基础设施工具在 2021 年及以后不断成熟，以下技术也将被更广泛采用并持续增长：
1. 采用云
云技术的使用正成为常态，尤其是在我们于 2020 年看到的加速数据驱动数字化转型之后。
除了改善数据存储与访问，云解决方案还提供大量易用的产品，用于数据的采集、摄取、转换、存储与洞见生成。
云平台领域拥有众多提供商，其中的关键参与者之一是 Amazon Web Services（AWS），其拥有 100 多款产品，帮助企业以高速、可扩展且低成本的方式最大化发挥数据价值。
随着数据表、报告与模型不断加入组织的数据版图，扩展数据基础设施至关重要。利益相关者必须能够快速定位可靠、可理解、合规且可付诸行动的数据与洞见，以更好地完成工作。
为应对这一挑战，（也称为元数据管理工具或数据目录）可以作为组织内部数据宝库的多功能搜索引擎。元数据本质上是对特定数据的描述性数据集合，有助于为种类繁多的数据建立索引。
Lyft 开源了其自研的数据发现工具 Amundsen，提供元数据引擎解决方案，旨在帮助组织发现、理解、共享并信任用于分析的数据。对于任何希望扩展数据能力的组织而言，这项能力都至关重要。
如前所述，建立对数据的信任是推动数据民主化的关键。而数据治理正发挥着重要作用。随着数据量与数据类型持续增长，对数据质量、一致性与相关性的集中把控至关重要。
Collibra 与 Alation 等公司提供的集中式数据治理平台服务，帮助组织高效管理数据的可用性、一致性与完整性。由此，所有利益相关者都能基于可靠的单一事实来源开展工作。
不断成熟的数据基础设施只是我们对 2021 年及以后所预见的数据趋势之一。了解更多，请下载我们的白皮书《数据趋势与预测 2021：数据素养之年》或观看我们的网络研讨会。
数据驱动数字化转型的现状
在新冠疫情背景下，组织加速推进数字化转型，利用数据、机器学习与分析的意义从未如此重要。
麦肯锡于 2020 年发布的《人工智能现状》全球调研显示，50% 的企业在至少一个业务职能中采用了人工智能，22% 的组织将不少于 5% 的息税前利润归因于人工智能项目。
然而，要在规模上释放数据与人工智能的价值，组织必须实现数据民主化，并提升全员数据素养。其中一种方式，是向不同团队与技能水平的员工提供可被信任、可付诸行动的数据访问，让每个人都能做出数据驱动的业务决策。
数据基础设施是数据民主化的核心
在实现数据素养之前，组织需要打好基础。这首先要理解数据如何在组织内流动，然后构建有序统一的数据基础设施。
在一场关于 2021 年数据趋势与预测的网络研讨会上，DataCamp 产品研究副总裁 Ramnath Vaidyanathan 描述了数据在组织内的典型流动路径。该流程需要数据工程工具接收原始数据、进行摄取与转换、将其存储于集中位置，并以仪表盘与报告、机器学习产出等形式生成数据洞见。
在组织内扩展数据访问，极大依赖于稳健的数据基础设施架构以及最新的数据基础设施工具，这些要素使组织能够将原始数据转化为可访问且有价值的数据洞见。
数据基础设施工具的现状
数据基础设施与工具的重要性可从其市场的快速增长与演进中得到印证。许多解决方案旨在优化组织数据基础设施中某一特定环节的工作，由此形成的工具版图日益碎片化，且愈发难以导航。
下图由 Dataiku 制作，恰当地展示了数据基础设施市场如何被细分为众多更为精细的类别，每一细分中都有不断扩大的竞争性解决方案清单。
来源：Dataiku
数据基础设施工具的未来
在去年年底，Andreessen Horowitz 试图通过构建统一的架构框架，为这一令人困惑的数据基础设施版图带来一些清晰度。面对处理海量数据的日益增长需求与林林总总的可用方案，该框架在现代化改造、映射与构建组织数据栈时，提供了实用的参考。
来源：Andreessen Horowitz
随着这一领域与趋势的演进，我们将看到数据基础设施栈中各类工具的整合与标准化。再加上云的采用、数据发现工具与集中式数据治理平台，组织将能够在各团队与职能间提供可扩展的数据访问。
那么，理想的未来数据基础设施应当带来什么？据Maksim Pecherskiy（世界银行数据工程师、圣迭戈市前首席数据官）所言，数据必须是已收集、可发现、可靠、可理解、合规且可付诸行动的。最终目标是让数据可用且可信，从而推动全组织的数据素养。
成熟的数据基础设施包括云的采用、数据发现工具与集中式数据治理平台
随着围绕数据民主化的数据基础设施工具在 2021 年及以后不断成熟，以下技术也将被更广泛采用并持续增长：
1. 采用云
云技术的使用正成为常态，尤其是在我们于 2020 年看到的加速数据驱动数字化转型之后。
除了改善数据存储与访问，云解决方案还提供大量易用的产品，用于数据的采集、摄取、转换、存储与洞见生成。
云平台领域拥有众多提供商，其中的关键参与者之一是 Amazon Web Services（AWS），其拥有 100 多款产品，帮助企业以高速、可扩展且低成本的方式最大化发挥数据价值。
2. 数据发现工具
随着数据表、报告与模型不断加入组织的数据版图，扩展数据基础设施至关重要。利益相关者必须能够快速定位可靠、可理解、合规且可付诸行动的数据与洞见，以更好地完成工作。
为应对这一挑战，（也称为元数据管理工具或数据目录）可以作为组织内部数据宝库的多功能搜索引擎。元数据本质上是对特定数据的描述性数据集合，有助于为种类繁多的数据建立索引。
Lyft 开源了其自研的数据发现工具 Amundsen，提供元数据引擎解决方案，旨在帮助组织发现、理解、共享并信任用于分析的数据。对于任何希望扩展数据能力的组织而言，这项能力都至关重要。
3. 集中式数据治理平台
如前所述，建立对数据的信任是推动数据民主化的关键。而数据治理正发挥着重要作用。随着数据量与数据类型持续增长，对数据质量、一致性与相关性的集中把控至关重要。
Collibra 与 Alation 等公司提供的集中式数据治理平台服务，帮助组织高效管理数据的可用性、一致性与完整性。由此，所有利益相关者都能基于可靠的单一事实来源开展工作。
不断成熟的数据基础设施只是我们对 2021 年及以后所预见的数据趋势之一。了解更多，请下载我们的白皮书《数据趋势与预测 2021：数据素养之年》或观看我们的网络研讨会。