跳至主要内容

What Is Data Fabric?

Data fabric is a unified data architecture that connects disparate data sources, simplifying access and management while ensuring consistency and security across the entire data landscape.
Amberle McKee
Amberle McKee

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

在当今以数据为驱动的世界中,组织常常面临一个难题:如何管理分散在不同团队和系统中的数据。销售、财务、人力资源等各部门可能各自使用不同的工具和数据来源,由此形成数据孤岛,难以获得统一视图。

为了解决这些问题,数据工程师往往需要构建并维护一张复杂的数据管道网络,对数据进行复制、整合与转换,以满足各部门的使用需求。随着团队和数据源数量的增长,这种复杂的“管道工程”变得越来越难以搭建和维护,也更容易出现故障。

数据织体(data fabric)的概念由此诞生,旨在作为这些问题的整体解决方案。让我们来探讨这种一体化数据管理的架构思路。

如果您想进一步了解数据管理,请阅读这篇关于数据血缘的文章。

什么是数据织体?

数据织体是一种广义的数据架构体系,能够在多种环境中实现数据的无缝集成与管理。可以将其理解为一种以虚拟方式连接异构数据源的方法,而无需创建冗余副本。

通过将这些分散的数据源“编织”在一起,数据织体构建了一个统一框架,无论数据存放在哪里,都能确保一致的数据交付、治理与安全。

与传统数据管道不同,数据织体不会将来自不同来源的数据复制到一个集中式的存储库。它利用 API 和虚拟化技术,让数据分析师和数据科学家可以通过一个中心目录访问分布在不同位置的数据。这意味着只需保留一份数据副本,从而减少所需的存储空间。

此外,通过打造一致的数据基础设施,数据织体确保数据在其全生命周期内都便于访问、治理完善且安全可靠。

数据织体的优势

数据织体架构的简洁性为大型组织带来了诸多益处。

消除数据孤岛,提升访问效率

通过提供统一的数据访问层,数据织体消除了数据孤岛,使分析师、会计等数据使用者更容易访问并利用全组织范围内的数据。将组织的所有数据集纳入一个中心目录后,您就能轻松查看并访问所有数据。

当然,这并不意味着必须向每位员工共享组织的全部数据。您依然可以——也应该——实施基于角色的认证措施,以确保系统安全。

更佳的一致性与质量管理

数据织体通常能提升组织范围内的数据质量与一致性。通过简化自动化数据管道的后端并标准化治理框架,您可以确保所有数据保持清洁、统一且准确,这对于做出可靠的业务决策至关重要。

在这门数据质量入门课程中进一步了解数据质量。

提升治理合规与安全性

数据织体原则在数据管道的早期就融入了稳健的安全措施与治理政策,确保符合法规要求并保护敏感信息。这种全方位的数据安全方法降低了风险,并提升了对所用数据的信任度。更简单的系统也更易于进行安全加固。

在这门数据治理概念课程中了解更多相关内容。

助力更快速的数据驱动决策

更重要的是,数据织体能提升组织在数据驱动决策方面的敏捷性。通过简化数据管理并提供对可靠数据的实时访问,数据织体使组织能够更迅速地响应数据变化,并快速做出明智决策。

数据织体:核心原则

数据织体的架构风格有三条核心原则:统一访问、标准化治理与自动化。

数据织体应包含一个用于统一数据访问的逻辑数据层。该层对底层数据基础设施进行抽象,为跨多样化数据源的访问提供无缝、统一的接口。本质上,您希望所有需要访问组织数据的人(分析师、科学家、机器学习运维等)都能够以统一的方式访问他们所需的全部数据。

构建数据织体的另一原则是实现标准化的数据治理与安全。这确保组织的所有数据资产都遵循统一的治理与安全协议。标准化提升了可靠性并保障了组织范围内的合规性。

数据织体还会在后端使用自动化数据管道来高效进行数据移动与转换。自动化简化了在后端对数据进行迁移、清洗与转换的流程,支持实时数据处理,提高效率并减少人工工作量。

数据织体:关键组件

构成数据织体架构的关键组件有若干项。我们来讨论其中一些。

数据织体的关键组件

数据目录

数据目录是数据织体中最为关键的组件之一。它是组织全部数据资产的中心注册表,提供元数据与数据血缘信息,便于数据发现与管理,确保用户能够轻松找到并理解所需数据。

数据集成工具

数据集成工具同样不可或缺。它们实现不同系统与平台之间的数据无缝流动。数据集成工具包括 ETL(抽取、转换、加载)平台、数据集成框架、云端集成服务以及实时数据流解决方案。这些工具确保数据在需要的地方即可获得,从而提升整体数据可达性。

转换

转换服务在数据织体中发挥着至关重要的作用,就像在任何管道解决方案中一样。它们对数据进行清洗、转换和准备,以便开展分析,包括数据清洗、规范化、聚合与丰富等任务。

数据治理

数据治理框架同样关键,它通过全生命周期内的政策与流程来保障数据质量、安全与合规。治理活动可能包括设立数据托管职责、实施数据质量检查、编辑(遮蔽)敏感信息、执行基于角色的访问控制,以及通过定期审计确保符合法规要求。

数据织体框架的一大优势是在整个数据版图上轻松实现这些治理协议的标准化。这有助于维护数据的完整性与可靠性。

在数据织体架构中,这些关键组件彼此交织,形成统一的使用体验。来自异构来源的数据被集成、转换并编目;同时在整个流程中执行治理协议,以确保数据环境安全可靠。

数据织体 vs. 传统数据管理

随着组织的发展以及新数据源与团队的出现,数据管理往往自然而然地演进。每新增一个数据源,就需要新建一条管道;每新增一个团队,可能都会采用各自的工具、命名约定与治理协议。

这种传统的数据管理方式存在诸多局限。转向数据织体框架意味着要彻底重思数据如何从源头流向组织内各个需要它的用户。

Screenshot 2024-06-17 at 17.19.07.png

传统方法的局限

传统的数据管理往往导致多个孤立的数据系统,数据被存储和管理在彼此隔离的仓库中。此方式常常依赖系统间的点对点集成,最终形成一张复杂的连接与管道网络,既笨重又难以维护。

在这种设计中,每个系统可能拥有各自的数据库、转换流程和访问控制。这使得想要一次性访问所有数据、从而获得组织级统一视图变得十分困难。

这种复杂性既低效,又容易出错。传统系统也难以维持数据质量与一致性,导致数据不可靠,进而削弱了组织对自身数据的信任。

传统数据管理系统的可扩展性也有限,部分原因在于同一数据的多份副本占用了宝贵的存储空间。它们难以适应组织不断变化的数据需求。归根结底,这些遗留系统会变得过于臃肿、分散且冗余,难以跟上业务创新的步伐。

数据织体的优势

数据织体相较于传统方法具有显著优势。它为所有数据需求提供统一的数据平台,将来自各个来源的数据整合到一个一致的平台之中。这种统一简化了数据管理并提升了组织性。

数据织体还能带来更好的数据治理与法规合规性。由于数据织体框架将所有数据整合进一个数据目录,便可在整个数据版图上实施标准化。标准化的治理与安全措施确保所有数据符合诸如 HIPPA 和 FCRA 等监管标准,降低风险并增强对数据的信任。

 

数据织体

传统数据管理

可扩展性

可随数据增长高效扩展

因孤岛而受限的可扩展性

治理

标准化的治理与安全

常缺乏统一治理

安全

集中化的安全措施

安全分散在各系统

敏捷性

支持快速的数据驱动决策

决策流程较为缓慢

数据织体的应用场景

数据织体能在多种组织情境下增强数据能力。对于因数据管理过于繁琐而困扰的大型组织,它可以替换遗留数据系统。

在组织发展初期,数据织体也可用于构建统一的数据体系,以预防未来的数据管理问题。

数据织体的一个重要应用是主数据管理(MDM)。通过为关键数据创建单一事实来源,数据织体确保主数据的集中化管理。这种集中对于维持可靠高效的业务运营至关重要,能确保关键数据集的一致性与准确性。您可以在此处了解更多该模型的内容。

在数据分析与商业智能方面,数据织体提供对可信数据的快速访问,帮助组织迅速而有效地做出明智决策。通过确保数据的随取随用与可靠性,数据织体提升了分析流程的质量与速度。

数据织体还能确保法规合规。它们使组织范围内的治理与协议标准化,从而简化对数据隐私法规的遵从。持续一致的数据治理降低了合规的复杂性,帮助组织维护声誉并避免高额罚款。

数据织体 vs. 数据网格(Data Mesh)

在数据领域,有许多听起来相近的词汇与术语。我们来看看与“数据织体”发音相近的另一个概念:数据网格。

数据网格

数据网格是另一种数据管理方法,具有其独特特征。它关注为即时分析而对来自多种来源的数据进行临时整合。这使数据网格非常适合快速探索与一次性报告,能为简单而即时的数据需求提供灵活性。

与数据织体不同,数据网格鼓励在治理上实现数据去中心化与域自治。然而,它也存在局限,包括数据质量与安全方面的考量。它并非为长期存储与全面数据管理而设计。

数据织体

数据织体为组织内的所有数据提供一种整体性的管理方式,打造一个全面集成的数据管理平台,涵盖数据访问、治理、安全与集成。数据织体适用于长期的数据管理与持续的数据驱动决策。

尽管数据织体的实施可能较为复杂,并需要谨慎甄选兼容的工具与技术,但在数据统一、治理与敏捷性方面的收益,使其成为众多组织满足数据管理需求的有力方案。

实施数据织体

如果您认为数据织体架构适合您的组织,可能会关心如何开始。下面介绍几个初始步骤。

评估您的需求

在组织中实施数据织体首先要评估需求。数据织体并非“一刀切”的方法,它更像是为组织数据需求量身定制的解决方案。因此,在设计数据织体之前,务必评估当前的数据版图并识别挑战。

实施的第一步是与利益相关者沟通,了解现有数据基础设施、识别痛点,并明确您希望通过数据织体解决的具体问题。

接下来,您需要定义通过数据织体想要实现的业务目标与期望结果。您是在尝试构建单一事实来源?降低管理开销?替换陈旧且故障频出的基础设施?制定与组织目标一致的清晰目标与成果,有助于指引方向,并确保所构建的数据织体切合您的具体需求。

选择合适的工具与技术

方向明确后,就需要选择实现路径的工具。选型看似复杂,但至关重要。

一种选择是使用一体化方案,例如Microsoft 的 Azure Service Fabric或IBM Cloud Pak。它们提供将数据织体架构引入组织所需的一切工具,能为您分担大量繁重工作,并通过只需支付单一产品的费用来简化计费。想深入了解,请阅读这篇关于Microsoft Fabric 是什么的文章。

不过,有些组织可能需要或更偏好更为定制化的搭建。您可以组合使用现成工具来构建自己的数据织体架构,例如:

在选型时,请考虑其可扩展性、安全性以及与组织现有基础设施的兼容性。确保所选方案能够随需求扩展、提供稳健的安全性,并能与当前系统集成。

同时也要考量其长期生命力。新技术可能昙花一现,一旦选用的工具停止支持,您可能需要进行重大调整。同样地,定制化方案在开发团队发生变化时也可能面临挑战。

数据治理与变更管理

在组织中实施数据织体需要稳健的数据治理与变更管理策略,尤其当您长期采用另一种架构、而现在转向数据织体时。周密的规划有助于确保全组织范围内的平稳过渡。

重要的是要建立清晰的数据所有权、访问控制与安全策略。这包括明确数据在生命周期各阶段的责任人、设定谁可以访问与修改数据的权限,并实施安全措施以保护敏感信息。这些政策有助于维护数据完整性、确保合规并防范数据泄露。

您还应为数据管理明确具体的角色与职责。根据您的情况,这可能包括指定负责数据质量的数据管理员(steward)、负责数据存储与访问的数据保管人(custodian),或设立委员会来执行数据治理。清晰的角色分工有助于保障数据管理流程的问责性。

为整个组织制定新系统的采用与培训计划至关重要。通过培训或工作坊向潜在用户介绍数据织体系统,并确保提供足够的文档以供查阅。

人们往往需要时间来适应新系统。在过渡期给予同事一些理解与耐心,会让一切更顺畅。您很可能需要持续提供支持,以解决过渡期间及紧随其后的各类问题与疑问。

数据织体的未来

与大多数当前技术一样,数据织体的未来也将被自动化与机器学习的进步所重塑。自动化智能很可能通过具备情境感知的工作流与自愈管道来增强数据集成,实时检测并优化性能。AI 驱动的洞见还可提供预测分析与智能数据目录,使数据管理更加主动与高效。

区块链技术可能被引入,以提供不可篡改的数据来源证明,并通过智能合约自动化治理任务。

随着边缘计算的发展,数据织体或将管理跨边缘设备与云服务的分布式数据处理。

量子计算的进步可能带来抗量子加密,并加速复杂的数据转换。

随着这些技术的不断演进,数据织体有望成为关键资产,为跨行业的智能化、数据驱动运营提供基础。

结语

数据织体代表了一种变革性的数据管理方法。它是一种架构性方案,旨在应对数据孤岛、数据质量与数据治理的挑战。通过打破数据访问壁垒、营造统一的数据环境,数据织体能够支持大型组织开展数据驱动决策。

通过 DataCamp 进一步学习负责任的 AI 数据管理与让数据治理更有趣。或在 DataCamp 的数据仓库入门课程中更深入地探讨数据存储与管理。

Amberle McKee

作者

Amberle McKee

我拥有博士学位,在生物研究环境中从事数据相关工作已有13年。我使用包括 Python、MATLAB 和 R 在内的多种编程语言开发软件。我热衷于与世界分享我对学习的热爱。

主题