跳至主要内容

数据治理工具概览

在一次近期的网络研讨会中,我们讨论了数据治理如何成为组织数据战略的关键组成部分,并助其释放数据的全部价值。要让数据治理计划取得成功,关键在于选用合适的工具与技术。
Kenneth Leung
Kenneth Leung

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

“数据驱动型组织”的概念长期以来都是科技行业的基石。亚马逊、谷歌和奈飞等科技巨头将数据置于其商业模式的核心,充分展示了如何利用数据推动决策,进而实现业务的成功增长。

随着数据可用性不断提高、数据处理与存储成本显著下降,利用数据解决业务难题的机会已超越科技行业本身。金融、医疗和保险公司也敏锐地认识到这一点,纷纷开启数据转型之旅,以建立竞争优势。

尽管采用前沿的机器学习技术、弥合数据科学人才缺口始终是重点,但数据战略中同样关键的一环是制定数据治理计划。本文将深入探讨数据治理的定义,以及能够推动治理项目成功落地的工具与技术。

什么是数据治理?

在一场近期的网络研讨会中,微软数据科学家 Aaren Stubberfield 概述了数据治理的机遇与最佳实践,并首先回答了关于数据治理的基本问题。根据数据管理协会(DAMA)的定义,数据治理是对数据资产管理行使权威与控制(规划、监控和执法)的过程。

(1) 规划:制定数据集需遵循的规则(例如对日期字段进行格式标准化,如 YYYY-MM-DD)

(2) 监控:衡量在规划阶段设定规则的合规性(例如跟踪“日期”字段缺失值的百分比)

(3) 执法:在发生数据规则违背时,依据紧急程度采取补救措施,例如当发现社会安全号码等关键数据字段存在重大不一致时立即进行纠正

数据治理框架是什么样的?

市面上存在不同类型的数据治理框架,但通常包含以下四个共性要素:数据政策与流程、数据集、数据管理员与利益相关者,以及技术。

数据管理员负责为组织内的数据集制定治理政策与流程。数据治理工具则是帮助管理员高效开展工作的关键使能者,也是治理框架中的核心组成部分。

数据治理使用哪些工具与技术?

由于数据量庞大,治理运营与数据管理工作不可能完全依赖人工完成,因此需要借助数据治理工具来实现自动化。这些工具还能与不同的 IT 产品与数据集集成,并具备全面的数据编目能力,从而将其功能扩展到组织的整个数据管理体系。为满足日益增长的需求,市场上已涌现出大量数据质量解决方案。Gartner 的一份评测分析了数据治理市场,并以魔力象限的形式对提供数据治理解决方案的厂商进行分类。

鉴于数据治理的重要性不断提升,众多数据管理工具已将治理功能纳入其系统之中。SolutionsReview 发布了数据管理厂商地图,将数据管理解决方案划分为三大类别:数据质量工具、主数据管理,以及面向分析的数据管理。

(1) 数据质量工具

数据质量是指数据的整体可用性,以及其是否便于被处理与分析以服务其他用途。为实现并维持良好的数据质量,治理工具需要执行标准化、剖析、解析、清洗与监控等关键功能。除保持数据干净有序外,这些工具还应支持在组织的整个数据体系中进行数据处理。

示例:
(i) Talend
Talend 的旗舰产品是Talend Data Fabric,其将数据完整性与治理能力作为可信数据的一体化云平台的一部分,涵盖从元数据管理到数据血缘,并提供协作式数据管理解决方案。

(ii) SAS
SAS Data Quality 为不同类型的数据库与数据架构部署提供数据质量管理能力,包含数据清洗、实体解析等核心功能,并配备统一的基于 Web 的控制台以监控数据质量作业。

(iii) Informatica
Informatica 提供覆盖多种部署形态的广泛数据工具组合。其Informatica Data Quality 产品为用户提供丰富的数据转换能力,同时允许用户在不依赖 IT 的情况下构建与审阅业务规则。

(2) 主数据管理

主数据指在公司范围内保持一致、统一的一组核心数据点,涵盖客户、线索、供应商、员工、账户等关键组成部分。有效的数据质量控制战略有赖于稳健的主数据管理。唯有如此,企业不断增长的数据资产(及其元数据)才能在中央存储库中得到良好结构化与整合,以支持最佳决策。

示例
(i) Ataccama
Ataccama Platform 是一款增强型数据管理平台,其中包含 MDM 模块。它还包括数据质量与元数据管理等相关模块,并可在不同类型的部署中实现完整集成。

(ii) Enterworks
EnterWorks Platform 是一个多域平台,可在所有企业应用间整合形成可靠、实时更新的主数据中央存储库,并配备强大的工具以提升数据质量与治理。此外,多个域的所有管理与治理功能都可通过单一用户界面完成。

(iii) Riversand
Riversand 的Master Data Experience Management 平台为各种 MDM 用例提供多域、云原生、统一的 SaaS 平台。其旨在消除数据孤岛,通过创建单一、准确、可信的主数据来源并提供对业务关键数据的全景视图,以支持对数据治理规则的合规。

(3) 面向分析的数据管理

由于维持数据质量涉及众多治理活动,企业可能更倾向于选择综合的一体化数据平台,而非单点解决方案。面向分析的数据管理解决方案是与分析软件集成的综合系统,可统筹管理关系型与非关系型分析处理、商业智能以及机器学习等数据分析工作。

示例
(i) Collibra Collibra Data Governance 是一款云端平台,帮助企业在中央位置建立对数据资产的共同理解并协同工作。其中包含策略管理、参考数据与业务术语表等服务套件,助力生成可信数据,为强大的业务分析奠定基础。

(ii) erwin erwin Data Intelligence 套件(erwin DI)是一体化软件平台,支持创建自动化与人工策划的企业数据目录,配备数据模型与按需血缘关系。这推动了敏捷且治理良好的数据准备与分析,并通过集成的业务术语表提升全组织范围的数据素养。

(iii) Alation Alation Platform 为分析师与业务用户提供开放且智能的平台,支持广泛的元数据管理应用、数据目录与治理。此外,其集成的 Analytics 产品可作为高效自助分析的一站式平台。

如何最大化发挥这些工具的价值?

务必牢记,工具只是推动数据普惠化战略中的一个杠杆。要充分发挥数据治理工具的价值,关键在于组织中的人。因为良好的数据治理是团队协作的结果:需要由人来设计与实施议程与政策,再借助技术对这些流程进行最优的自动化与监控。为此,组织需要着力提升数据素养,让每个人都具备与数据协作、发挥所长的能力。

了解更多关于DataCamp for Business 的信息:
DataCamp for Business 为需要提升与再培训员工数据技能的公司提供交互式学习平台——涵盖从数据素养与数据科学到数据工程与机器学习的一切内容。加入 1,600 多家企业与《财富》1000 强中的 80%,使用 DataCamp 为其团队赋能。

主题