跳至主要内容

如何成为数据架构师

了解数据架构师的职责,以及如何在这一快速扩张的细分领域开启一份高薪职业。
Moez Ali
Moez Ali

创建您的免费账户

实践并学习路径你的进步。

使用 Google 继续继续即表示您接受我们的 使用条款,我们的 隐私政策 ,并且您的数据存储在美国。

在相对较短的时间内,新冠疫情彻底改变了各行各业的商业运作方式。麦肯锡全球的一项新调查发现,新冠疫情将数字技术的采用加速了数年——而且许多变化可能将长期存在。疫情期间,消费者大幅转向线上渠道,相应地,企业和行业也做出了回应。结果就是,各行业组织对与数据相关岗位的需求不断增长,其中一些行业受影响更大。 

根据Monster 年度趋势报告,96% 的公司计划或很可能计划招聘具备相关技能的新员工,以在 2022 年填补大数据分析岗位。数据架构师是构建和支持组织大数据需求的关键角色之一。 

在这篇博客中,您将进一步了解数据架构师是谁,尤其是数据架构师的具体工作内容。我们还将探讨其与数据工程师角色的区别,以及在 2022 年成为数据架构师所需具备的技能。   

什么是数据架构师?

根据数据管理知识体系(DMBOK)的描述,数据架构师要建立通用的业务词汇,清晰表达由战略驱动的数据需求,规划先进的一体化设计以满足这些需求,并确保企业战略与相关的业务架构相互一致。 

尽管不同公司中数据架构师的实际角色与职责可能略有不同,但一般可将其定义为组织中在技术数据领域担任高级职位、发挥重要作用的人。他们将业务需求转化为技术需求,并定义标准与框架,以规范数据在企业应用间的采集、存储、检索、归档与传输。根据 DAMA International 的数据管理知识体系,数据架构师还“提供统一的通用业务词汇,表达战略性需求,勾勒满足这些需求的高层集成设计,并与企业战略保持一致”。

开放群组架构框架(TOGAF)将数据架构师定义为:负责制定数据架构原则,创建支持目标业务架构实施的数据模型,绘制核心数据实体图,并建立实现架构愿景所需数据清单的职位。

数据架构师职责
图片来源:https://spectralops.io/wp-content/uploads/2021/04/data-architect.png

数据架构师的工作内容是什么?

数据架构师在组织内承担广泛职责,并与组织内许多其他角色和部门协作,包括:

  • 领域专家:数据架构师经常直接与领域专家和业务负责人合作。在应用设计中发挥关键作用,将业务需求转化为技术规范。
  • 首席信息官/首席技术官:数据架构师与领导层紧密合作,制定数据战略并将其传达至整个组织。
  • 其他数据相关岗位:数据工程师、数据库开发人员与专家、数据库管理员以及软件工程团队。

数据架构师这一职位的具体角色与职责会因公司、地区与组织规模而异,但其通用的职责大致包括:

  • 将业务需求转化为技术规范。
  • 定义与设计集成、数据库与数据仓库。
  • 定义数据架构框架、标准与原则——包括安全框架。
  • 定义数据流(即组织的哪些部分产生数据、哪些部分需要数据来运作、如何管理数据流等)。
  • 持续改进组织的数据架构。 
  • 与广泛的技术与非技术相关方、外部合作伙伴与供应商协作。 
  • 与领导层和高管合作,制定并执行数据战略以实现组织目标与宗旨。 
  • 维护组织层面的数据架构蓝图与制品库。
  • 不断在可扩展性、安全性、性能、数据恢复、可靠性等方面寻求改进。

数据架构师 vs. 数据工程师

数据架构师与数据工程师的角色相关但不同,分别在数据组织中担任两种技术职位,且都极为重要。

数据架构师

数据工程师

设计与构想数据架构

执行愿景并按规范开发架构

侧重领导力与高层数据战略

侧重日常的数据清洗、数据整理,并为组织内其他数据使用者(如数据科学家、数据分析师等)准备数据。

通常具备大量数据管理工具的实操技能,包括数据仓库、数据管理、数据建模及各类 ETL 工具。

通常需要精通关系型与非关系型数据库、ETL、自动化、大数据工具、云,以及生产级编码技能。

负责数据框架的概念化与可视化。 

负责构建与维护这些框架。 

通常不设入门级岗位。

可能存在入门级岗位。

一个关键区别在于资历水平。数据工程岗位可以从入门级做起,而数据架构师岗位多为高级职位,通常需要 8 年以上经验。资深数据架构师的成长路径多样;其中最常见的是从数据工程转型,数据科学也是进入数据架构师岗位的另一途径。

数据架构师的技能

数据架构师的技术技能

  • 关系型与非关系型数据库
  • 数据仓库
  • 应用服务器软件(如 Oracle)
  • 数据库管理系统软件(如 Microsoft SQL Server)
  • 用户界面与查询软件(如 IBM DB2)
  • 企业应用集成软件(如 XML)
  • 敏捷方法论
  • 数据建模工具(如 ERWin、Enterprise Architect 和 Visio)
  • ETL 工具
  • Python、C/C++、Java、Perl
  • 云(如 Azure、AWS、GCP)\
  • Hadoop

数据架构师同样重要的非技术技能

  • 沟通能力——促进与其他部门的协作
  • 分析与问题解决能力——保护数据的完整性、组织性与安全性
  • 时间管理与多任务处理能力——在快节奏环境中完成任务与项目
  • 项目或项目群管理技能——通常涉及企业内部的变更管理,以及项目管理方法与工具等
  • 业务技能与方法——通常包括商业案例、业务流程、战略规划等
  • 其他软技能——一般包括领导力、团队合作、演示能力、人际交往能力等

数据架构师的薪资

据 Glassdoor 显示,数据架构师的平均基础年薪约为 129,000 美元。晋升至企业架构(EA)和管理岗位后,年薪可能提高至 200,000 美元或更多。平均而言,数据架构师每年还能获得约 25,000 美元的奖金和其他收入。 

数据架构师薪资
来源:https://www.glassdoor.com/Career/data-architect-career_KO0,14.htm

如何成为数据架构师

数据架构师并非受监管的职业,因此学历并不是硬性要求。 不过,数据架构师通常拥有计算机科学、信息技术、软件工程或其他相关专业的本科学位。自学成才的数据架构师也不少见,但要达到同等技能水平需要更多时间与自律。该领域有大量可选认证,您也应在职业发展过程中加以考虑。

获得大学学位

成为数据架构师的第一步,是在以下专业之一获得学位:数据科学、计算机科学、信息技术或软件工程。学习数据库管理、数据架构、软件设计或计算机编程等课程,将对数据工程职业大有裨益。 

获取专业认证

对于希望进入数据工程领域的人,有数不清的行业认证可供选择,例如:

认证数据管理专业人士(CDMP)
由国际数据管理协会(DAMA)开发,CDMP 是数据架构师简历中常见的认证。由于其不聚焦于特定平台或厂商,因此能为通用数据库专业人士提供扎实背书。共有四个级别(副级、实践级、专家级与会士),授予给满足必要经验与教育背景并通过 CDMP 职业考试的候选人。

DataCamp Python 数据工程师职业路径
在这一全面的职业路径中,您将学习如何构建高效的数据架构、如何优化数据处理流程,以及如何维护大规模数据系统。除提升 Python 技能外,您还将通过实操接触 Shell、SQL 和 Scala 等语言,掌握数据工程管道构建、常见文件系统任务自动化以及高性能数据库构建。

IBM 认证数据架构师——大数据
该认证项目要求具备集群管理、数据复制、数据血缘与 LDAP 安全等先修技能。最终考试聚焦于 Hadoop、BigSQL、BigInsights 和 Cloudant。

Salesforce 认证数据架构与管理设计师
面向具有 Salesforce 平台经验的候选人,该认证考试考查您对大数据量风险与缓解策略、LDV 挑战、LDV 环境管理以及设计权衡等内容的理解。 

TOGAF® 9 认证项目
TOGAF 职业认证分为基础与认证两个部分。该证书旨在验证候选人是否掌握 TOGAF 9 的术语与基本概念,以及 TOGAF 与业务架构的核心原则。

您也可以从最佳数据科学训练营中进行选择,我们在另一篇文章中有更详细的探讨。 

学习编程语言

大多数数据架构师首先是工程师,因此通常已精通数种编程语言。最常见的包括SQL、Spark、Hive 和Python。 

其他数据相关职业

在考虑数据架构师是否适合您时,将其与其他职业对比会有所帮助。要进一步了解其他常见数据岗位,请参阅以下博客: 

下图对其他常见数据岗位进行了简要的可视化比较:

数据架构师与其他角色对比
来源:https://www.techtarget.com/searchdatamanagement/definition/data-architect

结论

数据架构是一个快速增长的职业领域:随着受新冠影响的各行业数字化步伐加快,该职业在过去两年实现了指数级发展。由于其不断演进,您在这条职业道路上永远不会感到枯燥。更重要的是,它竞争激烈但薪酬优渥。 

虽然数据架构师所需的每一项技术技能都不可能在一门课程中教授,但强烈建议您在 Datacamp 上学习Python 数据工程课程路径。该路径将为您提供成为数据架构师所需的基础技能,并在完成后提供职业指导。  

数据架构师常见问答

什么是数据架构师?

数据组织中的一项重要高级职位,其职责是将业务需求转化为技术需求,并定义数据在企业应用间被采集、存储、检索、归档与传输的标准与框架。

数据架构师应学习哪些编程语言?

数据架构师最常用的编程语言包括 SQL、Spark、Hive 和 Python。

数据架构师与数据工程师有何区别?

数据架构师负责设计并构想企业数据架构,而数据工程师则执行这一愿景并按规范开发架构。 

如何成为数据架构师?

数据架构师通常拥有计算机科学、信息技术、软件工程或其他相关专业的本科学位。自学成才的数据架构师并不罕见,但要达到同等技能水平需要更多时间与自律。在线培训项目(如 DataCamp 的Python 数据工程师职业路径)是为自己配备成功所需基础知识的绝佳选择。 

成为数据架构师需要上大学吗?

完全不需要。数据架构师并非受监管的职业,因此大学学位并非强制(尽管有时岗位会要求)。在线培训项目(如 DataCamp 的Python 数据工程师职业路径)是为自己配备成功所需基础知识的极佳选项。  

数据架构师的收入有多少?

据 Glassdoor 显示,数据架构师的平均基础年薪约为 129,000 美元。数据架构师每年还可获得约 25,000 美元的奖金及其他收入。 

数据架构师需要掌握哪些软件?

Python、SQL、关系型与非关系型数据库、ETL、云、C++、Java、Hadoop。

数据架构师是一个好的职业选择吗?

数据架构师通常是大型公司中备受重视的高级专业人士,且往往是所有数据岗位中薪酬最高的,这些因素使其成为极具吸引力的职业选择。 

数据架构师和数据工程师是同一个职位吗?

数据架构师与数据工程师的头衔关系密切,因此常被混淆。两者的区别在于主要职责。需注意的是,数据工程师可以找到入门级岗位,而数据架构师岗位通常需要多年经验。  

主题