组织需要高效能的数据团队
当今的组织生成的数据比以往任何时候都多。《福布斯》称,2018 年每天生成超过 2.5 艾字节(quintillion bytes)的数据,且全球超 90% 的数据是在该文发表前两年内生成的。各个国家生成的数据量还在不断攀升。2018 年,CNBC 报道称中国生成了 7.6 ZB 的数据,预计到 2025 年将增至 48.6 ZB。美国的数据量也相近。
这些数据中蕴含着大量尚未被充分利用的可操作洞见。根据 Forrester 的数据,组织中有 60% 到 73% 的数据未被用于分析。
成功的数据驱动型组织正大规模利用数据创造价值。比如,Uber 大力投入,打造平台以简单界面高效向其数据团队交付逾 100 PB 的可用数据,并将其扩展到支撑超过 10 亿笔 Uber Eats 订单、行程覆盖 2400 多万英里。通过 A/B 测试,Netflix 仅通过更换影片或剧集配图,就能将观看量提高 20% 到 30%。
显而易见,只要能够驾驭复杂而庞大的数据版图,组织就能获取高价值洞见。而要实现这类价值创造,离不开一支高绩效、全方位的数据团队。
高效数据团队的关键岗位
构建成功的数据团队需要多种核心角色。在这份白皮书中,DataCamp 概述了任何数据驱动型组织中常见的八类角色或角色画像。虽然不同组织的职位名称可能各异,我们将在此介绍构成强大数据团队的五个角色:业务分析师、数据分析师、数据科学家、机器学习科学家和数据工程师。
业务分析师
业务分析师通过数据洞见提升盈利能力和运营效率。他们将对业务领域的深刻理解与数据分析和可视化技能相结合,并将洞见报告给数据使用者。
关键技能:数据处理、数据可视化、报告、基础统计 工具:电子表格(Excel、Google 表格)、商业智能工具(Tableau、PowerBI)、SQL
课程推荐:SQL 入门,电子表格中的数据分析/Excel 数据分析,电子表格中的营销分析,电子表格中的财务分析
数据分析师
数据分析师与业务分析师的职责相近,都是从数据中分析并提炼洞见以推动业务结果。因此,两者技能有所重叠;不过,数据分析师更多应对定义不够明确的问题,需要对数据分析流程有更深入理解,并结合编程与非编程工具开展工作。
关键技能:数据处理、数据可视化、报告、数据导入与清洗、概率与统计
工具:R 或 Python、电子表格(Excel、Google 表格)、商业智能工具(Tableau、PowerBI)、SQL
课程推荐:数据分析师职业路径(R - 16 门课程/Python - 16 门课程),R 数据清洗/Python 数据清洗,SQL 中的时间序列分析
数据科学家
数据科学家在组织中承担更技术化的角色,主要使用编程工具来探索、提取并通过数据产出洞见与价值。数据科学家需要深刻理解数据分析与机器学习流程,并具备处理非常规数据类型和大数据工具的能力。
关键技能:数据处理、数据可视化、报告、数据导入与清洗、概率与统计、机器学习
工具:R、Python、Scala,大数据工具(Airflow、Spark)、SQL、命令行工具(Git、Shell)
课程推荐:数据科学家职业路径(R - 22 门课程/Python - 23 门课程),Python 情感分析,Git 入门
机器学习科学家
机器学习科学家负责大规模开发机器学习系统。他们利用各类机器学习模型从数据中生成预测,解决如流失预测与客户终身价值等问题,并负责将这些模型部署供组织使用。
关键技能:数据处理、数据可视化、数据导入与清洗、概率与统计、机器学习、数据工程 工具:R、Python、Scala,大数据工具(Airflow、Spark)、SQL、命令行工具(Git、Shell) 课程推荐:机器学习科学家职业路径(R - 14 门课程/Python - 23 门课程),Python 图像处理,使用 PySpark 进行机器学习
数据工程师
数据工程师负责构建数据管道,帮助组织将正确的数据交付给合适的人。他们将来自不同来源的大量数据汇聚到一个中心化位置,使各类数据岗位都能使用干净、相关、合规且可操作的数据。
关键技能:数据处理、数据导入与清洗、数据工程、高级编程 工具:Python、Scala,大数据工具(Airflow、Spark)、SQL、命令行工具(Git、Shell)、云平台(如 AWS) 课程推荐:Python 数据工程师职业路径(25 门课程),Python 中的 Airflow 入门,使用 AWS Kinesis 与 Lambda 进行数据流处理
如何打造高效能的数据团队
案例研究
在对各角色职责有了宏观了解后,我们来看一个真实世界的示例,说明这些角色如何在业务环境中协作,通过客户流失模型为企业创造价值。
在此背景下,数据工程师确保数据科学家和机器学习科学家能够获取他们开发与投产模型所需的高质量数据。他们会确保数据质量,并为各数据集设置并执行正确的权限。同时,他们还会以便捷的方式交付数据,并附上必要的元数据和变量,以支持高效分析。
接着,数据科学家与机器学习科学家将协作创建一个准确的客户流失预测模型。他们需要确保模型准确、可解释,并能嵌入业务流程中运行;在部署后,还要确保模型对未见数据依然保持准确性。
最后,数据分析师与业务分析师将基于模型输出开展合作,做出能推动业务价值的决策。他们可以依据客户流失可能性分配营销预算,并向决策者提供基于事实的理由,解释为何某一客户细分更易流失。
与大多数数据项目一样,每个角色都在数据价值提取中发挥关键作用。
通往高效数据团队之路始于人才
尽管疫情导致招聘有所放缓,数据岗位仍然需求旺盛,在 LinkedIn 年度新兴岗位报告中两度跻身前三。2020 年底,德勤指出,有 23% 的组织在 AI 需求与现有能力之间存在重大或极大缺口。2021 年,德勤发布报告称,面对数据岗位招聘短缺,组织必须实施有选择的招聘与有针对性的技能提升。
鉴于数据人才短缺,组织必须将有选择的招聘与技能提升相结合,打造能够创造价值的高技能数据团队。组织可通过为员工提供针对特定角色的个性化学习路径来实现这一目标。在 DataCamp,我们为学习者提供基于其技能水平与学习目标的个性化学习旅程,使其具备评估、学习、练习与应用新数据技能的工具。借助 DataCamp for Business,学习者可以受益于定制化学习路径,帮助组织将学习项目与其特定目标与挑战相匹配。了解更多如何借助 DataCamp 赋能您的人才转型。
DataCamp for Business 为企业提供互动式学习平台,助力员工数据技能的提升与再培训。主题涵盖数据素养、数据科学、数据工程与机器学习,已有超过 1600 家企业信任 DataCamp for Business 来提升其人才技能。
组织需要高效能的数据团队
当今的组织生成的数据比以往任何时候都多。《福布斯》称,2018 年每天生成超过 2.5 艾字节(quintillion bytes)的数据,且全球超 90% 的数据是在该文发表前两年内生成的。各个国家生成的数据量还在不断攀升。2018 年,CNBC 报道称中国生成了 7.6 ZB 的数据,预计到 2025 年将增至 48.6 ZB。美国的数据量也相近。
这些数据中蕴含着大量尚未被充分利用的可操作洞见。根据 Forrester 的数据,组织中有 60% 到 73% 的数据未被用于分析。
成功的数据驱动型组织正大规模利用数据创造价值。比如,Uber 大力投入,打造平台以简单界面高效向其数据团队交付逾 100 PB 的可用数据,并将其扩展到支撑超过 10 亿笔 Uber Eats 订单、行程覆盖 2400 多万英里。通过 A/B 测试,Netflix 仅通过更换影片或剧集配图,就能将观看量提高 20% 到 30%。
显而易见,只要能够驾驭复杂而庞大的数据版图,组织就能获取高价值洞见。而要实现这类价值创造,离不开一支高绩效、全方位的数据团队。
高效数据团队的关键岗位
构建成功的数据团队需要多种核心角色。在这份白皮书中,DataCamp 概述了任何数据驱动型组织中常见的八类角色或角色画像。虽然不同组织的职位名称可能各异,我们将在此介绍构成强大数据团队的五个角色:业务分析师、数据分析师、数据科学家、机器学习科学家和数据工程师。
业务分析师
业务分析师通过数据洞见提升盈利能力和运营效率。他们将对业务领域的深刻理解与数据分析和可视化技能相结合,并将洞见报告给数据使用者。
关键技能:数据处理、数据可视化、报告、基础统计 工具:电子表格(Excel、Google 表格)、商业智能工具(Tableau、PowerBI)、SQL
课程推荐:SQL 入门,电子表格中的数据分析/Excel 数据分析,电子表格中的营销分析,电子表格中的财务分析
数据分析师
数据分析师与业务分析师的职责相近,都是从数据中分析并提炼洞见以推动业务结果。因此,两者技能有所重叠;不过,数据分析师更多应对定义不够明确的问题,需要对数据分析流程有更深入理解,并结合编程与非编程工具开展工作。
关键技能:数据处理、数据可视化、报告、数据导入与清洗、概率与统计
工具:R 或 Python、电子表格(Excel、Google 表格)、商业智能工具(Tableau、PowerBI)、SQL
课程推荐:数据分析师职业路径(R - 16 门课程/Python - 16 门课程),R 数据清洗/Python 数据清洗,SQL 中的时间序列分析
数据科学家
数据科学家在组织中承担更技术化的角色,主要使用编程工具来探索、提取并通过数据产出洞见与价值。数据科学家需要深刻理解数据分析与机器学习流程,并具备处理非常规数据类型和大数据工具的能力。
关键技能:数据处理、数据可视化、报告、数据导入与清洗、概率与统计、机器学习
工具:R、Python、Scala,大数据工具(Airflow、Spark)、SQL、命令行工具(Git、Shell)
课程推荐:数据科学家职业路径(R - 22 门课程/Python - 23 门课程),Python 情感分析,Git 入门
机器学习科学家
机器学习科学家负责大规模开发机器学习系统。他们利用各类机器学习模型从数据中生成预测,解决如流失预测与客户终身价值等问题,并负责将这些模型部署供组织使用。
关键技能:数据处理、数据可视化、数据导入与清洗、概率与统计、机器学习、数据工程 工具:R、Python、Scala,大数据工具(Airflow、Spark)、SQL、命令行工具(Git、Shell) 课程推荐:机器学习科学家职业路径(R - 14 门课程/Python - 23 门课程),Python 图像处理,使用 PySpark 进行机器学习
数据工程师
数据工程师负责构建数据管道,帮助组织将正确的数据交付给合适的人。他们将来自不同来源的大量数据汇聚到一个中心化位置,使各类数据岗位都能使用干净、相关、合规且可操作的数据。
关键技能:数据处理、数据导入与清洗、数据工程、高级编程 工具:Python、Scala,大数据工具(Airflow、Spark)、SQL、命令行工具(Git、Shell)、云平台(如 AWS) 课程推荐:Python 数据工程师职业路径(25 门课程),Python 中的 Airflow 入门,使用 AWS Kinesis 与 Lambda 进行数据流处理
如何打造高效能的数据团队
案例研究
在对各角色职责有了宏观了解后,我们来看一个真实世界的示例,说明这些角色如何在业务环境中协作,通过客户流失模型为企业创造价值。
在此背景下,数据工程师确保数据科学家和机器学习科学家能够获取他们开发与投产模型所需的高质量数据。他们会确保数据质量,并为各数据集设置并执行正确的权限。同时,他们还会以便捷的方式交付数据,并附上必要的元数据和变量,以支持高效分析。
接着,数据科学家与机器学习科学家将协作创建一个准确的客户流失预测模型。他们需要确保模型准确、可解释,并能嵌入业务流程中运行;在部署后,还要确保模型对未见数据依然保持准确性。
最后,数据分析师与业务分析师将基于模型输出开展合作,做出能推动业务价值的决策。他们可以依据客户流失可能性分配营销预算,并向决策者提供基于事实的理由,解释为何某一客户细分更易流失。
与大多数数据项目一样,每个角色都在数据价值提取中发挥关键作用。
通往高效数据团队之路始于人才
尽管疫情导致招聘有所放缓,数据岗位仍然需求旺盛,在 LinkedIn 年度新兴岗位报告中两度跻身前三。2020 年底,德勤指出,有 23% 的组织在 AI 需求与现有能力之间存在重大或极大缺口。2021 年,德勤发布报告称,面对数据岗位招聘短缺,组织必须实施有选择的招聘与有针对性的技能提升。
鉴于数据人才短缺,组织必须将有选择的招聘与技能提升相结合,打造能够创造价值的高技能数据团队。组织可通过为员工提供针对特定角色的个性化学习路径来实现这一目标。在 DataCamp,我们为学习者提供基于其技能水平与学习目标的个性化学习旅程,使其具备评估、学习、练习与应用新数据技能的工具。借助 DataCamp for Business,学习者可以受益于定制化学习路径,帮助组织将学习项目与其特定目标与挑战相匹配。了解更多如何借助 DataCamp 赋能您的人才转型。
DataCamp for Business 为企业提供互动式学习平台,助力员工数据技能的提升与再培训。主题涵盖数据素养、数据科学、数据工程与机器学习,已有超过 1600 家企业信任 DataCamp for Business 来提升其人才技能。