“数据工程师搭建橱柜，他们把木材与工具凑在一起并将其组装好。分析工程师打开橱柜，开始把盘子、杯子和碗放进去，并按照一定顺序摆放。这可能是按颜色、形状或大小来整理。随后，数据分析师走到橱柜前，他们知道每样东西在哪里，因为都被摆放得井井有条。于是他们就能拿到自己想要的小蓝杯子去泡一杯茶！”
在分析工程兴起之前，数据分析师通常使用 Tableau 或 Power BI 等可视化工具为相关方提供洞见。这些工具非常适合呈现数据，但并不是进行数据转换和存储的最佳方式。
设想这样一个场景：一位数据工程师部署了一条加载营销数据的数据管道，但数据质量欠佳。只有营销团队中的数据分析师具备将数据转换并提升其质量的领域知识。然而，他们使用的技术栈与数据工程师并不相同。
与此同时，数据工程师缺乏足够的领域知识，无法迅速判断需要进行何种转换，而且他们很可能被全公司更高优先级的任务所淹没。结果，分析师可能不得不在 Tableau 或 Power BI 中进行转换，或者在关系型数据库中搭建自己的临时表。这会导致效率低下、洞见产出变慢。
此时，分析工程师便能发挥作用。分析工程师位于数据分析师与数据工程师之间。在上述场景中，他们既具备优化数据转换的技术能力，又拥有相应的领域知识。
通过与数据分析师紧密协作，分析工程师可使用合适的工具与技术对数据进行转换，向数据分析师交付干净可用的数据。
分析工程师与其他数据岗位有何不同？
不同岗位之间的界限并不清晰。那么，分析工程师与其他数据岗位有何区别？他们之间如何协作？
分析工程师 vs 数据分析师
数据分析师负责分析数据并向相关方报告洞见。他们深谙数据分析工作流，并通过编程与非编程工具相结合的方式呈现洞见。数据分析师通常精通 SQL 以及 Power BI 或 Tableau 等商业智能工具，较少使用 R 或 Python 等工具。
分析工程师与数据分析师协作，优化可直接被消费的数据模型。他们还负责维护与数据相关的文档，帮助数据分析师更快地发现洞见。
分析工程师 vs 数据工程师
数据工程师负责将合适的数据交到合适的人手中。他们创建并维护基础设施与数据管道，把来自不同来源的海量原始数据汇聚到一个集中位置，为组织提供干净、相关的数据。
诚然，这一定义与分析工程的职责存在高度重叠。不过，回到“橱柜”的例子，数据工程师负责确保分析工程师拥有合适的数据源，便于其为数据团队中的数据分析师进行整理与建模，供其使用。
此外，数据工程师负责从专有来源搭建自定义 API 和 ETL 管道——而分析工程师则更多地将时间投入到改进来自供应商 API（如 Google Analytics）的管道上。
分析工程师 vs 数据科学家
数据科学家对组织数据进行探索、提炼并报告有意义的洞见。他们能够将这些洞见传达给非技术相关方，并且对机器学习工作流及其与业务应用的衔接有良好理解。他们几乎完全使用基于代码的工具，如 SQL、Python 和 R，进行分析，并常与大数据工具打交道。
数据科学家与分析工程师之间的关系，类似于数据分析师与分析工程师之间的关系。分析工程师让数据科学家能够把更多精力放在洞见上，而非清洗与优化数据集。
分析工程师 vs 机器学习工程师
机器学习工程师设计并部署基于组织数据进行预测的机器学习系统。他们解决如客户流失与生命周期价值预测等问题，并负责将模型部署供组织使用。他们完全使用基于代码的工具，比其他岗位更侧重技术本身。
分析工程师则更专注于赋能数据分析师与数据科学家，而后者负责向业务相关方交付洞见。
分析工程师岗位对比
|
数据分析师 |
数据工程师 |
数据科学家 |
机器学习工程师 |
分析工程师 |
|
分析数据并向相关方报告洞见 搭建可供全组织使用的仪表板 利用领域专长与知识提出建议 |
使用供应商与专有 API 构建并维护 ETL 数据管道 在数据湖或数据仓库中优化与集中数据 将数据输送至机器学习管道 在云端处理数据 |
分析数据并向相关方报告洞见 设计诸如 A/B 测试等实验 部署可供全组织使用的仪表板 开发监督学习与无监督学习工作流 分析非常规数据类型，如时间序列、文本、地理空间或图像数据 |
训练并部署机器学习模型 监控并改进生产环境中机器学习模型的性能 将软件工程最佳实践应用于机器学习工作流（CI/CD） |
优化由数据工程师构建的面向消费的数据管道 将工程最佳实践应用于数据分析师与数据科学家使用的数据模型 制定、标准化并改进数据文档 |
|
R 或 Python SQL、Power BI、Tableau |
R 或 Python SQL Git、Shell 与命令行工具 大数据工具，如 Airflow 或 Spark 云端工具，如 AWS、Azure、GCP 或 Snowflake |
R 或 Python SQL Git、Shell 与命令行工具 大数据工具，如 Airflow 或 Spark |
R 或 Python SQL Git、Shell 与命令行工具 大数据工具，如 Airflow 或 Spark |
R 或 Python SQL Git、Shell 与命令行工具 云端工具，如 AWS、Azure、GCP、Snowflake 或 dbt |
分析工程师薪资
分析工程师这一角色仍处于早期，这意味着市场上很少有人同时具备在该岗位上取得成功所需的工程与分析技能的精准组合。这也使其在薪酬方面极具吸引力。以下是您在美国从事分析工程相关岗位时可预期的薪资区间。
- Glassdoor：根据 Glassdoor，分析工程师的平均年薪为 91,080 美元。此外，取决于地区与公司，年薪最高可达 208,000 美元。
- Comparably：根据 Comparably，分析工程师的平均年薪为 100,305 美元。此外，取决于地区与公司，年薪最高可达 185,000 美元。
尽管上述数字代表了各类分析工程岗位的大致区间，但同样值得注意的是，Netflix 等数据成熟度很高的公司在数据岗位上通常给出市场的高位薪酬。例如，据 levels.FYI 显示，Netflix 的分析工程师年薪最高可达 375,000 美元。
如何成为分析工程师？
随着数据岗位的专业化，进阶路径也愈发细分。与上文提到的许多数据岗位不同，分析工程师需要广泛的技能组合，需学习如下工具与概念：
SQL
可以说，SQL 是各类数据岗位中使用最广泛的分析工具之一。好在它也相对容易学习与掌握。阅读本文，了解如何学习 SQL，并在此获取更多学习资源。
Python
Python 是当下事实上的最流行编程语言。无论进入分析工程岗位，还是上文提到的任何数据岗位，Python 都将大有用武之地。在此查找学习 Python 所需的全部资源，并从以下课程开始。
- 职业路径： Python 程序员
- 职业路径： Python 数据分析师
ETL 工具
ETL 代表“抽取、转换与加载”。这些工具允许工程师搭建数据管道，从不同来源抽取数据，将其转换为可消费的数据，并加载到数据库中。最受欢迎的开源 ETL 工具之一是 Airflow。通过这门课程了解 Airflow 的实际应用。
云计算工具
“云计算工具”无疑是一个统称，但分析工程师与其他数据岗位都会经常使用 AWS、Azure、Google Cloud 或 Snowflake 等云服务。这些工具使数据团队能够在云端存储、处理并部署数据与数据解决方案。最流行的云计算工具是 AWS。您可以通过下列 DataCamp 的 AWS 课程进一步了解。
- 课程：AWS 云概念
- 课程：Python 中的 AWS Boto 入门
版本控制
版本控制可以说是软件工程最佳实践的基石。简而言之，它能让从业者记录自己在何时做了什么、撤销不想要的更改，并与他人进行大规模协作。
像 Git 这样的命令行工具可以帮助您践行版本控制的最佳实践。通过这份速查表进一步了解 Git！
沟通能力
尽管每个数据岗位都在一定程度上需要沟通能力，但分析工程对沟通能力的要求与数据分析师相当，同时还要具备数据工程师的技术实力。成为更好的沟通者是一种可以习得的技能，而非天赋。查看“数据沟通概念”课程，提升您的技术沟通能力。
成为分析工程师
与 MLOps 一样，分析工程仍处于非常早期。要走在前沿，请查看下方资源。
数据科学在不断演进，现代数据团队中的职位名称与职责也随之变化。在数据科学的早期，许多职位名称都带有“大数据”。
过去两年里，随着机器学习越来越多地走向落地，MLOps 开始出现在各类职位名称中。如今，随着组织在数据素养与分析成熟度方面不断提升，我们看到了“分析工程师”这一角色的崛起。
简而言之，分析工程师充当工程与分析职能之间的桥梁。其职责是在工程最佳实践的指导下，提供干净、经过转换的数据集，便于进行分析。
本文旨在阐明什么是分析工程师以及他们的工作内容，对比这一角色与其他常见数据岗位的区别，并提供入门分析工程的资源。
什么是分析工程师？
Dataform 用一个熟悉的例子——橱柜，提供了一个精彩的类比，说明分析工程师如何融入更广泛的数据团队。在我们思考为什么分析工程师正在兴起时，请记住这个类比。