数据工程意味着什么？

由于需求旺盛，DataCamp 正在筹建数据工程学习路径。正如数据科学这个不断扩展的领域中的许多术语一样，“数据工程”的定义也存在不少模糊空间。有的 数据工程师 专注于报告与仪表板；有的多数时间在构建数据管道；还有的会将数据科学家的 Python 代码优化为可在 Java 或 C 中运行的版本。

为了启动课程开发，我们需要选定一个可操作的“数据工程师”定义。经过反复讨论与思考，我们决定借用美国电视剧《法律与秩序》的表述来加以改写：

数据工程师 vs 数据分析师 vs 数据科学家

在数据科学的世界中，数据由三个各自独立且同等重要的职业来呈现：

• 数据工程师：使用编程语言来确保对数据和数据库的访问是干净、可靠且高性能的
• 数据分析师：使用编程语言、电子表格和商业智能工具来描述并归类当前存在的数据
• 数据科学家：使用算法基于既有信息来预测未来的数据

示例

举例来说，设想一家公司在其网站上销售多种不同类型的沙发。每当有访客点击某款沙发，就会产生一条新的数据。数据工程师会定义如何采集这些数据、每个点击事件应附带哪些元数据，以及如何以便于访问的格式进行存储。数据分析师会创建可视化，帮助销售和市场团队追踪每款沙发的购买人群以及公司获得的收入。数据科学家会基于哪些客户购买了哪些沙发的数据，为每位新访客预测最适合的沙发。

什么是数据工程师？

对许多组织而言，数据工程师往往是数据团队中最早的招聘。在被用于分析和预测之前，采集到的数据需要被组织和清洗。数据工程师首先会梳理所存储的数据清单，即数据模式（schema）。接下来，他们需要选择一个可靠、易访问的位置来存放数据，即数据仓库，例如 Amazon Redshift 或 Google Cloud。最后，数据工程师会创建 ETL（抽取、转换与加载）流程，以确保数据进入数据仓库。

随着组织发展壮大，数据工程师需要将新的数据源集成到数据生态中，并将存储的数据传送到各类分析工具。当数据仓库规模变得庞大时，数据工程师必须寻找新的方法来提升分析性能，例如并行化分析或创建更小的子集以支持快速查询。

三种职业之间的关系

在数据科学领域内，这三种职业始终存在重叠。数据工程师常常负责一些简单的数据分析项目，或将数据科学家编写的算法改造成更健壮、可并行运行的形式。数据分析师和数据科学家也需要掌握基础的数据工程技能，尤其是在工程资源稀缺的早期初创公司中。

在 DataCamp 学习数据工程！

在 DataCamp，我们正积极打造数据工程课程体系。我们已经明确了教学目标，现正开始招募讲师来设计这些课程。如果您感兴趣，请查看我们的申请以及当前优先考虑的课程清单。