12 个最佳数据工程项目：上手实践

数据工程中级项目

这些项目聚焦于提升编程能力与融合不同数据平台等技能。这些技术能力对于您融入现有技术栈并在更大团队中协作至关重要。

项目 4：执行代码评审

该项目旨在评审另一位数据工程师的代码。虽然与技术的直接动手程度不及其他项目，但审阅他人代码是成长为数据工程师的重要一环。 

阅读与评审代码与编写代码同等重要。在掌握基础的数据工程概念与实践后，您可以将其应用到代码评审中，确保遵循最佳实践并减少潜在缺陷。

资源

以下是一些有价值的资源，包括项目与文章，提供分步指导：

引导式项目：

• 执行代码评审：该引导式项目模拟资深数据专业人士的代码评审流程，提供实战体验。非常适合练习发现潜在缺陷并确保遵循最佳实践。

文章：

• 如何进行代码评审：该资源基于丰富经验给出如何高效开展代码评审的建议，涵盖评审流程的多方面内容。

获得的技能

• 阅读并评估其他数据工程师编写的代码
• 在评审中发现缺陷与逻辑错误
• 清晰且有帮助地提供代码反馈

项目 5：构建零售数据流水线

在该项目中，您将使用沃尔玛的零售数据构建完整的 ETL 流水线。您将从多种来源获取数据，包括 SQL 数据库与 Parquet 文件，对数据进行准备与清洗的转换处理，并最终加载到便于访问的格式中。

该项目非常适合夯实并进阶数据工程知识，因为涵盖了从多格式抽取数据、为有意义的分析进行数据转换，以及高效存储与访问的数据加载等关键技能。它有助于强化处理多样数据源、优化数据流与维护可扩展流水线等概念。

资源

以下是一些有价值的资源，包括引导式项目与课程，提供分步指导：

引导式项目：

• 构建零售数据流水线：该引导式项目带您使用沃尔玛零售数据搭建零售数据流水线。您将学习从 SQL 数据库与 Parquet 文件获取数据，将其转换用于分析，并加载为易于访问的格式。

课程：

• 数据库设计：在处理数据流水线时，扎实的数据库设计理解至关重要。本课程涵盖数据库设计与结构化的基础知识，有助于处理多样数据源并优化存储。

获得的技能

• 为真实用例设计数据流水线。
• 从多种来源与不同格式抽取数据。
• 清洗并转换不同格式的数据以提升一致性与质量。
• 将数据加载为便于访问的格式。

项目 6：用 SQL 分析影响学生表现的因素

在该项目中，您将分析一个围绕多种影响学生成功因素（如学习习惯、睡眠模式与家长参与度）的综合数据库。通过编写 SQL 查询，您将探索这些因素与考试成绩之间的关系，例如课外活动与睡眠对学业表现的影响。

该项目通过提升您有效操作与查询数据库的能力，来构建数据工程技能。 

您将发展数据分析、结果解读与从复杂数据集中提炼洞察的能力，这对于在教育场景及更广泛领域做出数据驱动决策至关重要。

资源

以下资源包括引导式项目与课程，提供分步指导：

引导式项目：

• 驱动学生表现的因素：该引导式项目让您通过分析综合数据库，探索多种因素对学生成功的影响。您将使用 SQL 研究学习习惯、睡眠模式与学业表现之间的关系，积累数据驱动教育分析的经验。

课程：

• SQL 中的数据操作：扎实的 SQL 数据操作基础是本项目的关键。本课程涵盖在关系型数据库中进行数据抽取、转换与分析的 SQL 技巧，助您处理复杂数据集。

获得的技能

• 编写与优化 SQL 查询，高效检索与操作数据。
• 分析复杂数据集以识别趋势与关系。
• 基于数据提出假设并解释结果。

项目 7：使用 DuckDB 实现高性能本地分析

上一项目侧重于编写查询，本项目则聚焦性能与架构。您将使用DuckDB，一款现代的“进程内”数据库，来分析对 Excel 或 Pandas 等常规工具而言过慢或过重的数据集。

您将选取一个大型公共数据集（如 NYC 出租车出行数据或 Citibike 数据），将其转换为行业标准的 Parquet 格式，并运行复杂的聚合查询。您将了解“列式存储”如何让您在无需安装服务器的情况下，于本地电脑上在极短时间内查询数百万行数据。

该项目能给雇主留下深刻印象，因为它表明您紧跟“现代数据栈”的最新趋势。

资源

以下资源可帮助您构建这一高性能项目：

• 数据来源：
  • 纽约市出租车与豪华轿车委员会：使用 “Yellow Taxi Trip Records”，一个稳健的真实数据集，非常适合进行性能测试。
• 文档：
  • DuckDB “SQL on Parquet”：阅读官方指南了解如何直接查询 Parquet 文件。这是本项目的核心技能。

获得的技能

• 理解列式存储（Parquet）与行式存储（CSV）的差异。
• 使用 DuckDB 实现无服务器的高速 SQL。
• 基准测试查询性能。
• 在本地机器上处理“超内存”数据集。

数据工程高级项目

高级数据工程师的一大标志，是能够创建可处理多种数据类型与不同技术的流水线。这些项目聚焦于组合多种高级数据工程工具，构建可扩展的数据处理系统，从而扩展您的技能边界。

项目 8：使用 PySpark 清洗数据集

使用 PySpark 等高级工具，您可以构建充分利用 Apache Spark 能力的流水线。 

在尝试此类项目之前，先完成入门课程以理解 PySpark 基础非常重要。掌握这些基础有助于您充分利用该工具，高效完成数据抽取、转换与加载。

资源

以下是一些有价值的资源，包括引导式项目、课程与教程，提供分步指导：

引导式项目：

• 使用 PySpark 清洗订单数据集：该引导式项目带您用 PySpark 清洗电商订单数据集，帮助理解如何借助 Apache Spark 以可扩展方式进行 ETL。

课程：

• PySpark 入门：本课程深入介绍 PySpark，涵盖在 Spark 中高效处理大规模数据集的关键概念与技巧，是构建 PySpark 基础的理想起点。

教程：

• PySpark 教程：入门指南：该教程介绍 PySpark 的核心组成部分，引导您进行环境搭建与基础操作，帮助您自信地开始构建 PySpark 数据流水线。

获得的技能

• 扩展 PySpark 实战经验
• 为业务方清洗与转换数据
• 摄取大型批量数据
• 加深对 ETL 流程中 Python 的理解

项目 9：使用 dbt 与 BigQuery 进行数据建模

数据工程师常用且强大的现代工具之一是dbt（Data Build Tool），它让数据工程遵循软件开发范式，提供直观的版本控制、测试、样板代码生成、血缘与环境管理。dbt 可与 BigQuery 或其他云数据仓库结合用于存储与管理数据集。 

该项目将让您在 dbt 中创建流水线、生成视图，并将最终数据关联到 BigQuery。

资源

以下是一些有价值的资源，包括课程与视频教程，提供分步指导：

YouTube 视频：

• 使用 dbt 的端到端现代数据工程：该视频由 CodeWithYu 全面演示了在 BigQuery 中设置与使用 dbt 的流程，涵盖构建数据流水线与生成视图的步骤。对初学者理解如何在数据工程工作流中结合 dbt 与 BigQuery 很有帮助。

课程：

• dbt 入门：本课程介绍 dbt 的基础知识，涵盖 Git 工作流、测试与环境管理等基本概念，是在数据工程项目中高效使用 dbt 的理想起点。

获得的技能

• 了解 dbt
• 了解 BigQuery
• 理解如何创建基于 SQL 的转换
• 在数据工程中应用软件工程最佳实践（版本控制、测试与文档）

项目 10：使用 Airflow 与 Snowflake 的 ETL（基于 S3 存储）并在 Tableau 中做 BI

本项目将使用 Airflow 通过 API 拉取数据，并借助 Amazon S3 存储桶将数据传输到 Snowflake。目标是用 Airflow 处理 ETL，用 Snowflake 进行分析型存储。 

该项目很出色，因为它通过多个云存储系统连接多种数据源，并由 Airflow 统一编排。项目环节众多，贴近真实世界的数据架构。此外，还通过在 Tableau 中添加可视化触及商业智能（BI）。

资源

以下是一些有价值的资源，包括课程与视频教程，提供分步指导：

YouTube 视频：

• 使用 Airflow、S3 与 Snowflake 的数据流水线：在该视频中，Seattle Data Guy 演示了如何使用 Airflow 从 PredictIt API 拉取数据，加载到 Amazon S3，进行 Snowflake 转换，并创建 Tableau 可视化。该端到端指南有助于理解在一条数据流水线中整合多种工具。

课程：

• Python 中的 Apache Airflow 入门：本课程概述 Apache Airflow 的关键概念，如 DAG、Operator 与任务依赖，是理解如何在 Airflow 中构建与管理工作流的良好基础。
• Snowflake 入门：本课程介绍强大的数据仓库解决方案 Snowflake，涵盖数据存储管理、查询与优化。在将 Snowflake 应用于数据流水线前，这是非常合适的入门知识。
• Tableau 数据可视化：本课程涵盖 Tableau 的核心可视化技能，帮助您将数据转化为有洞察的图表——这是解读数据流水线输出的关键一步。

获得的技能

• 在 Airflow 中练习创建 DAG
• 在 Python 中练习连接 API
• 练习将数据存储在 Amazon S3 存储桶
• 将数据从 Amazon 迁移到 Snowflake 进行分析
• 在 Tableau 中进行简单的数据可视化
• 创建全面的端到端数据平台

项目 11：在 AWS 上使用 Airflow 实现 Hacker News ETL

该项目使用 AWS 生态中的高级数据处理工具，构建包含多个步骤的复杂数据流水线。

不同于受限的社交媒体 API，您将使用完全免费开放的 Hacker News API。您将搭建 Apache Airflow 来抽取热门帖子与评论，转换数据以扁平化嵌套 JSON 结构，并将其加载到云端。

该架构遵循标准的“现代数据栈”模式：

1. 抽取：Airflow 触发 Python 脚本从 Hacker News API 获取数据。
2. 加载： 原始 JSON 数据被写入 Amazon S3 存储桶（您的“数据湖”）。
3. 转换：您将使用 AWS Glue 爬取数据并创建模式。
4. 分析：最后，您将使用 Amazon Athena 直接对 S3 数据运行 SQL（无服务器分析），或将其加载到 Amazon Redshift 进行仓储。

资源

以下资源包括课程与视频教程，提供分步指导：

文档：

• Hacker News API： 官方文档简单明了，托管在 GitHub 上。 教您如何遍历“Item ID”以查找帖子与评论。

GitHub 仓库：

• 使用 Airflow 与 AWS 的新闻数据流水线：寻找演示“Airflow 到 S3”流水线的仓库。您只需将 API 端点从 “NewsAPI” 改为 “Hacker News” 即可轻松改造。
• dlt（Data Load Tool）Hacker News 示例：来自dltHub 团队的博文与仓库专门介绍如何将 Hacker News 数据导入数据仓库。这是很好的现代替代参考。

课程与教程：

• AWS 概念：该课程系统介绍 AWS 的基础概念与工具。理解 S3、Glue、Athena 与 Redshift 等 AWS 服务的基础，对成功实施本项目至关重要。
• AWS Glue 与 Athena：重点查找关于“使用 Glue 爬取 S3 中的 JSON 数据”的教程，了解如何将原始文件转为可查询的表。

获得的技能

• 编排： 在 Airflow 中创建复杂 DAG 以管理依赖。
• API 交互：从公共 API 递归抓取嵌套数据（帖子内的评论）。
• 数据湖：在 Amazon S3 中存储原始分区数据。
• 无服务器 SQL：使用 AWS Glue 编目数据，并用 AWS Athena 在无数据库服务器的情况下查询数据。
• 基础设施： 管理 AWS 权限（IAM），使 Airflow 能与 S3 通信。

项目 12：使用 PySpark、Kafka 与 Redshift 构建实时数据流水线

在该项目中，您将使用 PySpark、Apache Kafka 与 Amazon Redshift 构建稳健的实时数据流水线，以处理高吞吐的数据摄取、处理与存储。 

流水线将实时捕获来自多源的数据，使用 PySpark 进行处理与转换，并将转换后的数据加载到 Redshift 以供进一步分析。此外，您将实施监控与告警，以确保数据准确性与流水线可靠性。

该项目是构建实时数据处理与大数据技术基础技能的绝佳机会，如用于流处理的 Kafka 与云端数仓 Redshift。

资源

以下资源包括课程与视频教程，提供分步指导：

YouTube 视频：

• 使用 PySpark、Kafka 与 Redshift 构建实时数据流水线：该视频由 Darshir Parmar 讲解，带您构建完整的实时数据流水线，包括数据摄取、转换与加载步骤。视频还涵盖监控与告警技术，确保流水线性能。

课程：

• Apache Kafka 入门：本课程讲解 Apache Kafka 的基础，这是本项目进行实时数据流处理的关键组件。课程概述 Kafka 架构以及如何将其应用到数据流水线中。
• 流处理概念：该课程介绍数据流处理的基本概念，包括实时处理与事件驱动架构。非常适合在构建实时流水线前进行基础学习。

数据工程项目汇总表

以下是上述数据工程项目的汇总，便于您快速参考不同项目：

结语

本文介绍了一些优秀项目，帮助您练习与提升数据工程技能。 

专注于理解每种工具背后的基本原理；这将帮助您在求职时运用这些项目，并清晰地加以说明。对任何觉得困难的概念，请务必回顾复习。

在构建项目作品集的同时，我也建议 学习 Python 专业数据工程师学习路径，并争取获得数据工程认证。这将是简历中的有力加分项，体现您对完成相关课程学习的投入。