12 dự án Kỹ thuật Dữ liệu hàng đầu để học qua thực hành

Các dự án Kỹ thuật Dữ liệu trình độ trung cấp

Những dự án này tập trung vào các kỹ năng như lập trình tốt hơn và phối hợp nhiều nền tảng dữ liệu. Những kỹ năng kỹ thuật này rất cần thiết để bạn có thể đóng góp cho một tech stack hiện có và làm việc trong một đội ngũ lớn hơn.

Dự án 4: Thực hiện review mã nguồn

Dự án này xoay quanh việc xem xét mã của một kỹ sư dữ liệu khác. Dù có thể không “hands-on” công nghệ như các dự án khác, khả năng review mã của người khác là phần quan trọng trong quá trình trưởng thành của một kỹ sư dữ liệu. 

Đọc và review mã cũng quan trọng như viết mã. Sau khi hiểu các khái niệm và thực hành nền tảng về kỹ thuật dữ liệu, bạn có thể áp dụng chúng vào việc review mã của người khác để đảm bảo tuân thủ best practices và giảm thiểu lỗi tiềm ẩn trong mã.

Tài nguyên

Dưới đây là một số tài nguyên hữu ích, bao gồm dự án và bài viết, cung cấp hướng dẫn từng bước:

Dự án có hướng dẫn:

• Thực hiện Code Review: Dự án có hướng dẫn này mang lại trải nghiệm thực hành code review, mô phỏng quy trình review như thể bạn là một chuyên gia dữ liệu cấp cao. Đây là cách tuyệt vời để luyện tập xác định lỗi tiềm ẩn và đảm bảo tuân thủ best practices.

Bài viết:

• Cách thực hiện Code Review: Nguồn tài liệu này cung cấp khuyến nghị về cách tiến hành code review hiệu quả, dựa trên kinh nghiệm phong phú và bao quát nhiều khía cạnh của quy trình review.

Kỹ năng phát triển

• Đọc và đánh giá mã do các kỹ sư dữ liệu khác viết
• Tìm lỗi và sai sót logic khi review mã
• Đưa ra phản hồi về mã một cách rõ ràng và hữu ích

Dự án 5: Xây dựng pipeline dữ liệu bán lẻ

Trong dự án này, bạn sẽ xây dựng một pipeline ETL hoàn chỉnh với dữ liệu bán lẻ của Walmart. Bạn sẽ truy xuất dữ liệu từ nhiều nguồn, bao gồm cơ sở dữ liệu SQL và tệp Parquet, áp dụng các kỹ thuật chuyển đổi để chuẩn bị và làm sạch dữ liệu, rồi cuối cùng nạp vào định dạng dễ truy cập.

Dự án này rất phù hợp để xây dựng kiến thức kỹ thuật dữ liệu nền tảng nhưng nâng cao vì bao quát các kỹ năng thiết yếu như trích xuất dữ liệu từ nhiều định dạng, chuyển đổi dữ liệu cho phân tích có ý nghĩa và nạp dữ liệu để lưu trữ, truy cập hiệu quả. Nó giúp củng cố các khái niệm như xử lý nguồn dữ liệu đa dạng, tối ưu luồng dữ liệu và duy trì pipeline có thể mở rộng.

Tài nguyên

Dưới đây là một số tài nguyên hữu ích, gồm dự án có hướng dẫn và khóa học, cung cấp lộ trình từng bước:

Dự án có hướng dẫn:

• Xây dựng Pipeline Dữ liệu Bán lẻ: Dự án có hướng dẫn này đưa bạn qua quá trình xây dựng pipeline dữ liệu bán lẻ sử dụng dữ liệu của Walmart. Bạn sẽ học cách truy xuất dữ liệu từ cơ sở dữ liệu SQL và tệp Parquet, chuyển đổi để phân tích và nạp vào định dạng dễ truy cập.

Khóa học:

• Thiết kế Cơ sở Dữ liệu: Hiểu biết vững về thiết kế cơ sở dữ liệu là điều thiết yếu khi làm việc với pipeline dữ liệu. Khóa học bao quát những điều cơ bản về thiết kế và cấu trúc cơ sở dữ liệu, hữu ích cho việc xử lý nguồn dữ liệu đa dạng và tối ưu lưu trữ.

Kỹ năng phát triển

• Thiết kế pipeline dữ liệu cho các bài toán thực tế.
• Trích xuất dữ liệu từ nhiều nguồn và định dạng khác nhau.
• Làm sạch và chuyển đổi dữ liệu từ nhiều định dạng để cải thiện tính nhất quán và chất lượng.
• Nạp dữ liệu này vào định dạng dễ truy cập.

Dự án 6: Các yếu tố ảnh hưởng đến hiệu suất học tập với SQL

Trong dự án này, bạn sẽ phân tích một cơ sở dữ liệu toàn diện tập trung vào các yếu tố tác động đến thành công của học sinh, như thói quen học tập, giấc ngủ và sự tham gia của phụ huynh. Bằng cách viết truy vấn SQL, bạn sẽ khảo sát mối quan hệ giữa các yếu tố này và điểm thi, khám phá các câu hỏi như tác động của hoạt động ngoại khóa và giấc ngủ đến thành tích học tập.

Dự án này xây dựng kỹ năng kỹ thuật dữ liệu bằng cách nâng cao khả năng thao tác và truy vấn cơ sở dữ liệu một cách hiệu quả. 

Bạn sẽ phát triển kỹ năng phân tích dữ liệu, diễn giải và rút ra insight từ các bộ dữ liệu phức tạp, thiết yếu để đưa ra quyết định dựa trên dữ liệu trong lĩnh vực giáo dục và hơn thế nữa.

Tài nguyên

Dưới đây là một số tài nguyên, gồm dự án có hướng dẫn và khóa học, cung cấp lộ trình từng bước:

Dự án có hướng dẫn:

• Các yếu tố thúc đẩy hiệu suất học tập: Dự án có hướng dẫn này giúp bạn khám phá ảnh hưởng của nhiều yếu tố đến thành công của học sinh bằng cách phân tích một cơ sở dữ liệu toàn diện. Bạn sẽ dùng SQL để khảo sát mối quan hệ giữa thói quen học tập, giấc ngủ và thành tích học tập, tích lũy kinh nghiệm trong phân tích giáo dục dựa trên dữ liệu.

Khóa học:

• Xử lý dữ liệu trong SQL: Nền tảng vững về thao tác dữ liệu bằng SQL là chìa khóa cho dự án này. Khóa học bao phủ các kỹ thuật SQL để trích xuất, chuyển đổi và phân tích dữ liệu trong cơ sở dữ liệu quan hệ, trang bị cho bạn kỹ năng xử lý bộ dữ liệu phức tạp.

Kỹ năng phát triển

• Viết và tối ưu truy vấn SQL để truy xuất và thao tác dữ liệu hiệu quả.
• Phân tích bộ dữ liệu phức tạp để nhận diện xu hướng và mối quan hệ.
• Đặt giả thuyết và diễn giải kết quả dựa trên dữ liệu.

Dự án 7: Phân tích hiệu năng cao tại chỗ với DuckDB

Trong khi dự án trước tập trung vào viết truy vấn, dự án này tập trung vào hiệu năng và kiến trúc. Bạn sẽ dùng DuckDB, một cơ sở dữ liệu “in-process” hiện đại, để phân tích một bộ dữ liệu quá chậm hoặc quá nặng đối với các công cụ tiêu chuẩn như Excel hoặc Pandas.

Bạn sẽ lấy một bộ dữ liệu công khai lớn (như Dữ liệu Chuyến Taxi NYC hoặc Dữ liệu Citibike ), chuyển đổi sang định dạng Parquet theo tiêu chuẩn ngành, và chạy các truy vấn tổng hợp phức tạp. Bạn sẽ học cách “Lưu trữ Dạng Cột” cho phép truy vấn hàng triệu dòng trong tích tắc ngay trên laptop cá nhân, mà không cần cài đặt máy chủ.

Dự án này gây ấn tượng với nhà tuyển dụng vì cho thấy bạn bắt kịp xu hướng mới nhất trong “Modern Data Stack”.

Tài nguyên

Dưới đây là tài nguyên giúp bạn xây dựng dự án hiệu năng cao này:

• Nguồn dữ liệu:
  • NYC Taxi & Limousine Commission: Dùng “Yellow Taxi Trip Records” cho một bộ dữ liệu thực tế, mạnh mẽ, hoàn hảo để kiểm thử tốc độ.
• Tài liệu:
  • DuckDB “SQL on Parquet”: Đọc hướng dẫn chính thức về cách truy vấn trực tiếp các tệp Parquet. Đây là kỹ năng cốt lõi của dự án.

Kỹ năng phát triển

• Hiểu lưu trữ dạng cột (Parquet) so với dạng hàng (CSV).
• Sử dụng DuckDB cho SQL tốc độ cao, không cần máy chủ.
• Đo đạc hiệu năng truy vấn.
• Làm việc với bộ dữ liệu “lớn hơn bộ nhớ” trên máy cục bộ.

Các dự án Kỹ thuật Dữ liệu nâng cao

Một dấu ấn của kỹ sư dữ liệu nâng cao là khả năng tạo pipeline có thể xử lý nhiều loại dữ liệu trên các công nghệ khác nhau. Những dự án này tập trung mở rộng bộ kỹ năng của bạn bằng cách kết hợp nhiều công cụ kỹ thuật dữ liệu nâng cao để tạo hệ thống xử lý dữ liệu có thể mở rộng.

Dự án 8: Làm sạch bộ dữ liệu với Pyspark

Sử dụng công cụ nâng cao như PySpark, bạn có thể xây dựng pipeline tận dụng khả năng của Apache Spark. 

Trước khi thử xây dựng dự án như thế này, điều quan trọng là hoàn thành khóa học nhập môn để hiểu những điều cơ bản của PySpark. Kiến thức nền tảng này sẽ giúp bạn tận dụng tối đa công cụ cho việc trích xuất, chuyển đổi và nạp dữ liệu hiệu quả.

Tài nguyên

Dưới đây là một số tài nguyên hữu ích, gồm dự án có hướng dẫn, khóa học và hướng dẫn chi tiết, cung cấp lộ trình từng bước:

Dự án có hướng dẫn:

• Làm sạch bộ dữ liệu Đơn hàng với PySpark: Dự án có hướng dẫn này đưa bạn qua quy trình làm sạch bộ dữ liệu đơn hàng thương mại điện tử bằng PySpark, giúp bạn hiểu cách trích xuất, chuyển đổi và nạp dữ liệu một cách có thể mở rộng với Apache Spark.

Khóa học:

• Giới thiệu về PySpark: Khóa học cung cấp giới thiệu chuyên sâu về PySpark, bao quát các khái niệm và kỹ thuật thiết yếu để làm việc hiệu quả với bộ dữ liệu lớn trong Spark. Đây là điểm khởi đầu lý tưởng để xây nền tảng vững chắc với PySpark.

Hướng dẫn:

• Hướng dẫn PySpark: Bắt đầu với PySpark: Hướng dẫn này giới thiệu các thành phần cốt lõi của PySpark, hướng dẫn bạn qua bước thiết lập và thao tác cơ bản để bạn tự tin bắt đầu xây dựng pipeline dữ liệu với PySpark.

Kỹ năng phát triển

• Mở rộng kinh nghiệm với PySpark
• Làm sạch và chuyển đổi dữ liệu cho các bên liên quan
• Tiếp nhận các lô dữ liệu lớn
• Đào sâu kiến thức Python trong quy trình ETL

Dự án 9: Mô hình hóa dữ liệu với dbt và BigQuery

Một công cụ hiện đại phổ biến và mạnh mẽ cho kỹ sư dữ liệu là dbt (Data Build Tool), cho phép kỹ sư dữ liệu áp dụng cách tiếp cận phát triển phần mềm. Nó cung cấp kiểm soát phiên bản trực quan, kiểm thử, tạo mã mẫu, phả hệ và môi trường. dbt có thể kết hợp với BigQuery hoặc các kho dữ liệu đám mây khác để lưu trữ và quản lý tập dữ liệu của bạn. 

Dự án này sẽ giúp bạn tạo pipeline trong dbt, tạo view và liên kết dữ liệu cuối tới BigQuery.

Tài nguyên

Dưới đây là một số tài nguyên hữu ích, gồm khóa học và video hướng dẫn, cung cấp lộ trình từng bước:

Video YouTube:

• Kỹ thuật Dữ liệu Hiện đại End-to-End với dbt: Trong video này, CodeWithYu hướng dẫn toàn diện cách thiết lập và sử dụng dbt với BigQuery, bao gồm các bước xây dựng pipeline dữ liệu và tạo view. Đây là tài liệu hữu ích cho người mới học cách kết hợp dbt và BigQuery trong quy trình kỹ thuật dữ liệu.

Khóa học:

• Giới thiệu về dbt: Khóa học giới thiệu các nền tảng của dbt, bao gồm các khái niệm cơ bản như workflow Git, kiểm thử và quản lý môi trường. Đây là điểm khởi đầu tuyệt vời để dùng dbt hiệu quả trong các dự án kỹ thuật dữ liệu.

Kỹ năng phát triển

• Tìm hiểu về dbt
• Tìm hiểu về BigQuery
• Hiểu cách tạo các chuyển đổi dựa trên SQL
• Áp dụng best practices kỹ thuật phần mềm trong kỹ thuật dữ liệu (kiểm soát phiên bản, kiểm thử, và tài liệu hóa)

Dự án 10: Airflow và Snowflake ETL dùng lưu trữ S3 và BI trong Tableau

Với dự án này, chúng ta sẽ dùng Airflow để kéo dữ liệu qua API và chuyển dữ liệu đó vào Snowflake bằng bucket Amazon S3. Mục đích là xử lý ETL trong Airflow và lưu trữ phân tích trong Snowflake. 

Đây là dự án tuyệt vời vì kết nối tới nhiều nguồn dữ liệu thông qua một số hệ thống lưu trữ đám mây, tất cả được điều phối bằng Airflow. Dự án rất đầy đủ vì có nhiều thành phần vận hành và giống với kiến trúc dữ liệu thực tế. Dự án cũng chạm tới business intelligence (BI) bằng cách thêm trực quan hóa trong Tableau.

Tài nguyên

Dưới đây là một số tài nguyên hữu ích, gồm khóa học và video hướng dẫn, cung cấp lộ trình từng bước:

Video YouTube:

• Pipeline Dữ liệu với Airflow, S3 và Snowflake: Trong video này, Seattle Data Guy minh họa cách dùng Airflow để kéo dữ liệu từ PredictIt API, nạp vào Amazon S3, thực hiện chuyển đổi trong Snowflake và tạo trực quan hóa trên Tableau. Hướng dẫn end-to-end này lý tưởng để hiểu sự tích hợp nhiều công cụ trong một pipeline dữ liệu.

Khóa học:

• Giới thiệu về Apache Airflow trong Python: Khóa học cung cấp tổng quan về Apache Airflow, bao gồm các khái niệm thiết yếu như DAG, operator và phụ thuộc tác vụ. Đây là nền tảng tốt để hiểu cách cấu trúc và quản lý workflow trong Airflow.
• Giới thiệu về Snowflake: Khóa học giới thiệu Snowflake, một giải pháp kho dữ liệu mạnh mẽ. Bao quát quản lý lưu trữ dữ liệu, truy vấn và tối ưu hóa. Hoàn hảo để có kiến thức nền tảng trước khi làm việc với Snowflake trong pipeline dữ liệu.
• Trực quan hóa Dữ liệu trong Tableau: Khóa học bao quát kỹ năng Tableau thiết yếu cho trực quan hóa dữ liệu, cho phép bạn chuyển dữ liệu thành biểu đồ sâu sắc—một bước cốt lõi để diễn giải đầu ra của pipeline dữ liệu.

Kỹ năng phát triển

• Luyện tạo DAG trong Airflow
• Luyện kết nối tới API bằng Python
• Luyện lưu trữ dữ liệu trong bucket Amazon S3
• Di chuyển dữ liệu từ Amazon sang Snowflake để phân tích
• Trực quan hóa dữ liệu đơn giản trong Tableau
• Tạo một nền tảng dữ liệu toàn diện, end-to-end

Dự án 11: Hacker News ETL trên AWS dùng Airflow

Dự án này giải quyết một pipeline dữ liệu phức tạp với nhiều bước sử dụng các công cụ xử lý dữ liệu nâng cao trong hệ sinh thái AWS.

Thay vì làm việc với các API mạng xã hội bị hạn chế, bạn sẽ dùng Hacker News API, hoàn toàn miễn phí và mở. Bạn sẽ thiết lập Apache Airflow để trích xuất các bài viết nổi bật và bình luận, chuyển đổi dữ liệu để làm phẳng cấu trúc JSON lồng nhau, và nạp lên đám mây.

Kiến trúc tuân theo mô hình “Modern Data Stack” tiêu chuẩn:

1. Extract: Airflow kích hoạt script Python để lấy dữ liệu từ Hacker News API.
2. Load: Dữ liệu JSON thô được đẩy vào Amazon S3 bucket ("Hồ Dữ liệu" của bạn).
3. Transform: Bạn sẽ dùng AWS Glue để quét dữ liệu và tạo schema.
4. Analyze: Cuối cùng, bạn sẽ dùng Amazon Athena để chạy truy vấn SQL trực tiếp trên dữ liệu S3 (phân tích serverless) hoặc nạp vào Amazon Redshift để làm kho dữ liệu.

Tài nguyên

Dưới đây là một số tài nguyên, gồm khóa học và video hướng dẫn, cung cấp lộ trình từng bước:

Tài liệu:

• Hacker News API: Tài liệu chính thức đơn giản và được lưu trên GitHub. Nó dạy bạn cách duyệt “Item ID” để tìm bài viết và bình luận.

Kho GitHub:

• News Data Pipeline với Airflow & AWS: Tìm các kho minh họa pipeline “Airflow to S3”. Bạn có thể điều chỉnh dễ dàng bằng cách đơn giản đổi endpoint API từ “NewsAPI” sang “Hacker News”.
• dlt (Data Load Tool) Hacker News Demo: Nhóm tại dltHub có bài viết và repo hay chuyên về việc kéo dữ liệu Hacker News vào kho dữ liệu. Đây là tài liệu tham khảo hiện đại tuyệt vời.

Khóa học và hướng dẫn:

• Giới thiệu về AWS: Khóa học cung cấp nền tảng vững chắc về AWS, bao quát các khái niệm và công cụ thiết yếu. Hiểu cơ bản về các dịch vụ AWS như S3, Glue, Athena và Redshift sẽ rất quan trọng để triển khai dự án này thành công.
• AWS Glue & Athena: Tìm các hướng dẫn cụ thể về “quét dữ liệu JSON trong S3 với Glue” để hiểu cách biến tệp thô thành bảng có thể truy vấn.

Kỹ năng phát triển

• Điều phối: tạo DAG phức tạp trong Airflow để quản lý phụ thuộc.
• Tương tác API: đệ quy lấy dữ liệu lồng nhau (bình luận trong bài viết) từ API công khai.
• Data Lake: Lưu trữ dữ liệu phân vùng thô trong Amazon S3.
• Serverless SQL: Dùng AWS Glue để lập danh mục dữ liệu và AWS Athena để truy vấn mà không cần máy chủ cơ sở dữ liệu.
• Hạ tầng: Quản lý quyền AWS (IAM) để Airflow có thể trao đổi với S3.

Dự án 12: Xây dựng pipeline dữ liệu thời gian thực với PySpark, Kafka và Redshift

Trong dự án này, bạn sẽ tạo một pipeline dữ liệu thời gian thực mạnh mẽ sử dụng PySpark, Apache Kafka và Amazon Redshift để xử lý khối lượng lớn việc tiếp nhận, xử lý và lưu trữ dữ liệu. 

Pipeline sẽ thu nhận dữ liệu từ nhiều nguồn theo thời gian thực, xử lý và chuyển đổi bằng PySpark, rồi nạp dữ liệu đã chuyển đổi vào Redshift để phân tích sâu hơn. Ngoài ra, bạn sẽ triển khai giám sát và cảnh báo để đảm bảo độ chính xác dữ liệu và độ tin cậy của pipeline.

Đây là cơ hội tuyệt vời để xây dựng kỹ năng nền tảng trong xử lý dữ liệu thời gian thực và làm việc với công nghệ big data như Kafka cho streaming và Redshift cho kho dữ liệu trên đám mây.

Tài nguyên

Dưới đây là một số tài nguyên, gồm khóa học và video hướng dẫn, cung cấp lộ trình từng bước:

Video YouTube:

• Xây dựng Pipeline Dữ liệu Thời gian thực với PySpark, Kafka và Redshift: Video của Darshir Parmar hướng dẫn bạn xây dựng pipeline dữ liệu thời gian thực hoàn chỉnh với PySpark, Kafka và Redshift. Bao gồm các bước tiếp nhận, chuyển đổi và nạp dữ liệu. Video cũng đề cập đến kỹ thuật giám sát và cảnh báo để đảm bảo hiệu năng pipeline.

Khóa học:

• Giới thiệu về Apache Kafka: Khóa học bao quát những điều cơ bản của Apache Kafka, thành phần then chốt cho streaming dữ liệu thời gian thực trong dự án này. Cung cấp cái nhìn tổng quan về kiến trúc Kafka và cách triển khai trong pipeline dữ liệu.
• Khái niệm Streaming: Khóa học giới thiệu các khái niệm nền tảng của streaming dữ liệu, bao gồm xử lý thời gian thực và kiến trúc hướng sự kiện. Đây là tài nguyên lý tưởng để nắm kiến thức nền trước khi xây dựng pipeline thời gian thực.

Bảng tóm tắt các dự án Kỹ thuật Dữ liệu

Dưới đây là tóm tắt các dự án kỹ thuật dữ liệu ở trên để bạn tham khảo nhanh các dự án khác nhau:

Kết luận

Bài viết đã giới thiệu những dự án xuất sắc giúp bạn luyện tập kỹ năng kỹ thuật dữ liệu. 

Hãy tập trung vào việc hiểu các khái niệm nền tảng đằng sau cách mỗi công cụ hoạt động; điều này sẽ giúp bạn sử dụng các dự án trong quá trình tìm việc và trình bày chúng một cách thuyết phục. Nhớ ôn lại bất kỳ khái niệm nào bạn thấy khó.

Song song với việc xây dựng danh mục dự án, tôi khuyến nghị tham gia lộ trình Professional Data Engineer in Python và hướng tới việc lấy chứng chỉ kỹ thuật dữ liệu. Điều này có thể là bổ sung giá trị cho CV của bạn, vì nó thể hiện cam kết hoàn thành các khóa học liên quan.