Chuyển đến nội dung chính

Trang chủ Spark

Khóa học

Làm sạch dữ liệu với PySpark

Nâng caoTrình độ kỹ năng

Đã cập nhật tháng 02, 2026

Bắt Đầu Khóa Học Miễn Phí

SparkData Preparation

4 gio

16 video

53 Bài tập

4,150 XP

33,192

Giấy chứng nhận Thành tích

Được người học tại hàng ngàn công ty yêu thích

Đào tạo một đội ngũ?

Dùng thử cho Doanh nghiệp

Mô tả khóa học

Làm việc với dữ liệu đã khó — làm việc với hàng triệu hay thậm chí hàng tỷ dòng còn khó hơn. Bạn có nhận được một đoạn mã xử lý dữ liệu viết trên laptop với dữ liệu khá “sạch” không? Rất có thể bạn đang được giao nhiệm vụ chuyển một quy trình dữ liệu cơ bản từ bản mẫu sang sản xuất. Bạn có thể đã từng làm việc với dữ liệu thực tế: thiếu trường, định dạng kỳ lạ và quy mô dữ liệu lớn hơn nhiều bậc. Kể cả khi đây là điều hoàn toàn mới, khóa học này sẽ giúp bạn học những gì cần thiết để chuẩn bị các quy trình dữ liệu bằng Python với Apache Spark. Bạn sẽ học về thuật ngữ, phương pháp và một số thực hành tốt để xây dựng một nền tảng xử lý dữ liệu hiệu quả, dễ bảo trì và dễ hiểu.

Điều kiện tiên quyết

Intermediate Python Introduction to PySpark

1

Chi tiết về DataFrame

Ôn lại các kiến thức nền tảng về DataFrame và tầm quan trọng của việc làm sạch dữ liệu.

Giới thiệu về làm sạch dữ liệu với Apache Spark

Ôn tập làm sạch dữ liệu

Định nghĩa một schema

Tính bất biến và xử lý lười (lazy)

Ôn tập về tính bất biến

Sử dụng xử lý lười (lazy processing)

Tìm hiểu về Parquet

Lưu một DataFrame ở định dạng Parquet

SQL và Parquet

Bắt Đầu Chương

2

Thao tác với DataFrame trong thực tế

Khám phá nhiều kỹ thuật để chỉnh sửa nội dung của DataFrame trong Spark.

Thao tác trên cột DataFrame

Lọc nội dung cột với Python

Câu hỏi về lọc #1

Câu hỏi lọc #2

Chỉnh sửa các cột của DataFrame

Thao tác cột DataFrame có điều kiện

Ví dụ when()

When / Otherwise

Hàm do người dùng định nghĩa

Tìm hiểu user defined functions (UDF)

Sử dụng hàm do người dùng định nghĩa trong Spark

Phân vùng và xử lý lười (lazy)

Thêm trường ID

ID với số phân vùng khác nhau

Thêm mẹo về ID

Bắt Đầu Chương

3

Cải thiện hiệu năng

Cải thiện các tác vụ làm sạch dữ liệu bằng cách tăng hiệu năng hoặc giảm nhu cầu tài nguyên.

Bộ nhớ đệm (Caching)

Bộ nhớ đệm (cache) một DataFrame

Gỡ DataFrame khỏi bộ nhớ đệm (cache)

Cải thiện hiệu năng nhập dữ liệu

Tối ưu kích thước tệp

Tối ưu hiệu năng nhập tệp

Cấu hình cụm

Đọc cấu hình Spark

Ghi cấu hình Spark

Cải thiện hiệu năng

Join thông thường

Dùng broadcasting trong phép join của Spark

So sánh join broadcast và join thường

Bắt Đầu Chương

4

Xử lý phức tạp và pipeline dữ liệu

Tìm hiểu cách xử lý dữ liệu thực tế phức tạp bằng Spark và các kiến thức cơ bản về pipeline.

Giới thiệu về đường ống dữ liệu

Pipeline nhanh

Lỗi dữ liệu trong pipeline

Kỹ thuật xử lý dữ liệu

Loại bỏ các dòng chú thích

Loại bỏ các hàng không hợp lệ

Tách thành các cột

Phân tách sâu hơn

Xác thực dữ liệu

Xác thực các hàng qua phép join

Khám phá các dòng không hợp lệ

Phân tích cuối cùng và bàn giao

Phân tích dữ liệu chó

Số lượng trên mỗi ảnh

Phần trăm pixel thuộc về chó

Chúc mừng và bước tiếp theo

Bắt Đầu Chương

Làm sạch dữ liệu với PySpark

Hoàn
Thành

Nhận Giấy Chứng Nhận Hoàn Thành

Thêm chứng chỉ này vào hồ sơ LinkedIn, CV hoặc sơ yếu lý lịch của ban
Chia sẻ trên mạng xã hội và trong đánh giá hiệu suất của banĐăng ký ngay

Tham gia cùng hơn 19 triệu học viên và bắt đầu Làm sạch dữ liệu với PySpark ngay hôm nay!

Phát triển kỹ năng dữ liệu với DataCamp cho thiết bị di động

Tiến bộ mọi lúc mọi nơi với các khóa học cho thiết bị di động và thử thách lập trình 5 phút hằng ngày.