Chuyển đến nội dung chính

Trang chủ Spark

Khóa học

Làm sạch dữ liệu với PySpark

Nâng caoTrình độ kỹ năng

Đã cập nhật tháng 02, 2026

Bắt Đầu Khóa Học Miễn Phí

SparkData Preparation4 giờ16 video53 Bài tập4,150 XP32,856Giấy Chứng Nhận Thành Tích

Tạo tài khoản miễn phí

hoặc

Bằng cách tiếp tục, bạn chấp nhận Điều khoản sử dụng, Chính sách bảo mật và việc dữ liệu của bạn được lưu trữ tại Hoa Kỳ.

Được yêu thích bởi học viên tại hàng nghìn công ty

Đào tạo 2 người trở lên?

Thử DataCamp for Business

Mô tả khóa học

Làm việc với dữ liệu đã khó — làm việc với hàng triệu hay thậm chí hàng tỷ dòng còn khó hơn. Bạn có nhận được một đoạn mã xử lý dữ liệu viết trên laptop với dữ liệu khá “sạch” không? Rất có thể bạn đang được giao nhiệm vụ chuyển một quy trình dữ liệu cơ bản từ bản mẫu sang sản xuất. Bạn có thể đã từng làm việc với dữ liệu thực tế: thiếu trường, định dạng kỳ lạ và quy mô dữ liệu lớn hơn nhiều bậc. Kể cả khi đây là điều hoàn toàn mới, khóa học này sẽ giúp bạn học những gì cần thiết để chuẩn bị các quy trình dữ liệu bằng Python với Apache Spark. Bạn sẽ học về thuật ngữ, phương pháp và một số thực hành tốt để xây dựng một nền tảng xử lý dữ liệu hiệu quả, dễ bảo trì và dễ hiểu.

Điều kiện tiên quyết

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Bắt Đầu Chương

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Bắt Đầu Chương

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Bắt Đầu Chương

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Bắt Đầu Chương

Làm sạch dữ liệu với PySpark

Hoàn
Thành

Nhận Giấy Chứng Nhận Hoàn Thành

Thêm chứng chỉ này vào hồ sơ LinkedIn, CV hoặc sơ yếu lý lịch của ban
Chia sẻ trên mạng xã hội và trong đánh giá hiệu suất của banĐăng Ký Ngay

Tham gia cùng hơn 19 triệu học viên và bắt đầu Làm sạch dữ liệu với PySpark ngay hôm nay!

Tạo tài khoản miễn phí

hoặc

Bằng cách tiếp tục, bạn chấp nhận Điều khoản sử dụng, Chính sách bảo mật và việc dữ liệu của bạn được lưu trữ tại Hoa Kỳ.

Phát triển kỹ năng dữ liệu với DataCamp cho thiết bị di động

Tiến bộ mọi lúc mọi nơi với các khóa học cho thiết bị di động và thử thách lập trình 5 phút hằng ngày.