Sau khi hoàn thành các khóa học này, tôi cảm thấy tự tin khi tạo các trực quan hóa và bảng điều khiển chuyên nghiệp
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Sẵn sàng xử lý dữ liệu thực tế ở quy mô lớn? Khóa học này hướng dẫn bạn chuyển đổi các tập dữ liệu lớn bằng Spark SQL và PySpark trong Databricks. Học cách định hình và làm sạch dữ liệu, chạy tổng hợp với các phép join được tối ưu, và áp dụng window functions cho phân tích nâng cao. Bạn cũng sẽ thiết lập streaming dựa trên tệp với checkpoint chịu lỗi và lưu kết quả dưới dạng bảng Delta. Cuối khóa, bạn sẽ điều phối các pipeline nhiều bước ở môi trường sản xuất bằng Databricks Workflows và Lakeflow Declarative Pipelines.
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Nạp và định hình dữ liệu
Trong chương này, bạn sẽ học cách làm việc với notebook của Databricks, nạp dữ liệu CSV vào Spark DataFrame, và định hình dữ liệu bằng PySpark và SQL.
2
Làm sạch và tối ưu hóa dữ liệu
Tìm hiểu cách xác định schema tường minh, xây dựng pipeline làm sạch dữ liệu, và tối ưu hiệu năng truy vấn với broadcast join.
3
Phân tích và pipeline sản xuất
Tìm hiểu cách tính tổng lũy kế và xếp hạng bằng window functions, xây dựng pipeline streaming, và triển khai quy trình sản xuất.
Chuyển đổi dữ liệu với Spark SQL trong Databricks
Hoàn
thành khóa học
