Chuyển đến nội dung chính

Trang chủ Databricks

Khóa học

Data Transformation with Spark SQL in Databricks

Trung cấpTrình độ kỹ năng

Đã cập nhật tháng 05, 2026

Build end-to-end data pipelines - from cleaning and aggregation to streaming and orchestration.

Bắt Đầu Khóa Học Miễn Phí

DatabricksData Engineering

3 gio

7 video

25 Bài tập

1,750 XP

Giấy chứng nhận Thành tích

Được người học tại hàng ngàn công ty yêu thích

Đào tạo một đội ngũ?

Dùng thử cho Doanh nghiệp

Mô tả khóa học

Ready to handle real-world data at scale? This course teaches you to transform large datasets using Spark SQL and PySpark in Databricks. Learn to shape and clean data, run aggregations with optimized joins, and apply window functions for advanced analytics. You'll also set up file-based streaming with fault-tolerant checkpoints and persist results as Delta tables. By the end, you'll be orchestrating multi-step production pipelines with Databricks Workflows and Lakeflow Declarative Pipelines.

Điều kiện tiên quyết

Introduction to Databricks SQL Introduction to PySpark

1

Loading and Shaping Data

In this chapter, you'll learn how to work with Databricks notebooks, load CSV data into Spark DataFrames, and shape data using PySpark and SQL.

Working with Databricks notebooks

Understanding Databricks notebooks

Loading your first dataset

Exploring driver logs

Shaping data with PySpark and SQL

Using PySpark to shape data

Analyzing data with SQL

Understanding temporary views

Bắt Đầu Chương

2

Data Cleaning and Optimization

Learn how to define explicit schemas, build a data cleaning pipeline, and optimize query performance with broadcast joins.

Data cleaning and quality checks

Why explicit schemas matter

Cleaning the online retail dataset

Choosing the right quality metric

Aggregating and joining data efficiently

Joining and aggregating retail data

Understanding the shuffle bottleneck

When to use a broadcast join

Bắt Đầu Chương

3

Analytics and Production Pipelines

Learn how to calculate running totals and rankings with window functions, build streaming pipelines, and deploy production workflows.

Window functions and streaming queries

Ranking customers with window functions

Streaming retail data into Delta Lake

Resuming after a restart

Production pipelines with workflows

Writing and reading a Delta table

Building a multi-task job pipeline

Why switch to Lakeflow?

Wrapping up

Bắt Đầu Chương

Data Transformation with Spark SQL in Databricks

Hoàn
Thành

Nhận Giấy Chứng Nhận Hoàn Thành

Thêm chứng chỉ này vào hồ sơ LinkedIn, CV hoặc sơ yếu lý lịch của ban
Chia sẻ trên mạng xã hội và trong đánh giá hiệu suất của banĐăng Ký Ngay

Tham gia cùng hơn 19 triệu học viên và bắt đầu Data Transformation with Spark SQL in Databricks ngay hôm nay!

Phát triển kỹ năng dữ liệu với DataCamp cho thiết bị di động

Tiến bộ mọi lúc mọi nơi với các khóa học cho thiết bị di động và thử thách lập trình 5 phút hằng ngày.