Chuyển đến nội dung chính

Trang chủ Python

Khóa học

Scaling and Optimizing Data Pipelines with Polars

Trung cấpTrình độ kỹ năng

Đã cập nhật tháng 06, 2026

Learn to optimize, scale, and test Polars data pipelines for production-ready performance.

Bắt Đầu Khóa Học Miễn Phí

PythonData Manipulation

4 gio

15 video

56 Bài tập

4,800 XP

Giấy chứng nhận Thành tích

Được người học tại hàng ngàn công ty yêu thích

Đào tạo một đội ngũ?

Dùng thử cho Doanh nghiệp

Mô tả khóa học

Take your Polars skills to production scale. Learn to read query plans and unlock the optimizer's full potential, work efficiently with Parquet, CSV, and database sources, and exploit advanced dtypes like List, Struct, Categorical, and Enum. You'll also stream large queries to disk, process data in batches, and build testable pipelines with built-in assertions. By the end, you'll be equipped to build high-performing data workflows that handle datasets of any size.

Điều kiện tiên quyết

Data Transformation with Polars

1

Query Optimization Deep Dive

Learn how to keep queries lazy for maximum optimization, read and interpret query plans, and unlock fast paths with profiling and sorted data.

Effective query execution

Previewing the data lazily

Summarizing digital checkouts

Collecting two reports together

Optimization and query plans

Reading the naive plan

Reading the optimized plan

What query optimization actually does

Using optimization to full effect

Lazy pivot to wide format

Profiling a lazy query

Fast-path filter on sorted data

Bắt Đầu Chương

2

Efficient Data Input and Output

Learn how to read and write Parquet files, parse messy CSVs, scan multifile and hive-partitioned datasets, and query databases from Polars.

Working with Parquet files

Inspecting a Parquet schema

Summarizing Parquet data

Writing a Parquet snapshot

Parsing CSVs

Parsing a messy CSV

Overriding the inferred schema

Ignoring parse errors

Working with Multifile Datasets

Scanning multiple files

Inserting missing columns

Scanning a hive-partitioned dataset

Working with Databases

Reading from SQLite with a URI

Appending to a SQLite history table

Querying DuckDB into Polars

Bắt Đầu Chương

3

Advanced Dtypes for Optimal Analysis

This chapter covers working with List and Struct columns, encoding repeated strings as Categorical and Enum dtypes, and reducing memory use through numeric downcasting.

Handling array data

Extracting a primary genre

Counting genres per movie

Counting genre popularity

Working with nested columns

Unnesting production_country

Renaming country fields

Creating an Object dtype

Using Categorical and Enum dtypes

Creating a Categorical column

Using a categorical expression

Creating an Enum column

Reducing memory pressure

Inspecting numeric range

Downcasting numeric columns

Estimating DataFrame size

Bắt Đầu Chương

4

Working with Polars at Scale

Learn how to use the streaming and GPU engines, sink large query results directly to disk with partitioning, and test pipelines with Polars' built-in assertions.

Working with the streaming and GPU engines

Targeting the streaming engine

Processing query results in batches

Sinking large queries to disk

Sinking a cleaned extract to Parquet

Multiplexing Parquet sinks

Using a custom batch sink

Testing Polars Pipelines

Comparing DataFrames with equals

Testing schemas

Testing full DataFrames

Congratulations!

Bắt Đầu Chương

Scaling and Optimizing Data Pipelines with Polars

Hoàn
Thành

Nhận Giấy Chứng Nhận Hoàn Thành

Thêm chứng chỉ này vào hồ sơ LinkedIn, CV hoặc sơ yếu lý lịch của ban
Chia sẻ trên mạng xã hội và trong đánh giá hiệu suất của banĐăng Ký Ngay

Tham gia cùng hơn 19 triệu học viên và bắt đầu Scaling and Optimizing Data Pipelines with Polars ngay hôm nay!

Phát triển kỹ năng dữ liệu với DataCamp cho thiết bị di động

Tiến bộ mọi lúc mọi nơi với các khóa học cho thiết bị di động và thử thách lập trình 5 phút hằng ngày.