Chuyển đến nội dung chính

Trang chủ Python

Khóa học

Lập trình song song với Dask trong Python

Trung cấpTrình độ kỹ năng

Đã cập nhật tháng 04, 2024

Bắt Đầu Khóa Học Miễn Phí

PythonProgramming

4 gio

15 video

51 Bài tập

4,150 XP

4,895

Giấy chứng nhận Thành tích

Được người học tại hàng ngàn công ty yêu thích

Đào tạo một đội ngũ?

Dùng thử cho Doanh nghiệp

Mô tả khóa học

Điều kiện tiên quyết

Data Manipulation with pandas Python Toolbox

1

Đánh giá trễ và tính toán song song

Chương này sẽ dạy bạn những kiến thức cơ bản về Dask và đánh giá trễ. Kết thúc chương, bạn sẽ có thể tăng tốc hầu như mọi mã Python bằng xử lý song song hoặc đa luồng. Bạn sẽ học sự khác nhau giữa hai phương pháp lập lịch tác vụ này và khi nào phương pháp nào hiệu quả hơn.

Giới thiệu về Dask

Đánh giá lười (Lazy evaluation)

Trì hoãn hàm (delaying functions)

Đồ thị tác vụ và phương pháp lập lịch

Có những bộ lập lịch nào khác nhau?

Vẽ task graph

Xây dựng pipeline dạng delayed

Phân tích bài hát trên Spotify

Ngày nay các bài hát có dễ nhảy không?

Những bài hát phổ biến nhất

Bắt Đầu Chương

2

Xử lý song song dữ liệu lớn có cấu trúc

Tại đây, bạn sẽ học cách phân tích dữ liệu lớn có cấu trúc bằng Dask array và Dask DataFrame. Bạn sẽ thấy mọi kiến thức về NumPy và pandas có thể dễ dàng áp dụng cho dữ liệu quá lớn để chứa vừa trong bộ nhớ.

Mảng Dask

Kích thước khối (chunksize) của Dask array

Tải và xử lý ảnh

Một pipeline xử lý ảnh

Dask DataFrame

Tạo Dask DataFrame từ các tệp CSV

Đọc Dask DataFrame từ Parquet

Giai điệu mùa hè

Mảng đa chiều

Khám phá tệp HDF5

Mảng Dask từ các tập dữ liệu HDF5

Dask array từ các bộ dữ liệu Zarr

Phân tích khám phá dữ liệu với xarray

Nhiệt độ trung bình theo tháng

Tính xu hướng nhiệt độ châu Âu

Bắt Đầu Chương

3

Dask Bag cho dữ liệu phi cấu trúc

Xử lý mọi loại dữ liệu. Bạn sẽ học cách Dask bag có thể được dùng để xử lý hiệu quả dữ liệu văn bản phi cấu trúc, dữ liệu JSON bán cấu trúc, và cả âm thanh đã ghi.

Giới thiệu về Dask bag

Tạo một Dask bag

Tạo một bag từ văn bản đã lưu

Các thao tác với chuỗi

Các thao tác với Dask bag

Tải dữ liệu JSON

Lọc Dask bag

Xâu chuỗi các thao tác

Chuyển đổi dữ liệu phi cấu trúc thành DataFrame

Tái cấu trúc một dictionary

Chuyển đổi sang DataFrame

Sử dụng mọi loại dữ liệu trong Dask bag

Tải dữ liệu wav

Tự tạo Dask bag theo nhu cầu

Xử lý dữ liệu âm thanh phi cấu trúc

Bắt Đầu Chương

4

Dask cho Machine Learning và mảnh ghép cuối

Khai thác sức mạnh của Dask để huấn luyện các mô hình Machine Learning. Bạn sẽ học cách huấn luyện mô hình Machine Learning trên dữ liệu lớn bằng gói Dask-ML, và cách phân tách các phép tính của Dask giữa tiến trình và luồng để tăng tốc độ tính toán hơn nữa.

Sử dụng process và thread

Bộ lập lịch nào sẽ được dùng?

Cụm và client

Huấn luyện mô hình Machine Learning trên bộ dữ liệu lớn

Dùng Dask để huấn luyện mô hình tuyến tính

Tạo dự đoán lười (lazy predictions)

Tiền xử lý các tập dữ liệu lớn

Biến đổi dữ liệu huấn luyện theo kiểu lười (lazily)

Chia train-test theo kiểu lười thực thi (lazy)

Tổng kết

Bắt Đầu Chương

Lập trình song song với Dask trong Python

Hoàn
Thành

Nhận Giấy Chứng Nhận Hoàn Thành

Thêm chứng chỉ này vào hồ sơ LinkedIn, CV hoặc sơ yếu lý lịch của ban
Chia sẻ trên mạng xã hội và trong đánh giá hiệu suất của banĐăng ký ngay

Tham gia cùng hơn 19 triệu học viên và bắt đầu Lập trình song song với Dask trong Python ngay hôm nay!

Phát triển kỹ năng dữ liệu với DataCamp cho thiết bị di động

Tiến bộ mọi lúc mọi nơi với các khóa học cho thiết bị di động và thử thách lập trình 5 phút hằng ngày.