After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Mô tả khóa học
Muốn nâng cao kỹ năng Airflow? Khóa học này dùng Airflow 3.2, vì vậy bạn sẽ học cách làm việc theo chuẩn mới nhất. Bạn sẽ viết Dag bằng TaskFlow API, lên lịch theo dữ liệu với Assets và Asset Partitions mới, và làm cho chúng đáng tin cậy với cơ chế thử lại, callbacks và kiểm thử.Ở chương cuối, bạn sẽ xây dựng một pipeline SQL ETL end-to-end trên DuckDB và thêm các kiểm tra chất lượng dữ liệu trực tiếp trong Airflow, không cần thư viện bên thứ ba, để dữ liệu do pipeline tạo ra luôn đáng tin cậy. Kết thúc khóa học, bạn sẽ biết cách đưa một pipeline từ bản mẫu thành thứ có thể chạy thực tế trong môi trường production.
Yêu cầu tiên quyết
Chương trình học
Đề cương khóa học
1
Viết Dag với TaskFlow và XCom
Bạn sẽ bắt đầu với các thành phần của Airflow, viết những Dag đầu tiên bằng TaskFlow API và truyền dữ liệu giữa các tác vụ bằng XCom.
- Các khái niệm cốt lõi của Airflow50 XP
- Viết một TaskFlow Dag tối giản100 XP
- Ghép thành phần Airflow với vai trò của chúng100 XP
- TaskFlow API50 XP
- Chuyển một Dag kiểu cũ sang TaskFlow100 XP
- Thêm một task và nối phụ thuộc100 XP
- Khám phá một pipeline trong Airflow UI50 XP
- Chia sẻ dữ liệu giữa các tác vụ50 XP
- Trả dữ liệu từ một hàm TaskFlow100 XP
- Kết nối một classic operator với một TaskFlow task100 XP
- Hiểu các giới hạn của XCom50 XP
2
Pipeline động và nhận biết dữ liệu
Tiếp theo, bạn sẽ chạy tác vụ song song với dynamic task mapping, lên lịch Dag theo dữ liệu với Assets và thêm các bước phê duyệt của con người.
3
Chuẩn bị Dag cho môi trường production
Trong chương này, bạn sẽ xử lý lỗi với cơ chế thử lại và callbacks, tiết kiệm tài nguyên với deferrable sensors, và kiểm thử Dag ở ba cấp độ.
4
Xây dựng Pipeline SQL ETL cho production
Ở chương cuối, bạn sẽ xây dựng một pipeline SQL ETL trên DuckDB, thêm lập lịch theo phân vùng với Asset Partitions và nhúng các kiểm tra chất lượng dữ liệu.
Xây dựng Data Pipeline với Airflow
Hoàn
thành khóa học
