Build your ultimate AI agent
รายละเอียดคอร์ส
อยากพัฒนาทักษะ Airflow ให้ก้าวหน้ายิ่งขึ้นไหม? คอร์สนี้ใช้ Airflow 3.2 เพื่อให้เรียนรู้แนวทางล่าสุด จะได้เขียน DAG ด้วย TaskFlow API, กำหนดตารางเวลาตามข้อมูลโดยใช้ Assets และ Asset Partitions แบบใหม่ รวมถึงทำให้ pipeline เชื่อถือได้ด้วยการตั้งค่า retry, callback, และการทดสอบในบทสุดท้าย จะได้สร้าง SQL ETL pipeline แบบครบวงจรบน DuckDB และเพิ่มการตรวจสอบคุณภาพข้อมูลโดยตรงใน Airflow โดยไม่ต้องพึ่งไลบรารีภายนอก เพื่อให้มั่นใจได้ว่าข้อมูลที่ pipeline ผลิตออกมานั้นถูกต้องและเชื่อถือได้ เมื่อจบคอร์สนี้ จะรู้วิธีพัฒนา pipeline จาก prototype ไปสู่ระบบที่พร้อมใช้งานจริงใน production
ข้อกำหนดเบื้องต้น
หลักสูตร
โครงสร้างคอร์ส
1
การเขียน DAG ด้วย TaskFlow และ XCom
เริ่มต้นด้วยการทำความรู้จักองค์ประกอบของ Airflow, เขียน DAG แรกด้วย TaskFlow API, และส่งข้อมูลระหว่าง task ด้วย XCom
- แนวคิดหลักของ Airflow50 XP
- การเขียน TaskFlow Dag แบบขั้นต่ำ100 XP
- จับคู่ส่วนประกอบของ Airflow กับบทบาท100 XP
- TaskFlow API50 XP
- แปลง Dag แบบคลาสสิกให้เป็น TaskFlow100 XP
- การเพิ่ม Task และกำหนด Dependencies100 XP
- สำรวจ pipeline ใน Airflow UI50 XP
- การแชร์ข้อมูลระหว่าง Task50 XP
- การคืนค่าข้อมูลจากฟังก์ชัน TaskFlow100 XP
- การเชื่อมต่อ Classic Operator เข้ากับ TaskFlow Task100 XP
- ทำความเข้าใจข้อจำกัดของ XCom50 XP
2
Pipeline แบบ Dynamic และ Data-Aware
ต่อมาจะรัน task แบบขนานด้วย dynamic task mapping, กำหนดตารางเวลา DAG ตามข้อมูลด้วย Assets, และเพิ่มขั้นตอนการอนุมัติจากมนุษย์
3
การเตรียม DAG สำหรับ Production
ในบทนี้ จะรับมือกับความล้มเหลวด้วย retry และ callback, ประหยัดทรัพยากรด้วย deferrable sensor, และทดสอบ DAG ใน 3 ระดับ
4
การสร้าง SQL ETL Pipeline สำหรับ Production
ในบทสุดท้ายนี้ จะได้สร้าง SQL ETL pipeline บน DuckDB, เพิ่มการกำหนดตารางเวลาแบบ partition-aware ด้วย Asset Partitions, และฝังการตรวจสอบคุณภาพข้อมูลไว้ภายใน
การสร้าง Data Pipeline ด้วย Airflow
เรียนจบแล้ว
