หลังจากเรียนคอร์สเหล่านี้ รู้สึกมั่นใจในการสร้างการแสดงผลข้อมูลและแดชบอร์ดระดับมืออาชีพ
Shoebur RahmanProcurement Specialist, Giz Bangladesh
รายละเอียดคอร์ส
อัปเดตแล้วสำหรับ Apache Airflow 3.1.6 — การส่งมอบข้อมูลตามกำหนดเวลามักเป็นงานที่ต้องทำด้วยตนเอง ไม่ว่าจะเป็นการเขียนสคริปต์ การตั้ง cron task ที่ซับซ้อน หรือการปรับเปลี่ยนวิธีการให้ตรงกับความต้องการที่เปลี่ยนแปลงอยู่เสมอ และยิ่งยากขึ้นไปอีกเมื่อต้องทำงานร่วมกับทีม Apache Airflow ช่วยขจัดปัญหาเหล่านี้ด้วยการเพิ่มระบบกำหนดเวลา การจัดการข้อผิดพลาด และการรายงานผลเข้ามาในเวิร์กโฟลว์ของคุณ ในคอร์สนี้ คุณจะเรียนรู้พื้นฐานของ Apache Airflow และนำไปสร้าง pipeline สำหรับ data engineering ที่ซับซ้อนในระดับ production ได้ รวมถึงการใช้งาน Directed Acyclic Graph (DAG) การทำให้เวิร์กโฟลว์ด้านวิศวกรรมข้อมูลทำงานแบบอัตโนมัติ และการสร้างงานที่ทำซ้ำได้อย่างง่ายดาย
ข้อกำหนดเบื้องต้น
หลักสูตร
โครงร่างคอร์ส
1
แนะนำ Airflow
ในบทนี้ คุณจะได้รู้จักส่วนประกอบต่าง ๆ ของ Apache Airflow อย่างครบถ้วน พร้อมเรียนรู้วิธีใช้งานและเหตุผลที่ควรนำไปใช้
- Apache Airflow เบื้องต้น50 XP
- นับจำนวน DAG50 XP
- การรัน Dag ครั้งแรก50 XP
- Airflow DAGs50 XP
- การสร้าง Dag อย่างง่าย100 XP
- การใช้งาน DAG และ Airflow shell50 XP
- สำรวจคำสั่งของ Airflow50 XP
- การทดสอบ task ใน Airflow50 XP
- เว็บอินเทอร์เฟซของ Airflow50 XP
- การนำทางใน Airflow UI50 XP
- ตรวจสอบ Dag ด้วย Airflow UI50 XP
- ข้อผิดพลาดของ Dag50 XP
2
การสร้าง DAG ใน Airflow
ถึงเวลาเรียนรู้พื้นฐานการสร้าง Airflow DAG แล้ว ผ่านกิจกรรมปฏิบัติจริง คุณจะได้เรียนรู้วิธีตั้งค่าและ deploy operator, task รวมถึงการกำหนดตารางเวลาทำงาน
3
การดูแลรักษาและติดตาม Airflow Workflow
ในบทนี้ คุณจะเรียนรู้วิธีประหยัดเวลาด้วย Airflow component ต่าง ๆ เช่น sensor และ executor พร้อมกับการติดตามและแก้ไขปัญหาใน Airflow workflow
4
การควบคุมลอจิกของ DAG
นำทุกอย่างมารวมกัน ในบทสุดท้ายนี้ คุณจะนำสิ่งที่เรียนมาทั้งหมดมาสร้าง workflow ระดับ production ใน Airflow
Apache Airflow เบื้องต้นด้วย Python
เรียนคอร์สจบแล้ว
