After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrierea cursului
Vrei să-ți aprofundezi cunoștințele de Airflow? Acest curs folosește Airflow 3.2, așa că vei învăța cele mai recente metode. Vei crea DAG-uri cu TaskFlow API, le vei programa pe baza datelor folosind Assets și noile Asset Partitions, și le vei face fiabile cu reîncercări, callback-uri și teste.În ultimul capitol, vei construi un pipeline ETL SQL complet pe DuckDB și vei adăuga verificări ale calității datelor direct în Airflow, fără biblioteci externe, astfel încât datele produse de pipeline să rămână de încredere. La finalul cursului, vei ști cum să duci un pipeline de la prototip la ceva ce poți rula efectiv în producție.
Cerințe prealabile
Curriculum
Structura cursului
1
Crearea DAG-urilor cu TaskFlow și XCom
Vei începe prin a cunoaște componentele Airflow, vei scrie primele tale DAG-uri cu TaskFlow API și vei transmite date între taskuri cu XCom.
- Concepte de bază Airflow50 XP
- Scrierea unui Dag minimal cu TaskFlow100 XP
- Potrivește componentele Airflow cu rolurile lor100 XP
- TaskFlow API50 XP
- Conversia unui Dag clasic la TaskFlow100 XP
- Adăugarea unui task și conectarea dependențelor100 XP
- Explorarea unui pipeline în interfața Airflow50 XP
- Partajarea datelor între task-uri50 XP
- Returnarea datelor dintr-o funcție TaskFlow100 XP
- Conectarea unui operator clasic la un task TaskFlow100 XP
- Înțelegerea limitărilor XCom50 XP
2
Pipeline-uri dinamice și bazate pe date
Vei continua rulând taskuri în paralel cu maparea dinamică a taskurilor, programând DAG-uri pe baza datelor cu Assets și adăugând pași de aprobare manuală.
3
Pregătirea DAG-urilor pentru producție
În acest capitol, vei gestiona eșecurile cu reîncercări și callback-uri, vei economisi resurse cu senzori deferables și vei testa DAG-urile la trei niveluri.
4
Construirea unui pipeline SQL ETL pentru producție
În acest capitol final, vei construi un pipeline SQL ETL pe DuckDB, vei adăuga programare bazată pe partiții cu Asset Partitions și vei integra verificări ale calității datelor.
Construirea pipeline-urilor de date cu Airflow
Curs
finalizat
