After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kursbeskrivning
Vill du fördjupa dina Airflow-kunskaper? Den här kursen använder Airflow 3.2, så du lär dig det senaste sättet att arbeta. Du skapar DAG:ar med TaskFlow API, schemalägger dem baserat på data med Assets och de nya Asset Partitions, och gör dem tillförlitliga med återförsök, callbacks och tester.I det sista kapitlet bygger du en komplett SQL ETL-pipeline på DuckDB och lägger till datakvalitetskontroller direkt i Airflow – utan några tredjepartsbibliotek – så att datan din pipeline producerar förblir tillförlitlig. När kursen är klar vet du hur du tar en pipeline från prototyp till något som faktiskt fungerar i produktion.
Förkunskapskrav
Kursplan
Kursöversikt
1
Skapa DAG:ar med TaskFlow och XCom
Du börjar med att bekanta dig med Airflows komponenter, skriver dina första DAG:ar med TaskFlow API och skickar data mellan tasks med XCom.
- Airflows kärnkoncept50 XP
- Skriva en minimal TaskFlow-dag100 XP
- Matcha Airflow-komponenter med deras roller100 XP
- TaskFlow API50 XP
- Konvertera en klassisk DAG till TaskFlow100 XP
- Lägga till en uppgift och koppla beroenden100 XP
- Utforska en pipeline i Airflow UI50 XP
- Dela data mellan uppgifter50 XP
- Returnera data från en TaskFlow-funktion100 XP
- Koppla en klassisk operator till en TaskFlow-uppgift100 XP
- Förstå XComs begränsningar50 XP
2
Dynamiska och datadrivna pipelines
Sedan kör du tasks parallellt med dynamic task mapping, schemalägger DAG:ar baserat på data med Assets och lägger till manuella godkännandesteg.
3
Förbered DAG:ar för produktion
I det här kapitlet hanterar du fel med återförsök och callbacks, sparar resurser med deferrable sensors och testar dina DAG:ar på tre nivåer.
4
Bygg en SQL ETL-pipeline för produktion
I det här sista kapitlet bygger du en SQL ETL-pipeline på DuckDB, lägger till partitionsmedveten schemaläggning med Asset Partitions och bäddar in datakvalitetskontroller.
Bygg datapipelines med Airflow
Kurs
slutförd
