Na het volgen van deze cursussen voel ik me zeker genoeg om professionele visualisaties en dashboards te maken
Shoebur RahmanInkoopspecialist, Giz Bangladesh
Cursusbeschrijving
Wil je je Airflow-skills naar een hoger niveau tillen? Deze cursus gebruikt Airflow 3.2, dus je leert de nieuwste aanpak. Je schrijft Dags met de TaskFlow API, plant ze op basis van data met Assets en de nieuwe Asset Partitions, en maakt ze betrouwbaar met retries, callbacks en tests.In het laatste hoofdstuk bouw je een end-to-end SQL-ETL-pijplijn op DuckDB en voeg je datakwaliteitscontroles direct in Airflow toe, zonder externe libraries, zodat de data die je pijplijn oplevert betrouwbaar blijft. Aan het eind weet je hoe je een pijplijn van prototype naar iets brengt dat je echt in productie kunt draaien.
Vereisten
Lesprogramma
Cursusoverzicht
1
Dags schrijven met TaskFlow en XCom
Je maakt kennis met de Airflow-onderdelen, schrijft je eerste Dags met de TaskFlow API en wisselt data uit tussen taken met XCom.
- Kernconcepten van Airflow50 XP
- Een minimale TaskFlow-Dag schrijven100 XP
- Airflow-componenten koppelen aan hun rol100 XP
- De TaskFlow-API50 XP
- Een klassieke Dag omzetten naar TaskFlow100 XP
- Een taak toevoegen en afhankelijkheden koppelen100 XP
- Een pipeline verkennen in de Airflow-UI50 XP
- Gegevens delen tussen taken50 XP
- Data retourneren vanuit een TaskFlow-functie100 XP
- Een klassieke operator koppelen aan een TaskFlow-taak100 XP
- Beperkingen van XCom begrijpen50 XP
2
Dynamische en data-bewuste pijplijnen
Vervolgens voer je taken parallel uit met dynamic task mapping, plan je Dags op basis van data met Assets en voeg je stappen voor menselijke goedkeuring toe.
3
Dags voorbereiden op productie
In dit hoofdstuk ga je om met fouten via retries en callbacks, bespaar je resources met deferrable sensors en test je je Dags op drie niveaus.
4
Een SQL-ETL-pijplijn voor productie bouwen
In dit laatste hoofdstuk bouw je een SQL-ETL-pijplijn op DuckDB, voeg je partition-aware scheduling toe met Asset Partitions en embed je datakwaliteitscontroles.
Data-pijplijnen bouwen met Airflow
Cursus
voltooid
