After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Descrizione del corso
Vuoi portare le tue competenze su Airflow al livello successivo? Questo corso usa Airflow 3.2, così imparerai il modo più aggiornato di lavorare. Scriverai Dags con la TaskFlow API, le programmerai in base ai dati usando Assets e i nuovi Asset Partitions, e le renderai affidabili con retry, callback e test.Nel capitolo finale, costruirai una pipeline SQL di ETL end-to-end su DuckDB e aggiungerai controlli di qualità dei dati direttamente in Airflow, senza librerie di terze parti, così i dati prodotti dalla tua pipeline resteranno affidabili. Alla fine, saprai come passare da un prototipo a qualcosa che puoi davvero eseguire in produzione.
Prerequisiti
Curriculum
Programma del corso
1
Scrivere Dags con TaskFlow e XCom
Inizierai conoscendo i componenti di Airflow, scrivendo i tuoi primi Dags con la TaskFlow API e passando dati tra i task con XCom.
- Concetti fondamentali di Airflow50 XP
- Scrivere un TaskFlow Dag minimale100 XP
- Abbina i componenti di Airflow ai loro ruoli100 XP
- La TaskFlow API50 XP
- Convertire un Dag classico in TaskFlow100 XP
- Aggiungere un task e collegare le dipendenze100 XP
- Esplorare una pipeline nella UI di Airflow50 XP
- Condivisione dei dati tra task50 XP
- Restituire dati da una funzione TaskFlow100 XP
- Collegare un operatore classico a un task TaskFlow100 XP
- Capire i limiti di XCom50 XP
2
Pipeline dinamiche e data-aware
Da lì, eseguirai task in parallelo con il dynamic task mapping, programmerai i Dags in base ai dati con Assets e aggiungerai passaggi di approvazione umana.
3
Preparare i Dags per la produzione
In questo capitolo, gestirai gli errori con retry e callback, risparmierai risorse con sensori differibili e testerai i tuoi Dags su tre livelli.
4
Creare una pipeline SQL di ETL per la produzione
In questo capitolo finale, costruirai una pipeline SQL di ETL su DuckDB, aggiungerai una pianificazione consapevole delle partizioni con Asset Partitions e incorporerai controlli di qualità dei dati.
Creare data pipeline con Airflow
Corso
completato
