Después de hacer estos cursos, me siento seguro creando visualizaciones y cuadros de mando profesionales
Shoebur RahmanEspecialista en adquisiciones, Giz Bangladesh
Descripción del curso
¿Quieres llevar tus habilidades con Airflow más lejos? Este curso usa Airflow 3.2, así que aprenderás la forma más reciente de hacerlo. Crearás Dags con la TaskFlow API, los programarás en función de los datos usando Assets y los nuevos Asset Partitions, y los harás fiables con reintentos, callbacks y tests.En el capítulo final, construirás una canalización SQL de ETL de extremo a extremo sobre DuckDB y añadirás comprobaciones de calidad de datos directamente en Airflow, sin librerías de terceros, para que los datos que genera tu canalización sigan siendo confiables. Al terminar, sabrás cómo llevar una canalización de un prototipo a algo que realmente puedas ejecutar en producción.
Requisitos previos
Programa de formación
Esquema del curso
1
Creación de Dags con TaskFlow y XCom
Empezarás conociendo los componentes de Airflow, escribiendo tus primeros Dags con la TaskFlow API y compartiendo datos entre tareas con XCom.
- Conceptos básicos de Airflow50 XP
- Escribir un Dag mínimo con TaskFlow100 XP
- Relaciona los componentes de Airflow con sus funciones100 XP
- La API TaskFlow50 XP
- Convertir un Dag clásico a TaskFlow100 XP
- Añadir una tarea y encadenar dependencias100 XP
- Explora un pipeline en la interfaz de Airflow50 XP
- Compartir datos entre tareas50 XP
- Devolver datos desde una función de TaskFlow100 XP
- Conectar un operador clásico con una tarea de TaskFlow100 XP
- Entender las limitaciones de XCom50 XP
2
Canalizaciones dinámicas y basadas en datos
A partir de ahí, ejecutarás tareas en paralelo con mapeo dinámico de tareas, programarás Dags según los datos con Assets y añadirás pasos de aprobación humana.
3
Preparación de Dags para producción
En este capítulo, gestionarás fallos con reintentos y callbacks, ahorrarás recursos con sensores aplazables y probarás tus Dags en tres niveles.
4
Creación de una canalización SQL de ETL para producción
En este capítulo final, construirás una canalización SQL de ETL sobre DuckDB, añadirás planificación consciente de particiones con Asset Partitions e incorporarás comprobaciones de calidad de datos.
Creación de canalizaciones de datos con Airflow
Curso
completado
