Depois de fazer esses cursos, sinto-me confiante para criar visualizações e painéis profissionais
Shoebur RahmanEspecialista em compras, Giz Bangladesh
Descrição do curso
Quer levar suas habilidades em Airflow além? Este curso usa o Airflow 3.2, então você vai aprender a forma mais recente de fazer as coisas. Você vai criar Dags com a TaskFlow API, agendá-las com base nos dados usando Assets e as novas Asset Partitions, e torná-las confiáveis com novas tentativas, callbacks e testes.No capítulo final, você vai construir um pipeline de ETL em SQL no DuckDB e adicionar verificações de qualidade de dados diretamente no Airflow, sem bibliotecas de terceiros, para que os dados que seu pipeline produz permaneçam confiáveis. Ao final, você saberá como levar um pipeline de um protótipo para algo que você realmente pode executar em produção.
Pré-requisitos
Programa de estudos
Conteúdo do curso
1
Criando Dags com TaskFlow e XCom
Você vai começar conhecendo os componentes do Airflow, escrevendo suas primeiras Dags com a TaskFlow API e passando dados entre tarefas com XCom.
- Conceitos centrais do Airflow50 XP
- Escrevendo um Dag mínimo com TaskFlow100 XP
- Correspondendo componentes do Airflow aos seus papéis100 XP
- A API TaskFlow50 XP
- Convertendo um Dag clássico para TaskFlow100 XP
- Adicionando uma tarefa e conectando dependências100 XP
- Explorando um pipeline na UI do Airflow50 XP
- Compartilhando dados entre tarefas50 XP
- Retornando dados de uma função TaskFlow100 XP
- Conectando um operador clássico a uma tarefa TaskFlow100 XP
- Entendendo as limitações do XCom50 XP
2
Pipelines Dinâmicos e Orientados por Dados
A partir daí, você vai executar tarefas em paralelo com mapeamento dinâmico, agendar Dags por dados com Assets e adicionar etapas de aprovação humana.
3
Preparando Dags para Produção
Neste capítulo, você vai lidar com falhas usando novas tentativas e callbacks, economizar recursos com sensores adiáveis e testar suas Dags em três níveis.
4
Construindo um Pipeline de ETL em SQL para Produção
Neste último capítulo, você vai construir um pipeline de ETL em SQL no DuckDB, adicionar agendamento ciente de partições com Asset Partitions e incorporar verificações de qualidade de dados.
Criando Pipelines de Dados com Airflow
Curso
concluído
