Pular para o conteúdo principal

Início Data Engineering

Curso

Introdução ao Apache Airflow em Python

AvançadoNível de habilidade

Atualizado 05/2026

Saiba como implementar e programar fluxos de trabalho de engenharia de dados.

Iniciar curso gratuitamente

AirflowData Engineering

4 h

16 vídeos

57 Exercícios

4,000 XP

62,478

Declaração de realização

Preferido por alunos de milhares de empresas

Treinando uma equipe?

Experimente para Empresas

Descrição do curso

Agora atualizado para o Apache Airflow 3.1.6 — Entregar dados em uma programação pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias formas de atender a um conjunto de requisitos em constante mudança — e gerenciar tudo isso fica ainda mais difícil quando se trabalha em equipe. O Apache Airflow pode eliminar essa dor de cabeça ao adicionar agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você vai dominar o básico do Apache Airflow e aprender a implementar pipelines complexos de engenharia de dados em produção. Você também vai aprender a usar Grafos Acíclicos Direcionados (Dags), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma simples e repetível — ajudando você a manter a sanidade.

Pré-requisitos

Intermediate Python Introduction to Shell

1

Introdução ao Airflow

Neste capítulo, você vai ter uma introdução completa aos componentes do Apache Airflow e aprender como e por que deve usá-los.

Introdução ao Apache Airflow

Contador de Dag

Executando seu primeiro Dag

DAGs do Airflow

Criando uma Dag simples

Trabalhando com Dags e o shell do Airflow

Examinando comandos do Airflow

Testando uma tarefa no Airflow

Interface web do Airflow

Navegando na interface do Airflow

Examinando Dags com a UI do Airflow

Erros de Dag

Iniciar capítulo

2

Construindo Dags no Airflow

E aí, Dag? Agora é hora de aprender o básico de como implementar Dags no Airflow. Com atividades práticas, você vai aprender a configurar e implantar operadores, tarefas e agendamentos.

Operadores do Airflow

Decorando uma tarefa

Definindo um BashOperator com @task.bash

Definir a ordem das tarefas

Mais @tasks

Agendando Dags

Agende um Dag via Python

Decifrando agendas no Airflow

Solucionando problemas em execuções de Dag

Passando dados entre tarefas com XCom

Passando dados com XCom

Variáveis XCom

Sensores do Airflow

Determinando a ordem das tarefas

Criando um FileSensor

Privação Sensorial

Iniciar capítulo

3

Mantendo e monitorando fluxos de trabalho no Airflow

Neste capítulo, você vai aprender a ganhar tempo usando componentes do Airflow como sensores e executores, enquanto monitora e soluciona problemas em fluxos de trabalho do Airflow.

Monitoramento, alertas e callbacks

Implementando uma função de callback

Implementando um SmtpNotifier

O que está nos logs?

Criação de templates com Jinja

Escrevendo com Jinja

Trocando a base

Variáveis do Airflow

A resposta é Variable

Lendo uma variável em Python

Variáveis não estão bem certas

Depuração e solução de problemas no Airflow

Solução de problemas de Dag

Dag ausente

Iniciar capítulo

4

Controlando a lógica de Dags

Junte tudo. Neste capítulo final, você vai aplicar tudo o que aprendeu para criar um fluxo de trabalho de qualidade de produção no Airflow.

Triggers e tolerância a falhas

Implementando uma Trigger Rule

Adicionando tentativas (retries)

Acionando um Dag filho

Ramificação

Defina um @task.branch

Solucionando problemas de branch

O operador HITL

Adicionando aprovação humana

Tarefa ApprovalOperator

Criando um pipeline de produção

Configurando o pipeline de ETL de vendas

Adicionando ramificação mensal

Adicionando uma etapa de aprovação humana

Iniciar capítulo

Introdução ao Apache Airflow em Python

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se agora

Faça como mais de 19 milhões de alunos e comece Introdução ao Apache Airflow em Python hoje mesmo!

Desenvolva suas habilidades em dados com o app do DataCamp

Continue progredindo em qualquer lugar com nossos cursos para celular e desafios diários de programação de 5 minutos.