Pular para o conteúdo principal

Início Data Engineering

Curso

Introdução ao Apache Airflow em Python

AvançadoNível de habilidade

Atualizado 06/2025

Saiba como implementar e programar fluxos de trabalho de engenharia de dados.

Iniciar Curso Gratuitamente

AirflowData Engineering4 h16 vídeos55 Exercícios4,050 XP61,170Certificado de conclusão

Crie sua conta gratuita

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Preferido por alunos de milhares de empresas

Treinar 2 ou mais pessoas?

Experimentar DataCamp for Business

Descrição do curso

Agora atualizado para o Apache Airflow 2.7 — Entregar dados em um cronograma pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias formas de atender a requisitos que mudam o tempo todo — e gerenciar tudo isso fica ainda mais difícil trabalhando em equipe. O Apache Airflow resolve esse problema ao adicionar agendamento, tratamento de erros e relatórios aos seus fluxos de trabalho. Neste curso, você vai dominar o básico do Apache Airflow e aprender a implementar pipelines complexos de engenharia de dados em produção. Você também vai aprender a usar Grafos Acíclicos Dirigidos (DAGs), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma simples e reproduzível — ajudando você a manter a sanidade.

Pré-requisitos

Intermediate Python Introduction to Shell

1

Intro to Airflow

In this chapter, you’ll gain a complete introduction to the components of Apache Airflow and learn how and why you should use them.

Introduction to Apache Airflow

Testing a task in Airflow

Examining Airflow commands

Airflow DAGs

Defining a simple DAG

Working with DAGs and the Airflow shell

Troubleshooting DAG creation

Airflow web interface

Starting the Airflow webserver

Navigating the Airflow UI

Examining DAGs with the Airflow UI

Iniciar Capítulo

2

Implementing Airflow DAGs

What’s up DAG? Now it’s time to learn the basics of implementing Airflow DAGs. Through hands-on activities, you’ll learn how to set up and deploy operators, tasks, and scheduling.

Airflow operators

Defining a BashOperator task

Multiple BashOperators

Airflow tasks

Define order of BashOperators

Determining the order of tasks

Troubleshooting DAG dependencies

Additional operators

Using the PythonOperator

More PythonOperators

EmailOperator and dependencies

Airflow scheduling

Schedule a DAG via Python

Deciphering Airflow schedules

Troubleshooting DAG runs

Iniciar Capítulo

3

Maintaining and monitoring Airflow workflows

In this chapter, you’ll learn how to save yourself time using Airflow components such as sensors and executors while monitoring and troubleshooting Airflow workflows.

Airflow sensors

Sensors vs operators

Sensory deprivation

Airflow executors

Determining the executor

Executor implications

Debugging and troubleshooting in Airflow

DAGs in the bag

Missing DAG

SLAs and reporting in Airflow

Defining an SLA

Defining a task SLA

Generate and email a report

Adding status emails

Iniciar Capítulo

4

Building production pipelines in Airflow

Put it all together. In this final chapter, you’ll apply everything you've learned to build a production-quality workflow in Airflow.

Working with templates

Creating a templated BashOperator

Templates with multiple arguments

More templates

Using lists with templates

Understanding parameter options

Sending templated emails

Define a BranchPythonOperator

Branch troubleshooting

Creating a production pipeline

Creating a production pipeline #1

Creating a production pipeline #2

Adding the final changes to your pipeline

Congratulations!

Iniciar Capítulo

Introdução ao Apache Airflow em Python

Curso
concluído

Obtenha um certificado de conclusão

Adicione esta credencial ao seu perfil do LinkedIn, currículo ou CV
Compartilhe nas redes sociais e em sua avaliação de desempenhoInscreva-se Agora

Faça como mais de 19 milhões de alunos e comece Introdução ao Apache Airflow em Python hoje mesmo!

Crie sua conta gratuita

ou

Ao continuar, você aceita nossos Termos de Uso, nossa Política de Privacidade e que seus dados serão armazenados nos EUA.

Desenvolva suas habilidades em dados com o app do DataCamp

Continue progredindo em qualquer lugar com nossos cursos para celular e desafios diários de programação de 5 minutos.