Skip to main content
HomeData EngineeringIntrodução ao fluxo de ar em Python

Introdução ao fluxo de ar em Python

Start Course for Free
4 Horas16 Videos55 Exercises
34.012 LearnersTrophyStatement of Accomplishment

Create Your Free Account

GoogleLinkedInFacebook

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.
GroupTraining 2 or more people?Try DataCamp For Business

Loved by learners at thousands of companies

Descrição do Curso

Agora atualizado para o Airflow 2.7 - A entrega de dados em um cronograma pode ser um processo manual. Você escreve scripts, adiciona tarefas cron complexas e tenta várias maneiras de atender a um conjunto de requisitos em constante mudança - e é ainda mais complicado gerenciar tudo quando se trabalha com colegas de equipe. O Airflow pode eliminar essa dor de cabeça adicionando agendamento, tratamento de erros e geração de relatórios aos seus fluxos de trabalho. Neste curso, você dominará os conceitos básicos do Airflow e aprenderá a implementar pipelines complexos de engenharia de dados na produção. Você também aprenderá a usar DAGs (Directed Acyclic Graphs, gráficos acíclicos direcionados), automatizar fluxos de trabalho de engenharia de dados e implementar tarefas de engenharia de dados de forma fácil e repetível, ajudando-o a manter a sanidade mental.
For Business

GroupTraining 2 or more people?

Get your team access to the full DataCamp library, with centralized reporting, assignments, projects and more
Try DataCamp for BusinessFor a bespoke solution book a demo.

Nas seguintes faixas

Certificação disponível

Engenheiro de dados em Python

Ir para a trilha
  1. 1

    Introdução ao fluxo de ar

    Livre

    Neste capítulo, você terá uma introdução completa aos componentes do Apache Airflow e aprenderá como e por que deve usá-los.

    Reproduzir Capítulo Agora
    Introdução ao fluxo de ar
    50 xp
    Teste de uma tarefa no Airflow
    50 xp
    Examinando os comandos de fluxo de ar
    50 xp
    DAGs de fluxo de ar
    50 xp
    Definição de um DAG simples
    100 xp
    Trabalhando com DAGs e o shell do Airflow
    50 xp
    Solução de problemas de criação de DAG
    100 xp
    Interface web do Airflow
    50 xp
    Iniciando o servidor da Web do Airflow
    50 xp
    Navegando na interface do usuário do Airflow
    50 xp
    Examinando DAGs com a interface do usuário do Airflow
    50 xp
  2. 2

    Implementação de DAGs de fluxo de ar

    E aí, DAG? Agora é hora de aprender os conceitos básicos da implementação de DAGs de fluxo de ar. Por meio de atividades práticas, você aprenderá a configurar e implantar operadores, tarefas e agendamento.

    Reproduzir Capítulo Agora
    Operadores de fluxo de ar
    50 xp
    Definição de uma tarefa BashOperator
    100 xp
    Vários BashOperators
    100 xp
    Tarefas de fluxo de ar
    50 xp
    Definir a ordem dos BashOperators
    100 xp
    Determinação da ordem das tarefas
    100 xp
    Solução de problemas de dependências de DAG
    50 xp
    Operadores adicionais
    50 xp
    Usando o PythonOperator
    100 xp
    Mais PythonOperators
    100 xp
    EmailOperator e dependências
    100 xp
    Programação do fluxo de ar
    50 xp
    Agendar um DAG via Python
    100 xp
    Decifrando as programações de fluxo de ar
    100 xp
    Solução de problemas de execuções de DAG
    50 xp
  3. 3

    Manutenção e monitoramento dos fluxos de trabalho do Airflow

    Neste capítulo, você aprenderá a economizar tempo usando componentes do Airflow, como sensores e executores, enquanto monitora e soluciona problemas de fluxos de trabalho do Airflow.

    Reproduzir Capítulo Agora
    Sensores de fluxo de ar
    50 xp
    Sensores versus operadores
    100 xp
    Privação sensorial
    50 xp
    Executores de fluxo de ar
    50 xp
    Determinação do executor
    50 xp
    Implicações do executor
    100 xp
    Depuração e solução de problemas no Airflow
    50 xp
    DAGs na bolsa
    50 xp
    DAG ausente
    100 xp
    SLAs e relatórios no Airflow
    50 xp
    Definição de um SLA
    100 xp
    Definição de um SLA de tarefa
    100 xp
    Gerar e enviar um relatório por e-mail
    100 xp
    Adição de e-mails de status
    100 xp
  4. 4

    Criação de pipelines de produção no Airflow

    Junte tudo isso. Neste capítulo final, você aplicará tudo o que aprendeu para criar um fluxo de trabalho com qualidade de produção no Airflow.

    Reproduzir Capítulo Agora
    Trabalhando com modelos
    50 xp
    Criação de um BashOperator com modelo
    100 xp
    Modelos com vários argumentos
    100 xp
    Mais modelos
    50 xp
    Uso de listas com modelos
    100 xp
    Compreensão das opções de parâmetros
    50 xp
    Envio de e-mails com modelos
    100 xp
    Ramificação
    50 xp
    Definir um BranchPythonOperator
    100 xp
    Solução de problemas de filiais
    50 xp
    Criação de um pipeline de produção
    50 xp
    Criação de um pipeline de produção nº 1
    100 xp
    Criação de um pipeline de produção #2
    100 xp
    Adicionar as alterações finais ao seu pipeline
    100 xp
    Parabéns!
    50 xp
For Business

GroupTraining 2 or more people?

Get your team access to the full DataCamp library, with centralized reporting, assignments, projects and more

Nas seguintes faixas

Certificação disponível

Engenheiro de dados em Python

Ir para a trilha

Collaborators

Collaborator's avatar
Hadrien Lacroix
Collaborator's avatar
Lis Sulmont

Prerequisites

Intermediate PythonIntroduction to Shell
Mike Metzger HeadshotMike Metzger

Data Engineer Consultant @ Flexible Creations

Veja Mais

What do other learners have to say?

    Join over 13 million learners and start Introdução ao fluxo de ar em Python today!

    Create Your Free Account

    GoogleLinkedInFacebook

    or

    By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.