Os 11 principais projetos de engenharia de dados para aprendizado prático

Projetos intermediários de engenharia de dados

Esses projetos se concentram em habilidades como ser um programador melhor e combinar diferentes plataformas de dados. Essas habilidades técnicas são essenciais para que você possa contribuir para uma pilha de tecnologia existente e trabalhar como parte de uma equipe maior.

Projeto 4: Realização de uma revisão de código

Este projeto consiste em revisar o código de outro engenheiro de dados. Embora possa não ser tão prático com a tecnologia como em outros projetos, poder revisar o código de outras pessoas é uma parte importante do crescimento como engenheiro de dados. 

Ler e revisar o código é uma habilidade tão importante quanto escrever código. Depois de entender os conceitos e as práticas fundamentais da engenharia de dados, você pode aplicá-los à revisão do código de outras pessoas para garantir que ele siga as práticas recomendadas e reduza possíveis bugs no código.

Recursos

Aqui estão alguns recursos valiosos, incluindo projetos e artigos, que fornecem orientação passo a passo:

Projetos guiados:

• Realização de uma revisão de código: Esse projeto guiado oferece experiência prática em revisão de código, simulando o processo de revisão de código como se você fosse um profissional sênior de dados. É uma excelente maneira de praticar a identificação de possíveis bugs e garantir que as práticas recomendadas sejam seguidas.

Artigos:

• Como fazer uma revisão de código: Este recurso fornece recomendações sobre a realização de revisões de código de forma eficaz, com base em ampla experiência, e abrange vários aspectos do processo de revisão.

Habilidades desenvolvidas

• Ler e avaliar o código escrito por outros engenheiros de dados
• Encontrar bugs e erros de lógica ao revisar o código
• Fornecer feedback sobre o código de maneira clara e útil

Projeto 5: Criação de um pipeline de dados de varejo

Neste projeto, você criará um pipeline ETL completo com os dados de varejo do Walmart. Você recuperará dados de várias fontes, incluindo bancos de dados SQL e arquivos Parquet, aplicará técnicas de transformação para preparar e limpar os dados e, por fim, os carregará em um formato de fácil acesso.

Este projeto é excelente para desenvolver conhecimentos básicos e avançados de engenharia de dados, pois abrange habilidades essenciais como extração de dados de vários formatos, transformação de dados para análise significativa e carregamento de dados para armazenamento e acesso eficientes. Ele ajuda a reforçar conceitos como lidar com diversas fontes de dados, otimizar fluxos de dados e manter pipelines dimensionáveis.

Recursos

Aqui estão alguns recursos valiosos, incluindo projetos e cursos guiados, que fornecem orientação passo a passo:

Projetos guiados:

• Criando um pipeline de dados de varejo: Este projeto guiado leva você a construir um pipeline de dados de varejo usando os dados de varejo do Walmart. Você aprenderá a recuperar dados de bancos de dados SQL e arquivos Parquet, transformá-los para análise e carregá-los em um formato acessível.

Cursos:

• Projeto de banco de dados: Uma sólida compreensão do design de banco de dados é essencial quando você trabalha com pipelines de dados. Este curso aborda os fundamentos do projeto e da estruturação de bancos de dados, o que é valioso para lidar com diversas fontes de dados e otimizar o armazenamento.

Habilidades desenvolvidas

• Projetar pipelines de dados para casos de uso no mundo real.
• Extração de dados de várias fontes e diferentes formatos.
• Limpeza e transformação de dados de diferentes formatos para melhorar sua consistência e qualidade.
• Carregamento desses dados em um formato de fácil acesso.

Projeto 6: Fatores que influenciam o desempenho dos alunos com SQL

Neste projeto, você analisará um banco de dados abrangente com foco em vários fatores que afetam o sucesso do aluno, como hábitos de estudo, padrões de sono e envolvimento dos pais. Ao elaborar consultas SQL, você investigará as relações entre esses fatores e as pontuações dos exames, explorando questões como o efeito das atividades extracurriculares e do sono no desempenho acadêmico.

Este projeto desenvolve as habilidades de engenharia de dados, aprimorando sua capacidade de manipular e consultar bancos de dados com eficiência. 

Você desenvolverá habilidades em análise de dados, interpretação e obtenção de insights a partir de conjuntos de dados complexos, essenciais para a tomada de decisões orientadas por dados em contextos educacionais e além.

Recursos

Aqui estão alguns recursos, incluindo projetos guiados e cursos, que fornecem orientação passo a passo:

Projetos guiados:

• Fatores que estimulam o desempenho dos alunos: Esse projeto orientado permite que você explore a influência de vários fatores no sucesso do aluno, analisando um banco de dados abrangente. Você usará o SQL para investigar as relações entre hábitos de estudo, padrões de sono e desempenho acadêmico, adquirindo experiência em análise educacional orientada por dados.

Cursos:

• Manipulação de dados em SQL: Uma base sólida em manipulação de dados SQL é fundamental para este projeto. Este curso aborda técnicas de SQL para extrair, transformar e analisar dados em bancos de dados relacionais, equipando você com as habilidades necessárias para lidar com conjuntos de dados complexos.

Habilidades desenvolvidas

• Escrever e otimizar consultas SQL para recuperar e manipular dados de forma eficaz.
• Análise de conjuntos de dados complexos para identificar tendências e relacionamentos.
• Formular hipóteses e interpretar resultados com base em dados.

Projetos avançados de engenharia de dados

Uma característica marcante de um engenheiro de dados avançado é a capacidade de criar pipelines que possam lidar com uma infinidade de tipos de dados em diferentes tecnologias. Esses projetos se concentram na expansão do seu conjunto de habilidades, combinando várias ferramentas avançadas de engenharia de dados para criar sistemas de processamento de dados dimensionáveis.

Projeto 7: Limpeza de um conjunto de dados com o Pyspark

Usando uma ferramenta avançada como o PySpark, você pode criar pipelines que aproveitam os recursos do Apache Spark. 

Antes de você tentar criar um projeto como esse, é importante concluir um curso introdutório para entender os fundamentos do PySpark. Esse conhecimento básico permitirá que você utilize totalmente essa ferramenta para extração, transformação e carregamento eficazes de dados.

Recursos

Aqui estão alguns recursos valiosos, incluindo projetos guiados, cursos e tutoriais, que fornecem orientação passo a passo:

Projetos guiados:

• Limpeza de um conjunto de dados de pedidos com o PySpark: Este projeto guiado orienta você na limpeza de um conjunto de dados de pedidos de comércio eletrônico usando o PySpark, ajudando-o a entender como extrair, transformar e carregar dados de forma escalonável com o Apache Spark.

Cursos:

• Introdução ao PySpark: Este curso oferece uma introdução aprofundada ao PySpark, abrangendo conceitos e técnicas essenciais para que você trabalhe de forma eficaz com grandes conjuntos de dados no Spark. É um ponto de partida ideal para você construir uma base sólida no PySpark.

Tutoriais:

• Tutorial do PySpark: Primeiros passos com o PySpark: Este tutorial apresenta os principais componentes do PySpark, orientando-o na configuração e nas operações fundamentais para que você possa começar a criar pipelines de dados com confiança com o PySpark.

Habilidades desenvolvidas

• Expandir a experiência com o PySpark
• Limpeza e transformação de dados para as partes interessadas
• Ingestão de grandes lotes de dados
• Aprofundar o conhecimento de Python nos processos de ETL

Projeto 8: Modelagem de dados com dbt e BigQuery

Uma ferramenta moderna, popular e avançada para engenheiros de dados é o dbt (Data Build Tool), que permite que os engenheiros de dados sigam uma abordagem de desenvolvimento de software. Ele oferece controle de versão intuitivo, testes, geração de código padrão, linhagem e ambientes. O dbt pode ser combinado com o BigQuery ou outros data warehouses em nuvem para armazenar e gerenciar seus conjuntos de dados. 

Este projeto permitirá que você crie pipelines no dbt, gere exibições e vincule os dados finais ao BigQuery.

Recursos

Aqui estão alguns recursos valiosos, incluindo cursos e tutoriais em vídeo, que fornecem orientação passo a passo:

Vídeos do YouTube:

• Engenharia de dados moderna de ponta a ponta com o dbt: Neste vídeo, a CodeWithYu fornece um passo a passo abrangente da configuração e do uso do dbt com o BigQuery, abrangendo as etapas para criar pipelines de dados e gerar exibições. É um guia útil para iniciantes que estão aprendendo a combinar o dbt e o BigQuery em um fluxo de trabalho de engenharia de dados.

Cursos:

• Introdução ao dbt: Este curso apresenta os fundamentos do dbt, abrangendo conceitos básicos como fluxos de trabalho do Git, testes e gerenciamento de ambiente. É um excelente ponto de partida para você usar o dbt de forma eficaz em projetos de engenharia de dados.

Habilidades desenvolvidas

• Saiba mais sobre o dbt
• Saiba mais sobre o BigQuery
• Compreender como criar transformações baseadas em SQL
• Use as práticas recomendadas de engenharia de software na engenharia de dados (controle de versão, testes e documentação)

Projeto 9: ETL do Airflow e do Snowflake usando armazenamento S3 e BI no Tableau

Com este projeto, veremos como usar o Airflow para extrair dados usando uma API e transferi-los para o Snowflake usando um bucket do Amazon S3. O objetivo é lidar com o ETL no Airflow e com o armazenamento analítico no Snowflake. 

Esse é um excelente projeto porque se conecta a várias fontes de dados por meio de vários sistemas de armazenamento em nuvem, todos orquestrados com o Airflow. Esse projeto é muito completo porque tem muitas partes móveis e se assemelha a uma arquitetura de dados do mundo real. Esse projeto também aborda o business intelligence (BI), adicionando visualizações no Tableau.

Recursos

Aqui estão alguns recursos valiosos, incluindo cursos e tutoriais em vídeo, que fornecem orientação passo a passo:

Vídeos do YouTube:

• Pipeline de dados com Airflow, S3 e Snowflake: Neste vídeo, o Seattle Data Guy demonstra como usar o Airflow para extrair dados da API PredictIt, carregá-los no Amazon S3, realizar transformações Snowflake e criar visualizações do Tableau. Este guia completo é ideal para você entender a integração de várias ferramentas em um pipeline de dados.

Cursos:

• Introdução ao Apache Airflow em Python: Este curso oferece uma visão geral do Apache Airflow, abrangendo conceitos essenciais, como DAGs, operadores e dependências de tarefas. É uma excelente base para você entender como estruturar e gerenciar fluxos de trabalho no Airflow.
• Introdução ao Snowflake: Este curso apresenta o Snowflake, uma solução avançada de armazenamento de dados. Ele abrange o gerenciamento do armazenamento de dados, a consulta e a otimização. É perfeito para você adquirir conhecimento básico antes de trabalhar com o Snowflake em pipelines de dados.
• Visualização de dados no Tableau: Este curso aborda as habilidades essenciais do Tableau para a visualização de dados, permitindo que você transforme os dados em recursos visuais interessantes - uma etapa essencial para interpretar os resultados do pipeline de dados.

Habilidades desenvolvidas

• Pratique a criação de DAGs no Airflow
• Pratique a conexão com uma API em Python
• Praticar o armazenamento de dados em buckets do Amazon S3
• Movendo dados da Amazon para o Snowflake para análise
• Visualização simples de dados no Tableau
• Criação de uma plataforma de dados abrangente e de ponta a ponta

Projeto 10: Reddit ETL no AWS usando o Airflow

Este projeto aborda um pipeline de dados complexo com várias etapas usando ferramentas avançadas de processamento de dados no ecossistema do AWS. 

Comece configurando o Apache Airflow para extrair dados do Reddit e transformá-los usando SQL. Depois disso, você conectará seus dados ao AWS colocando-os em um bucket S3, onde usaremos o AWS Glue para fazer um pouco mais de formatação. Em seguida, você pode usar o Athena para testar consultas antes de armazenar os dados no Redshift para armazenamento de dados e consultas analíticas de longo prazo.

Recursos

Aqui estão alguns recursos, incluindo cursos e tutoriais em vídeo, que fornecem orientação passo a passo:

Vídeos do YouTube:

• Projeto de engenharia de pipeline de dados do Reddit: Neste vídeo, CodeWithYu demonstra um pipeline de dados completo do Reddit, incluindo extração de dados com o Airflow, transformações com o PostgreSQL e integração com serviços do AWS, como S3, Glue, Athena e Redshift. Este passo a passo é um guia útil para você lidar com as etapas de várias camadas em um pipeline de dados complexo.

Cursos:

• Introdução à AWS: Este curso oferece uma base sólida em AWS, abrangendo conceitos e ferramentas essenciais. Compreender os conceitos básicos dos serviços do AWS, como S3, Glue, Athena e Redshift, será fundamental para que você consiga implementar esse projeto com sucesso.
• Introdução ao Redshift: Este curso oferece uma introdução abrangente ao Amazon Redshift, com foco em conceitos de armazenamento de dados, arquitetura do Redshift e habilidades essenciais para gerenciar e consultar grandes conjuntos de dados. É um excelente recurso para você aprofundar seu conhecimento sobre o Redshift nos pipelines do AWS.

Habilidades desenvolvidas

• Puxe os dados do site para o Airflow
• Use o PostgreSQL para transformar dados
• Conecte o Airflow ao AWS para transferir dados para baldes S3
• Use o AWS Glue para ETL
• Use o AWS Athena para fazer consultas simples
• Transferir dados do S3 para o Amazon Redshift para armazenamento de dados

Projeto 11: Criar um pipeline de dados em tempo real com PySpark, Kafka e Redshift

Neste projeto, você criará um pipeline de dados robusto e em tempo real usando PySpark, Apache Kafka e Amazon Redshift para lidar com grandes volumes de ingestão, processamento e armazenamento de dados. 

O pipeline capturará dados de várias fontes em tempo real, processará e transformará esses dados usando o PySpark e carregará os dados transformados no Redshift para análise posterior. Além disso, você implementará monitoramento e alertas para garantir a precisão dos dados e a confiabilidade do pipeline.

Este projeto é uma excelente oportunidade para você desenvolver habilidades básicas em processamento de dados em tempo real e lidar com tecnologias de Big Data, como Kafka para streaming e Redshift para armazenamento de dados baseado em nuvem.

Recursos

Aqui estão alguns recursos, incluindo cursos e tutoriais em vídeo, que fornecem orientação passo a passo:

Vídeos do YouTube:

• Criando um pipeline de dados em tempo real com PySpark, Kafka e Redshift: Este vídeo de Darshir Parmar orienta você na criação de um pipeline de dados completo em tempo real com PySpark, Kafka e Redshift. Ele inclui etapas para ingestão, transformação e carregamento de dados. O vídeo também aborda técnicas de monitoramento e alerta para garantir o desempenho do pipeline.

Cursos:

• Introdução ao Apache Kafka: Este curso aborda os conceitos básicos do Apache Kafka, um componente crucial para o streaming de dados em tempo real neste projeto. Ele fornece uma visão geral da arquitetura do Kafka e como implementá-lo em pipelines de dados.
• Conceitos de streaming: Este curso apresenta os conceitos fundamentais de streaming de dados, incluindo processamento em tempo real e arquiteturas orientadas por eventos. É um recurso ideal para você obter conhecimento básico antes de criar pipelines em tempo real.

Tabela de resumo dos projetos de engenharia de dados

Aqui está um resumo dos projetos de engenharia de dados acima para que você tenha uma referência rápida dos diferentes projetos:

Conclusão

Este artigo apresentou excelentes projetos para ajudar você a praticar suas habilidades de engenharia de dados. 

Concentre-se em entender os conceitos fundamentais por trás do funcionamento de cada ferramenta; isso permitirá que você use esses projetos em sua busca de emprego e os explique com sucesso. Não deixe de revisar os conceitos que você considera desafiadores.

Além de criar um portfólio de projetos, a obtenção de uma certificação em engenharia de dados pode ser um acréscimo valioso ao seu currículo, pois demonstra seu compromisso com a conclusão de cursos relevantes!