O que faz um engenheiro de dados?

Você já deve ter ouvido falar que a engenharia de dados é a nova ciência de dados, e o imenso crescimento no campo da engenharia de dados comprova isso. As empresas agora reconhecem o valor da contratação de engenheiros de dados para projetar, criar e manter a arquitetura necessária para que a ciência e a análise de dados sejam bem-sucedidas. Você pode ler mais sobre as diferenças entre engenheiros de dados e cientistas de dados em um artigo separado.

No entanto, você também pode estar se perguntando: o que um engenheiro de dados realmente faz? Neste artigo, detalhamos as diferentes funções e responsabilidades do engenheiro de dados e o caminho de carreira que um engenheiro de dados pode seguir. Por fim, damos uma olhada por trás da cortina de um projeto típico de engenharia de dados que você pode encontrar em uma organização. Se você estiver procurando informações sobre como se tornar um engenheiro de dados, achará útil nosso artigo separado. Você também pode ler sobre como escrever uma descrição de cargo de engenheiro de dados se estiver tentando recrutar alguém para essa função.

Funções de engenharia de dados

A engenharia de dados envolve uma grande variedade de habilidades, ferramentas e sistemas. Existem quatro grupos principais de funções de engenheiro de dados, e cada um desses grupos deve dominar um conjunto de habilidades e ferramentas para realizar seu trabalho com eficiência.

• Generalistas. Envolvidos em todos os aspectos de coleta, armazenamento, análise e movimentação de dados. Eles devem conhecer e ser capazes de usar uma ampla gama de ferramentas e habilidades.
• Especialistas em armazenamento de dados. Responsáveis por configurar e gerenciar bancos de dados relacionais e não relacionais (como SQL, NoSQL e PostgreSQL), data warehouses (como Redshift e Panoply) e sistemas de big data (como Hadoop e Spark).
• Especialistas em programação e pipelines. Criam e gerenciam o fluxo de dados por meio de scripts e pipelines de dados. Eles devem estar familiarizados com algumas linguagens de programação, como Python, Java e C++.
• Especialistas em análises. Trabalham em estreita colaboração com cientistas de dados e outros profissionais de análise da organização. Eles devem estar familiarizados com ferramentas analíticas (como Power BI e Tableau), bibliotecas de aprendizado de máquina (como Tensorflow e PyTorch) e outras ferramentas que dão suporte a projetos analíticos (como ferramentas ETL e sistemas de big data).

O que faz um engenheiro de dados? O caminho da carreira do engenheiro de dados

A trajetória profissional de um engenheiro de dados pode variar de acordo com o tamanho da empresa e a maturidade de suas equipes de dados. No entanto, a maioria dos engenheiros de dados normalmente seguiria esse caminho:

• Engenheiro de dados júnior
• Engenheiro de dados de nível médio
• Engenheiro de dados sênior
• Funções gerenciais sênior

Engenheiro de dados júnior

No início de suas carreiras, os engenheiros de dados juniores geralmente assumem pequenas tarefas de manutenção e suporte dos sistemas existentes. Isso pode ser qualquer coisa, desde testar sistemas, procurar e corrigir bugs, até adicionar recursos a um sistema existente. Durante esses estágios iniciais, um júnior normalmente não assumiria seu próprio projeto, mas sim uma função de apoio para seus colegas seniores.

A parte mais importante dos primeiros anos como engenheiro de dados júnior é aprender e ganhar experiência prática com as ferramentas que eles precisarão usar mais tarde em suas carreiras. Eles também estão aprendendo como as diferentes equipes e departamentos trabalham juntos para encontrar soluções para os problemas e questões que surgem.

Engenheiro de dados de nível médio

Um engenheiro de dados pode ser promovido para o nível médio após cerca de 1 a 3 anos. Nesse momento, eles podem ser expostos a mais aspectos de gerenciamento de projetos do trabalho e podem ser solicitados a colaborar mais com outras equipes e departamentos.

No geral, eles têm a responsabilidade de projetar e criar sistemas que dão suporte aos cientistas de dados e a outros membros da equipe analítica. Nesse estágio, eles ainda podem estar sob a supervisão de um engenheiro de dados sênior. Para que façam esse trabalho com eficiência, eles devem desenvolver boas habilidades de comunicação e trabalhar bem com outras equipes.

Os engenheiros de dados podem permanecer nesse nível por cerca de 3 a 5 anos. Durante esse tempo, eles teriam desenvolvido suas habilidades de programação e deveriam estar familiarizados com todas as ferramentas e sistemas usados na organização. Eles conseguem identificar e corrigir quaisquer erros ou problemas que surjam e colaboram bem dentro e entre as equipes.

Engenheiro de dados sênior

Quando os engenheiros de dados atingem um nível sênior, eles assumem mais responsabilidades gerenciais. Talvez seja necessário supervisionar um ou mais engenheiros de dados subordinados a ele, ensinando e atribuindo projetos a eles à medida que forem surgindo.

Nesse estágio, o engenheiro de dados é proficiente nos aspectos técnicos de sua função e pode criar sistemas e resolver problemas com relativa facilidade. No entanto, agora eles estão mais envolvidos com o lado comercial das coisas e precisam pensar estrategicamente sobre a direção dos projetos de dados e a eficácia e otimização de longo prazo de seus sistemas.

Isso exige uma mudança na forma de pensar do engenheiro de dados, o que pode ser um desafio. Muitos engenheiros de dados podem não ter paixão por responsabilidades estratégicas e comerciais e, por isso, podem optar por não avançar mais na empresa.

Funções gerenciais sênior

Depois que os engenheiros de dados tiverem cerca de seis anos ou mais de experiência, eles poderão passar para funções mais gerenciais, se assim o desejarem, como, por exemplo, a de engenheiro de dados:

• Gerente de engenharia de dados
• Diretor de engenharia de dados
• Diretor de dados

Além de ser altamente proficiente nas habilidades técnicas obtidas nos níveis mais baixos, essas funções exigem que o engenheiro de dados tenha habilidades sólidas em infraestrutura e arquitetura de dados e seja capaz de gerenciar e dimensionar equipes analíticas. Eles também precisam ser capazes de definir os processos de desenvolvimento de sistemas de alto desempenho, definir o escopo de novos projetos e definir e gerenciar SLAs para sistemas novos e existentes.

O que faz um engenheiro de dados? Um projeto típico de engenharia de dados

Vamos dar uma olhada em algumas das funções e responsabilidades do engenheiro de dados. Suponha que você trabalhe para uma grande empresa que oferece um serviço de entrega de alimentos aos clientes por meio de um aplicativo móvel. O aplicativo atua como intermediário entre o restaurante e o motorista. Os clientes fazem seus pedidos no aplicativo, e o restaurante é notificado. Quando a comida estiver pronta, um motorista é designado e a comida é entregue ao cliente.

Como você pode imaginar, um aplicativo como esse pode gerar muitos dados diariamente. Desde dados sobre restaurantes, motoristas e clientes, até registros de cada interação no aplicativo. Considere também os dados coletados de todas as chamadas de atendimento ao cliente para reclamações, elogios ou disputas. Ou até mesmo registros de erros que ocorrem no aplicativo.

Se um cientista ou analista de dados de sua empresa tiver a tarefa de identificar tendências em pedidos que possam ser usadas para criar um modelo de aprendizado de máquina. Para isso, eles procuram você para extrair e preparar dados sobre os pedidos agregados por dia. Eles também precisam ser capazes de dividir os dados entre clientes de primeira viagem e clientes recorrentes.

Obter clareza

Para resolver esse problema, o engenheiro de dados deve primeiro esclarecer o problema por meio destas etapas:

1. Identificar a granularidade, por pedido, por dia, semana, mês, ano. Com base na solicitação acima, os dados do pedido devem ser agregados por dia com uma divisão por tipo de cliente (primeira vez ou recorrente).
2. Identificar se algum filtro deve ser aplicado aos dados, como por país ou modelo de telefone.
3. Identificar o período de tempo dos dados. Por exemplo, é para todo o tempo ou apenas para o último ano?
4. Identificar as fontes de dados e/ou tabelas para esses dados. Esses dados são armazenados em um data warehouse central, e o engenheiro de dados precisaria acessar a tabela de pedidos e a tabela de clientes. Se forem necessários filtros adicionais, talvez seja necessário acessar mais tabelas.

Extração de dados

Agora que o engenheiro de dados obteve mais clareza sobre o problema, ele pode passar para a extração e exploração de dados seguindo estas etapas:

1. Identifique quais uniões devem ser usadas entre a tabela de pedidos e a tabela de clientes e quais são os relacionamentos entre essas tabelas (como, por exemplo, quais chaves devem ser usadas para unir as tabelas). Isso requer um sólido conhecimento de SQL e modelagem de dados.
2. Crie um recurso categórico para o tipo de cliente com base no número de pedidos que cada cliente fez. Esse recurso deve conter categorias para "cliente de primeira viagem" e "cliente recorrente".
3. Avaliar a qualidade dos dados. Identifique se dados ausentes ou anômalos precisam ser corrigidos.

Depois que o engenheiro de dados tiver preparado os dados necessários para o cientista ou analista de dados, ele precisará criar um endpoint de API que possa ser consultado para extrair os dados. Todo esse projeto pode levar de alguns dias a alguns meses, dependendo do volume e da complexidade dos dados.

Ao longo desse processo, o engenheiro de dados pode precisar trabalhar com muitos sistemas diferentes, dependendo de onde os dados estão armazenados e se algum processamento adicional é necessário para os dados. 

Exemplos de alguns dos sistemas que podem ser encontrados nesse problema são o SQL Server, o Hadoop ou o Redshift para o armazenamento de dados, o SQL para consultar os dados e o Python para escrever os scripts que processam os dados.

Considerações finais

Como você pode ver, um projeto típico de engenharia de dados contém algumas habilidades essenciais que são cruciais para a engenharia de dados, como a criação de pipelines de dados. Para acelerar seu aprendizado e se preparar para uma função em engenharia de dados, experimente o programa de habilidades em engenharia de dados no DataCamp. Para obter a primeira experiência prática com depósitos de dados na nuvem, experimente nosso projeto Exploring London's Travel Network. Ele oferece uma ótima oportunidade de trabalhar com o Amazon Redshift, o Google BigQuery e o Snowflake diretamente em seu navegador. Por fim, para comprovar suas credenciais como engenheiro de dados, obtenha nossa certificação de engenheiro de dados.

Esperamos que este artigo tenha lhe dado algumas informações sobre a função dos engenheiros de dados e o que eles realmente fazem. Se você está pensando em iniciar uma carreira em engenharia de dados, também deve estar mais familiarizado com a trajetória profissional que pode esperar.