A ciência de dados está em alta, mas nem todas as funções crescem no mesmo ritmo. A engenharia de dados vem ganhando cada vez mais força. Segundo o relatório de tecnologia da DICE 2020, data engineer foi a função de tecnologia que mais cresceu, superando cargos tradicionais em dados, como data scientist e funções ligadas à nuvem. A profissão também apareceu no LinkedIn U.S. Emerging Jobs Report 2020 entre os 15 cargos emergentes mais relevantes dos últimos cinco anos.
Fonte: DICE
Essa demanda crescente, porém, gera uma disputa acirrada entre empresas para atrair talentos. Data engineers ainda são uma função relativamente nova e escassa no mercado.
Como garantir que sua empresa contrate um excelente profissional? A descrição da vaga faz toda a diferença. Um bom texto define expectativas claras para que a empresa se comunique com os candidatos, aumentando as chances de encontrar o perfil certo.
Confira a seguir um guia completo de boas práticas para escrever uma descrição de vaga de data engineer que gere impacto. Seja você alguém buscando o candidato ideal ou querendo se tornar um data engineer, este artigo vai ajudar a entender o que o cargo exige.
Funções e responsabilidades de um data engineer
Data engineers são responsáveis por construir as bases para aquisição, armazenamento, transformação e gestão de dados em uma organização. Eles desenvolvem e mantêm a arquitetura de bancos de dados e os sistemas de processamento de dados. Essa infraestrutura é essencial para que o desenvolvimento de aplicações avançadas, como visualização de dados, e a implantação de modelos de machine learning aconteçam de forma fluida, segura e eficiente.
Pela complexidade das tarefas, data engineers são profissionais altamente técnicos, atuando na interseção entre ciência de dados e desenvolvimento de software. Criamos um artigo completo sobre o que faz um data engineer, mas incluímos aqui um resumo.
Embora responsabilidades e tecnologias variem entre empresas, o trabalho costuma abranger principalmente as tarefas abaixo:
- Processos de ETL. ETL envolve rotinas para extrair, transformar e carregar dados de múltiplas fontes, movendo-os entre diferentes ambientes. Data engineers garantem que o grande volume de dados coletados de diferentes origens se torne um insumo acessível para outros profissionais de dados, como analistas e data scientists. Muitas vezes, os processos de ETL são realizados por meio de pipelines de dados, que permitem automatizar, agendar e escalar as tarefas.
- Limpeza de dados. Em geral, a chance de erros aumenta conforme cresce o número de fontes usadas pela empresa. Por isso, não surpreende que data engineers passem boa parte do tempo limpando dados, ou seja, corrigindo ou removendo informações incorretas, corrompidas, mal formatadas, duplicadas ou incompletas.
- Monitoramento de dados. Entre a concepção e a produção de um modelo de machine learning há um longo caminho cheio de possíveis obstáculos. Data engineers também monitoram e otimizam a arquitetura e os sistemas de processamento de dados.
Se você quer se tornar um data engineer, uma ótima forma de começar é com a nossa trilha Data Engineer With Python.
O que incluir na descrição de vaga de data engineer
Nesta seção, você confere os elementos que devem constar em cada parte da descrição da vaga de data engineer.
Descrição
Esta seção apresenta a posição. Inclua um breve resumo sobre a empresa e o motivo da busca por um novo data engineer. Traga também os tipos de tarefas e projetos que a pessoa contratada irá tocar, além de alguns requisitos técnicos do cargo. Por fim, informe o nível de experiência desejado. Isso ajuda os candidatos a decidirem rapidamente se vale investir tempo e energia em uma candidatura formal.
Responsabilidades de data engineer
Data engineer é um dos perfis mais técnicos do universo de dados, combinando conhecimentos e habilidades de ciência de dados, desenvolvimento de software e gestão de bancos de dados.
Embora as responsabilidades variem conforme a vaga, existem tarefas que todo data engineer deve ser capaz de executar. Veja as principais:
- Desenho de arquitetura. Embora desenhar a arquitetura de dados da empresa às vezes caiba a um data architect, em muitos casos é o data engineer quem assume. Isso exige domínio de diferentes tipos de bancos de dados, data warehouses e sistemas analíticos.
- Processos de ETL. Coletar dados de várias fontes, processá-los e armazená-los em um formato pronto para uso no data warehouse da empresa está entre as atividades mais comuns do data engineer.
- Gestão de pipelines de dados. Pipelines são os melhores aliados do data engineer. O objetivo é automatizar o máximo possível os processos de dados, e os pipelines são peça-chave. É essencial saber desenvolver, manter, testar e otimizar pipelines.
- Implantação de modelos de machine learning. Enquanto data scientists desenvolvem os modelos, data engineers são responsáveis por colocá-los em produção.
- Gestão em nuvem. Serviços em nuvem vêm se tornando a opção preferida de muitas empresas para extrair o máximo da infraestrutura de dados. Com cada vez mais atividades acontecendo na nuvem, data engineers precisam trabalhar com ferramentas de provedores como AWS, Azure e Google Cloud.
- Monitoramento de dados. Garantir a qualidade dos dados é crucial para que tudo funcione sem atritos. Data engineers monitoram processos e rotinas e otimizam sua performance.
Experiência
Engenharia de dados é um papel relativamente novo em ciência de dados. Por isso, poucas universidades oferecem cursos específicos na área. Data engineers costumam ter formação em ciência de dados, engenharia de software, matemática ou áreas de negócios.
Para ampliar o número de candidatos, considere aceitar perfis com outra formação acadêmica que comprovem competências com anos de experiência relevante.
Qualificações mínimas
Por ser um cargo altamente técnico, data engineers precisam dominar várias ferramentas. Porém, é difícil listar de forma fechada todas as tecnologias necessárias para ter sucesso em qualquer vaga de engenharia de dados, pois o ecossistema de ciência de dados evolui rápido e novas soluções surgem o tempo todo.
Como é impossível conhecer tudo, inclua apenas os softwares, tecnologias e ferramentas essenciais para a vaga ou planejados para adoção futura. Ao preparar esta seção, enquadre as qualificações especificamente para data engineers, e não uma lista genérica de habilidades em ciência de dados. Para isso, consulte os membros do time com quem a pessoa contratada vai trabalhar.
Além das habilidades técnicas, inclua também as soft skills necessárias para o cargo.
Veja uma lista não exaustiva de qualificações e habilidades para a sua descrição de vaga:
- Habilidades avançadas em SQL e gestão de bancos de dados relacionais
- Linguagens de programação orientadas a objetos, como Python, Java e Scala.
- Experiência com frameworks de computação distribuída, como Hadoop ou Spark
- Pipelines de dados e ferramentas de orquestração de workflows (ex.: Airflow)
- Soluções em nuvem (ex.: AWS, Azure, Google Cloud)
- Sólidas habilidades de gestão de projetos e organização.
- Excelentes habilidades de resolução de problemas, comunicação e organização.
- Capacidade comprovada de trabalhar de forma autônoma e em equipe.
Dicas extras para escrever uma descrição de vaga de data engineer irresistível
Mesmo com uma descrição bem elaborada, o volume de anúncios pode enterrar sua vaga no meio da multidão. Para manter sua vaga atraente e com alta taxa de cliques, considere:
- Inclua a faixa salarial. Um estudo da SMART Recruit Online mostra que anúncios com faixa salarial recebem mais de 30% de candidaturas. Informe uma faixa compatível com os requisitos e a senioridade para atrair o perfil ideal.
- Liste os benefícios. Candidatos estão mais exigentes com condições de trabalho e equilíbrio entre vida pessoal e profissional. Inclua benefícios para tornar a vaga mais atrativa.
- Mostre a cultura do trabalho. Traga detalhes sobre o time, a cultura e os valores. Isso ajuda os candidatos a se enxergarem trabalhando com você e a avaliarem o fit cultural.
- Defina o processo seletivo com o RH. Candidatos querem saber como será o processo para se prepararem para entrevistas e etapas.
Contrate cientistas de dados prontos para o trabalho
Tenha acesso ao nosso grupo de profissionais certificados pela DataCamp gratuitamente por 15 dias.
