Cientista de dados versus engenheiro de dados

Ciência de dados versus engenharia de dados: Responsabilidades

Responsabilidades dos engenheiros de dados

O engenheiro de dados desenvolve, constrói, testa e mantém arquiteturas, como bancos de dados e sistemas de processamento em grande escala. O cientista de dados, por outro lado, limpa, massageia e organiza os (grandes) dados.

Talvez você ache a escolha do verbo "massagear" particularmente exótica, mas ela apenas reflete ainda mais a diferença entre engenheiros de dados e cientistas de dados.

De modo geral, os esforços que ambas as partes precisarão fazer para obter os dados em um formato utilizável são consideravelmente diferentes.

Os engenheiros de dados lidam com dados brutos que contêm erros humanos, de máquinas ou de instrumentos. Os dados podem não ser validados e conter registros suspeitos. Ele não será formatado e poderá conter códigos específicos do sistema.

Os engenheiros de dados precisarão recomendar e, às vezes, implementar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados. Para isso, eles precisarão empregar uma variedade de linguagens e ferramentas para unir os sistemas ou buscar oportunidades de adquirir novos dados de outros sistemas para que os códigos específicos do sistema, por exemplo, possam se tornar informações para processamento posterior pelos cientistas de dados.

Muito relacionado a esses dois fatores está o fato de que os engenheiros de dados precisarão garantir que a arquitetura implementada atenda aos requisitos dos cientistas de dados, das partes interessadas e dos negócios.

Por fim, a equipe de engenharia de dados precisará desenvolver processos de conjunto de dados para modelagem, mineração e produção de dados para fornecer os dados à equipe de ciência de dados.

Saiba mais sobre o que um engenheiro de dados faz em nosso artigo completo. 

Responsabilidades dos cientistas de dados

Em geral, os cientistas de dados já recebem dados que passaram por uma primeira rodada de limpeza e manipulação, que podem ser usados para alimentar programas sofisticados de análise e métodos estatísticos e de aprendizado de máquina para preparar os dados para uso em modelagem preditiva e prescritiva. É claro que, para criar modelos, eles precisam fazer pesquisas sobre questões comerciais e do setor, e precisarão aproveitar grandes volumes de dados de fontes internas e externas para atender às necessidades comerciais. Às vezes, isso também envolve a exploração e o exame de dados para encontrar padrões ocultos.

Depois que os cientistas de dados fizerem as análises, eles precisarão apresentar uma história clara para as principais partes interessadas. Quando os resultados forem aceitos, eles precisarão garantir que o trabalho seja automatizado para que os insights possam ser entregues às partes interessadas da empresa diariamente, mensalmente ou anualmente.

Está claro que ambas as partes precisam trabalhar juntas para manipular os dados e fornecer insights para decisões críticas de negócios. Há uma clara sobreposição de habilidades, mas as duas estão gradualmente se tornando mais distintas no setor: enquanto o engenheiro de dados trabalhará com sistemas de banco de dados, APIs de dados e ferramentas para fins de ETL e estará envolvido na modelagem de dados e na configuração de soluções de data warehouse, o cientista de dados precisa ter conhecimentos de estatística, matemática e aprendizado de máquina para criar modelos preditivos.

O cientista de dados precisa estar ciente da computação distribuída, pois precisará obter acesso aos dados processados pela equipe de engenharia de dados. Ele também precisará ser capaz de se reportar às partes interessadas da empresa, portanto, o foco na narrativa e na visualização é essencial.

O que isso significa em termos de foco nas etapas do fluxo de trabalho da ciência de dados , você pode ver na imagem abaixo:

Ciência de dados versus engenharia de dados: Idiomas, ferramentas e software

É claro que essa diferença nos conjuntos de habilidades se traduz em diferenças nas linguagens, ferramentas e softwares que ambos usam. A visão geral a seguir inclui alternativas comerciais e de código aberto.

Embora as ferramentas usadas por ambas as partes dependam muito de como a função é concebida no contexto da empresa, os engenheiros de dados geralmente trabalham com ferramentas como SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, Neo4j, Hive e Sqoop.

Os cientistas de dados usarão linguagens como SPSS, R, Python, SAS, Stata e Julia para criar modelos. As ferramentas mais populares aqui são, sem dúvida, Python e R. Quando você está trabalhando com Python e R para ciência de dados, na maioria das vezes recorre a pacotes como ggplot2 para fazer visualizações de dados incríveis em R ou à biblioteca de manipulação de dados Python Pandas. É claro que muitos outros pacotes serão úteis quando você estiver trabalhando em projetos de ciência de dados, como scikit-learn, NumPy, Matplotlib, Statsmodels, etc.

No setor, você também descobrirá que o SAS e o SPSS comerciais se saem bem, mas outras ferramentas, como Tableau, Rapidminer, Matlab, Excel e Gephi, também farão parte da caixa de ferramentas do cientista de dados.

Você vê novamente que uma das principais distinções entre engenheiros de dados e cientistas de dados, a ênfase na visualização de dados e na narração de histórias, está refletida nas ferramentas mencionadas.

Como você já deve ter adivinhado, Scala, Java e C # são ferramentas, linguagens e softwares que ambas as partes têm em comum.

Essas linguagens não são necessariamente populares entre os cientistas e engenheiros de dados. Você poderia argumentar que o Scala é mais popular entre os engenheiros de dados porque sua integração com o Spark é especialmente útil para configurar grandes fluxos de ETL.

O mesmo vale para a linguagem Java: no momento, sua popularidade está aumentando entre os cientistas de dados, mas, em geral, ela não é amplamente usada diariamente por profissionais. Mas, no geral, você verá esses idiomas aparecendo em vagas de emprego para ambas as funções. O mesmo pode ser dito sobre as ferramentas que ambas as partes poderiam ter em comum, como Hadoop, Storm e Spark.

É claro que a comparação entre ferramentas, linguagens e software precisa ser vista no contexto específico em que você está trabalhando e como você interpreta as funções de ciência de dados em questão; a ciência de dados e a engenharia de dados podem estar intimamente ligadas em alguns casos específicos, em que a distinção entre as equipes de ciência de dados e engenharia de dados é, de fato, tão pequena que, às vezes, as duas equipes são fundidas.

Se essa é uma ótima ideia ou não, você terá material suficiente para outra discussão, que está fora do escopo do blog de hoje.

Ciência de dados versus engenharia de dados: Histórico educacional

Além de tudo isso, os cientistas de dados e os engenheiros de dados também podem ter algo em comum: suas formações em ciência da computação. Essa área de estudo é muito popular para ambas as profissões. É claro que você também verá que os cientistas de dados frequentemente estudaram econometria, matemática, estatística e pesquisa operacional. Em geral, eles têm um pouco mais de visão de negócios do que os engenheiros de dados. Você vê com frequência que os engenheiros de dados também têm formação em engenharia; na maioria das vezes, eles tiveram alguma formação prévia em engenharia da computação.

No entanto, isso não significa que você não encontrará engenheiros de dados que adquiriram conhecimento em operações e visão de negócios em estudos anteriores.

Você precisa entender que, em geral, o setor de ciência de dados é formado por profissionais com diferentes formações: não é incomum que físicos, biólogos ou meteorologistas entrem para a ciência de dados. Outros mudaram de carreira para a ciência de dados e vieram do desenvolvimento da Web, da administração de bancos de dados etc.

Ciência de dados versus engenharia de dados: Salários e contratação

Nos EUA, o salário médio anual de um cientista de dados é de US$ 123.069, com uma faixa de US$ 78 mil a US$ 194 mil. Em diferentes países, essa é uma tendência semelhante, com o salário médio do cientista de dados pelo menos 30% mais alto do que a média nacional (e na Índia, esse número é significativamente maior!).

O salário médio anual dos engenheiros de dados nos EUAé de US$ 125.686; em outros países, o salário médio é muito semelhante ao de um cientista de dados.

Ambas as funções são muito procuradas. No momento em que este artigo foi escrito, o Indeed lista mais de 10.000 funções de cientista de dados e mais de 5.000 funções de engenheiro de dados nos EUA. Empresas líderes como Spotify, Meta, Amazon, Google e Microsoft estão quase sempre contratando para ambas as funções.

Ciência de dados versus engenharia de dados: Perspectivas de emprego

Conforme descrito anteriormente, a criação de funções e títulos é necessária para refletir as necessidades em constante mudança, mas, em outras ocasiões, eles são criados como uma forma de se diferenciar de outras empresas de recrutamento.

Além do aumento do interesse em questões de gerenciamento de dados, as empresas estão procurando soluções mais baratas, flexíveis e dimensionáveis para armazenar e gerenciar seus dados. Eles querem mover seus dados para a nuvem e, para isso, precisam criar "lagos de dados" para complementar os data warehouses que já possuem ou substituir o Operational Data Store (ODS).

Os fluxos de dados precisarão ser redirecionados e substituídos nos próximos anos e, como resultado, o foco e o número de anúncios de emprego para contratar engenheiros de dados aumentaram gradualmente ao longo dos anos.

A função de cientista de dados tem sido procurada desde o início da moda, mas, atualmente, as empresas estão procurando compor equipes de ciência de dados em vez de contratar cientistas de dados unicórnios que possuem habilidades de comunicação, criatividade, inteligência, curiosidade, conhecimento técnico etc. Para os recrutadores, é difícil encontrar pessoas que incorporem todas as qualidades que as empresas estão procurando, e a demanda claramente excede a oferta.

Você poderia argumentar que a "bolha do cientista de dados" estourou. Ou talvez estivesse prestes a estourar, até que os avanços da IA, como o GPT-3 e o GPT-4, tomaram o mundo de assalto. 

Uma coisa permanecerá constante durante todo esse processo: a demanda por especialistas apaixonados por tópicos de ciência de dados sempre existirá. As perspectivas de emprego para esses especialistas são altamente positivas. Por exemplo, o Bureau of Labor Statistics dos EUA projeta 20.800 vagas de emprego para cientistas de dados por ano na próxima década, com previsão de crescimento de 36% de 2023 a 2033, muito mais rápido do que a média de todas as ocupações. A perspectiva é igualmente otimista para as vagas de engenheiro de dados.

Ciência de dados versus engenharia de dados: Um resumo

Introdução à engenharia de dados e à ciência de dados

Se você quiser traçar seu caminho para iniciar uma carreira em qualquer uma das funções, nossos guias são um ótimo lugar para começar:

• Como você pode se tornar um cientista de dados
• Como você pode se tornar um engenheiro de dados

Se você quiser ir direto para a sua jornada de aprendizado, o DataCamp tem tudo o que você precisa. Temos muitos cursos ideais se você quiser começar a aprender engenharia de dados. Por exemplo, nos cursos Importando dados em Python e Importando dados em R do DataCamp. Nossa Certificação de Engenheiro de Dados é outra ótima opção para provar aos gerentes de contratação que você tem as habilidades necessárias para uma função de nível básico.

Para você que quer começar a trabalhar com ciência de dados, há os cursos Exploratory Data Analysis, Introduction to R for Data Science, Machine Learning Toolbox e Introduction to Python for Data Science. Da mesma forma, nossa Certificação de Cientista de Dados é altamente conceituada e ajudará você a entrar em empresas líderes.