Curso
Introdução ao Python
4 h
7M
A ciência de dados está em constante evolução — e os cargos e funções dentro de qualquer time de dados moderno também. Nos primórdios da área, muitos títulos incluíam o termo “big data”.
Nos últimos dois anos, com o avanço da operacionalização de machine learning, MLOps passou a aparecer em diferentes cargos. E hoje, à medida que as organizações evoluem em letramento em dados e maturidade analítica, vemos a ascensão do papel de analytics engineer.
Em poucas palavras, analytics engineers fazem a ponte entre as funções de engenharia e de análise. Seu papel é aplicar boas práticas de engenharia para entregar conjuntos de dados limpos e transformados, prontos para análise.
Este artigo busca desmistificar o que faz um analytics engineer, comparar esse papel com outras funções comuns em dados e indicar recursos para você entrar nessa área.
O que é um analytics engineer?
A Dataform oferece uma analogia ótima para explicar onde o analytics engineer se encaixa no time de dados, usando um exemplo bem familiar — armários. Tenha essa analogia em mente ao entender por que esse papel está em alta.
“Data engineers constroem o armário: juntam a madeira, as ferramentas e montam tudo. Os analytics engineers abrem o armário e começam a colocar pratos, canecas e tigelas, organizando em uma certa ordem — por cores, formatos ou tamanhos. Depois, os data analysts vão até o armário e já sabem onde está tudo, porque está bem arrumado. Aí conseguem pegar aquela caneca azul pequena que estavam procurando e vão preparar um chá!”
Josie Hall, Program Manager at Google
Antes da ascensão do analytics engineering, data analysts usavam ferramentas de visualização como Tableau ou Power BI para levar insights aos stakeholders. Essas ferramentas são ótimas para apresentar dados, mas não são as melhores para transformar e armazenar dados.
Imagine que um data engineer implanta um pipeline que carrega dados de marketing, mas a qualidade desses dados deixa a desejar. Só os data analysts do time de marketing têm conhecimento de domínio para transformar e melhorar a qualidade. No entanto, eles não usam a mesma stack de tecnologia do data engineer.
Ao mesmo tempo, data engineers não têm o conhecimento de domínio para entender rapidamente quais transformações são necessárias e, muitas vezes, estão sobrecarregados com prioridades vindas de toda a empresa. Como consequência, analistas podem acabar transformando dados no Tableau ou Power BI, ou criando suas próprias tabelas temporárias em um banco relacional. Isso gera ineficiência e atrasa o tempo até o insight.
É aí que entra o analytics engineer. Ele fica entre o data analyst e o data engineer. No cenário acima, teria as habilidades técnicas para otimizar as transformações de dados, além de conhecimento de domínio.
Trabalhando lado a lado com o data analyst, o analytics engineer entrega dados limpos para uso, transformando-os com as ferramentas e tecnologias adequadas.
Como os analytics engineers se diferenciam de outras funções em dados?
As fronteiras entre os papéis são difusas. Então, como os analytics engineers se diferenciam de outras funções — e como colaboram?
Analytics engineer vs. data analyst
Data analysts são responsáveis por analisar dados e reportar insights de suas análises. Têm profundo entendimento do fluxo de análise e comunicam descobertas usando uma combinação de ferramentas com e sem código. Geralmente dominam SQL e ferramentas de BI como Power BI ou Tableau, usando menos ferramentas como R ou Python.
Analytics engineers trabalham com data analysts para otimizar modelos de dados prontos para consumo. Também mantêm a documentação sobre os dados, o que ajuda analistas a encontrar insights com mais agilidade.
Analytics engineer vs. data engineer
Data engineers são responsáveis por levar os dados certos às pessoas certas. Criam e mantêm a infraestrutura e os pipelines que trazem terabytes de dados brutos de várias fontes para um local centralizado, com dados limpos e relevantes para a organização.
É verdade que essa definição se sobrepõe bastante ao papel de analytics engineer. Porém, retomando o exemplo do armário: data engineers garantem que os analytics engineers tenham as fontes de dados adequadas para organizar e modelar para consumo pelos data analysts do time.
Além disso, data engineers configuram APIs personalizadas e pipelines de ETL de fontes proprietárias — enquanto analytics engineers focam muito mais tempo em aprimorar pipelines vindos de APIs de fornecedores, como Google Analytics.
Analytics engineer vs. data scientist
Data scientists investigam, extraem e reportam insights relevantes a partir dos dados da organização. Comunicam esses insights para públicos não técnicos e entendem bem fluxos de machine learning e como conectá-los a aplicações de negócio. Trabalham quase exclusivamente com ferramentas de código como SQL, Python e R, conduzem análises e costumam usar ferramentas de big data.
A relação entre data scientists e analytics engineers é semelhante à de data analysts com analytics engineers. Analytics engineers permitem que data scientists foquem mais em insights e menos em limpeza e otimização de datasets.
Analytics engineer vs. machine learning engineer
Machine learning engineers projetam e implantam sistemas de machine learning que fazem previsões a partir dos dados da organização. Resolvem problemas como prever churn e valor de vida do cliente e são responsáveis por colocar modelos em produção. Trabalham exclusivamente com ferramentas baseadas em código e são mais focados em tecnologia que seus pares.
Analytics engineers são muito mais focados em habilitar data analysts e data scientists, que entregam insights para as áreas de negócio.
Comparação entre cargos
|
Data Analyst |
Data Engineer |
Data Scientist |
Machine Learning Engineer |
Analytics Engineer |
|
Analisar dados e reportar insights para stakeholders Construir dashboards consumidos por toda a organização Usar conhecimento de domínio e de negócio para recomendações |
Criar e manter pipelines de dados (ETL) usando APIs de fornecedores e proprietárias Otimizar e centralizar dados em um data lake ou data warehouse Entregar dados para pipelines de machine learning Processar dados na nuvem |
Analisar dados e reportar insights para stakeholders Desenhar experimentos como testes A/B Implantar dashboards consumidos pela organização Desenvolver fluxos de aprendizado supervisionado e não supervisionado Analisar dados não convencionais, como séries temporais, texto, dados geoespaciais ou imagens |
Treinar e implantar modelos de machine learning Monitorar e melhorar a performance de modelos em produção Aplicar boas práticas de engenharia de software ao fluxo de ML (CI/CD) |
Otimizar pipelines construídos por data engineers para consumo Aplicar boas práticas de engenharia a modelos de dados usados por analysts e scientists Desenvolver, padronizar e melhorar a documentação de dados |
|
R ou Python SQL, Power BI, Tableau |
R ou Python SQL Git, Shell e ferramentas de linha de comando Ferramentas de big data como Airflow ou Spark Ferramentas em nuvem como AWS, Azure, GCP ou Snowflake |
R ou Python SQL Git, Shell e ferramentas de linha de comando Ferramentas de big data como Airflow ou Spark |
R ou Python SQL Git, Shell e ferramentas de linha de comando Ferramentas de big data como Airflow ou Spark |
R ou Python SQL Git, Shell e ferramentas de linha de comando Ferramentas em nuvem como AWS, Azure, GCP, Snowflake ou dbt |
Salários de analytics engineers
O papel de analytics engineer ainda é novo, o que significa que há poucas pessoas no mercado com a combinação exata de engenharia e habilidades de analytics necessárias para ter sucesso. Isso torna a função bastante atraente do ponto de vista de remuneração. Veja abaixo faixas salariais esperadas para analytics engineers nos Estados Unidos.
- Glassdoor: segundo o Glassdoor, analytics engineers ganham em média US$ 91.080 por ano. Dependendo de localidade e empresa, os salários podem chegar a US$ 208.000 anuais.
- Comparably: de acordo com o Comparably, a média é de US$ 100.305 por ano. Dependendo de localidade e empresa, os salários podem chegar a US$ 185.000 por ano.
Embora os números acima representem faixas gerais em diferentes contextos, vale notar que empresas com alta maturidade em dados, como a Netflix, pagam no topo do mercado para funções de dados. Por exemplo, segundo o levels.FYI, analytics engineers na Netflix podem ganhar até US$ 375.000 por ano.
Como se tornar um analytics engineer?
À medida que os papéis em dados se especializam, os caminhos de capacitação também ficam mais focados. Diferente de muitas funções citadas acima, analytics engineers precisam de um conjunto amplo de competências, envolvendo ferramentas e conceitos como os abaixo:
SQL
SQL é, provavelmente, uma das ferramentas mais usadas em analytics, em qualquer função de dados. Felizmente, também é uma das mais fáceis de aprender e dominar. Confira este artigo para ver como aprender SQL e explore recursos extras aqui.
- Career Track: Data Analyst in SQL
- Skill Track: SQL Fundamentals
Python
Python é, de fato, a linguagem de programação mais popular do momento. Quer você siga para analytics engineering ou qualquer outro papel citado, Python será útil. Encontre aqui todos os recursos para aprender Python e comece com os cursos abaixo.
- Career Track: Python Programmer
- Career Track: Data Analyst with Python
Ferramentas de ETL
ETL significa “Extract, Transform, and Load”. São ferramentas que permitem configurar pipelines para extrair dados de diferentes fontes, transformá-los para consumo e carregá-los em bancos de dados. Uma das ferramentas open source mais populares é o Airflow. Veja o Airflow em ação neste curso.
Ferramentas de computação em nuvem
Embora “ferramentas de computação em nuvem” seja um termo guarda-chuva, analytics engineers e outras funções em dados usam com frequência serviços como AWS, Azure, Google Cloud ou Snowflake. Essas soluções permitem armazenar, processar e implantar dados e aplicações de dados na nuvem. A plataforma mais popular é a AWS. Você pode saber mais explorando os cursos da DataCamp abaixo.
- Course: AWS Cloud Concepts
- Course: Introduction to AWS Boto in Python
Controle de versão
Controle de versão é, basicamente, a espinha dorsal das boas práticas de engenharia de software. Em resumo, permite acompanhar o que foi feito e quando, desfazer mudanças indesejadas e colaborar em escala com outras pessoas.
Ferramentas de linha de comando como Git permitem aplicar essas boas práticas. Saiba mais neste cheat sheet!
Habilidades de comunicação
Toda função em dados requer comunicação em algum grau, mas analytics engineering demanda o mesmo nível de comunicação de um data analyst, somado à bagagem técnica de um data engineer. Comunicar melhor é uma habilidade, não um dom. Confira Data Communication Concepts para aprimorar sua comunicação técnica.
Torne-se um analytics engineer
Analytics engineering, assim como MLOps, ainda é muito recente. Para sair na frente, explore os recursos abaixo.
