O processamento, a análise e as visualizações foram feitos em R e seus pacotes correspondentes. O notebook e os arquivos relevantes estão disponíveis aqui.
Segundo o dicionário Merriam-Webster, dado é uma informação factual usada como base para raciocínio, discussão ou cálculo. Por essa definição, dado é basicamente qualquer informação coletada que pode ser usada, processada e analisada para gerar insights. É comum associar dados a computadores, já que normalmente são produzidos e armazenados neles, mas dados existem há muito mais tempo do que a gente imagina.
História dos dados
O exemplo mais antigo de armazenamento e análise de dados por humanos remonta a 18.000 a.C., quando se descobriu que povos pré-históricos usavam bastões de contagem para realizar cálculos rudimentares. Esses grupos do Paleolítico faziam marcas em gravetos e ossos para registrar suas atividades, como trocas e controle de suprimentos. Por volta de 2.400 a.C., o ábaco, um dispositivo para realizar cálculos, foi inventado na Babilônia.
Ao longo da história, o desenvolvimento constante da coleta, do processamento e da análise de dados aparece em inúmeros registros em tábuas de pedra, argila, papiro, madeira e pergaminhos. Com o surgimento de novas formas de dados, a necessidade de processar, coletar, armazenar e analisá-los também evoluiu.
À medida que a sociedade humana avançava, crescia também a exigência por processamento de dados. No século XIX, o censo começou a ser realizado nos Estados Unidos. A quantidade de pontos de dados cresceu exponencialmente, a ponto de o U.S. Census Bureau estimar que levaria anos ou até décadas para coletar e analisar tudo. Isso era um grande problema, pois a análise do censo atual terminaria quando o próximo estivesse prestes a começar ou já em andamento. Felizmente, um jovem engenheiro e inventor chamado Herman Hollerith desenvolveu a Hollerith Tabulating Machine — uma máquina eletromecânica de tabulação que reduziu o tempo de coleta e análise de dados do censo de anos para poucos meses. Por isso, Hollerith é considerado o pai da computação automática moderna e mais tarde ficaria conhecido por fundar a IBM.
Avançando para o século XX e a invenção do computador. Com o surgimento de máquinas de computação mais poderosas, veio a necessidade de armazenamento de dados mais sofisticado. Fritz Pfleumer, engenheiro germano-austríaco, inventou um método de armazenar informações magneticamente em fita. Alguns princípios dessa invenção são usados até hoje no armazenamento digital. Nessa era, o termo “business intelligence” ganhou popularidade, acompanhando a demanda por softwares e sistemas para analisar desempenho comercial e operacional.
A revolução dos dados mudou de patamar quando Tim Berners-Lee criou a World Wide Web, também conhecida como Internet, em 1989. Isso possibilitou o compartilhamento automatizado de informações entre pessoas no mundo todo. Hoje, mais dados são compartilhados, criados e armazenados, abrindo novas formas de coletar, usar e analisar informações.
Transição para “Big Data”
Com o crescimento impressionante da internet nos anos 1990 e o avanço constante dos computadores pessoais e dispositivos de computação em geral, o número de aparelhos conectados (e, consequentemente, a quantidade de dados gerados) disparou.
Embora a ideia de Big Data exista desde antes dos anos 1990, foi apenas em 2005 que Roger Mougalas cunhou oficialmente o termo. Ele descreveu Big Data como “um grande conjunto de dados quase impossível de gerenciar e processar usando ferramentas tradicionais de business intelligence”.
Big Data é um termo usado para descrever o grande volume de dados — estruturados e não estruturados — que sobrecarrega as organizações no dia a dia. Ele abrange o volume de informação, a velocidade com que é criada e coletada e a variedade ou amplitude dos pontos de dados cobertos.
Dado o tamanho e a complexidade do Big Data, o processo de coletar, organizar e analisar esses dados para descobrir padrões e outras informações úteis passou a ser essencial para ajudar muitas organizações a tomar decisões de negócio. Isso, por sua vez, deu origem à ciência de dados — um campo interdisciplinar que usa métodos científicos, processos, algoritmos e sistemas para extrair padrões de grandes volumes de dados e permitir que líderes de negócio tomem decisões embasadas.
Quais são as funções em data science?
De acordo com a IBM, ciência de dados é uma abordagem multidisciplinar para extrair insights acionáveis dos volumes crescentes de dados coletados e criados pelas organizações atuais. A área normalmente exige habilidades de ciência da computação e de ciências exatas, pois cientistas de dados aplicam o método científico e usam análise preditiva e inteligência artificial para extrair insights. Veja nosso guia completo sobre o que é data science para uma definição mais detalhada.
Hoje, “data science” é frequentemente usado por empresas e organizações como um termo guarda-chuva para o processo de lidar com grandes volumes de dados — seja preparar, limpar, analisar ou visualizar para revelar padrões. Estas são algumas das carreiras em data science que você pode seguir:
-
Data scientist
Data scientists precisam aplicar matemática, estatística e o método científico; usar múltiplas ferramentas e técnicas para limpeza e preparação de dados; executar análises preditivas e inteligência artificial; e explicar como os resultados podem gerar soluções orientadas por dados para problemas de negócio. Eles exigem muito mais competências técnicas do que data analysts. Para começar, você pode fazer cursos voltados a data science na DataCamp, como: Introduction to Python for Data Science e Introduction to R.
-
Data analyst
Data analysts coletam, processam e realizam análises estatísticas para chegar a conclusões relevantes para as organizações. Eles transformam e manipulam grandes conjuntos de dados em formatos utilizáveis, como relatórios ou apresentações. Também apoiam a tomada de decisão ao identificar padrões importantes e extrair insights, comunicando-os de forma eficaz para líderes de negócio. Estes cursos na DataCamp podem ajudar você a dar o pontapé inicial como data analyst: Introduction to SQL e Exploratory Data Analysis in SQL.
-
Data engineer
Data engineers são responsáveis por preparar, processar e gerenciar dados coletados e armazenados para usos analíticos ou operacionais. Assim como engenheiros tradicionais, constroem e mantêm “pipelines” de dados que conectam sistemas, tornando as informações acessíveis para cientistas de dados. Por isso, precisam dominar várias linguagens usadas em data science, como Python, R e SQL. Tópicos relacionados a data engineering estão disponíveis na DataCamp, por exemplo: Introduction to Data Engineering e Understanding Data Engineering.
-
Data architect
Data architects principalmente desenham e criam os “blueprints” de sistemas de gestão de dados que os data engineers constroem. De forma análoga a arquitetos tradicionais, são os “visionários” responsáveis por imaginar e projetar a estrutura de gestão de dados de uma organização. Além disso, melhoram o desempenho de sistemas existentes, garantindo acessibilidade para administradores de banco de dados e analistas. Você pode fazer cursos relacionados a arquitetura de dados disponíveis na DataCamp, como: AWS Cloud Concepts e Database Design
-
Business intelligence (BI) developer
BI developers são engenheiros especializados que usam ferramentas de software para transformar dados em insights que apoiam decisões de negócio. Eles simplificam informações técnicas para que todos na empresa entendam com facilidade. Em resumo, criam e executam relatórios com os dados obtidos por meio de ferramentas de business intelligence e traduzem as informações para uma linguagem acessível. Cursos sobre ferramentas de BI como Microsoft Power BI e Tableau estão disponíveis na DataCamp, por exemplo: Introduction to Power BI e Analyzing Data in Tableau
-
Estatístico(a)
Como a estatística é uma das bases da ciência de dados, muitos estatísticos migram com facilidade para a área. Eles são principalmente responsáveis pela coleta e pelo tratamento dos dados. Decidem quais dados precisam e como coletá-los. Além disso, desenham experimentos, analisam e interpretam os dados e reportam conclusões. Confira estes cursos introdutórios de estatística na DataCamp: Introduction to Statistical Modeling in R e Introduction to Statistics in Spreadsheets.
-
Machine learning engineer
Machine learning engineers são outro grupo de engenheiros especializados, focados em pesquisar, construir e projetar sistemas de inteligência artificial (IA) e machine learning (ML) para automatizar modelos preditivos. Em essência, desenvolvem algoritmos que usam dados de entrada e modelos estatísticos para prever um resultado, atualizando as previsões continuamente conforme chegam novos dados. A DataCamp tem diversos cursos de machine learning que podem ser úteis, como: Understanding Machine Learning e Machine Learning with caret in R.
Uma busca rápida por vagas online dá uma ideia de quais carreiras acima estão mais em alta. O gráfico abaixo mostra as oportunidades por trilha de carreira de acordo com a Indeed USA em 8 de dezembro de 2021.
Data architect parece ser a trilha mais demandada em data science, dada sua importância na criação de sistemas de gestão de dados que os demais profissionais utilizam. Em seguida vem machine learning engineer, pela relevância da IA na previsão de resultados em muitas empresas de tecnologia.
As posições menos demandadas são as de estatística, principalmente porque muitos estatísticos tradicionais estão migrando para data science. Essa tendência deve continuar, já que a transição é relativamente natural: eles já possuem a base necessária para se tornarem data scientists completos.
Data science não dá sinais de desaceleração
A área de data science ganhou enorme popularidade na década de 2010, especialmente quando a Harvard Business Review aclamou “Data Scientist” como “o trabalho mais sexy do século 21”. O termo ficou tão popular que “data scientist” virou quase um sinônimo de tendência. Embora “trabalho mais sexy” soe curioso, a ideia é que data scientists são muito requisitados, têm salários altos e são difíceis de reter.
Se hoje a popularidade é inegável, a questão é: isso vai continuar? Pelas projeções de emprego, tudo indica que sim. Dados das Projeções de Emprego 2020–2030 do Bureau of Labor Statistics dos EUA mostram que carreiras em data science — incluindo estatística, ciência de dados e outras ocupações de base matemática e científica, como data engineering — terão crescimento muito alto em termos de variação percentual entre 2020 e 2030. Estatísticos ficaram em 14º no ranking geral, enquanto data scientists e outras ocupações de ciências matemáticas ficaram em 31º entre 790 cargos analisados.
Embora a participação de estatísticos e data scientists na força de trabalho total ainda seja pequena em comparação a outras ocupações, esses números devem crescer nos próximos anos, à medida que a carreira em data science se populariza. A figura abaixo mostra como estatísticos, data scientists e outras ocupações em ciências matemáticas se comparam a outras profissões com alto crescimento projetado.
Uma área realmente valorizada
Um dos grandes motivos da popularidade de data science é a remuneração entre as mais altas do mercado. O gráfico abaixo mostra a faixa salarial de 10 ocupações — incluindo data scientists e data analysts — na cidade de Nova York. Os dados foram obtidos no Teleport, site que agrega informações sobre condições de vida (por exemplo, salários) em diferentes cidades.
Segundo o Teleport, data scientists tinham o 4º maior salário mediano anual em Nova York, de US$ 114.105, atrás apenas de executivos C-level e profissionais de saúde. Em algumas cidades, como Manila, data scientists chegam a ocupar o 2º lugar, logo atrás de executivos C-level. Isso mostra o quanto a função é lucrativa. Já data analysts, embora não tão bem pagos quanto data scientists, também se destacam: com mediana anual de US$ 61.818, ganham algo próximo à renda média domiciliar em Nova York.
Crescimento constante no mercado de trabalho
Outro motivo importante para a popularidade de data science é como as organizações incorporam seus princípios no dia a dia. O gráfico abaixo mostra os 10 setores que mais envolvem data science em suas atividades. A amostra de 8.000 empresas orientadas a ciência de dados foi extraída do Diffbot, o maior knowledge graph do mundo.
Não é surpresa que empresas de software — incluindo gigantes de tecnologia como Google, Apple e Uber — liderem. Afinal, o crescimento excepcional do big data foi impulsionado pela criação da internet, intimamente ligada a software e tecnologia. Data science, no fim das contas, é processar muita informação usando diversas ferramentas e tecnologias.
Em seguida vêm os serviços financeiros, impulsionados pela ascensão das fintechs. Uma junção de “finance” e “technology”, as fintechs integram tecnologia e inovação em seus serviços para melhorar a experiência do cliente e desafiar os serviços financeiros tradicionais. Como lidam com enormes volumes de dados, como informações de clientes, as empresas do setor viram nas ferramentas de data science uma forma de otimizar processos e aprimorar seus serviços.
Em resumo: vale a pena seguir carreira em data science?
Com tudo o que foi explicado acima, a resposta é sim, sem dúvida! Quanto à trilha específica, isso depende principalmente das suas forças e interesses. O importante é que qualquer uma das carreiras citadas tem muito valor.
Uma trilha altamente lucrativa e que não dá sinais de perder fôlego, data science continuará moldando e influenciando como empresas e organizações operam por muitos anos.
