Introdução à Engenharia de Dados

Neste capítulo, você vai aprender o que é engenharia de dados e por que a demanda por esses profissionais está aumentando. Em seguida, vai descobrir onde a engenharia de dados se situa em relação ao ciclo de vida da ciência de dados, entender a diferença entre engenheiros de dados e cientistas de dados e ver uma introdução ao seu primeiro pipeline de dados completo.

É hora de falar sobre armazenamento de dados – uma das principais responsabilidades de um engenheiro de dados. Neste capítulo, você aprenderá como os engenheiros de dados gerenciam diferentes estruturas de dados, trabalham em SQL- a linguagem de programação preferida para consultar e armazenar dados - e implementam soluções adequadas de armazenamento de dados com data lakes e data warehouses.

Os engenheiros de dados facilitam a vida dos cientistas de dados preparando dados brutos para análise usando diferentes técnicas de processamento em diferentes etapas. Essas etapas precisam ser combinadas para criar pipelines, que é quando a automação entra em ação. Por fim, os engenheiros de dados usam computação paralela e em nuvem para manter os pipelines fluindo sem problemas.