Entendiendo la ingeniería de datos

En este capítulo, aprenderás qué es la ingeniería de datos y por qué está aumentando su demanda. A continuación, descubrirás dónde se encuentra la ingeniería de datos en relación con el ciclo de vida de la ciencia de datos, en qué se diferencian los ingenieros de datos de los científicos de datos y tendrás una introducción a tu primera data pipeline completa.

Es hora de hablar del almacenamiento de datos, una de las principales responsabilidades de un ingeniero de datos. En este capítulo, aprenderás cómo los ingenieros de datos gestionan diferentes estructuras de datos, trabajan en SQL -el lenguaje de programación preferido para consultar y almacenar datos- e implementan soluciones adecuadas de almacenamiento de datos con «data lakes» y «data warehouses».

Los ingenieros de datos facilitan la vida a los científicos de datos al preparar datos sin procesar para su análisis utilizando diferentes técnicas de procesamiento en diferentes pasos. Estos pasos deben combinarse para crear pipelines, que es cuando entra en juego la automatización. Por último, los ingenieros de datos utilizan computación paralela y en la nube para mantener las tuberías fluyendo sin problemas.