¿A qué se dedica un data engineer?

Puede que hayas oído que la ingeniería de datos es la nueva ciencia de datos, y el enorme crecimiento del campo lo confirma. Las empresas ya reconocen el valor de contratar a data engineers para diseñar, construir y mantener la arquitectura que necesitan para que la analítica y la ciencia de datos tengan éxito. Puedes leer más sobre las diferencias entre data engineers y data scientists en otro artículo.

Ahora bien, quizá te preguntes: ¿qué hace realmente un data engineer? En este artículo, desglosamos los distintos roles y responsabilidades, y la trayectoria profesional que puede seguir un data engineer. Por último, te abrimos una ventana a cómo es un proyecto típico de ingeniería de datos dentro de una organización. Si buscas información sobre cómo convertirte en data engineer, te resultará útil nuestro artículo específico. También puedes leer cómo redactar una oferta de empleo para data engineer si estás intentando contratar para este puesto.

Roles en ingeniería de datos

La ingeniería de datos abarca una gran variedad de habilidades, herramientas y sistemas. Hay cuatro grupos principales de roles de data engineer, y cada uno de ellos debe dominar un conjunto de competencias y herramientas para hacer bien su trabajo.

• Generalistas. Se involucran en todos los aspectos de la recogida, el almacenamiento, el análisis y el movimiento de datos. Deben conocer y manejar un amplio abanico de herramientas y habilidades.
• Especialistas en almacenamiento de datos. Se encargan de configurar y gestionar bases de datos relacionales y no relacionales (como SQL, NoSQL y PostgreSQL), data warehouses (como Redshift y Panoply) y sistemas de big data (como Hadoop y Spark).
• Especialistas en programación y pipelines. Crean y gestionan el flujo de datos mediante scripts y data pipelines. Deben manejar algunos lenguajes de programación como Python, Java y C++.
• Especialistas en analítica. Trabajan de cerca con data scientists y otros perfiles analíticos de la organización. Deben conocer herramientas analíticas (como Power BI y Tableau), librerías de machine learning (como TensorFlow y PyTorch) y otras herramientas que respaldan proyectos analíticos (como herramientas ETL y sistemas de big data).

¿Qué hace un data engineer? La trayectoria profesional

La carrera de un data engineer puede variar según el tamaño de la empresa y la madurez de sus equipos de datos. Aun así, la mayoría suele seguir este recorrido:

• Data engineer junior
• Data engineer de nivel intermedio
• Data engineer senior
• Puestos directivos senior

Data engineer junior

Al comenzar su carrera, los perfiles junior suelen asumir tareas pequeñas de mantenimiento y soporte de sistemas existentes. Puede ir desde probar sistemas y buscar y corregir errores, hasta añadir funcionalidades a un sistema ya en marcha. En esta primera etapa, lo habitual es que no lleven proyectos propios, sino que den apoyo a colegas de mayor seniority.

Lo más importante de los primeros años como data engineer junior es aprender y adquirir experiencia práctica con las herramientas que necesitarán más adelante. También conocen cómo colaboran los distintos equipos y departamentos para encontrar soluciones a los problemas y preguntas que surgen.

Data engineer de nivel intermedio

Tras unos 1 a 3 años, un data engineer puede ascender a nivel intermedio. En este punto puede exponerse más a la gestión de proyectos y se le puede pedir que colabore más con otros equipos y departamentos.

Normalmente se le asigna el diseño y construcción de sistemas que dan soporte a los data scientists y a otros miembros del equipo analítico. En esta fase todavía puede trabajar bajo cierta supervisión de un data engineer senior. Para desempeñar bien este trabajo, debe desarrollar buenas habilidades de comunicación y trabajar con soltura con otros equipos.

Un data engineer puede permanecer en este nivel entre 3 y 5 años. Durante este tiempo, habrá perfeccionado sus habilidades de programación y conocerá bien todas las herramientas y sistemas que utiliza la organización. Es capaz de identificar y corregir errores o incidencias y colabora eficazmente dentro y entre equipos.

Data engineer senior

Cuando alcanzan el nivel senior, los data engineers asumen más responsabilidades de gestión. Pueden tener que supervisar a uno o varios data engineers, formarlos y asignarles proyectos según vayan surgiendo.

En esta etapa, el data engineer domina los aspectos técnicos de su rol y puede construir sistemas y resolver problemas con relativa facilidad. Sin embargo, ahora está más involucrado en la vertiente de negocio y debe pensar de forma estratégica sobre la dirección de los proyectos de datos y la eficacia y optimización a largo plazo de sus sistemas.

Esto exige un cambio de mentalidad que puede resultar retador. Muchos data engineers quizá no sientan especial afinidad por las responsabilidades estratégicas y de negocio, por lo que pueden decidir no seguir avanzando dentro de la compañía.

Puestos directivos senior

Una vez que un data engineer acumula en torno a seis años o más de experiencia, puede pasar a puestos más directivos si así lo desea, como:

• Data engineering manager
• Director of data engineering
• Chief data officer

Además de dominar las habilidades técnicas adquiridas en los niveles anteriores, estos puestos requieren contar con sólidos conocimientos de infraestructura y arquitectura de datos y la capacidad de gestionar y escalar equipos analíticos. También deben definir procesos para desarrollar sistemas de alto rendimiento, dimensionar nuevos proyectos y definir y gestionar los SLA de los sistemas nuevos y existentes.

¿Qué hace un data engineer? Un proyecto típico de ingeniería de datos

Veamos algunos roles y responsabilidades del data engineer. Imagina que trabajas para una gran empresa que ofrece un servicio de entrega de comida a través de una app móvil. La app actúa como intermediaria entre el restaurante y la persona conductora. Los clientes hacen sus pedidos en la app y el restaurante recibe el aviso. Cuando la comida está lista, se asigna un conductor y el pedido se entrega al cliente.

Como puedes imaginar, una app así puede generar muchísimos datos a diario. Desde datos de restaurantes, conductores y clientes, hasta registros de cada interacción en la app. También hay que considerar los datos recogidos en llamadas al servicio de atención al cliente por quejas, felicitaciones o disputas. O incluso los registros de errores que se producen en la app.

Supón que un data scientist o data analyst de tu empresa tiene el encargo de identificar tendencias en los pedidos para usarlas después en un modelo de machine learning. Para ello, acuden a ti para extraer y preparar datos de pedidos agregados por día. También necesitan poder separar los datos entre clientes primerizos y clientes recurrentes.

Ganar claridad

Para resolver el problema, el data engineer primero debe aclarar el alcance siguiendo estos pasos:

1. Definir la granularidad: por pedido, por día, semana, mes, año. Según la petición, los datos de pedidos deben agregarse por día, con una separación por tipo de cliente (primerizo o recurrente).
2. Definir si hay que aplicar filtros a los datos, como por país o modelo de teléfono.
3. Definir el periodo temporal de los datos. Por ejemplo, ¿de toda la historia o solo del último año?
4. Identificar las fuentes y/o tablas de datos. Estos datos se almacenan en un data warehouse central, y el data engineer necesitará acceder a la tabla de pedidos y a la de clientes. Si se requieren filtros adicionales, puede que haya que consultar más tablas.

Extracción de datos

Una vez aclarado el problema, el data engineer puede pasar a la extracción y exploración de datos con estos pasos:

1. Determinar qué joins usar entre las tablas de pedidos y clientes y qué relaciones existen entre ellas (por ejemplo, qué claves utilizar para unirlas). Esto requiere un conocimiento sólido de SQL y modelado de datos.
2. Crear una característica categórica para el tipo de cliente según el número de pedidos que haya realizado cada uno. Esta variable debe incluir las categorías "cliente primerizo" y "cliente recurrente".
3. Evaluar la calidad de los datos. Identificar si hay datos ausentes o anómalos que deban corregirse.

Una vez preparado el dataset que necesita el data scientist o data analyst, habrá que crear un endpoint de API que se pueda consultar para extraer los datos. Este proyecto puede durar desde unos días hasta varios meses, según el volumen y la complejidad de los datos.

A lo largo del proceso, el data engineer puede tener que trabajar con distintos sistemas, dependiendo de dónde estén los datos y de si requieren procesamiento adicional. 

Algunos de los sistemas que podrían intervenir en este caso son SQL Server, Hadoop o Redshift para el almacenamiento; SQL para consultar los datos; y Python para escribir los scripts de procesamiento.

Conclusiones

Como ves, un proyecto típico de ingeniería de datos reúne varias habilidades clave para la profesión, como construir data pipelines. Para acelerar tu aprendizaje y prepararte para un rol en ingeniería de datos, prueba el itinerario de aprendizaje Python for Data Engineering en DataCamp. Para ganar experiencia práctica con data warehouses en la nube, prueba nuestro proyecto Exploring London’s Travel Network. Es una gran oportunidad para trabajar con Amazon Redshift, Google BigQuery y Snowflake directamente en tu navegador. Por último, para acreditar tus competencias como data engineer, realiza nuestra certificación de data engineer.

Esperamos que este artículo te haya dado una visión clara del rol de los data engineers y de lo que hacen en el día a día. Si estás pensando en empezar una carrera en ingeniería de datos, ahora también conocerás mejor la trayectoria profesional que puedes esperar.