Cómo escribir una descripción del puesto de data engineer

La ciencia de datos está en auge, pero no todos los roles del sector crecen al mismo ritmo. La ingeniería de datos está ganando impulso rápidamente. Según el informe tecnológico de DICE 2020, la de data engineer fue la profesión tecnológica de más rápido crecimiento, por delante de otros puestos tradicionales de datos, como data scientist o roles relacionados con la nube. Este puesto también apareció en el informe de empleos emergentes de LinkedIn EE. UU. 2020 entre los 15 trabajos emergentes más destacados de los últimos cinco años.

Fuente: DICE

Pero este aumento de la demanda se traduce en una fuerte competencia entre empresas para atraer talento. Los data engineers son posiciones relativamente nuevas y aún escasas en el mercado laboral. 

¿Cómo asegurarte de que tu empresa contrata a un buen candidato? Las descripciones de puesto pueden marcar la diferencia. Un puesto bien definido establece expectativas claras para que las empresas las comuniquen a sus candidaturas, aumentando así las posibilidades de encontrar el encaje adecuado. 

Sigue leyendo para conocer las mejores prácticas a la hora de redactar una descripción de puesto de data engineer que de verdad destaque. Tanto si buscas a la persona adecuada como si quieres convertirte en data engineer, este artículo te ayudará a entender qué se requiere en este rol. 

Funciones y responsabilidades de un data engineer

Los data engineers son responsables de sentar las bases para la adquisición, el almacenamiento, la transformación y la gestión de datos en una organización. Se encargan de desarrollar y mantener la arquitectura de bases de datos y los sistemas de procesado de datos. Esta infraestructura es clave para garantizar que el desarrollo de aplicaciones de datos de alto nivel, como la visualización de datos, y el despliegue de modelos de machine learning se lleven a cabo de forma fluida, segura y eficaz. 

Por la complejidad de estas tareas, los data engineers son profesionales de datos muy técnicos, que trabajan en la intersección entre ciencia de datos y desarrollo de software. Hemos creado un artículo completo sobre qué hace un data engineer, pero aquí incluimos un resumen. 

Aunque las responsabilidades y tecnologías que usan varían entre empresas, su trabajo gira fundamentalmente en torno a las siguientes tareas:

• Procesos ETL. ETL engloba un conjunto de procesos y rutinas para extraer, transformar y cargar datos desde múltiples fuentes, y moverlos entre distintos entornos. Los data engineers se aseguran de que el gran volumen de datos recopilados de diferentes orígenes se convierta en materia prima accesible para otros profesionales de datos, como data analysts y data scientists. Los procesos ETL suelen ejecutarse mediante las llamadas data pipelines, que permiten automatizar, programar y escalar las distintas tareas.

• Limpieza de datos. Por lo general, la probabilidad de errores en los datos aumenta con el número de fuentes que una empresa necesita para su actividad. Por eso no sorprende que los data engineers dediquen gran parte de su tiempo a limpiar datos, es decir, a corregir o eliminar datos incorrectos, corruptos, con formatos erróneos, duplicados o incompletos.

• Monitorización de datos. Entre la fase de concepción y la de producción de un modelo de machine learning hay un largo camino lleno de posibles obstáculos. Los data engineers también se encargan de monitorizar y optimizar la arquitectura de datos y los sistemas de procesado.

Si te interesa ser data engineer, una gran forma de empezar es nuestro Data Engineer With Python Track. 

Qué incluir en una descripción de puesto de data engineer

En esta sección, veremos los elementos que deberías incluir en cada una de las partes de una descripción de puesto de data engineer.

Descripción

Esta sección introduce la posición. Deberías incluir una breve descripción de la empresa y el motivo por el que buscáis un nuevo data engineer. Añade también los tipos de tareas y proyectos con los que trabajará la persona seleccionada, así como algunos de los requisitos técnicos del puesto. Por último, indica el nivel de experiencia que necesita tu empresa. Esto ayudará a los candidatos a decidir rápidamente si les compensa invertir más tiempo y energía en preparar su candidatura.  

Responsabilidades del data engineer

Un data engineer es uno de los perfiles más técnicos dentro de la ciencia de datos, ya que combina conocimientos y habilidades de ciencia de datos, desarrollo de software y gestión de bases de datos. 

Aunque las responsabilidades concretas pueden variar según el puesto, hay ciertas tareas que cualquier data engineer debería saber desempeñar. Estas son las más importantes:

• Diseño de arquitectura. Aunque el diseño de la arquitectura de datos de una compañía a veces recae en un data architect, en muchos casos es el data engineer quien se encarga. Esto implica dominar distintos tipos de bases de datos, almacenes de datos y sistemas analíticos.

• Procesos ETL. Recopilar datos de distintas fuentes, procesarlos y almacenarlos en un formato listo para usar en el data warehouse de la empresa es una de las actividades más habituales de los data engineers. 

• Gestión de data pipelines. Las data pipelines son las grandes aliadas de los data engineers. Su objetivo es automatizar tantos procesos de datos como sea posible, y aquí las pipelines son clave. Deben dominar el desarrollo, mantenimiento, pruebas y optimización de estas pipelines.

• Despliegue de modelos de machine learning. Mientras que los data scientists desarrollan los modelos, los data engineers son responsables de ponerlos en producción.

• Gestión en la nube. Los servicios en la nube se están convirtiendo rápidamente en la opción preferida por muchas empresas que quieren sacar el máximo partido a su infraestructura de datos. A medida que más actividades de datos se trasladan a la nube, los data engineers deben saber trabajar con herramientas alojadas en proveedores como AWS, Azure y Google Cloud.

• Monitorización de datos. Garantizar la calidad de los datos es crucial para que todos los procesos funcionen sin problemas. Los data engineers son responsables de monitorizar cada proceso y rutina y de optimizar su rendimiento.

Experiencia

La ingeniería de datos es un rol relativamente nuevo en la ciencia de datos. Por ello, pocas universidades ofrecen titulaciones específicas en esta disciplina. Los data engineers suelen tener formación en ciencia de datos, ingeniería de software, matemáticas o un área relacionada con empresa.

Para ampliar el número de candidaturas, también puedes considerar a personas que, aunque tengan otra formación académica, demuestren sus competencias con varios años de experiencia profesional relevante.

Requisitos mínimos 

Al ser un rol muy técnico, los data engineers deben dominar muchas herramientas. Sin embargo, es difícil elaborar una lista exhaustiva de tecnologías necesarias para cualquier puesto de ingeniería de datos, ya que el ecosistema de ciencia de datos evoluciona rápidamente y constantemente surgen herramientas y sistemas nuevos. 

Como es imposible conocerlos todos, limita la lista al software, tecnologías y herramientas imprescindibles para el puesto o que planeas adoptar en el futuro. Al preparar esta sección, asegúrate de enmarcar los requisitos específicamente para data engineers en lugar de enumerar habilidades genéricas de ciencia de datos. Para ello, consulta con los miembros del equipo con los que trabajará la persona seleccionada.

Además de las habilidades técnicas, incluye también las habilidades blandas necesarias para el rol.

A continuación, tienes una lista no exhaustiva de cualificaciones y habilidades que deberías incluir en tu descripción del puesto:

• Conocimientos avanzados de SQL y gestión de bases de datos relacionales
• Lenguajes de programación orientados a objetos como Python, Java y Scala.
• Experiencia con frameworks de computación distribuida, como Hadoop o Spark
• Herramientas de data pipelines y orquestación de flujos de trabajo (p. ej., Airflow)
• Soluciones en la nube (p. ej., AWS, Azure, Google Cloud)
• Gran capacidad de gestión de proyectos y organización. 
• Excelentes habilidades de resolución de problemas, comunicación y organización. 

• Capacidad demostrada para trabajar de forma autónoma y en equipo.

Consejos extra para redactar una descripción de puesto atractiva para data engineer

Aunque tengas una descripción de puesto y expectativas perfectamente definidas, el volumen de ofertas puede hacer que la tuya pase desapercibida. Para que resulte atractiva y capte clics, ten en cuenta lo siguiente: 

• Incluye la banda salarial. Un estudio de SMART Recruit Online concluyó que las ofertas que incluyen banda salarial reciben más de un 30% más de candidaturas. Indica un rango acorde a los requisitos y la seniority para atraer a tu perfil ideal. 
• Incluye los beneficios. Las personas candidatas son cada vez más exigentes con las condiciones laborales y el equilibrio entre vida y trabajo. Asegúrate de incluirlos para hacer la vacante más atractiva.
• Da visibilidad a la cultura de trabajo. Comparte detalles sobre el equipo, la cultura y los valores. Ayudará a que las personas candidatas se visualicen trabajando contigo y a comprobar si encajan con vuestra cultura.
• Define el proceso de selección con recursos humanos. Las personas candidatas quieren saber en qué consiste el proceso para poder prepararse para entrevistas y reuniones.