Científico de datos vs. Ingeniero de datos

En el panorama en constante evolución de las actividades basadas en datos, las funciones científico de datos e ingeniero de datos han surgido como profesiones distintas pero interconectadas. Aunque ambos roles desempeñan un papel crucial en la gestión y extracción de valor de los datos, sus responsabilidades, conjuntos de habilidades y objetivos a menudo difieren.

Hace unos años, el objetivo principal era obtener información a partir de los datos. Sin embargo, a medida que ha evolucionado el sector, la importancia de una sólida gestión de datos y el moto "Garbage In, Garbage Out" o GIGO (se refiere a la idea de que, en cualquier sistema, la calidad de la salida está determinada por la calidad de la entrada) han adquirido una mayor importancia.

Este cambio de perspectiva ha puesto en primer plano el papel de los ingenieros de datos, destacando la relación simbiótica entre ellos y los científicos de datos.

Este artículo profundiza en los matices de estas funciones, explorando sus responsabilidades, formación académica, herramientas que utilizan y mucho más. Para una representación visual, no dejes de consultar nuestra infografía sobre "Ingeniería de datos vs. Ciencia de datos".

Responsabilidades

Responsabilidades de los ingenieros de datos

El ingeniero de datos es alguien que desarrolla, construye, prueba y mantiene arquitecturas, como bases de datos y sistemas de procesamiento a gran escala. El científico de datos, por otra parte, es alguien que limpia, masajea y organiza (grandes) datos.

Puede que la elección del verbo "masajear" te parezca especialmente exótica, pero sólo refleja aún más la diferencia entre ingenieros de datos y científicos de datos.

En general, los esfuerzos que ambas partes tendrán que hacer para obtener los datos en un formato utilizable son considerablemente diferentes.

Los ingenieros de datos tratan con datos brutos que contienen errores humanos, de máquinas o de instrumentos. Los datos pueden no estar validados y contener registros sospechosos; no estarán formateados y pueden contener códigos específicos del sistema.

Los ingenieros de datos tendrán que recomendar y a veces aplicar formas de mejorar la fiabilidad, eficacia y calidad de los datos. Para ello, tendrán que emplear diversos lenguajes y herramientas para casar los sistemas entre sí o intentar cazar oportunidades de adquirir nuevos datos de otros sistemas para que los códigos específicos del sistema, por ejemplo, puedan convertirse en información en el procesamiento posterior por parte de los científicos de datos.

Muy estrechamente relacionado con estos dos aspectos está el hecho de que los ingenieros de datos tendrán que asegurarse de que la arquitectura establecida respalda los requisitos de los científicos de datos y de las partes interesadas, es decir, la empresa.

Por último, para entregar los datos al equipo de ciencia de datos, el equipo de ingeniería de datos tendrá que desarrollar procesos de conjunto de datos para el modelado, la minería y la producción de datos.

Descubre más sobre lo que hace un ingeniero de datos en nuestro artículo completo. 

Responsabilidades de los científicos de datos

Por lo general, los científicos de datos ya obtienen datos que han superado una primera ronda de limpieza y manipulación, que pueden utilizar para alimentar programas de análisis sofisticados y métodos estadísticos y de machine learning para preparar los datos para su uso en modelos predictivos y prescriptivos. Por supuesto, para construir modelos, necesitan investigar cuestiones del sector y empresariales, y tendrán que aprovechar grandes volúmenes de datos de fuentes internas y externas para responder a las necesidades empresariales. Esto también implica a veces explorar y examinar los datos para encontrar patrones ocultos.

Una vez que los científicos de datos hayan realizado los análisis, tendrán que presentar una historia clara a las principales partes interesadas y, cuando se acepten los resultados, tendrán que asegurarse de que el trabajo se automatiza para que las perspectivas puedan entregarse a las partes interesadas de la empresa de forma diaria, mensual o anualmente.

Está claro que ambas partes tienen que trabajar juntas para manejar los datos y aportar información a las decisiones críticas para la empresa. Existe un claro solapamiento en los conjuntos de habilidades, pero ambos se están diferenciando gradualmente en el sector: mientras que el ingeniero de datos trabajará con sistemas de bases de datos, API de datos y herramientas para fines de ETL, y participará en el modelado de datos y la creación de soluciones de almacén de datos, el científico de datos necesita conocer las estadísticas, las matemáticas y el machine learning para crear modelos predictivos.

El científico de datos tiene que conocer la informática distribuida, ya que necesitará acceder a los datos que ha procesado el equipo de ingeniería de datos, pero también tendrá que ser capaz de informar a las partes interesadas de la empresa: es esencial centrarse en el storytelling y la visualización.

Lo que esto significa en términos de enfoque en los pasos del flujo de trabajo de ciencia de datos, puedes verlo en la imagen de abajo:

Lenguajes, herramientas y software

Por supuesto, esta diferencia de competencias se traduce en diferencias en los idiomas, las herramientas y el software que ambos utilizan. El siguiente resumen incluye alternativas comerciales y de código abierto.

Aunque las herramientas que ambas partes utilizan dependen en gran medida de cómo se conciba el papel en el contexto de la empresa, a menudo verás a ingenieros de datos trabajando con herramientas como SAP, Oracle, Cassandra, MySQL, Redis, Riak, PostgreSQL, MongoDB, neo4j, Hive y Sqoop.

Los científicos de datos utilizarán lenguajes como SPSS, R, Python, SAS, Stata y Julia para construir modelos. Las herramientas más populares aquí son, sin duda, Python y R. Cuando trabajes con Python y R para la ciencia de datos, lo más habitual es que recurras a paquetes como ggplot2 para hacer asombrosas visualizaciones de datos en R o a la biblioteca de manipulación de datos de Python Pandas. Por supuesto, existen muchos más paquetes que te resultarán útiles cuando trabajes en proyectos de ciencia de datos, como Scikit-Learn, NumPy, Matplotlib, Statsmodels, etc.

En la industria, también encontrarás que SAS y SPSS comerciales funcionan bien, pero también otras herramientas como Tableau, Rapidminer, Matlab, Excel, Gephi se abrirán camino en la caja de herramientas del científico de datos.

Vuelves a ver que una de las principales distinciones entre los ingenieros de datos y los científicos de datos, el énfasis en la visualización de datos y el storytelling, se refleja en las herramientas que se mencionan.

Las herramientas, lenguajes y software que ambas partes tienen en común, como ya habrás adivinado, son Scala, Java y C#.

Se trata de lenguajes que no son necesariamente populares tanto para los científicos de datos como para los ingenieros: se podría argumentar que Scala es más popular entre los ingenieros de datos porque la integración con Spark es especialmente práctica para configurar grandes flujos ETL.

Lo mismo ocurre un poco con el lenguaje Java: por el momento, su popularidad va en aumento entre los científicos de datos pero, en general, no es muy utilizado a diario por los profesionales. Al fin y al cabo, verás que estos lenguajes aparecen en las ofertas de empleo de ambas funciones. Lo mismo puede decirse de las herramientas que ambas partes podrían tener en común, como Hadoop, Storm y Spark.

Por supuesto, la comparación en herramientas, lenguajes y software debe verse en el contexto específico en el que se trabaja y cómo se interpretan las funciones de la ciencia de datos en cuestión; la ciencia de datos y la ingeniería de datos pueden estar estrechamente unidas en algunos casos concretos, en los que la distinción entre los equipos de ciencia de datos y de ingeniería de datos es, de hecho, tan pequeña que, a veces, los dos equipos se fusionan.

Si esto es una gran idea o no, es material suficiente para otro debate que no entra en el ámbito del blog de hoy.

Formación académica

Además de todo esto, los científicos de datos y los ingenieros de datos también pueden tener algo en común: su formación en Informática. Este ámbito de estudio es muy popular para ambas profesiones. Por supuesto, también verás que los científicos de datos a menudo han estudiado econometría, matemáticas, estadística e investigación operativa. A menudo tienen un poco más de visión empresarial que los ingenieros de datos. Con frecuencia, los ingenieros de datos también proceden de la ingeniería, y lo más habitual es que hayan tenido alguna formación previa en ingeniería informática.

Sin embargo, todo esto no significa en absoluto que no encuentres ingenieros de datos que hayan adquirido conocimientos en operaciones y visión empresarial en estudios anteriores.

En general, el sector de la ciencia de datos está formado por profesionales que proceden de todo tipo de formaciones: no es raro que físicos, biólogos o meteorólogos encuentren su camino hacia la ciencia de datos. Otros han hecho un cambio de carrera hacia la ciencia de datos y proceden del desarrollo web, la administración de bases de datos, etc.

Salarios y contratación

En cuanto a los salarios, en EE. UU. el salario medio anual de los científicos de datos es de 103 000 dólares, casi el doble del salario medio nacional. En los distintos países la tendencia es similar, con un salario medio de científico de datos al menos un 30 % superior a la media nacional (¡y en la India esta cifra es significativamente superior!).

Para los ingenieros de datos, el salario medio anual en EE. UU. es de 114 000 $ y, del mismo modo, en otros países el salario medio de un ingeniero de datos es muy similar al de un científico de datos.

Ambas funciones están muy solicitadas. En el momento de escribir esto, Indeed tiene publicadas 12 000 ofertas para puestos de "data scientist" y 6 000 de "data engineer" en EE. UU. Empresas líderes como Spotify, Meta, Amazon, Google y Microsoft contratan casi siempre para ambos puestos.

Perspectivas laborales

Como se ha descrito antes, la creación de funciones y títulos es necesaria para reflejar las necesidades cambiantes, pero otras veces se crean como forma de diferenciarse de otras empresas de contratación.

Además del aumento del interés por los problemas de gestión de datos, las empresas buscan soluciones más baratas, flexibles y escalables para almacenar y gestionar sus datos. Quieren trasladar sus datos a la Nube y, para ello, necesitan construir "lagos de datos" como complemento de los almacenes de datos que ya tienen instalados o como sustituto del Almacén de Datos Operativos (ODS).

Los flujos de datos tendrán que reorientarse y sustituirse en los próximos años y, como consecuencia, el interés y el número de ofertas de empleo para contratar ingenieros de datos ha aumentado gradualmente a lo largo de los años.

El papel de científico de datos ha tenido demanda desde el principio del revuelo pero, hoy en día, las empresas buscan componer equipos de ciencia de datos en lugar de contratar científicos de datos unicornio que posean habilidades de comunicación, creatividad, ingenio, curiosidad, conocimientos técnicos, etc. Para los reclutadores, es difícil encontrar personas que encarnen todas las cualidades que buscan las empresas, y la demanda supera claramente a la oferta.

Se podría argumentar que la "burbuja de los científicos de datos" ha estallado. O tal vez siga reventando en el futuro.

Una cosa se mantendrá a pesar de todo esto: la demanda de expertos apasionados por los temas de la ciencia de datos siempre estará ahí. Las perspectivas laborales para estos expertos son muy positivas. Por ejemplo, la Oficina de estadísticas laborales de EE. UU. prevé que habrá 17 700 vacantes de científicos de datos al año durante la próxima década, y lo mismo ocurre con las vacantes de ingenieros de datos.

Introducción a la ingeniería y la ciencia de datos

Si quieres trazar tu camino para iniciar una carrera en cualquiera de estas funciones, nuestras guías son un buen punto de partida:

• Cómo convertirse en científico de datos
• Cómo convertirse en ingeniero de datos

Si quieres adentrarte directamente en tu viaje de aprendizaje, DataCamp te lo pone fácil. Tenemos muchos cursos que son ideales si quieres empezar a aprender ingeniería de datos. Por ejemplo, los cursos Importación de datos en Python e Importación de datos en R de DataCamp. Nuestra Certificación de ingeniero de datos es otra gran opción para demostrar a los responsables de contratación que tienes las aptitudes necesarias para un puesto de nivel inicial.

Para los que quieran iniciarse en la ciencia de datos, están los cursos Análisis exploratorio de datos, Introducción a R para la ciencia de datos, Herramientas de machine learning e Introducción a Python para la ciencia de datos. Asimismo, nuestra Certificación de científico de datos goza de gran prestigio y te ayudará a entrar en empresas líderes.

¡Empieza a aprender interactivamente hoy mismo!