Qu’est-ce que l’ingénierie des données ?

Introduction

Les données sont partout. Avec l’essor des appareils connectés et l’intensification de leurs usages, le monde génère depuis quelques années une quantité colossale de données que les méthodes traditionnelles ne suffisent plus à traiter.

Selon Statista, en 2021 on comptait 23,8 milliards d’appareils connectés à Internet : 58 % d’entre eux relèvent de l’IoT (objets connectés du foyer, véhicules autonomes, équipements industriels, etc.) et 42 % sont des appareils non‑IoT (ordinateurs portables, smartphones, etc.). Autrement dit, aujourd’hui, les données proviennent d’une multitude de sources, parmi lesquelles :

1. Activités des utilisateurs : chaque action génère des données ; même les informations sur l’endroit et la fréquence auxquels nous appuyons dans une application mobile ont de la valeur. Toutes ces données doivent être conservées et acheminées vers les centres de données des applications.
2. Appareils de l’Internet des objets (IoT) : ils produisent un volume massif d’informations, notamment des données de capteurs générées en de nombreux lieux. Toutes ces données doivent être collectées et envoyées vers un réservoir de données pour analyse.
3. Journaux d’exécution (logs) : les applications actuelles reposent sur de multiples composants, qui génèrent tous des journaux. Ces logs sont transmis à une chaîne d’ingénierie des données pour analyse.

Toutes ces données, structurées de manières diverses, doivent ensuite être transmises à d’autres composants du système logiciel, ou être visualisées et interprétées par des analystes métier et des data scientists. Or, cette mise à disposition est loin d’être triviale. Elle suppose de respecter plusieurs exigences essentielles :

1. Des données livrées dans un format standardisé
2. Absence de conflits au sein des données
3. Suppression éventuelle des doublons
4. Données fiables
5. Acheminement avec un délai minimal

La diffusion de ces informations constitue donc un processus complexe qui, s’il est mal exécuté, peut poser de sérieux problèmes, en particulier pour les entreprises de taille moyenne à grande. C’est là que les data engineers entrent en jeu.

Dans cet article, vous allez découvrir les fondamentaux de l’ingénierie des données :

1. Ce qu’est l’ingénierie des données et pourquoi mettre en place une chaîne de traitement robuste
2. La différence entre data science et ingénierie des données
3. Les raisons de la montée en puissance de l’ingénierie des données
4. Les compétences d’un bon data engineer
5. Comment DataCamp peut vous aider à le devenir

Quelles sont les responsabilités d’un data engineer ?

Pour faire simple, les data engineers :

1. Visent à rendre les données aisément accessibles aux data scientists et aux ingénieurs BI (ou à toute personne travaillant avec les données)
2. Optimisent l’architecture big data des entreprises
3. Conçoivent et configurent les bases de données
4. Collaborent avec les équipes d’ingénierie BI, de data scientists et d’analystes de données
5. Explorent et transforment les données. Pour réaliser l’ensemble de ces missions, ils doivent d’abord mettre en place des pipelines ETL.

Pour en savoir plus sur le rôle d’un data engineer, consultez notre article dédié. 

Pipelines ETL

Les pipelines ETL reçoivent à intervalles réguliers des données complexes et les traitent afin de les stocker sous une forme exploitable. Leur mise en place et leur maintenance incombent aux data engineers.

On distingue trois étapes dans un pipeline ETL :

1. Extract : un volume très important de données issues de diverses sources est collecté dans différents formats.
2. Transform : comme les données arrivent dans des formats hétérogènes et depuis des sources disparates, elles sont traitées pour être autant que possible standardisées. Cela facilite leur repérage et leur exploitation pour la suite.
3. Load : une fois les données en format exploitable, elles sont généralement stockées dans des entrepôts de données, où elles restent disponibles en continu pour des analyses ultérieures.

Entrepôts de données

Les entrepôts de données sont les référentiels où l’on stocke des données standardisées. Ils sont optimisés pour le filtrage et la lecture de volumes importants. Les architectures modernes permettent d’y conserver à la fois des données structurées et non structurées, car il est également crucial de stocker des contenus non catégorisables comme des photos et des vidéos.

Ingénierie des données vs data science

Les différences entre les rôles de data engineer et de data scientist sont majeures. D’un côté, les data scientists jouent un rôle clé dans les entreprises en contribuant à des décisions fondées sur les données. Mais leur succès dépend directement de la qualité et de la disponibilité des données.

De l’autre, les data engineers conçoivent les systèmes qui fournissent des données de manière organisée et cohérente aux data scientists. Une fois les données mises à disposition, ces derniers recherchent des motifs et des tendances pour en tirer des conclusions, en s’appuyant sur le format préparé par les data engineers.

Data engineers et data scientists travaillent donc en étroite collaboration. On peut les comparer à une équipe de football : l’entraîneur élabore les stratégies créatrices d’occasions et place les joueurs aux bons postes. Dans cette analogie, l’entraîneur est le data engineer, le ballon représente les données et le buteur est le data scientist. Le reste de l’équipe correspond à l’infrastructure.

Pourquoi l’ingénierie des données gagne-t-elle en popularité ?

D’après des recherches menées sur la plateforme Burning Glass Nova, les offres d’emploi pour des postes de « data engineer » ont augmenté de 88,3 % en 2019. Toujours selon cette source, la demande progresse depuis 2016. Autre point notable : le nombre d’offres pour des data engineers est presque cinq fois supérieur à celui pour des data scientists. La rémunération d’un data engineer est également de 20 à 30 % plus élevée en moyenne.

Comme indiqué plus haut, les data scientists constituent le dernier maillon de la chaîne de traitement. Ils ont besoin que les données soient préalablement préparées par un data engineer pour exercer leur métier. Avec la multiplication des sources et des types de données, le besoin en data engineers augmente. C’est pourquoi les entreprises investissent massivement dans l’extraction et l’acheminement des données.

La figure 4.1 présente, sous forme de pyramide, la hiérarchie des besoins en data science. Les missions des data engineers y figurent à la base, ce qui illustre leur caractère indispensable pour les entreprises.

Figure 4.1 : la hiérarchie des besoins en data science.

Quelles sont les compétences d’un data engineer ?

Les compétences des data engineers se recoupent largement avec celles des software engineers et des data scientists, comme le montre la figure 5.1.

Figure 5.1 : rôles data et ensembles de compétences

Le rôle d’un data engineer est-il plus proche de celui d’un software engineer ou d’un data scientist ?

La figure 5.2 indique les fonctions occupées auparavant par un échantillon de data engineers. On y voit que plus de 40 % d’entre eux ont un passé en software engineering. Cela suggère non seulement une forte proximité entre ingénierie des données et software engineering, mais aussi que les software engineers sont aujourd’hui plus susceptibles d’évoluer vers l’ingénierie des données que vers tout autre domaine.

Figure 5.2 : data engineers par fonction antérieure (top 10).

Chez DataCamp, nous estimons qu’un bon data engineer doit maîtriser les compétences suivantes :

1. Culture software engineering : les data engineers doivent avoir une base solide en software engineering pour aborder les enjeux avec la programmation orientée objet, les structures de données et les algorithmes. La maîtrise de Python, Scala ou Java est indispensable.
2. Outils : ils doivent être à l’aise avec des outils d’ingénierie des données comme Airflow, Apache ou Kafka.
3. Bases de données : un data engineer doit connaître plusieurs types de technologies de bases de données.
4. Cloud : ils doivent maîtriser plusieurs plateformes cloud comme Amazon Web Services, Google Cloud Platform et Microsoft Azure, ainsi que l’architecture cloud et les outils DevOps, puisqu’ils sont responsables de l’automatisation des flux de données.

Comment apprendre l’ingénierie des données

Si vous souhaitez progresser en ingénierie des données, commencez par suivre les cours DataCamp recommandés ci-dessous. En validant ces cours et projets, vous deviendrez un candidat plus crédible pour des stages ou des postes en ingénierie des données.

1. Introduction to Python
2. Intermediate Python
3. Introduction to Relational Databases in SQL
4. Introduction to Scala
5. Introduction to Data Engineering
6. Introduction to Airflow in Python
7. AWS Cloud Concepts
8. Exploring London's Travel Network (Snowflake, Redshift, BigQuery) Projects
9. Building Data Engineering Pipelines in Python
10. NoSQL Concepts
11. ETL in Python
12. Streaming Concepts
13. Streaming Data with AWS Kinesis and Lambda

Par ailleurs, notre Data Engineer Certification est reconnue par l’industrie et vous permet de démontrer vos compétences aux employeurs.

Si cette voie vous intéresse, découvrez comment devenir data engineer dans notre article dédié.