Face à la demande croissante, DataCamp se prépare à créer un parcours en ingénierie des données. Comme pour de nombreux termes dans l’univers en constante expansion de la science des données, la définition de « l’ingénierie des données » reste floue. Certains Data Engineers font beaucoup de reporting et de création de tableaux de bord. D’autres passent l’essentiel de leur temps sur des pipelines de données. D’autres encore reprennent du code Python rédigé par des Data Scientists pour l’optimiser en Java ou en C.
Pour lancer la création des cours, nous devons adopter une définition unique du rôle de « Data Engineer ». Après mûre réflexion, nous avons choisi de paraphraser la série télévisée américaine « Law and Order » :
Data Engineers vs Data Analysts vs Data Scientists
Dans le monde de la science des données, les données sont représentées par trois professions distinctes et complémentaires :
- Les Data Engineers, qui utilisent des langages de programmation pour garantir un accès aux données et aux bases de données propre, fiable et performant
- Les Data Analysts, qui utilisent des langages de programmation, des feuilles de calcul et des outils de business intelligence pour décrire et catégoriser les données existantes
- Les Data Scientists, qui utilisent des algorithmes pour prédire des données futures à partir des informations disponibles
Exemples
Prenons l’exemple d’une entreprise qui vend différents types de canapés sur son site web. À chaque clic d’un visiteur sur un modèle de canapé, une nouvelle donnée est créée. Un Data Engineer définit comment collecter cette donnée, quels métadonnées y associer à chaque évènement de clic, et comment la stocker dans un format facilement exploitable. Un Data Analyst crée des visualisations pour aider les équipes commerciales et marketing à suivre qui achète quel canapé et combien de chiffre d’affaires est généré. Un Data Scientist utilise l’historique d’achats pour prédire le canapé idéal pour chaque nouveau visiteur du site.
Qu’est-ce qu’un Data Engineer ?
Dans de nombreuses organisations, les Data Engineers sont les premiers recrutements d’une équipe data. Avant de pouvoir analyser les données collectées et les exploiter avec des méthodes prédictives, il faut les organiser et les nettoyer. Les Data Engineers démarrent ce travail en établissant la liste des données stockées, appelée schéma de données. Ils choisissent ensuite un emplacement fiable et facilement accessible pour les héberger, appelé entrepôt de données (data warehouse). Parmi les systèmes d’entrepôts de données figurent Amazon Redshift ou Google Cloud. Enfin, les Data Engineers conçoivent des processus ETL (Extract, Transform, Load) pour garantir l’alimentation de l’entrepôt de données.
À mesure que l’organisation grandit, les Data Engineers intègrent de nouvelles sources au sein de l’écosystème de données et diffusent les données stockées vers différents outils d’analyse. Quand l’entrepôt devient très volumineux, ils doivent trouver de nouveaux moyens d’améliorer les performances des analyses, par exemple en les parallélisant ou en créant des sous-ensembles plus petits pour des requêtes rapides.
Les interactions entre les trois métiers
Au sein de l’univers de la science des données, ces trois métiers se recoupent souvent. Les Data Engineers prennent fréquemment en charge de petits projets d’analyse ou transforment des algorithmes écrits par des Data Scientists en formats plus robustes, capables de s’exécuter en parallèle. Les Data Analysts et les Data Scientists doivent, eux aussi, maîtriser les bases de l’ingénierie des données, en particulier dans les jeunes startups où les ressources d’ingénierie sont limitées.
Formez-vous à l’ingénierie des données avec DataCamp !
Chez DataCamp, nous sommes ravis d’étoffer notre offre de cours en ingénierie des données. Nous savons ce que nous voulons enseigner et commençons à recruter des formateurs pour concevoir ces cours. Si vous êtes intéressé, consultez notre formulaire de candidature ainsi que la liste des cours que nous priorisons actuellement.