Pour stocker des big data, les deux options les plus répandues sont les data lakes et les data warehouses. Les data warehouses servent à analyser des données historiques et structurées, tandis que les data lakes permettent de stocker des données massives, quelle que soit leur structure.
Dans cet article, nous allons clarifier leurs différences. Le tableau ci-dessous les compare selon cinq catégories.
| Data lake | Data warehouse | |
|---|---|---|
| Type de données | Données non structurées et structurées issues de diverses sources internes | Données historiques structurées selon un schéma de base de données relationnelle |
| Finalité | Stockage économique de données massives | Analytique au service des décisions métiers |
| Utilisateurs | Data scientists et data engineers | Data analysts et business analysts |
| Usages | Stockage et analytique big data, comme le deep learning et l'analyse en temps réel | Requêtes en lecture pour agréger et synthétiser les données |
| Volume | Conserve toutes les données potentiellement utiles — peut atteindre des pétaoctets ! | Ne conserve que les données pertinentes pour l'analyse |
Type de données
Nettoyer les données est une compétence clé car, par nature, les données arrivent souvent brutes et imparfaites. Les données brutes qui n'ont pas été nettoyées sont dites non structurées — elles constituent la majorité des données dans le monde, comme les photos, les historiques de conversation ou les fichiers PDF. Les données non structurées qui ont été nettoyées pour respecter un schéma, organisées en tables et définies par des types et des relations, sont appelées données structurées. C'est la différence fondamentale entre les lakes et les warehouses.
Les data lakes stockent des données issues d'une grande variété de sources : objets connectés (IoT), flux de réseaux sociaux en temps réel, données utilisateurs, transactions d'applications web, etc. Parfois ces données sont structurées, mais souvent elles sont assez « désordonnées » car elles sont ingérées directement depuis la source. Les data warehouses, à l'inverse, contiennent des données historiques nettoyées pour s'intégrer à un schéma relationnel.
Finalité
Les data lakes sont utilisés pour un stockage économique de volumes importants de données provenant de multiples sources. Autoriser tout type de structure réduit les coûts grâce à une plus grande flexibilité et scalabilité, puisque les données n'ont pas à respecter un schéma précis. Cependant, les données structurées sont plus faciles à analyser car elles sont nettoyées et partagent un schéma uniforme interrogeable. En restreignant les données à un schéma, les data warehouses sont très efficaces pour analyser des historiques en vue de décisions ciblées.
Vous remarquerez que data lakes et data warehouses se complètent dans une chaîne de traitement des données. Les données de l'entreprise sont d'abord ingérées et stockées dans un data lake. Lorsqu'une question métier précise se pose, une partie jugée pertinente est extraite du lake, nettoyée, puis versée dans un data warehouse.
Utilisateurs
Data lakes et data warehouses répondent à des besoins utilisateurs différents. Les data analysts et business analysts travaillent souvent dans des data warehouses contenant des données explicitement pertinentes et déjà préparées pour leurs analyses. L'usage d'un data warehouse requiert un niveau moindre en programmation et en data science.
Les data lakes sont déployés et maintenus par des data engineers qui les intègrent aux pipelines de données. Les data scientists travaillent plus étroitement avec les data lakes, qui offrent une couverture plus large et plus actuelle des données.
Usages
Les data engineers utilisent les data lakes pour stocker les données entrantes. Mais leur rôle ne se limite pas au stockage. Rappelez-vous : les données non structurées sont plus flexibles et plus scalables, ce qui est souvent préférable pour l'analytique big data. On peut exécuter des traitements big data sur des data lakes avec des services comme Apache Spark et Hadoop. C'est particulièrement vrai pour le deep learning, qui exige une forte scalabilité à mesure que les jeux de données d'entraînement grossissent.
Les data warehouses sont généralement configurés en lecture seule pour les analystes, qui consultent et agrègent les données pour en tirer des insights. Puisque les données sont déjà propres et archivées, il est rarement nécessaire d'insérer ou de mettre à jour des enregistrements.
Volume
Sans surprise, les data lakes sont bien plus volumineux, car ils conservent toutes les données potentiellement utiles à l'entreprise. Ils atteignent souvent des pétaoctets — soit 1 000 téraoctets ! Les data warehouses, eux, sélectionnent bien davantage ce qui est stocké.
Conclusion
Pour trancher entre data lake et data warehouse, passez en revue ces catégories et identifiez celle qui correspond le mieux à votre cas d'usage. Pour aller plus loin sur leurs différences ou apprendre à concevoir des data warehouses, découvrez notre cours Database Design !
N'oubliez pas que, dans certains cas, la combinaison des deux solutions est la plus pertinente, notamment lors de la construction de pipelines de données. Voyez cela à l'œuvre dans nos cours Introduction to Data Engineering et Building Data Engineering Pipelines in Python.