Tutoriel Databricks : 7 concepts essentiels pour tout spécialiste des données

Au départ, il y avait les entrepôts de données. Ils stockaient les données en lignes et colonnes, car l’Internet et les ordinateurs de l’époque ne géraient que des informations textuelles simples. Bien plus tard sont arrivés les lacs de données — ils pouvaient stocker presque tout type de données collectées. Parfaits pour l’ère des réseaux sociaux et de YouTube.

Mais chacun avait ses limites — les entrepôts de données étaient coûteux et peu adaptés à la science des données moderne, tandis que les data lakes étaient désordonnés et se transformaient souvent en marécages de données. Les entreprises ont alors mis en place deux piles technologiques distinctes — des entrepôts pour la BI et l’analytique, et des lacs pour le machine learning.

Cependant, gérer deux architectures données différentes s’est révélé si complexe que les résultats étaient souvent décevants. Ce problème a donné naissance à l’architecture lakehouse, qui fait justement la renommée de Databricks.

Databricks est une plateforme cloud qui permet de tirer parti à la fois des entrepôts et des lacs de données dans un environnement unifié. Cet article présente la plateforme, ses fonctionnalités majeures et comment les utiliser.

Ce que nous allons couvrir dans ce tutoriel Databricks

Databricks est une plateforme si vaste que sa documentation pourrait tenir en un livre. L’objectif de cet article est donc de vous proposer une hiérarchie de concepts — une progression linéaire des fonctionnalités Databricks qui vous fera passer de débutant à praticien confirmé. Si vous découvrez totalement l’outil, jetez aussi un œil à notre cours Introduction to Databricks.

C’est parti !

1. Qu’est-ce que Databricks ?

Quand vous lisez Databricks, pensez immédiatement « plateforme », et non framework ou bibliothèque Python. Les plateformes proposent généralement un large éventail de fonctionnalités, et Databricks ne fait pas exception. C’est l’une des rares plateformes utilisables par tous les métiers de la donnée, des data engineers aux machine learning engineers (ou « programmeurs IA », comme on les appelle aujourd’hui dans la presse).

Databricks repose sur les composants clés suivants :

1. Espace de travail : Databricks fournit un environnement centralisé où les équipes peuvent collaborer sans friction. L’accès se fait via une interface web conviviale.
2. Notebooks : Databricks propose une déclinaison des notebooks Jupyter, pensée pour la collaboration et la flexibilité.
3. Apache Spark : Databricks adore Apache Spark. C’est le moteur qui alimente le traitement parallèle de jeux de données gigantesques, idéal pour l’analytique big data.
4. Delta Lake : Une évolution des data lakes grâce aux transactions ACID. Delta Lake garantit fiabilité et cohérence des données, en répondant aux défis historiques des lacs de données.
5. Scalabilité : La plateforme s’étend horizontalement plutôt que verticalement, ce qui convient parfaitement aux organisations confrontées à une explosion de la demande en données.

Les bénéfices de Databricks

Ensemble, ces composants débloquent de nombreux avantages :

• Collaboration inter-équipes : ingénieurs, analystes, data scientists et ML engineers travaillent de façon fluide sur la même plateforme.
• Cohérence : grâce aux notebooks, vous passez d’une tâche ou d’un langage à l’autre sans rupture de contexte.
• Flux de travail efficaces : nettoyage, transformation et machine learning s’enchaînent de manière fluide.
• Gestion de données intégrée : ingestion depuis de multiples sources, création de tables et exécution SQL au même endroit.
• Collaboration en temps réel : notebooks partagés et édition collaborative permettant à plusieurs membres d’une équipe de travailler simultanément.

Si je vous ai convaincu de l’importance de Databricks dans l’écosystème data, passons à la prise en main.

2. Configuration du compte

Pour créer votre compte, rendez-vous sur https://www.databricks.com/try-databricks et inscrivez-vous à la Community Edition.

La Community Edition propose moins de fonctionnalités que la version Enterprise, mais elle ne nécessite pas de configuration d’un fournisseur cloud, ce qui est idéal pour de petits usages comme les tutoriels.

Si, après vérification de votre e‑mail, vous obtenez cette page, vous êtes prêt :

3. Espace de travail Databricks

L’interface que vous découvrez est l’espace de travail associé à votre adresse e‑mail (l’espace de travail Community Edition est facile à trouver). En pratique, l’administrateur de votre entreprise crée généralement un compte Databricks unique et gère les accès à l’espace de travail.

Voyons maintenant l’interface de la plateforme. Dans le panneau de gauche, vous trouverez le menu des différents composants proposés par Databricks. La version Enterprise affiche encore plus d’options :

La première option du menu définit le type d’espace de travail, réglé par défaut sur data science and engineering. Si vous le basculez en machine learning, une nouvelle option Experiments apparaît :

À première vue, cela peut sembler anecdotique, mais une fois votre compte mis à niveau et après quelques essais, vous remarquerez des fonctionnalités très utiles de la plateforme :

• Hub central pour les ressources : notebooks, clusters, tables, bibliothèques et tableaux de bord
• Notebooks multi‑langages
• Gestion des clusters : pilotage des ressources de calcul de l’espace de travail pour exécuter le code
• Gestion des tables
• Création de tableaux de bord : possibilité d’assembler des visuels directement dans l’espace de travail
• Édition collaborative en temps réel des notebooks
• Gestion de version pour les notebooks
• Planification de jobs (fonctionnalité puissante) : exécution de notebooks et scripts à intervalles définis

etc.

Passons maintenant à certains de ces composants plus en détail.

4. Clusters Databricks

Dans Databricks, les clusters désignent les ressources de calcul utilisées pour exécuter les traitements de données. En général, ils sont fournis par votre prestataire cloud choisi lors de la configuration du compte.

Les clusters de la Community Edition sont limités en RAM et CPU, et ne proposent pas de GPU. En revanche, les utilisateurs premium peuvent généralement effectuer facilement les tâches suivantes :

• Traitement des données : les clusters servent à traiter et transformer de gros volumes de données en s’appuyant sur le parallélisme de Spark.
• Machine learning : vous pouvez utiliser Python (ou un autre langage) et ses bibliothèques pour l’entraînement et l’inférence des modèles.
• Flux ETL : les clusters gèrent également les workflows Extract, Transform, Load en traitant efficacement les données de la source à la destination.

Pour créer un cluster, utilisez le bouton « Create » ou le menu « Compute » :

Lors de la création, choisissez une version de Spark adaptée à votre environnement et patientez quelques minutes le temps qu’il devienne opérationnel.

5. Notebooks Databricks

Une fois un cluster démarré, vous pouvez créer des notebooks. Si vous avez déjà utilisé Jupyter, Colab ou les DataCamp Workspaces, vous ne serez pas dépaysé :

Mais dans un monde où Jupyter existe, pourquoi choisir quelque chose de « similaire à Jupyter » ? Les notebooks Databricks offrent plusieurs atouts par rapport aux notebooks Jupyter :

• Collaboration : des fonctionnalités natives permettent à plusieurs utilisateurs de travailler en même temps sur un même notebook, avec suivi des modifications en temps réel.
• Environnement d’exécution : la plupart des environnements Jupyter (locaux ou hébergés) reposent sur une seule machine avec un matériel prédéfini. Les utilisateurs doivent installer eux‑mêmes bibliothèques et dépendances. À l’inverse, les notebooks Databricks s’appuient sur des clusters qui gèrent automatiquement ressources et montée en charge selon le workload. Ils proposent aussi des environnements préconfigurés.
• Intégration au Big Data : Jupyter peut fonctionner avec Apache Spark, mais il faut gérer manuellement sessions et dépendances. Databricks, fondé par les créateurs de Spark, prend en charge le framework nativement. Les sessions Spark et les clusters sont gérés automatiquement.

Il existe bien d’autres avantages des notebooks Databricks par rapport à Jupyter ; voici un tableau récapitulatif des différences :

Au final, ces avantages se révèlent surtout dans certains contextes. Si vous explorez un CSV avec pandas sur votre ordinateur portable, Jupyter fera très bien l’affaire.

En revanche, pour des applications au niveau entreprise, Databricks, en tant que plateforme, peut s’avérer un meilleur choix.

6. Ingestion de données dans Databricks

L’ingestion de données correspond à l’import depuis diverses sources. Databricks prend en charge, entre autres :

• AWS S3
• Azure Blob Storage
• Google Cloud Storage
• Bases de données relationnelles (MySQL, PostgreSQL, etc.)
• Lacs de données (Delta Lake, Parquet, Avro, etc.)
• Plateformes de streaming (Apache Kafka)
• Google BigQuery
• Ce fichier CSV local que vous avez sous la main

etc.

Voyons maintenant comment charger certains types de données dans Databricks. Commençons par des fichiers locaux :

Après ces étapes (voir le GIF), votre fichier est stocké dans l’espace de travail. Voici comment le charger avec Spark :

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the CSV path to the data
path = "dbfs:/FileStore/tables/diamonds.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Notez le préfixe dbfs:. Tous les fichiers de l’espace de travail doivent l’inclure pour être chargés correctement avec Spark. DBFS signifie Databricks File System.

L’import depuis un bucket S3 est similaire (pour les comptes Enterprise) :

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the S3 path to the data
s3_path = "s3://your-bucket/your-data.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(s3_path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Pour les autres types de données, consultez les sections Data engineering et Connect to data sources de la documentation Databricks.

7. Exécuter du SQL dans Databricks

Lorsque nous avons téléversé le fichier diamonds.csv, il est devenu une table Databricks dans une base appelée default :

Cette base default est créée automatiquement quand on charge des fichiers structurés sans créer la base au préalable.

Qui dit base de données dit requêtes SQL, pas seulement via Spark. Pour cela, créez un nouveau notebook ou changez le langage du notebook courant en SQL. Puis essayez l’extrait suivant :

SELECT * FROM default.diamonds_1_csv
LIMIT 5;

Vous devez obtenir les cinq premières lignes de la table diamonds :

Remarque : j’utilise un notebook SQL pour l’extrait ci‑dessus

Vous pouvez aussi charger cette table dans pandas. Dans le même notebook, collez cet extrait :

%python
# Import the necessary libraries
import pandas as pd

# Assuming 'default' is the database name and 'diamonds' is the table name
# Use the spark.sql function to query the table and retrieve the data
table_df = spark.sql("SELECT * FROM default.diamonds_1_csv")

# Convert the Spark DataFrame to a Pandas DataFrame
pandas_df = table_df.toPandas()

# Display the Pandas DataFrame
pandas_df.head()

Vous devriez voir l’aperçu de la table :

Vous pouvez désormais réaliser toute analyse de données classique sur la table, en SQL comme avec pandas.

Conclusion et prochaines étapes

Nous avons couvert beaucoup de terrain avec un compte Databricks Community Edition minimal. Pour continuer, commencez par profiter de l’essai gratuit de deux semaines proposé pour les comptes premium.

Ensuite, vous pourrez tirer pleinement parti du cours Introduction to Databricks proposé par DataCamp. Au‑delà de la configuration du compte, vous apprendrez et mettrez en pratique les fonctionnalités clés suivantes de Databricks :

• Administration des espaces de travail Databricks
• Lecture et écriture vers des bases de données externes
• Transformations de données
• Orchestration des données, alias planification de jobs
• Vue d’ensemble complète de Databricks SQL
• Utilisation de Lakehouse AI pour le machine learning à grande échelle.