Databricks-tutorial: 7 onmisbare concepten voor iedere dataspecialist

Eerst waren er datawarehouses. Ze sloegen gegevens op in rijen en kolommen, omdat het internet en de computers van toen niet meer aankonden dan eenvoudige tekstinformatie. Veel later kwamen datalakes — die vrijwel elk type data konden opslaan dat je maar kon verzamelen. Perfect voor het tijdperk van social media en YouTube.

Maar beide hadden nadelen — datawarehouses waren duur en ongeschikt voor moderne data science, terwijl datalakes rommelig waren en vaak in dataswamps veranderden. Bedrijven gingen daardoor twee aparte techstacks gebruiken — warehouses voor BI en analytics en lakes voor machine learning.

Het beheren van twee verschillende data-architecturen was echter zo’n gedoe dat de resultaten vaak tegenvielen. Dit probleem gaf aanleiding tot de lakehouse-architectuur, precies waar Databricks om bekendstaat.

Databricks is een cloudplatform waarmee je de waarde van zowel warehouses als lakes kunt benutten in één uniforme omgeving. Dit artikel geeft een overzicht van het platform, met de belangrijkste functies en hoe je ze gebruikt.

Wat we behandelen in deze Databricks-tutorial

Databricks is zo’n omvangrijk platform dat de documentatie alleen al een boek zou kunnen vullen. Het doel van dit artikel is daarom om je een conceptenhiërarchie te geven — lineair geordende uitleggen van Databricks-functies die je meenemen van beginner tot een vaardige Databricks-gebruiker. Ben je helemaal nieuw, bekijk dan ook onze Introduction to Databricks-cursus.

Laten we beginnen!

1. Wat is Databricks?

Als je het woord Databricks leest, denk er dan meteen aan als een platform, niet als een framework of Python-bibliotheek. Platforms bieden doorgaans een breed scala aan functies, en Databricks vormt daarop geen uitzondering. Het is een van de weinige platforms die door elke dataprofessional gebruikt kan worden, van data engineers tot moderne machine learning engineers (of wat de pers tegenwoordig AI-programmeurs noemt).

Databricks heeft de volgende kernonderdelen:

1. Workspace: Databricks biedt een centrale omgeving waar teams zonder gedoe kunnen samenwerken. Je benadert de omgeving via een gebruiksvriendelijke webinterface.
2. Notebooks: Databricks heeft een eigen versie van Jupyter-notebooks, speciaal ontworpen voor samenwerking en flexibiliteit.
3. Apache Spark: Databricks is dol op Apache Spark. Dit is de engine die alle parallelle verwerking van enorme datasets aandrijft, ideaal voor big data-analytics.
4. Delta Lake: Een verbetering van datalakes dankzij ACID-transacties. Delta Lake zorgt voor betrouwbaarheid en consistentie van data en pakt traditionele uitdagingen van datalakes aan.
5. Schaalbaarheid: Het platform schaalt horizontaal in plaats van verticaal, ideaal voor organisaties met steeds groeiende databehoeften.

Voordelen van Databricks

In combinatie ontsluiten deze componenten een breed scala aan voordelen:

• Overstijgende samenwerking: engineers, analisten, wetenschappers en ML-engineers werken naadloos samen op hetzelfde platform.
• Consistentie: met notebooks kun je wisselen tussen taken en programmeertalen zonder steeds van context te hoeven veranderen.
• Efficiënte workflows: Gebruikers kunnen taken als data opschonen, transformeren en machine learning in samenhang uitvoeren.
• Geïntegreerd databeheer: gebruikers kunnen data uit meerdere bronnen inladen, tabellen maken en SQL draaien.
• Realtime samenwerking: gedeelde notebooks en functies voor gezamenlijk bewerken maken realtime samenwerking mogelijk. Meerdere teamleden kunnen tegelijk aan hetzelfde notebook werken.

Als ik je heb overtuigd van het belang van Databricks in de datawereld, laten we je dan op weg helpen met het platform.

2. Account instellen

Ga om je account in te stellen naar https://www.databricks.com/try-databricks en meld je aan voor de Community Edition.

Community Edition heeft minder functies dan de Enterprise-versie, maar je hoeft geen cloudprovider te configureren, wat ideaal is voor kleinschalige use-cases zoals tutorials.

Als je na e-mailverificatie deze pagina ziet, ben je klaar om te beginnen:

3. Databricks Workspace

De interface die je ziet is de Workspace voor jouw e-mailadres (de Community Edition-workspace is makkelijk te vinden). In de praktijk maakt meestal een accountbeheerder van je bedrijf één Databricks-account aan en beheert die de toegang tot de workspace.

Laten we nu de UI van het platform bekijken. In het linkerpaneel staat het menu voor de verschillende componenten die Databricks biedt. De enterprise-versie heeft zelfs nog meer knoppen:

De eerste optie in het menu is het type workspace, dat standaard is ingesteld op data science and engineering. Als je het wijzigt naar machine learning, verschijnt er een nieuwe optie Experiments:

Op het eerste gezicht lijkt het misschien niet veel te doen, maar zodra je je account upgrade en gaat experimenteren, vallen de sterke punten van het platform op:

• Centrale hub voor resources: notebooks, clusters, tabellen, libraries en dashboards
• Notebooks in meerdere talen
• Clustermanagement: rekenresources beheren voor de workspace om code uit te voeren
• Tabelbeheer
• Dashboards maken: DB-gebruikers kunnen visualisaties verzamelen in dashboards, direct in de workspace
• Realtime samenwerken aan notebooks
• Versiebeheer voor notebooks
• Taakschema’s (een krachtige functie): gebruikers kunnen notebooks en scripts op vaste intervallen uitvoeren

enzovoort.

Laten we nu een paar van deze componenten van dichterbij bekijken.

4. Databricks-clusters

Clusters in Databricks zijn de rekenresources die worden gebruikt om dataverwerkingstaken uit te voeren. Meestal worden clusters geleverd door je gekozen cloudprovider tijdens het instellen van je account.

De clusters van de Community Edition zijn beperkt in RAM en CPU-kracht, en GPU’s ontbreken. Premium-gebruikers kunnen met clusters echter vaak het volgende eenvoudig doen:

• Dataverwerking: Clusters worden gebruikt om grote hoeveelheden data te verwerken en te transformeren, met de parallelle verwerkingskracht van Spark.
• Machine learning: Je kunt Python (of een andere taal) en bijbehorende libraries gebruiken voor modeltraining en -inference.
• ETL-workflows: Clusters ondersteunen ook Extract, Transform, Load-workflows door data efficiënt van bron naar bestemming te verwerken en te transformeren.

Om een cluster te maken, gebruik je de knop “Create” of de optie “Compute” in het menu:

Kies bij het maken van het cluster een passende Spark-versie voor jouw omgeving en wacht een paar minuten tot het operationeel is.

5. Databricks-notebooks

Zodra je een draaiend cluster hebt, kun je notebooks maken. Als je met Jupyter, Colab of DataCamp Workspaces hebt gewerkt, komt dit je bekend voor:

Maar in een wereld waar echte Jupyter bestaat, waarom zou je dan gaan voor iets “vergelijkbaars met Jupyter”? Nou, Databricks-notebooks hebben de volgende voordelen ten opzichte van Jupyter-notebooks:

• Samenwerking: Ingebouwde samenwerkingsfuncties maken het mogelijk dat meerdere gebruikers tegelijk aan hetzelfde notebook werken. Wijzigingen worden realtime gevolgd.
• Uitvoeringsomgeving: De meeste Jupyter-omgevingen, lokaal of in de cloud, draaien op één machine met vooraf bepaalde hardware. Gebruikers moeten externe libraries en afhankelijkheden zelf installeren. Daartegenover staan Databricks-notebooks, die draaien op clusters die resources en schaal automatisch afstemmen op de workload. Ze worden bovendien geleverd met vooraf ingerichte omgevingen.
• Integratie met bigdatatech: Jupyter kan met Apache Spark werken, maar gebruikers moeten Spark-sessies en afhankelijkheden handmatig beheren. Omdat Databricks is opgericht door de makers van Spark, wordt het framework hier native ondersteund. Spark-sessies en clusters worden automatisch beheerd door het Databricks-platform.

Er zijn nog veel meer voordelen van Databricks-notebooks ten opzichte van Jupyter. Hier is een tabel met de verschillen:

Uiteindelijk komen de bovenstaande voordelen van Databricks-notebooks vooral tot hun recht in specifieke use-cases. Wil je op je laptop met een CSV-dataset en Pandas spelen, dan is Jupyter veel geschikter.

Maar voor toepassingen op ondernemingsniveau kan Databricks als platform een betere keuze zijn.

6. Data inladen in Databricks

Data-ingestie verwijst naar het importeren van data uit verschillende bronnen. Databricks ondersteunt ingestie uit onder meer:

• AWS S3
• Azure Blob Storage
• Google Cloud Storage
• Relationele databases (MySQL, PostgreSQL, enz.)
• Datalakes (Delta Lake, Parquet, Avro, enz.)
• Streamingplatformen (Apache Kafka)
• Google BigQuery
• Die lokale CSV die je hebt liggen

enzovoort.

Laten we nu bekijken hoe je bepaalde soorten data in Databricks kunt laden. We beginnen met lokale bestanden:

Als je de stappen in de GIF volgt, heb je een bestand opgeslagen in de workspace. Zo laad je het met Spark:

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the CSV path to the data
path = "dbfs:/FileStore/tables/diamonds.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Let op het voorvoegsel dbfs:. Alle workspacebestanden moeten dit bevatten om het bestand correct met Spark te laden. DBFS staat voor Databricks File System.

Data importeren uit een S3-bucket gaat vergelijkbaar (voor enterprise-accounts):

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the S3 path to the data
s3_path = "s3://your-bucket/your-data.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(s3_path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Voor andere soorten data kun je de secties Data engineering en Connect to data sources van de Databricks-documentatie raadplegen.

7. SQL draaien in Databricks

Toen we het bestand diamonds.csv uploaden, werd het een Databricks-tabel in een database genaamd default:

Deze default-database wordt aangemaakt zodra we gestructureerde bestanden proberen te laden zonder eerst de database te creëren.

Als we een database hebben, betekent dat dat we die met SQL kunnen bevragen, niet alleen met Spark. Maak hiervoor een nieuw notebook aan of wijzig de taal van het huidige notebook naar SQL. Probeer dan de volgende code:

SELECT * FROM default.diamonds_1_csv
LIMIT 5;

Dit zou de bovenste vijf rijen van de diamondstabel moeten retourneren:

Let op: ik gebruik een SQL-notebook voor bovenstaande snippet

Je kunt deze tabel ook inladen in Pandas. Plak binnen hetzelfde notebook deze snippet:

%python
# Import the necessary libraries
import pandas as pd

# Assuming 'default' is the database name and 'diamonds' is the table name
# Use the spark.sql function to query the table and retrieve the data
table_df = spark.sql("SELECT * FROM default.diamonds_1_csv")

# Convert the Spark DataFrame to a Pandas DataFrame
pandas_df = table_df.toPandas()

# Display the Pandas DataFrame
pandas_df.head()

Dit zou de head van de tabel moeten tonen:

Nu kun je allerlei typische data-analysetaken op de tabel uitvoeren, zowel met SQL als met Pandas.

Conclusie en volgende stappen

We hebben veel geleerd en gedaan met alleen ons kale Databricks Community Edition-account. Wil je verder leren over het platform, maak dan eerst gebruik van de gratis proefperiode van twee weken die Databricks voor premium-accounts biedt.

Daarna kun je optimaal profiteren van de lessen uit de cursus Introduction to Databricks van DataCamp. Naast het instellen van je account leer en oefen je de volgende kernfuncties van DataCamp:

• Een Databricks-workspace beheren
• Lezen en schrijven naar externe databases
• Datatransformaties
• Data-orchestratie, oftewel taken plannen
• Uitgebreid overzicht van Databricks SQL
• Lakehouse AI gebruiken voor grootschalige machine learning.