Tutorial Databricks: 7 concetti fondamentali che ogni specialista dei dati deve conoscere

All'inizio c'erano i data warehouse. Archiviavano i dati in righe e colonne perché tutto ciò che Internet e i computer dell'epoca erano in grado di distribuire erano informazioni testuali semplici. Molto più tardi sono arrivati i data lake — potevano archiviare quasi qualsiasi tipo di dato tu riuscissi a raccogliere. Erano perfetti per l'era dei social media e di YouTube.

Ma entrambi avevano degli svantaggi — i data warehouse erano costosi e inadatti alla data science moderna, mentre i data lake erano disordinati e spesso si trasformavano in paludi di dati. Così, le aziende hanno iniziato ad avere due stack tecnologici separati — warehouse per BI e analytics e lake per il machine learning.

Tuttavia, gestire due architetture dati diverse era così oneroso che spesso le aziende ottenevano risultati scarsi. Questo problema ha dato origine all'architettura lakehouse, che è esattamente ciò per cui Databricks è famoso.

Databricks è una piattaforma cloud che consente agli utenti di ottenere valore sia dai warehouse che dai lake in un ambiente unificato. Questo articolo offrirà una panoramica della piattaforma, mostrando le sue funzioni più importanti e come usarle.

Cosa tratteremo in questo tutorial su Databricks

Databricks è una piattaforma così vasta che la sua stessa documentazione potrebbe diventare un libro. Quindi, l'obiettivo dell'articolo è fornirti una gerarchia di concetti — spiegazioni ordinate linearmente delle funzionalità di Databricks che ti porteranno da principiante a un discreto utilizzatore della piattaforma. Se sei completamente alle prime armi, potresti anche dare un'occhiata al nostro corso Introduzione a Databricks.

Iniziamo!

1. Che cos'è Databricks?

Quando leggi la parola Databricks, dovresti pensarla subito come una piattaforma, non come un framework o una libreria Python. In genere, le piattaforme offrono un'ampia gamma di funzionalità, e Databricks non fa eccezione. È una delle pochissime piattaforme che possono essere utilizzate da qualsiasi professionista dei dati, dagli ingegneri dei dati ai moderni ingegneri di machine learning (o come li chiama oggi la stampa, programmatori di IA).

Databricks ha i seguenti componenti principali:

1. Workspace: Databricks fornisce un ambiente centralizzato in cui i team possono collaborare senza intoppi. L'ambiente è accessibile tramite un'interfaccia web intuitiva.
2. Notebook: Databricks ha una versione dei notebook Jupyter progettata specificamente per la collaborazione e la flessibilità.
3. Apache Spark: Databricks ama Apache Spark. È il motore che alimenta l'elaborazione parallela di dataset enormi, rendendolo adatto all'analisi dei big data.
4. Delta Lake: Un miglioramento dei data lake grazie al supporto per transazioni ACID. Delta Lake garantisce affidabilità e coerenza dei dati, affrontando le sfide tradizionali associate ai data lake.
5. Scalabilità: La piattaforma scala orizzontalmente piuttosto che verticalmente, soluzione ideale per le organizzazioni che affrontano richieste di dati in costante crescita.

Vantaggi di Databricks

Questi componenti, combinati, sbloccano un'ampia gamma di vantaggi:

• Collaborazione tra team: ingegneri, analisti, data scientist e ML engineer possono lavorare senza soluzione di continuità sulla stessa piattaforma.
• Coerenza: con i notebook, gli utenti possono passare da un'attività all'altra e tra linguaggi di programmazione senza dover cambiare contesto.
• Flussi di lavoro efficienti: gli utenti possono svolgere attività come pulizia, trasformazione e machine learning in modo coerente
• Gestione dati integrata: gli utenti possono acquisire dati nella piattaforma da più fonti, creare tabelle ed eseguire SQL
• Collaborazione in tempo reale: notebook condivisi e funzionalità di editing collaborativo consentono di collaborare in tempo reale. Più membri del team possono lavorare sullo stesso notebook contemporaneamente.

Se ti ho convinto dell'importanza di Databricks nel mondo dei dati, vediamo come iniziare a usare la piattaforma.

2. Configurazione dell'account

Per configurare il tuo account, vai su https://www.databricks.com/try-databricks e iscriviti alla Community Edition.

La Community Edition ha meno funzionalità rispetto alla versione Enterprise, ma non richiede la configurazione di un cloud provider, il che è ottimo per casi d'uso ridotti come i tutorial.

Se dopo la verifica dell'email vedi questa pagina, sei a posto:

3. Workspace di Databricks

L'interfaccia che hai visto è il Workspace associato al tuo indirizzo email (il workspace della Community Edition è facilmente reperibile). In pratica, di solito un amministratore del tuo azienda crea un unico account Databricks e gestisce l'accesso al workspace.

Ora, capiamo la UI della piattaforma. Nel pannello di sinistra trovi il menu per i diversi componenti offerti da Databricks. La versione enterprise avrà ancora più pulsanti:

La prima opzione del menu è il tipo di workspace, impostato di default su data science and engineering. Se lo cambi in machine learning, compare una nuova opzione Experiments:

In apparenza potrebbe sembrare che non faccia molto, ma una volta effettuato l'upgrade dell'account e iniziando a smanettare, noterai alcune ottime funzionalità della piattaforma:

• Hub centrale per risorse: notebook, cluster, tabelle, librerie e dashboard
• Notebook in più linguaggi
• Gestione dei cluster: gestione delle risorse computazionali del workspace per eseguire il codice
• Gestione delle tabelle
• Creazione di dashboard: gli utenti DB possono raccogliere visualizzazioni in dashboard direttamente nel workspace
• Editing collaborativo in tempo reale dei notebook
• Controllo di versione per i notebook
• Pianificazione dei job (una funzionalità potente): gli utenti possono eseguire notebook e script a intervalli specificati

e così via.

Ora, vediamo più da vicino alcuni di questi componenti.

4. Cluster in Databricks

I cluster in Databricks si riferiscono alle risorse computazionali utilizzate per eseguire attività di elaborazione dati. Di solito, i cluster sono forniti dal cloud provider scelto durante la configurazione dell'account.

I cluster della Community Edition sono limitati in RAM e potenza CPU, e le GPU non sono incluse. Tuttavia, gli utenti premium possono spesso svolgere le seguenti attività con i cluster in modo semplice:

• Elaborazione dati: i cluster vengono utilizzati per elaborare e trasformare grandi volumi di dati, sfruttando la potenza di elaborazione parallela di Spark.
• Machine learning: puoi usare Python (o qualsiasi altro linguaggio) e le sue librerie per l'addestramento e l'inferenza dei modelli.
• Workflow ETL: i cluster supportano anche i flussi Extract, Transform, Load elaborando e trasformando i dati in modo efficiente dalla sorgente alla destinazione.

Per creare un cluster, puoi usare il pulsante "Create" o l'opzione "Compute" dal menu:

Durante la creazione del cluster, scegli una versione di Spark appropriata per il tuo ambiente e attendi alcuni minuti perché diventi operativo.

5. Notebook di Databricks

Una volta che hai un cluster in esecuzione, sei pronto per creare notebook. Se hai già lavorato con Jupyter, Colab o DataCamp Workspaces, ti sembrerà familiare:

Ma in un mondo in cui esiste il vero Jupyter, perché scegliere qualcosa di "simile a Jupyter"? Ebbene, i notebook di Databricks hanno i seguenti vantaggi rispetto ai notebook Jupyter:

• Collaborazione: funzionalità collaborative integrate consentono a più utenti di lavorare sullo stesso notebook contemporaneamente. Le modifiche vengono tracciate in tempo reale.
• Ambiente di esecuzione: molti provider di ambienti Jupyter o istanze locali si basano su singole macchine con hardware predefinito. Gli utenti devono installare da soli librerie e dipendenze esterne. Al contrario, i notebook Databricks sono alimentati da cluster, che gestiscono automaticamente risorse e scalabilità in base al carico. Inoltre, offrono ambienti preconfigurati.
• Integrazione con le tecnologie Big Data: Jupyter può lavorare con Apache Spark, ma gli utenti devono gestire manualmente sessioni Spark e dipendenze. Poiché Databricks è stata fondata dai creatori di Spark, supporta il framework in modo nativo. Sessioni Spark e cluster sono gestiti automaticamente dalla piattaforma Databricks.

Ci sono molti altri vantaggi dei notebook Databricks rispetto a Jupyter, quindi ecco una tabella che riassume le differenze:

In definitiva, i vantaggi sopra elencati dei notebook Databricks entrano in gioco in casi d'uso specifici. Se vuoi sperimentare con un dataset CSV con Pandas sul tuo laptop, Jupyter è molto meglio.

Ma, per applicazioni di livello enterprise, Databricks come piattaforma può essere l'opzione migliore.

6. Ingestione dei dati in Databricks

Ingestione dei dati significa importare dati da varie sorgenti. Databricks supporta l'ingestione da un'ampia varietà di fonti, tra cui:

• AWS S3
• Azure Blob Storage
• Google Cloud Storage
• Database relazionali (MySQL, PostgreSQL, ecc.)
• Data lake (Delta Lake, Parquet, Avro, ecc.)
• Piattaforme di streaming (Apache Kafka)
• Google BigQuery
• Quel file CSV locale che hai

e così via.

Ora vediamo effettivamente come puoi caricare alcuni tipi di dati in Databricks. Partiremo dai file locali:

Seguendo i passaggi nella GIF, avrai un file archiviato nel workspace. Ecco come puoi caricarlo con Spark:

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the CSV path to the data
path = "dbfs:/FileStore/tables/diamonds.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Fai attenzione al prefisso dbfs:. Tutti i file del workspace devono includerlo affinché il file venga caricato correttamente con Spark. DBFS sta per Databricks File System.

Importare dati da un bucket S3 è simile (per account enterprise):

# Importing necessary libraries
from pyspark.sql import SparkSession

# Creating a Spark session
spark = SparkSession.builder.appName("S3ImportExample").getOrCreate()

# Defining the S3 path to the data
s3_path = "s3://your-bucket/your-data.csv"

# Reading data from S3 into a DataFrame
data_from_s3 = spark.read.csv(s3_path, header=True, inferSchema=True)

# Displaying the imported data
data_from_s3.show()

Per altri tipi di dati, puoi consultare le sezioni Data engineering e Connessione alle sorgenti dati della documentazione di Databricks.

7. Esecuzione di SQL in Databricks

Quando abbiamo caricato il file diamonds.csv, è diventato una tabella Databricks in un database chiamato default:

Questo database default viene creato ogni volta che proviamo a caricare file strutturati senza creare prima il database.

Se abbiamo un database, significa che possiamo interrogarlo con SQL, non solo con Spark. Per farlo, crea un nuovo notebook o cambia la lingua del notebook corrente in SQL. Poi, prova il seguente snippet di codice:

SELECT * FROM default.diamonds_1_csv
LIMIT 5;

Dovrebbe restituire le prime cinque righe della tabella diamonds:

Nota: sto usando un notebook SQL per lo snippet sopra

Puoi caricare questa tabella anche in Pandas. All'interno dello stesso notebook, incolla questo snippet:

%python
# Import the necessary libraries
import pandas as pd

# Assuming 'default' is the database name and 'diamonds' is the table name
# Use the spark.sql function to query the table and retrieve the data
table_df = spark.sql("SELECT * FROM default.diamonds_1_csv")

# Convert the Spark DataFrame to a Pandas DataFrame
pandas_df = table_df.toPandas()

# Display the Pandas DataFrame
pandas_df.head()

Dovrebbe stampare la head della tabella:

Ora puoi svolgere qualsiasi tipica attività di analisi dati sulla tabella sia con SQL che con Pandas.

Conclusione e passi successivi

Siamo riusciti a imparare e fare molto usando il nostro account Databricks Community Edition essenziale. Per continuare a imparare la piattaforma, il primo passo è usare la prova gratuita di due settimane che Databricks offre per gli account premium.

Poi potrai goderti appieno le lezioni del corso Introduzione a Databricks offerto da DataCamp. Oltre alla configurazione dell'account, imparerai e praticherai le seguenti funzionalità principali di DataCamp:

• Amministrazione di un workspace Databricks
• Lettura e scrittura su database esterni
• Trasformazioni dei dati
• Orchestrazione dei dati, alias pianificazione dei job
• Panoramica completa di Databricks SQL
• Uso di Lakehouse AI per il machine learning su larga scala.