Dopo aver seguito questi corsi, mi sento sicuro nel creare visualizzazioni e dashboard professionali
Shoebur RahmanSpecialista degli acquisti, Giz Bangladesh
Descrizione del corso
Pronto a gestire dati reali su larga scala? In questo corso imparerai a trasformare grandi insiemi di dati usando Spark SQL e PySpark in Databricks. Impara a modellare e pulire i dati, eseguire aggregazioni con join ottimizzati e applicare window function per analisi avanzate. Imposterai anche lo streaming basato su file con checkpoint tolleranti ai guasti e persisterai i risultati come tabelle Delta. Al termine, orchestrerai pipeline di produzione multi-step con Databricks Workflows e Lakeflow Declarative Pipelines.
Prerequisiti
Programma
Struttura del corso
1
Caricamento e modellazione dei dati
In questo capitolo imparerai a lavorare con i notebook di Databricks, caricare dati CSV in Spark DataFrame e modellare i dati usando PySpark e SQL.
2
Pulizia dei dati e ottimizzazione
Scopri come definire schemi espliciti, creare una pipeline di pulizia dei dati e ottimizzare le prestazioni delle query con i broadcast join.
3
Analisi e pipeline di produzione
Scopri come calcolare totali progressivi e classifiche con le window function, creare pipeline di streaming e distribuire workflow di produzione.
Trasformazione dei dati con Spark SQL in Databricks
Corso
completato
