După ce am parcurs aceste cursuri, mă simt încrezător să creez vizualizări și tablouri de bord profesionale
Shoebur RahmanSpecialist în achiziții, Giz Bangladesh
Descrierea cursului
Ești pregătit să lucrezi cu date reale la scară largă? Acest curs te învață să transformi seturi mari de date folosind Spark SQL și PySpark în Databricks. Vei învăța să modelezi și să cureți date, să rulezi agregări cu join-uri optimizate și să aplici funcții de fereastră pentru analize avansate. Vei configura și streaming bazat pe fișiere cu checkpoint-uri tolerante la erori și vei persista rezultatele ca tabele Delta. La final, vei orchestra pipeline-uri de producție cu mai mulți pași folosind Databricks Workflows și Lakeflow Declarative Pipelines.
Cerințe prealabile
Programă
Planul cursului
1
Încărcarea și modelarea datelor
În acest capitol, vei învăța să lucrezi cu notebook-uri Databricks, să încarci date CSV în Spark DataFrames și să modelezi date folosind PySpark și SQL.
- Lucrul cu notebook-urile Databricks50 XP
- Înțelegerea notebook-urilor Databricks50 XP
- Încărcarea primului set de date100 XP
- Explorarea jurnalelor driver-ului100 XP
- Modelarea datelor cu PySpark și SQL50 XP
- Folosirea PySpark pentru a modela date100 XP
- Analiza datelor cu SQL100 XP
- Înțelegerea vizualizărilor temporare50 XP
2
Curățarea și optimizarea datelor
Vei învăța să definești scheme explicite, să construiești un pipeline de curățare a datelor și să optimizezi performanța interogărilor cu broadcast joins.
3
Analiză și pipeline-uri de producție
Vei învăța să calculezi totaluri cumulative și clasamente cu funcții de fereastră, să construiești pipeline-uri de streaming și să implementezi fluxuri de lucru în producție.
Transformarea datelor cu Spark SQL în Databricks
Curs
finalizat
