Efter att ha gått de här kurserna känner jag mig trygg med att skapa professionella visualiseringar och dashboards
Shoebur RahmanInköpsspecialist, Giz Bangladesh
Kursbeskrivning
Redo att hantera verkliga data i stor skala? Den här kursen lär dig att transformera stora datamängder med Spark SQL och PySpark i Databricks. Du lär dig att forma och rensa data, köra aggregeringar med optimerade joins och använda fönsterfunktioner för avancerad analys. Du ställer även in filbaserad strömning med feltoleranta kontrollpunkter och sparar resultaten som Delta-tabeller. I slutet av kursen orkestrerar du flerstegspipelines för produktion med Databricks Workflows och Lakeflow Declarative Pipelines.
Förkunskapskrav
Kursplan
Kursöversikt
1
Läsa in och forma data
I det här kapitlet lär du dig att arbeta med Databricks-notebooks, läsa in CSV-data i Spark DataFrames och forma data med PySpark och SQL.
2
Datarensning och optimering
Lär dig att definiera explicita scheman, bygga en pipeline för datarensning och optimera frågeprestanda med broadcast joins.
3
Analys och produktionspipelines
Lär dig att beräkna löpande summor och rankningar med fönsterfunktioner, bygga strömningspipelines och driftsätta produktionsarbetsflöden.
Datatransformation med Spark SQL i Databricks
Kurs
slutförd
