Po ukończeniu tych kursów czuję się pewnie w tworzeniu profesjonalnych wizualizacji i pulpitów nawigacyjnych
Shoebur RahmanSpecjalista ds. zakupów, Giz Bangladesh
Opis kursu
Chcesz przetwarzać dane na dużą skalę w rzeczywistych projektach? Ten kurs uczy, jak przekształcać duże zbiory danych za pomocą Spark SQL i PySpark w Databricks. Nauczysz się kształtować i czyścić dane, wykonywać agregacje z optymalnymi złączeniami oraz stosować funkcje okna do zaawansowanej analizy. Skonfigurujesz też strumieniowanie plikowe z odpornymi na błędy punktami kontrolnymi i zapiszesz wyniki jako tabele Delta. Na koniec będziesz orkiestrować wieloetapowe potoki produkcyjne przy użyciu Databricks Workflows i Lakeflow Declarative Pipelines.
Wymagania wstępne
Program nauczania
Plan kursu
1
Wczytywanie i kształtowanie danych
W tym rozdziale nauczysz się pracować z notebookami Databricks, wczytywać dane CSV do Spark DataFrames oraz kształtować dane przy użyciu PySpark i SQL.
- Praca z notebookami Databricks50 XP
- Notebooki w Databricks50 XP
- Wczytywanie pierwszego zbioru danych100 XP
- Przeglądanie logów sterownika100 XP
- Kształtowanie danych za pomocą PySpark i SQL50 XP
- Kształtowanie danych za pomocą PySpark100 XP
- Analiza danych za pomocą SQL100 XP
- Widoki tymczasowe — jak działają?50 XP
2
Czyszczenie i optymalizacja danych
Dowiedz się, jak definiować jawne schematy, budować potok czyszczenia danych i optymalizować wydajność zapytań za pomocą broadcast joinów.
3
Analityka i potoki produkcyjne
Dowiedz się, jak obliczać sumy bieżące i rankingi za pomocą funkcji okna, budować potoki strumieniowe i wdrażać przepływy pracy w środowisku produkcyjnym.
Data Transformation with Spark SQL in Databricks
Kurs
ukończony
