After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Przenieś swoje umiejętności w Polars na poziom produkcyjny. Naucz się czytać plany zapytań i w pełni wykorzystywać możliwości optymalizatora, efektywnie pracować z plikami Parquet, CSV i źródłami baz danych oraz korzystać z zaawansowanych typów danych, takich jak List, Struct, Categorical i Enum. Nauczysz się też przesyłać strumieniowo duże zapytania na dysk, przetwarzać dane w partiach i budować testowalne potoki z wbudowanymi asercjami. Po ukończeniu kursu będziesz gotowy do tworzenia wydajnych przepływów danych, które radzą sobie ze zbiorami danych dowolnej wielkości.
Wymagania wstępne
Program kursu
Plan kursu
1
Dogłębna optymalizacja zapytań
Dowiedz się, jak utrzymywać zapytania w trybie leniwym dla maksymalnej optymalizacji, czytać i interpretować plany zapytań oraz odblokować szybkie ścieżki dzięki profilowaniu i posortowanym danym.
- Efektywne wykonywanie zapytań50 XP
- Podgląd danych w trybie leniwym100 XP
- Podsumowanie cyfrowych wypożyczeń100 XP
- Zbieranie dwóch raportów naraz100 XP
- Optymalizacja i plany zapytań50 XP
- Odczytywanie naiwnego planu100 XP
- Odczytywanie zoptymalizowanego planu100 XP
- Co tak naprawdę robi optymalizacja zapytań50 XP
- Pełne wykorzystanie optymalizacji50 XP
- Leniwy pivot do formatu szerokiego100 XP
- Profilowanie leniwego zapytania100 XP
- Szybkie filtrowanie posortowanych danych100 XP
2
Efektywny odczyt i zapis danych
Naucz się czytać i zapisywać pliki Parquet, parsować nieregularne pliki CSV, skanować zestawy wielu plików i zestawy z partycjonowaniem hive oraz odpytywać bazy danych z poziomu Polars.
3
Zaawansowane typy danych do optymalnej analizy
W tym rozdziale omawiamy pracę z kolumnami List i Struct, kodowanie powtarzających się ciągów znaków jako typów Categorical i Enum oraz redukcję zużycia pamięci przez rzutowanie typów liczbowych na mniejsze.
4
Praca z Polars na dużą skalę
Dowiedz się, jak korzystać z silnika strumieniowego i GPU, zapisywać wyniki dużych zapytań bezpośrednio na dysk z partycjonowaniem oraz testować potoki za pomocą wbudowanych asercji Polars.
Skalowanie i optymalizacja potoków danych w Polars
Kurs
ukończony
