After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Opis kursu
Poznaj Spark SQL
Jeśli znasz SQL i słyszałeś(-aś) świetne opinie o Apache Spark, ten kurs jest dla Ciebie. Apache Spark to framework obliczeniowy do przetwarzania big data, a Spark SQL to komponent Apache Spark. Ten czterogodzinny kurs pokaże Ci, jak wynieść Spark na nowy poziom użyteczności, korzystając z zaawansowanych funkcji SQL, takich jak funkcje okna.W ciągu czterech rozdziałów będziesz używać Spark SQL do analizy danych szeregów czasowych, wyodrębniać najczęściej występujące słowa z dokumentu tekstowego, tworzyć zestawy cech z tekstu w języku naturalnym i wykorzystywać je do przewidywania ostatniego słowa w zdaniu za pomocą regresji logistycznej.
Poznaj zastosowania Spark SQL
Zaczniesz od tworzenia i wykonywania zapytań do tabeli SQL w Spark, a także nauczysz się korzystać z funkcji okienkowych SQL, aby wykonywać sumy narastające, różnice narastające i inne operacje.Następnie poznasz, jak korzystać z funkcji okna w Spark SQL do przetwarzania języka naturalnego, w tym jak używać analizy ruchomego okna do znajdowania najczęściej występujących sekwencji słów.
W rozdziale 3 dowiesz się, jak korzystać z interfejsu SQL Spark UI, aby prawidłowo buforować DataFrame’y i tabele SQL przed poznaniem najlepszych praktyk dotyczących logowania w Spark.
Na koniec wykorzystasz wszystkie dotychczas zdobyte umiejętności, aby wczytać i tokenizować surowy tekst przed wyodrębnieniem sekwencji słów. Następnie użyjesz regresji logistycznej do klasyfikacji tekstu, wykorzystując surowe dane języka naturalnego do trenowania klasyfikatora tekstu.
Zdobądź solidne wprowadzenie do Spark SQL
Pod koniec kursu zdobędziesz solidne zrozumienie Spark SQL i dowiesz się, jak Spark łączy moc przetwarzania rozproszonego z łatwością użycia Pythona i SQL.Wymagania wstępne
Program kursu
Plan kursu
1
PySpark SQL
W tym rozdziale nauczysz się tworzyć i odpytywać tabele SQL w Sparku. Spark SQL wprowadza do Sparka pełną ekspresywność języka SQL. Poznasz też funkcje okna SQL w Sparku. Funkcje okna wykonują obliczenia na wierszach powiązanych z bieżącym wierszem, dzięki czemu znacznie upraszczają uzyskiwanie wyników, które trudno wyrazić za pomocą samych złączeń i tradycyjnych agregacji. Użyjemy funkcji okna do obliczania sum bieżących, różnic bieżących i innych operacji, które w podstawowym SQL są trudne do wykonania.
- Tworzenie tabeli SQL w Spark i wykonywanie na niej zapytań50 XP
- Tworzenie tabeli SQL z ramki danych100 XP
- Określanie nazw kolumn tabeli100 XP
- Funkcje okna w SQL50 XP
- Sumy bieżące z użyciem funkcji okna w SQL100 XP
- Napraw błędne zapytanie100 XP
- Notacja kropkowa i SQL50 XP
- Agregacja krok po kroku100 XP
- Dwukrotna agregacja tej samej kolumny100 XP
- Agregacja: notacja z kropką a SQL100 XP
- Przekształć funkcję okna z notacji z kropką na SQL100 XP
2
Funkcje okna SQL w przetwarzaniu języka naturalnego
W tym rozdziale wczytasz tekst w języku naturalnym, a następnie zastosujesz analizę ruchomego okna, aby znaleźć częste sekwencje słów.
3
Buforowanie, logowanie i Spark UI
W poprzednich rozdziałach poznałeś ekspresywność funkcji okna SQL. Teraz ważne jest, abyś zrozumiał, jak poprawnie buforować ramki danych i tabele SQL. Równie istotna jest umiejętność oceny działania aplikacji – do tego celu służy Spark UI. Poznasz też sprawdzone praktyki logowania w Sparku. Spark SQL oferuje jeszcze jedno przydatne narzędzie do optymalizacji zapytań: plan wykonania zapytania. Nauczysz się go używać do analizy pochodzenia ramki danych.
4
Klasyfikacja tekstu
Poprzednie rozdziały wyposażyły cię w narzędzia do wczytywania surowego tekstu, jego tokenizacji i wyodrębniania sekwencji słów. To samo w sobie jest bardzo przydatne do analizy, ale sprawdza się też w uczeniu maszynowym. Teraz połączysz zdobytą wiedzę, stosując regresję logistyczną do klasyfikacji tekstu. Po ukończeniu tego rozdziału wczytasz surowe dane tekstowe w języku naturalnym i użyjesz ich do wytrenowania klasyfikatora tekstu.
Wprowadzenie do Spark SQL w Pythonie
Kurs
ukończony
