Kurs
Wprowadzenie do Spark SQL w Pythonie
ZaawansowanyPoziom umiejętności
Zaktualizowano 03.2026
SparkData Manipulation4 godz.15 filmów52 Ćwiczenia4,200 XP20,524Zaświadczenie o ukończeniu
Utwórz bezpłatne konto
Kontynuuj z GooglePokaż więcej opcjilub
Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności i fakt, że twoje dane są przechowywane w USA.
Uwielbiany przez kursantów z tysięcy firm
Szkolisz zespół?
Wypróbuj dla firmOpis kursu
Poznaj Spark SQL
Jeśli znasz SQL i słyszałeś(-aś) świetne opinie o Apache Spark, ten kurs jest dla Ciebie. Apache Spark to framework obliczeniowy do przetwarzania big data, a Spark SQL to komponent Apache Spark. Ten czterogodzinny kurs pokaże Ci, jak wynieść Spark na nowy poziom użyteczności, korzystając z zaawansowanych funkcji SQL, takich jak funkcje okna.W ciągu czterech rozdziałów będziesz używać Spark SQL do analizy danych szeregów czasowych, wyodrębniać najczęściej występujące słowa z dokumentu tekstowego, tworzyć zestawy cech z tekstu w języku naturalnym i wykorzystywać je do przewidywania ostatniego słowa w zdaniu za pomocą regresji logistycznej.
Poznaj zastosowania Spark SQL
Zaczniesz od tworzenia i wykonywania zapytań do tabeli SQL w Spark, a także nauczysz się korzystać z funkcji okienkowych SQL, aby wykonywać sumy narastające, różnice narastające i inne operacje.Następnie poznasz, jak korzystać z funkcji okna w Spark SQL do przetwarzania języka naturalnego, w tym jak używać analizy ruchomego okna do znajdowania najczęściej występujących sekwencji słów.
W rozdziale 3 dowiesz się, jak korzystać z interfejsu SQL Spark UI, aby prawidłowo buforować DataFrame’y i tabele SQL przed poznaniem najlepszych praktyk dotyczących logowania w Spark.
Na koniec wykorzystasz wszystkie dotychczas zdobyte umiejętności, aby wczytać i tokenizować surowy tekst przed wyodrębnieniem sekwencji słów. Następnie użyjesz regresji logistycznej do klasyfikacji tekstu, wykorzystując surowe dane języka naturalnego do trenowania klasyfikatora tekstu.
Zdobądź solidne wprowadzenie do Spark SQL
Pod koniec kursu zdobędziesz solidne zrozumienie Spark SQL i dowiesz się, jak Spark łączy moc przetwarzania rozproszonego z łatwością użycia Pythona i SQL.Wymagania wstępne
Python ToolboxPostgreSQL Summary Stats and Window FunctionsIntroduction to PySpark1
PySpark SQL
W tym rozdziale nauczysz się tworzyć i odpytywać tabele SQL w Sparku. Spark SQL wprowadza do Sparka pełną ekspresywność języka SQL. Poznasz też funkcje okna SQL w Sparku. Funkcje okna wykonują obliczenia na wierszach powiązanych z bieżącym wierszem, dzięki czemu znacznie upraszczają uzyskiwanie wyników, które trudno wyrazić za pomocą samych złączeń i tradycyjnych agregacji. Użyjemy funkcji okna do obliczania sum bieżących, różnic bieżących i innych operacji, które w podstawowym SQL są trudne do wykonania.
2
Funkcje okna SQL w przetwarzaniu języka naturalnego
W tym rozdziale wczytasz tekst w języku naturalnym, a następnie zastosujesz analizę ruchomego okna, aby znaleźć częste sekwencje słów.
3
Buforowanie, logowanie i Spark UI
W poprzednich rozdziałach poznałeś ekspresywność funkcji okna SQL. Teraz ważne jest, abyś zrozumiał, jak poprawnie buforować ramki danych i tabele SQL. Równie istotna jest umiejętność oceny działania aplikacji – do tego celu służy Spark UI. Poznasz też sprawdzone praktyki logowania w Sparku. Spark SQL oferuje jeszcze jedno przydatne narzędzie do optymalizacji zapytań: plan wykonania zapytania. Nauczysz się go używać do analizy pochodzenia ramki danych.
4
Klasyfikacja tekstu
Poprzednie rozdziały wyposażyły cię w narzędzia do wczytywania surowego tekstu, jego tokenizacji i wyodrębniania sekwencji słów. To samo w sobie jest bardzo przydatne do analizy, ale sprawdza się też w uczeniu maszynowym. Teraz połączysz zdobytą wiedzę, stosując regresję logistyczną do klasyfikacji tekstu. Po ukończeniu tego rozdziału wczytasz surowe dane tekstowe w języku naturalnym i użyjesz ich do wytrenowania klasyfikatora tekstu.
Wprowadzenie do Spark SQL w Pythonie
Kurs ukończony
Zdobądź zaświadczenie o ukończeniu
Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysuUdostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz
Dołącz do ponad 19 milionów kursantów i zacznij Wprowadzenie do Spark SQL w Pythonie już dziś!
Utwórz bezpłatne konto
Kontynuuj z GooglePokaż więcej opcjilub
Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności i fakt, że twoje dane są przechowywane w USA.
Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych
Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.