Kurs
Wprowadzenie do Spark SQL w Pythonie
ZaawansowanyPoziom umiejętności
Zaktualizowano 03.2026
SparkData Manipulation4 godz.15 filmów52 Ćwiczenia4,200 XP20,361Zaświadczenie o ukończeniu
Utwórz bezpłatne konto
Kontynuuj z GooglePokaż więcej opcjilub
Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności oraz to, że Twoje dane są przechowywane w USA.
Uwielbiany przez kursantów z tysięcy firm
Szkolisz zespół?
Wypróbuj dla firmOpis kursu
Poznaj Spark SQL
Jeśli znasz SQL i słyszałeś(-aś) świetne opinie o Apache Spark, ten kurs jest dla Ciebie. Apache Spark to framework obliczeniowy do przetwarzania big data, a Spark SQL to komponent Apache Spark. Ten czterogodzinny kurs pokaże Ci, jak wynieść Spark na nowy poziom użyteczności, korzystając z zaawansowanych funkcji SQL, takich jak funkcje okna.W ciągu czterech rozdziałów będziesz używać Spark SQL do analizy danych szeregów czasowych, wyodrębniać najczęściej występujące słowa z dokumentu tekstowego, tworzyć zestawy cech z tekstu w języku naturalnym i wykorzystywać je do przewidywania ostatniego słowa w zdaniu za pomocą regresji logistycznej.
Poznaj zastosowania Spark SQL
Zaczniesz od tworzenia i wykonywania zapytań do tabeli SQL w Spark, a także nauczysz się korzystać z funkcji okienkowych SQL, aby wykonywać sumy narastające, różnice narastające i inne operacje.Następnie poznasz, jak korzystać z funkcji okna w Spark SQL do przetwarzania języka naturalnego, w tym jak używać analizy ruchomego okna do znajdowania najczęściej występujących sekwencji słów.
W rozdziale 3 dowiesz się, jak korzystać z interfejsu SQL Spark UI, aby prawidłowo buforować DataFrame’y i tabele SQL przed poznaniem najlepszych praktyk dotyczących logowania w Spark.
Na koniec wykorzystasz wszystkie dotychczas zdobyte umiejętności, aby wczytać i tokenizować surowy tekst przed wyodrębnieniem sekwencji słów. Następnie użyjesz regresji logistycznej do klasyfikacji tekstu, wykorzystując surowe dane języka naturalnego do trenowania klasyfikatora tekstu.
Zdobądź solidne wprowadzenie do Spark SQL
Pod koniec kursu zdobędziesz solidne zrozumienie Spark SQL i dowiesz się, jak Spark łączy moc przetwarzania rozproszonego z łatwością użycia Pythona i SQL.Wymagania wstępne
Python ToolboxPostgreSQL Summary Stats and Window FunctionsIntroduction to PySpark1
PySpark SQL
In this chapter you will learn how to create and query a SQL table in Spark. Spark SQL brings the expressiveness of SQL to Spark. You will also learn how to use SQL window functions in Spark. Window functions perform a calculation across rows that are related to the current row. They greatly simplify achieving results that are difficult to express using only joins and traditional aggregations. We'll use window functions to perform running sums, running differences, and other operations that are challenging to perform in basic SQL.
2
Using Window Function SQL for Natural Language Processing
In this chapter, you will be loading natural language text. Then you will apply a moving window analysis to find frequent word sequences.
3
Caching, Logging, and the Spark UI
In the previous chapters you learned how to use the expressiveness of window function SQL. However, this expressiveness now makes it important that you understand how to properly cache dataframes and cache SQL tables. It is also important to know how to evaluate your application. You learn how to do do this using the Spark UI. You'll also learn a best practice for logging in Spark. Spark SQL brings with it another useful tool for tuning query performance issues, the query execution plan. You will learn how to use the execution plan for evaluating the provenance of a dataframe.
4
Text Classification
Previous chapters provided you with the tools for loading raw text, tokenizing it, and extracting word sequences. This is already very useful for analysis, but it is also useful for machine learning. What you've learned now comes together by using logistic regression to classify text. By the conclusion of this chapter, you will have loaded raw natural language text data and used it to train a text classifier.
Wprowadzenie do Spark SQL w Pythonie
Kurs ukończony
Zdobądź zaświadczenie o ukończeniu
Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysuUdostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz
Dołącz do ponad 19 milionów kursantów i zacznij Wprowadzenie do Spark SQL w Pythonie już dziś!
Utwórz bezpłatne konto
Kontynuuj z GooglePokaż więcej opcjilub
Kontynuując, akceptujesz nasze Warunki korzystania, naszą Politykę prywatności oraz to, że Twoje dane są przechowywane w USA.
Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych
Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.