After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Kursbeskrivning
Lär dig Spark SQL
Om du är bekant med SQL och har hört mycket gott om Apache Spark, är den här kursen för dig. Apache Spark är ett beräkningsramverk för bearbetning av big data, och Spark SQL är en komponent i Apache Spark. Den här fyratimmarskursen visar hur du kan ta Spark till en ny nivå av användbarhet med hjälp av avancerade SQL-funktioner, som fönsterfunktioner.Under fyra kapitel kommer du att använda Spark SQL för att analysera tidsseriedata, extrahera de vanligaste orden från ett textdokument, skapa features från naturligt språk och använda dem för att förutsäga det sista ordet i en mening med logistisk regression.
Upptäck användningsområdena för Spark SQL
Du börjar med att skapa och fråga en SQL-tabell i Spark, samt lär dig hur du använder SQL-fönsterfunktioner för att utföra löpande summor, löpande differenser och andra operationer.Därefter utforskar du hur du använder fönsterfunktionen i Spark SQL för naturlig språkbehandling, inklusive hur du använder en analys med glidande fönster för att hitta vanliga ordsekvenser.
I kapitel 3 lär du dig hur du använder SQL Spark UI för att korrekt cacha DataFrames och SQL-tabeller innan du går igenom bästa praxis för loggning i Spark.
Slutligen använder du alla färdigheter du har lärt dig hittills för att läsa in och tokenisera råtext innan du extraherar ordsekvenser. Du kommer sedan att använda logistisk regression för att klassificera texten, med råa naturliga språkdata för att träna en textklassificerare.
Få en grundlig introduktion till Spark SQL
I slutet av kursen kommer du att ha en gedigen förståelse för Spark SQL och förstå hur Spark kombinerar kraften i distribuerad databehandling med enkelheten hos Python och SQL.Förkunskapskrav
Kursplan
Kursöversikt
1
PySpark SQL
I det här kapitlet lär du dig att skapa och köra frågor mot en SQL-tabell i Spark. Spark SQL tillför SQL:s uttrycksfullhet till Spark. Du lär dig också hur du använder SQL-fönsterfunktioner i Spark. Fönsterfunktioner utför beräkningar över rader som är relaterade till den aktuella raden. De förenklar avsevärt resultat som är svåra att uppnå med enbart join-operationer och traditionella aggregeringar. Vi använder fönsterfunktioner för att beräkna löpande summor, löpande differenser och andra operationer som är svåra att utföra i grundläggande SQL.
- Skapa och fråga en SQL-tabell i Spark50 XP
- Skapa en SQL-tabell från en dataframe100 XP
- Ta reda på kolumnnamnen i en tabell100 XP
- Fönsterfunktioner i SQL50 XP
- Löpande summor med fönsterfunktioner i SQL100 XP
- Åtgärda den trasiga frågan100 XP
- Punktnotation och SQL50 XP
- Aggregering, steg för steg100 XP
- Aggregera samma kolumn två gånger100 XP
- Aggregering med dot notation och SQL100 XP
- Konvertera en fönsterfunktion från dot notation till SQL100 XP
2
Fönsterfunktioner i SQL för bearbetning av naturligt språk
I det här kapitlet läser du in text på naturligt språk och tillämpar sedan en rörlig fönsteranalys för att hitta vanliga ordsekvenser.
3
Cachning, loggning och Spark-gränssnittet
I de tidigare kapitlen lärde du dig att utnyttja fönsterfunktionernas uttrycksfullhet i SQL. Den uttrycksfullheten gör det nu viktigt att du förstår hur du cachar DataFrames och SQL-tabeller på rätt sätt. Det är också viktigt att kunna utvärdera din applikation. Du lär dig att göra det med hjälp av Spark-gränssnittet. Du lär dig dessutom bästa praxis för loggning i Spark. Spark SQL tillhandahåller ytterligare ett användbart verktyg för att hantera frågeprestanda – frågekörningsplanen. Du lär dig att använda körningsplanen för att spåra ursprunget för en DataFrame.
4
Textklassificering
Tidigare kapitel gav dig verktygen för att läsa in rå text, tokenisera den och extrahera ordsekvenser. Det är redan mycket användbart för analys, men även värdefullt för maskininlärning. Det du har lärt dig knyts nu samman genom att du använder logistisk regression för att klassificera text. I slutet av det här kapitlet har du läst in råa språkdata och använt dem för att träna en textklassificerare.
Introduktion till Spark SQL i Python
Kurs
slutförd
