After doing these courses, I feel confident creating professional visualizations and dashboards
Shoebur RahmanProcurement Specialist, Giz Bangladesh
Cursusbeschrijving
Leer Spark SQL
Als je bekend bent met SQL en veel goeds hebt gehoord over Apache Spark, dan is deze cursus echt iets voor jou. Apache Spark is een computerplatform voor het verwerken van big data, en Spark SQL is een onderdeel van Apache Spark. In deze vier uur durende cursus leer je hoe je Spark nog handiger kunt gebruiken met geavanceerde SQL-functies, zoals vensterfuncties.In vier hoofdstukken ga je Spark SQL gebruiken om tijdreeksgegevens te analyseren, de meest voorkomende woorden uit een tekstdocument te halen, kenmerksets te maken van natuurlijke taaltekst en deze te gebruiken om het laatste woord in een zin te voorspellen met logistische regressie.
Ontdek de toepassingen van Spark SQL
Je begint met het maken en doorzoeken van een SQL-tabel in Spark, en je leert hoe je SQL-vensterfuncties kunt gebruiken om lopende sommen, lopende verschillen en andere bewerkingen uit te voeren.Vervolgens ga je kijken hoe je de window-functie in Spark SQL kunt gebruiken voor natuurlijke taalverwerking, zoals het gebruik van een moving window-analyse om veelvoorkomende woordvolgordes te vinden.
In hoofdstuk 3 leer je hoe je de SQL Spark UI kunt gebruiken om DataFrames en SQL-tabellen goed te cachen, voordat je de beste manieren voor logboekregistratie in Spark gaat bekijken.
Tot slot gebruik je alle vaardigheden die je tot nu toe hebt geleerd om ruwe tekst te laden en te tokeniseren voordat je woordsequenties extraheert. Je gebruikt dan logistische regressie om de tekst te classificeren, waarbij je ruwe natuurlijke taalgegevens gebruikt om een tekstclassificator te trainen.
Krijg een goede introductie tot Spark SQL
Aan het einde van de cursus heb je een goed begrip van Spark SQL en snap je hoe Spark de kracht van gedistribueerde computing combineert met het gebruiksgemak van Python en SQL.Vereisten
Curriculum
Cursusoverzicht
1
PySpark SQL
In dit hoofdstuk leer je hoe je een SQL-tabel in Spark maakt en bevraagt. Spark SQL brengt de expressiviteit van SQL naar Spark. Je leert ook hoe je SQL-windowfuncties in Spark gebruikt. Windowfuncties voeren een berekening uit over rijen die gerelateerd zijn aan de huidige rij. Ze maken het veel eenvoudiger om resultaten te bereiken die lastig zijn met alleen joins en traditionele aggregaties. We gebruiken windowfuncties voor lopende sommen, lopende verschillen en andere bewerkingen die in basis-SQL uitdagend zijn.
- Een SQL-tabel maken en bevragen in Spark50 XP
- Maak een SQL-tabel van een dataframe100 XP
- Bepaal de kolomnamen van een tabel100 XP
- Windowfunctie-SQL50 XP
- Voortschrijdende sommen met windowfunctie-SQL100 XP
- Repareer de kapotte query100 XP
- Puntnotatie en SQL50 XP
- Aggregatie, stap voor stap100 XP
- Dezelfde kolom twee keer aggregeren100 XP
- Aggregatie met dot-SQL100 XP
- Zet een windowfunctie om van dotnotatie naar SQL100 XP
2
Windowfunction-SQL gebruiken voor Natural Language Processing
In dit hoofdstuk laad je tekst uit natuurlijke taal. Daarna pas je een schuivend-vensteranalyse toe om frequente woordreeksen te vinden.
3
Cachen, loggen en de Spark UI
In de vorige hoofdstukken leerde je hoe je de expressiviteit van windowfunction-SQL gebruikt. Die expressiviteit maakt het nu belangrijk dat je begrijpt hoe je DataFrames en SQL-tabellen op de juiste manier cachet. Het is ook belangrijk om te weten hoe je je applicatie evalueert. Je leert dit doen met de Spark UI. Je leert ook een best practice voor loggen in Spark. Spark SQL biedt nog een handig hulpmiddel voor het afstemmen van queryprestatieproblemen: het query-executieplan. Je leert hoe je het executieplan gebruikt om de herkomst van een dataframe te beoordelen.
4
Tekstclassificatie
In eerdere hoofdstukken heb je geleerd hoe je ruwe tekst laadt, tokenized en woordreeksen extraheert. Dat is al erg nuttig voor analyse, maar ook voor Machine Learning. Alles wat je hebt geleerd komt nu samen met logistieke regressie om tekst te classificeren. Aan het einde van dit hoofdstuk heb je ruwe tekst uit natuurlijke taal geladen en gebruikt om een tekstclassificatie te trainen.
Introductie tot Spark SQL in Python
Cursus
voltooid
