Cursus
Introductie tot Spark SQL in Python
GevorderdVaardigheidsniveau
Bijgewerkt 03-2026
SparkData Manipulation4 u15 videos52 Opdrachten4,200 XP20,388Bewijs van Prestatie
Maak je kosteloos account aan
Ga verder met GoogleMeer opties weergevenof
Door verder te gaan accepteer je onze Gebruiksvoorwaarden, ons Privacybeleid en dat je gegevens worden opgeslagen in de VS.
Geliefd bij leerlingen van duizenden bedrijven
Een team trainen?
Probeer voor bedrijvenCursusbeschrijving
Leer Spark SQL
Als je bekend bent met SQL en veel goeds hebt gehoord over Apache Spark, dan is deze cursus echt iets voor jou. Apache Spark is een computerplatform voor het verwerken van big data, en Spark SQL is een onderdeel van Apache Spark. In deze vier uur durende cursus leer je hoe je Spark nog handiger kunt gebruiken met geavanceerde SQL-functies, zoals vensterfuncties.In vier hoofdstukken ga je Spark SQL gebruiken om tijdreeksgegevens te analyseren, de meest voorkomende woorden uit een tekstdocument te halen, kenmerksets te maken van natuurlijke taaltekst en deze te gebruiken om het laatste woord in een zin te voorspellen met logistische regressie.
Ontdek de toepassingen van Spark SQL
Je begint met het maken en doorzoeken van een SQL-tabel in Spark, en je leert hoe je SQL-vensterfuncties kunt gebruiken om lopende sommen, lopende verschillen en andere bewerkingen uit te voeren.Vervolgens ga je kijken hoe je de window-functie in Spark SQL kunt gebruiken voor natuurlijke taalverwerking, zoals het gebruik van een moving window-analyse om veelvoorkomende woordvolgordes te vinden.
In hoofdstuk 3 leer je hoe je de SQL Spark UI kunt gebruiken om DataFrames en SQL-tabellen goed te cachen, voordat je de beste manieren voor logboekregistratie in Spark gaat bekijken.
Tot slot gebruik je alle vaardigheden die je tot nu toe hebt geleerd om ruwe tekst te laden en te tokeniseren voordat je woordsequenties extraheert. Je gebruikt dan logistische regressie om de tekst te classificeren, waarbij je ruwe natuurlijke taalgegevens gebruikt om een tekstclassificator te trainen.
Krijg een goede introductie tot Spark SQL
Aan het einde van de cursus heb je een goed begrip van Spark SQL en snap je hoe Spark de kracht van gedistribueerde computing combineert met het gebruiksgemak van Python en SQL.Vereisten
Python ToolboxPostgreSQL Summary Stats and Window FunctionsIntroduction to PySpark1
PySpark SQL
In dit hoofdstuk leer je hoe je een SQL-tabel in Spark maakt en bevraagt. Spark SQL brengt de expressiviteit van SQL naar Spark. Je leert ook hoe je SQL-windowfuncties in Spark gebruikt. Windowfuncties voeren een berekening uit over rijen die gerelateerd zijn aan de huidige rij. Ze maken het veel eenvoudiger om resultaten te bereiken die lastig zijn met alleen joins en traditionele aggregaties. We gebruiken windowfuncties voor lopende sommen, lopende verschillen en andere bewerkingen die in basis-SQL uitdagend zijn.
2
Windowfunction-SQL gebruiken voor Natural Language Processing
In dit hoofdstuk laad je tekst uit natuurlijke taal. Daarna pas je een schuivend-vensteranalyse toe om frequente woordreeksen te vinden.
3
Cachen, loggen en de Spark UI
In de vorige hoofdstukken leerde je hoe je de expressiviteit van windowfunction-SQL gebruikt. Die expressiviteit maakt het nu belangrijk dat je begrijpt hoe je DataFrames en SQL-tabellen op de juiste manier cachet. Het is ook belangrijk om te weten hoe je je applicatie evalueert. Je leert dit doen met de Spark UI. Je leert ook een best practice voor loggen in Spark. Spark SQL biedt nog een handig hulpmiddel voor het afstemmen van queryprestatieproblemen: het query-executieplan. Je leert hoe je het executieplan gebruikt om de herkomst van een dataframe te beoordelen.
4
Tekstclassificatie
In eerdere hoofdstukken heb je geleerd hoe je ruwe tekst laadt, tokenized en woordreeksen extraheert. Dat is al erg nuttig voor analyse, maar ook voor Machine Learning. Alles wat je hebt geleerd komt nu samen met logistieke regressie om tekst te classificeren. Aan het einde van dit hoofdstuk heb je ruwe tekst uit natuurlijke taal geladen en gebruikt om een tekstclassificatie te trainen.
Introductie tot Spark SQL in Python
Cursus voltooid
Verdien een prestatieverklaring
Voeg deze referentie toe aan je LinkedIn-profiel, cv of curriculum vitaeDeel het op sociale media en in je functioneringsgesprekSchrijf je nu in
Sluit je aan bij meer dan 19 miljoen leerlingen en start vandaag nog met Introductie tot Spark SQL in Python!
Maak je kosteloos account aan
Ga verder met GoogleMeer opties weergevenof
Door verder te gaan accepteer je onze Gebruiksvoorwaarden, ons Privacybeleid en dat je gegevens worden opgeslagen in de VS.
Ontwikkel je datavaardigheden met DataCamp voor Mobiel
Maak vooruitgang onderweg met onze mobiele cursussen en dagelijkse 5-minuten programmeeruitdagingen.