Ga naar hoofdinhoud

Cursus

Big Data Fundamentals met PySpark

GevorderdVaardigheidsniveau

Bijgewerkt 02-2025

Leer de basisprincipes van werken met big data met PySpark.

Start Cursus Kosteloos

SparkData Engineering

4 u

16 videos

55 Opdrachten

4,600 XP

65,280

Bewijs van Prestatie

Geliefd bij leerlingen van duizenden bedrijven

Een team trainen?

Probeer voor bedrijven

Cursusbeschrijving

Er is de afgelopen jaren veel te doen geweest rond Big Data, en inmiddels is het voor veel bedrijven mainstream. Maar wat is Big Data nu precies? Deze cursus behandelt de basisprincipes van Big Data met PySpark. Spark is een framework voor Big Data dat "bliksemsnel clusteren berekeningen" mogelijk maakt. Het biedt een algemene engine voor gegevensverwerking en laat je programma’s tot 100x sneller in het geheugen draaien, of 10x sneller op schijf, dan Hadoop. Je werkt met PySpark, een Python-pakket voor Spark-programmering, en met krachtige, hoog-niveau bibliotheken zoals SparkSQL, MLlib (voor Machine Learning), enzovoort. Je gaat aan de slag met werken van William Shakespeare, analyseert Fifa 2018-gegevens en voert clustering uit op genomische gegevenssets. Aan het einde van deze cursus heb je een diepgaand begrip van PySpark en hoe je het toepast op algemene Big Data-analyse.

Vereisten

Introduction to Python

1

Introductie tot Big Data-analyse met Spark

In dit hoofdstuk maak je kennis met de spannende wereld van Big Data, evenals met de verschillende concepten en frameworks voor de verwerking ervan. Je ontdekt waarom Apache Spark wordt gezien als het beste framework voor Big Data.

Wat is Big Data?

De 3 V's van Big Data

PySpark: Spark met Python

SparkContext begrijpen

Interactief gebruik van PySpark

Gegevens laden in de PySpark-shell

Herhaling van functioneel programmeren in Python

Gebruik van lambda() met map()

Gebruik van lambda() met filter()

Hoofdstuk beginnen

2

Programmeren met PySpark-RDD’s

De belangrijkste abstractie die Spark biedt is een resilient distributed dataset (RDD), het fundamentele en ruggengraat-datatype van deze engine. Dit hoofdstuk introduceert RDD’s en laat zien hoe je RDD’s kunt maken en uitvoeren met RDD-transformations en actions.

Data abstraheren met RDD’s

RDD's uit geparallelliseerde collecties

RDD's uit externe gegevenssets

Partities in je data

Basis-RDD-transformaties en -acties

Map en Collect

Filteren en tellen

Pair RDD's in PySpark

ReduceByKey en Collect

SortByKey en Collect

Geavanceerde RDD-acties

CountingBykeys

Maak een basis-RDD en transformeer deze

Verwijder stopwoorden en reduceer de gegevensset

Print woordfrequenties

Hoofdstuk beginnen

3

PySpark SQL & DataFrames

In dit hoofdstuk leer je over Spark SQL, een Spark-module voor de verwerking van gestructureerde gegevens. Het biedt een programmeerabstractie genaamd DataFrames en kan ook fungeren als een gedistribueerde SQL-query-engine. Dit hoofdstuk laat zien hoe Spark SQL je in staat stelt DataFrames in Python te gebruiken.

Data abstraheren met DataFrames

RDD naar DataFrame

CSV laden in een DataFrame

Werken met DataFrames in PySpark

Data inspecteren in een PySpark DataFrame

Subsetten en opschonen van PySpark DataFrames

Je DataFrame filteren

Werken met DataFrames met PySpark SQL

SQL-query's programmatisch uitvoeren

SQL-query’s voor het filteren van een tabel

Gegevensvisualisatie in PySpark met DataFrames

PySpark DataFrame-visualisatie

Deel 1: Maak een DataFrame van een CSV-bestand

Deel 2: SQL-queries op DataFrame

Deel 3: Gegevens visualiseren

Hoofdstuk beginnen

4

Machine Learning met PySpark MLlib

PySpark MLlib is de schaalbare Machine Learning-bibliotheek van Apache Spark in Python, bestaande uit gangbare leeralgoritmen en hulpmiddelen. In dit laatste hoofdstuk leer je belangrijke Machine Learning-algoritmen. Je bouwt een filmaanbevelingsengine en een spamfilter, en je gebruikt k-means clustering.

Overzicht van PySpark MLlib

PySpark ML-bibliotheken

PySpark MLlib-algoritmes

Collaborative filtering

MovieLens-gegevensset laden in RDD's

Model trainen en voorspellingen

Modelevaluatie met MSE

Classificatie

Spam- en niet-spamgegevens laden

Feature hashing en LabelPoint

Logistic Regression-model trainen

Het 5000 points-bestand laden en parsen

K-means trainen

Clusters visualiseren

Gefeliciteerd!

Hoofdstuk beginnen

Big Data Fundamentals met PySpark

Cursus
voltooid

Verdien een prestatieverklaring

Voeg deze referentie toe aan je LinkedIn-profiel, cv of curriculum vitae
Deel het op sociale media en in je functioneringsgesprekSchrijf je nu in

Sluit je aan bij meer dan 19 miljoen leerlingen en start vandaag nog met Big Data Fundamentals met PySpark!

Ontwikkel je datavaardigheden met DataCamp voor Mobiel

Maak vooruitgang onderweg met onze mobiele cursussen en dagelijkse 5-minuten programmeeruitdagingen.