Ga naar hoofdinhoud

Cursus

Data opschonen met PySpark

GevorderdVaardigheidsniveau

Bijgewerkt 02-2026

Start Cursus Kosteloos

SparkData Preparation4 u16 videos53 Opdrachten4,150 XP32,863Prestatieverklaring

Maak je gratis account aan

of

Door verder te gaan accepteer je onze Gebruiksvoorwaarden, ons Privacybeleid en dat je gegevens worden opgeslagen in de VS.

Geliefd bij leerlingen van duizenden bedrijven

Wil je 2 of meer mensen trainen?

Probeer DataCamp for Business

Cursusbeschrijving

Werken met data is lastig — werken met miljoenen of zelfs miljarden rijen is nog lastiger. Heb je verwerkingscode gekregen die op een laptop is geschreven met vrij schone data? Grote kans dat jij nu verantwoordelijk bent om een basisproces van prototype naar productie te brengen. Misschien heb je gewerkt met echte gegevenssets, met ontbrekende velden, bizarre opmaak en ordes van grootte meer data. Ook als dit allemaal nieuw voor je is, helpt deze cursus je te leren wat je nodig hebt om dataprocessen voor te bereiden met Python en Apache Spark. Je leert terminologie, methoden en een aantal best practices om een performante, onderhoudbare en begrijpelijke gegevensverwerkingsomgeving te bouwen.

Vereisten

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Hoofdstuk Beginnen

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Hoofdstuk Beginnen

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Hoofdstuk Beginnen

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Hoofdstuk Beginnen

Data opschonen met PySpark

Cursus
voltooid

Verdien een prestatieverklaring

Voeg deze referentie toe aan je LinkedIn-profiel, cv of curriculum vitae
Deel het op sociale media en in je functioneringsgesprekSchrijf Je Nu in

Sluit je aan bij meer dan 19 miljoen leerlingen en start vandaag nog met Data opschonen met PySpark!

Maak je gratis account aan

of

Door verder te gaan accepteer je onze Gebruiksvoorwaarden, ons Privacybeleid en dat je gegevens worden opgeslagen in de VS.

Ontwikkel je datavaardigheden met DataCamp voor Mobiel

Maak vooruitgang onderweg met onze mobiele cursussen en dagelijkse 5-minuten programmeeruitdagingen.