Hoppa till huvudinnehållet

Kurs

Datarensning med PySpark

AvanceradKunskapsnivå

Uppdaterad 2026-02

Lär dig hur du rengör data med Apache Spark i Python.

Starta kursen gratis

SparkData Preparation

4 tim

16 videor

53 Övningar

4,150 XP

33,273

Intyg om genomförande

Omtyckt av lärande på tusentals företag

Utbildar du ett team?

Prova för företag

Kursbeskrivning

Att arbeta med data är utmanande – att arbeta med miljoner eller till och med miljarder rader är ännu svårare. Har du fått databearbetningskod skriven på en bärbar dator med relativt välstrukturerad data? Chansen är stor att du har fått ansvaret för att flytta en grundläggande dataprocess från prototyp till produktion. Du kanske har arbetat med verkliga datamängder med saknade fält, konstiga format och data i helt andra storleksordningar. Oavsett om det här är nytt för dig hjälper den här kursen dig att lära dig vad som krävs för att förbereda dataprocesser med Python och Apache Spark. Du lär dig terminologi, metoder och några bra metoder för att skapa en effektiv, underhållbar och begriplig databearbetningsplattform.

Förkunskapskrav

Intermediate Python Introduction to PySpark

1

DataFrame i detalj

En genomgång av grunderna i DataFrame och vikten av datarensning.

Introduktion till datarensning med Apache Spark

Repetition: datarensning

Definiera ett schema

Immutabilitet och lat bearbetning

Genomgång av oföränderlighet

Lat bearbetning i praktiken

Förstå Parquet

Spara en DataFrame i Parquet-format

SQL och Parquet

2

Manipulera DataFrames i praktiken

En titt på olika tekniker för att ändra innehållet i DataFrames i Spark.

Kolumnoperationer i DataFrame

Filtrera kolumninnehåll med Python

Filtreringsfråga #1

Filtreringsfråga #2

Ändra kolumner i en DataFrame

Villkorliga kolumnoperationer i DataFrames

Exempel på when()

When / Otherwise

Användardefinierade funktioner

Förstå användardefinierade funktioner

Använda användardefinierade funktioner i Spark

Partitionering och lat bearbetning

Lägga till ett ID-fält

ID:n med olika partitioner

Fler ID-knep

3

Förbättra prestandan

Förbättra datarensningsuppgifter genom att öka prestandan eller minska resursåtgången.

Cacha en DataFrame

Ta bort en DataFrame från cachen

Förbättra importprestanda

Optimering av filstorlek

Prestanda vid filimport

Klusterkonfigurationer

Läsa Spark-konfigurationer

Skriva Spark-konfigurationer

Prestandaförbättringar

Vanliga joins

Använda broadcasting vid Spark-joins

Jämföra broadcast- och normala joins

4

Komplex bearbetning och datapipelines

Lär dig att bearbeta komplex verklig data med Spark och grunderna i pipelines.

Introduktion till datapipelines

Snabb pipeline

Dataproblem i pipeline

Tekniker för datahantering

Ta bort kommenterade rader

Ta bort ogiltiga rader

Dela upp i kolumner

Ytterligare parsning

Datavalidering

Validera rader via join

Undersöka ogiltiga rader

Slutanalys och leverans

Parsning av hundar

Antal hundar per bild

Procentandel hundpixlar

Grattis och nästa steg

Datarensning med PySpark

Kurs
slutförd

Tjäna ett prestationsbevis

Lägg till det här beviset i din LinkedIn-profil, ditt CV eller din meritförteckning
Dela det i sociala medier och i din medarbetarutvärderingRegistrera dig nu

Gå med 19 miljoner lärande och börja Datarensning med PySpark idag!

Utveckla dina datakunskaper med DataCamp för mobilen

Gör framsteg när du är på språng med våra mobila kurser och dagliga 5-minuters kodningsutmaningar.