Sari la conținutul principal

Curs

Curățarea datelor cu PySpark

AvansatNivel de competențe

Actualizat 02.2026

Învață cum să cureți datele cu Apache Spark în Python.

Începe cursul gratuit

SparkData Preparation

4 h

16 videoclipuri

53 Exerciții

4,150 XP

33,326

Certificat de realizare

Îndrăgit de cursanți din mii de companii

Formare pentru o echipă?

Încearcă pentru afaceri

Descrierea cursului

Lucrul cu date este complicat – iar când vorbim de milioane sau chiar miliarde de rânduri, lucrurile devin și mai dificile. Ai primit vreodată cod de procesare a datelor scris pe un laptop, cu date aproape perfecte? Probabil că ai fost pus în situația de a transforma un proces simplu de date din prototip în soluție de producție. Poate ai lucrat cu seturi de date reale, cu câmpuri lipsă, formate ciudate și volume mult mai mari decât te așteptai. Indiferent dacă ești la început sau ai deja experiență, acest curs te ajută să înveți ce este necesar pentru a pregăti procese de date folosind Python cu Apache Spark. Vei învăța terminologie, metode și bune practici pentru a crea o platformă de procesare a datelor performantă, ușor de întreținut și de înțeles.

Cerințe prealabile

Intermediate Python Introduction to PySpark

1

Detalii despre DataFrame

O trecere în revistă a elementelor fundamentale ale DataFrame și a importanței curățării datelor.

Introducere în curățarea datelor cu Apache Spark

Recapitularea curățării datelor

Definirea unui schema

Imuabilitate și procesare leneșă

Recapitulare: imutabilitate

Procesarea leneșă în practică

Înțelegerea formatului Parquet

Salvarea unui DataFrame în format Parquet

SQL și Parquet

Începe capitolul

2

Manipularea DataFrames în lumea reală

O privire asupra diferitelor tehnici de modificare a conținutului DataFrame în Spark.

Operațiuni pe coloanele unui DataFrame

Filtrarea conținutului coloanelor cu Python

Întrebare despre filtrare #1

Întrebare despre filtrare #2

Modificarea coloanelor unui DataFrame

Operații condiționale pe coloanele unui DataFrame

Exemplu cu when()

When / Otherwise

Funcții definite de utilizator

Înțelegerea funcțiilor definite de utilizator

Utilizarea funcțiilor definite de utilizator în Spark

Partiționare și procesare leneșă

Adăugarea unui câmp ID

ID-uri cu partiții diferite

Mai multe trucuri cu ID-uri

Începe capitolul

3

Îmbunătățirea performanței

Îmbunătățește sarcinile de curățare a datelor prin creșterea performanței sau reducerea resurselor necesare.

Stocarea unui DataFrame în cache

Eliminarea unui DataFrame din cache

Îmbunătățește performanța importului

Optimizarea dimensiunii fișierelor

Performanța importului de fișiere

Configurații de cluster

Citirea configurațiilor Spark

Configurarea Spark

Îmbunătățiri de performanță

Join-uri obișnuite

Utilizarea broadcasting în join-urile Spark

Compararea join-urilor broadcast față de cele normale

Începe capitolul

4

Procesare complexă și pipeline-uri de date

Învață cum să procesezi date complexe din lumea reală folosind Spark și noțiunile de bază ale pipeline-urilor.

Introducere în pipeline-uri de date

Pipeline rapid

Problemă de date în pipeline

Tehnici de gestionare a datelor

Eliminarea rândurilor comentate

Eliminarea rândurilor invalide

Împărțirea în coloane

Parsare suplimentară

Validarea datelor

Validează rândurile printr-un join

Examinarea rândurilor invalide

Analiza finală și livrarea rezultatelor

Parsarea datelor despre câini

Număr de câini per imagine

Procentul de pixeli câine

Felicitări și pașii următori

Începe capitolul

Curățarea datelor cu PySpark

Curs
finalizat

Obține diploma de absolvire

Adaugă această acreditare la profilul tău LinkedIn, CV sau rezumat
Distribuie pe rețelele de socializare și în evaluarea ta de performanțăÎnscrie-te acum

Alătură-te celor peste 19 de milioane de cursanți și începe Curățarea datelor cu PySpark astăzi!

Dezvoltați-vă abilitățile de gestionare a datelor cu DataCamp pentru mobil

Fă progrese din mers cu cursurile noastre mobile și provocările zilnice de programare de 5 minute.