Przejdź do głównej treści

Strona główna Spark

Kurs

Czyszczenie danych w PySpark

ZaawansowanyPoziom umiejętności

Zaktualizowano 02.2026

Naucz się czyścić dane za pomocą Apache Spark w Pythonie.

Zacznij kurs za darmo

SparkData Preparation

4 godz.

16 filmów

53 Ćwiczenia

4,150 XP

33,173

Zaświadczenie o ukończeniu

Uwielbiany przez kursantów z tysięcy firm

Szkolisz zespół?

Wypróbuj dla firm

Opis kursu

Praca z danymi bywa wymagająca – a praca z milionami czy nawet miliardami wierszy to już prawdziwe wyzwanie. Czy zdarzyło ci się otrzymać kod do przetwarzania danych napisany na laptopie z niemal idealnymi danymi? Pewnie nie raz trafiło ci się przejąć podstawowy proces przetwarzania danych i przenieść go z prototypu na produkcję. Możliwe, że masz już doświadczenie z rzeczywistymi zbiorami danych – z brakującymi polami, dziwnym formatowaniem i wolumenem danych większym o rzędy wielkości. Nawet jeśli to wszystko jest dla ciebie nowe, ten kurs pomoże ci opanować to, czego potrzebujesz, by przygotować procesy przetwarzania danych w Pythonie z Apache Spark. Poznasz terminologię, metody oraz sprawdzone praktyki tworzenia wydajnej, łatwej w utrzymaniu i czytelnej platformy do przetwarzania danych.

Wymagania wstępne

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Zacznij rozdział

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Zacznij rozdział

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Zacznij rozdział

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Zacznij rozdział

Czyszczenie danych w PySpark

Kurs
ukończony

Zdobądź zaświadczenie o ukończeniu

Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysu
Udostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz

Dołącz do ponad 19 milionów kursantów i zacznij Czyszczenie danych w PySpark już dziś!

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.