Przejdź do głównej treści

Strona główna Spark

Kurs

Czyszczenie danych w PySpark

ZaawansowanyPoziom umiejętności

Zaktualizowano 02.2026

Naucz się czyścić dane za pomocą Apache Spark w Pythonie.

Zacznij kurs za darmo

SparkData Preparation

4 godz.

16 filmów

53 Ćwiczenia

4,150 XP

33,345

Zaświadczenie o ukończeniu

Uwielbiany przez kursantów z tysięcy firm

Szkolisz zespół?

Wypróbuj dla firm

Opis kursu

Praca z danymi bywa wymagająca – a praca z milionami czy nawet miliardami wierszy to już prawdziwe wyzwanie. Czy zdarzyło ci się otrzymać kod do przetwarzania danych napisany na laptopie z niemal idealnymi danymi? Pewnie nie raz trafiło ci się przejąć podstawowy proces przetwarzania danych i przenieść go z prototypu na produkcję. Możliwe, że masz już doświadczenie z rzeczywistymi zbiorami danych – z brakującymi polami, dziwnym formatowaniem i wolumenem danych większym o rzędy wielkości. Nawet jeśli to wszystko jest dla ciebie nowe, ten kurs pomoże ci opanować to, czego potrzebujesz, by przygotować procesy przetwarzania danych w Pythonie z Apache Spark. Poznasz terminologię, metody oraz sprawdzone praktyki tworzenia wydajnej, łatwej w utrzymaniu i czytelnej platformy do przetwarzania danych.

Wymagania wstępne

Intermediate Python Introduction to PySpark

1

Szczegóły DataFrame

Przegląd podstaw DataFrame oraz znaczenia czyszczenia danych.

Wprowadzenie do czyszczenia danych w Apache Spark

Powtórka: czyszczenie danych

Definiowanie schematu

Niemutowalność i leniwe przetwarzanie

Powtórzenie: niezmienność

Leniwe przetwarzanie w praktyce

Czym jest Parquet

Zapisywanie ramki danych w formacie Parquet

SQL i Parquet

Zacznij rozdział

2

Modyfikowanie DataFrame w praktyce

Omówienie różnych technik modyfikowania zawartości DataFrame w Sparku.

Operacje na kolumnach DataFrame

Filtrowanie zawartości kolumn w Pythonie

Pytanie o filtrowanie nr 1

Filtrowanie – pytanie nr 2

Modyfikowanie kolumn DataFrame

Warunkowe operacje na kolumnach DataFrame

Przykład użycia when()

When / Otherwise

Funkcje definiowane przez użytkownika

Funkcje definiowane przez użytkownika – podstawy

Używanie funkcji definiowanych przez użytkownika w Spark

Partycjonowanie i przetwarzanie leniwe

Dodawanie pola ID

Identyfikatory a różne partycje

Więcej sztuczek z ID

Zacznij rozdział

3

Poprawa wydajności

Usprawnij zadania związane z czyszczeniem danych, zwiększając wydajność lub ograniczając zużycie zasobów.

Zapisywanie DataFrame w pamięci podręcznej

Usuwanie DataFrame z pamięci podręcznej

Zwiększanie wydajności importu

Optymalizacja rozmiaru plików

Wydajność importu plików

Konfiguracje klastrów

Odczytywanie konfiguracji Sparka

Konfigurowanie ustawień Sparka

Poprawa wydajności

Zwykłe złączenia

Używanie broadcastingu w złączeniach Sparka

Porównanie złączeń broadcast i zwykłych

Zacznij rozdział

4

Zaawansowane przetwarzanie i potoki danych

Naucz się przetwarzać złożone dane rzeczywiste przy użyciu Sparka oraz poznaj podstawy potoków danych.

Wprowadzenie do potoków danych

Szybki potok danych

Problem z danymi w potoku

Techniki przetwarzania danych

Usuwanie wierszy z komentarzami

Usuwanie nieprawidłowych wierszy

Podział na kolumny

Dalsze przetwarzanie

Walidacja danych

Weryfikacja wierszy za pomocą złączenia

Analiza nieprawidłowych wierszy

Ostateczna analiza i prezentacja wyników

Parsowanie danych o psach

Liczba obiektów na obraz

Procentowy udział pikseli psa

Gratulacje i następne kroki

Zacznij rozdział

Czyszczenie danych w PySpark

Kurs
ukończony

Zdobądź zaświadczenie o ukończeniu

Dodaj to poświadczenie do swojego profilu LinkedIn, CV lub życiorysu
Udostępnij to w mediach społecznościowych i podczas oceny wyników pracyZapisz się teraz

Dołącz do ponad 19 milionów kursantów i zacznij Czyszczenie danych w PySpark już dziś!

Rozwijaj swoje umiejętności w zakresie danych dzięki DataCamp dla urządzeń mobilnych

Rób postępy w podróży dzięki naszym kursom mobilnym i codziennym 5-minutowym wyzwaniom kodowania.