Ana içeriğe atla

Kurs

PySpark ile Veri Temizleme

İleri SeviyeBeceri Seviyesi

Güncel 02.2026

Python'da Apache Spark ile verileri temizlemeyi öğrenin.

Kursa Ücretsiz Başlayın

SparkData Preparation4 sa16 video53 Egzersiz4,150 XP32,841Başarı Belgesi

Ücretsiz Hesabınızı Oluşturun

veya

Devam ederek Kullanım Şartlarımızı, Gizlilik Politikamızı ve verilerinizin ABD’de saklandığını kabul etmiş olursunuz.

Binlerce şirketten öğrencinin sevgisini kazandı

2 veya daha fazla kişiyi mi eğitiyorsunuz?

DataCamp for Business ürününü deneyin

Kurs Açıklaması

Veriyle çalışmak zordur — milyonlarca hatta milyarlarca satırla çalışmak daha da zordur. Oldukça temiz bir veriyle, bir dizüstünde yazılmış veri işleme kodu mu eline geçti? Büyük olasılıkla basit bir veri sürecini prototipten üretime taşımak sana verildi. Eksik alanlar, tuhaf biçimlendirmeler ve katbekat daha fazla veri içeren gerçek dünya veri kümeleriyle çalışmış olabilirsin. Bunların hepsi yeni bile olsa, bu kurs Python ve Apache Spark kullanarak veri süreçlerini hazırlamak için gerekenleri öğrenmene yardımcı olur. Terimleri, yöntemleri ve en iyi uygulamaların bir kısmını öğrenerek yüksek performanslı, sürdürülebilir ve anlaşılır bir veri işleme platformu oluşturmayı öğreneceksin.

Önkoşullar

Intermediate Python Introduction to PySpark

1

DataFrame details

A review of DataFrame fundamentals and the importance of data cleaning.

Intro to data cleaning with Apache Spark

Data cleaning review

Defining a schema

Immutability and lazy processing

Immutability review

Using lazy processing

Understanding Parquet

Saving a DataFrame in Parquet format

SQL and Parquet

Bölümü Başlat

2

Manipulating DataFrames in the real world

A look at various techniques to modify the contents of DataFrames in Spark.

DataFrame column operations

Filtering column content with Python

Filtering Question #1

Filtering Question #2

Modifying DataFrame columns

Conditional DataFrame column operations

when() example

When / Otherwise

User defined functions

Understanding user defined functions

Using user defined functions in Spark

Partitioning and lazy processing

Adding an ID Field

IDs with different partitions

More ID tricks

Bölümü Başlat

3

Improving Performance

Improve data cleaning tasks by increasing performance or reducing resource requirements.

Caching a DataFrame

Removing a DataFrame from cache

Improve import performance

File size optimization

File import performance

Cluster configurations

Reading Spark configurations

Writing Spark configurations

Performance improvements

Normal joins

Using broadcasting on Spark joins

Comparing broadcast vs normal joins

Bölümü Başlat

4

Complex processing and data pipelines

Learn how to process complex real-world data using Spark and the basics of pipelines.

Introduction to data pipelines

Quick pipeline

Pipeline data issue

Data handling techniques

Removing commented lines

Removing invalid rows

Splitting into columns

Further parsing

Data validation

Validate rows via join

Examining invalid rows

Final analysis and delivery

Dog parsing

Per image count

Percentage dog pixels

Congratulations and next steps

Bölümü Başlat

PySpark ile Veri Temizleme

Kurs
Tamamlandı

Başarı Belgesi Kazanın

Bu kimlik bilgisini LinkedIn profilinize, özgeçmişinize veya CV'nize ekleyin
Sosyal medyada ve performans incelemenizde paylaşınŞimdi Kaydolun

Bugün 19 milyondan fazla öğrenciye katılın ve PySpark ile Veri Temizleme eğitimine başlayın!

Ücretsiz Hesabınızı Oluşturun

veya

Devam ederek Kullanım Şartlarımızı, Gizlilik Politikamızı ve verilerinizin ABD’de saklandığını kabul etmiş olursunuz.

DataCamp for Mobile ile veri becerilerinizi geliştirin

Mobil kurslarımız ve günde 5 dakikalık kodlama görevlerimizle hareket halindeyken ilerleme kaydedin.