Lewati ke konten utama

Kursus

Rekayasa Fitur dengan PySpark

LanjutanTingkat Keterampilan

Diperbarui 01/2026

Pelajari detail-detail teknis yang memakan 70-80% waktu para ilmuwan data; pengolahan data dan rekayasa fitur.

Mulai Kursus Gratis

SparkData Manipulation

4 jam

16 videos

60 Latihan

5,000 XP

17,778

Pernyataan Pencapaian

Dipercaya oleh para pelajar di ribuan perusahaan

Melatih Tim?

Coba untuk Bisnis

Deskripsi Kursus

Dunia nyata itu berantakan dan tugas Anda adalah membuatnya masuk akal. Himpunan data mainan seperti MTCars dan Iris adalah hasil kurasi dan pembersihan yang cermat; sekalipun demikian, data tetap perlu ditransformasi agar algoritme machine learning yang andal dapat mengekstrak makna, melakukan peramalan, klasifikasi, atau pengelompokan. Kursus ini membahas detail riil yang menghabiskan 70–80% waktu data scientist: penataan data dan rekayasa fitur. Karena ukuran himpunan data kini semakin besar, mari gunakan PySpark untuk memangkas masalah Big Data menjadi lebih terkendali!

Persyaratan

Supervised Learning with scikit-learn Introduction to PySpark

1

Analisis Data Eksploratori

Pahami terlebih dahulu permasalahan Anda sebelum mulai! Lalu pelajari cara memeriksa himpunan data Anda secara statistik dan visual!

Mulai dari Mana

Mulai dari mana?

Periksa Versi

Mendefinisikan Masalah

Apa yang sedang kita prediksi?

Memverifikasi Pemuatan Data

Memverifikasi Tipe Data

Inspeksi Data Secara Visual / EDA

Menggunakan Corr()

Menggunakan Visualisasi: distplot

Menggunakan Visualisasi: lmplot

2

Penataan dengan Fungsi Spark

Data nyata jarang bersih dan siap dianalisis. Di bab ini, pelajari cara menghapus informasi yang tidak diperlukan, menangani nilai yang hilang, dan menambahkan data tambahan ke analisis Anda.

Menghapus data

Menghapus daftar kolom

Menggunakan penyaring teks untuk menghapus rekaman

Menyaring bidang numerik secara kondisional

Menyesuaikan Data

Skala Persentase Kustom

Menskalakan skaler Anda

Mengoreksi Data Miring ke Kanan

Bekerja dengan Data Hilang

Memvisualisasikan Data Hilang

Mengimputasi Data Hilang

Hitung Persentase Nilai Hilang

Mendapatkan Lebih Banyak Data

Join yang Berisiko

Join di Spark SQL

Memeriksa Join yang Buruk

3

Rekayasa Fitur

Di bab ini, pelajari cara membuat fitur baru agar model machine learning Anda dapat belajar darinya. Kita akan melihat cara menghasilkannya dengan mengombinasikan kolom, mengekstraksi nilai dari kolom yang berantakan, atau melakukan pengodean untuk hasil yang lebih baik.

Pembuatan Fitur

Fitur yang Lebih Mendalam

Fitur Waktu

Komponen Waktu

Melakukan Join pada Komponen Waktu

Aritmetika Tanggal

Mengekstraksi Fitur

Mengekstrak Teks Menjadi Fitur Baru

Memisah & Meledakkan

Pivot & Join

Binarisasi, Pembungkusan & Pengodean

Binerisasi Hari dalam Minggu

Pembungkusan (Bucketing)

One Hot Encoding

4

Membangun Model

Di bab ini, kita akan mempelajari cara memilih jenis model yang kita inginkan. Kemudian kita akan mempelajari cara menerapkan data kita ke model dan mengevaluasinya. Terakhir, kita akan mempelajari cara menafsirkan hasilnya dan menyimpan model untuk digunakan nanti!

Memilih Algoritme

Module MLlib yang Mana?

Membuat Pemisahan Berbasis Waktu

Menyesuaikan Fitur Waktu

Asumsi Feature Engineering untuk RFR

Rekayasa Fitur untuk Random Forest

Menghapus Kolom dengan Jumlah Observasi Rendah

Menangani Nilai Hilang dan Kategorikal secara Naif

Membangun Model

Membangun Model Regresi

Mengevaluasi & Membandingkan Algoritme

Memahami Metrik

Menafsirkan, Menyimpan & Memuat

Menafsirkan Hasil

Menyimpan & Memuat Model

Pemikiran Terakhir

Rekayasa Fitur dengan PySpark

Kursus
Selesai

Memperoleh Surat Keterangan Prestasi

Tambahkan kredensial ini ke profil LinkedIn, resume, atau CV Anda
Bagikan di media sosial dan dalam penilaian kinerja AndaDaftar sekarang

Bergabung dengan 19 juta pelajar dan mulai Rekayasa Fitur dengan PySpark Hari Ini!

Kembangkan keterampilan data Anda dengan DataCamp untuk Mobile

Buat kemajuan di mana saja dengan kursus mobile kami dan tantangan coding harian 5 menit.