[Infografik] Daftar Periksa Pembersihan Data

Pembersihan data menyita 80% alur kerja data science. Karena itu, kami membuat daftar periksa ini untuk membantu Anda mengidentifikasi dan menyelesaikan masalah kualitas pada data Anda. Jika Anda ingin mempelajari lebih lanjut tentang pembersihan data, lihat kursus kami tentang Cleaning Data in Python dan R.

Untuk mengunduh infografik ini, tekan gambar di atas

Masalah Kendala Data

1. Kendala Tipe Data

• Apa itu: Memastikan bahwa kolom yang berbeda memiliki tipe data yang benar sebelum memulai analisis. 
• Contoh Penerapan: Kolom revenue_usd bertipe string, bukan tipe data numerik.
• Solusi Potensial: Konversi ke tipe data yang benar

2. Kendala Rentang Data

• Apa itu: Memastikan bahwa kolom yang berbeda memiliki rentang yang benar. Ini terutama berlaku untuk kolom yang memiliki batas.
• Contoh Penerapan: Kolom gpa harus dibatasi pada [0.0, 4.0]
• Solusi Potensial:
  • Periksa salah ketik, seperti titik desimal di tempat yang salah.
  • Hapus baris tempat titik data melanggar kendala rentang
  • Atur titik data yang melanggar kendala rentang ke nilai maksimum atau minimum
  • Perlakukan titik data yang melanggar kendala rentang sebagai hilang, lalu imputasi

3. Kendala Keunikan

• Apa itu: Memastikan tidak ada duplikat persis atau hampir persis dalam baris Anda. 
• Contoh Penerapan: Baris duplikat di mana kolom name dan phone_number identik, tetapi kolom height_cm tidak
• Solusi Potensial:
  • Simpan hanya salah satu dari baris duplikat yang persis sama
  • Gabungkan baris yang merupakan duplikat tidak persis 

Masalah Data Teks dan Kategorikal

1. Kendala Keanggotaan untuk Data Kategorikal

• Apa itu: Memastikan kolom kategorikal memiliki kategori yang benar dan konsisten
• Contoh Penerapan: Dua entri berbeda untuk “New York” dalam kolom city
• Solusi Potensial:
  • Hapus baris yang terdampak oleh kategori yang tidak konsisten
  • Pemetaan ulang kategori yang tidak konsisten ke nama kategori yang benar
  • Menginferensikan kategori berdasarkan titik data lain jika tidak jelas bagaimana seharusnya dipetakan ulang

2. Pelanggaran Panjang untuk Data Teks

• Apa itu: Memastikan kolom teks yang mengikuti standar tertentu memiliki panjang string yang sama 
• Contoh Penerapan: Kolom phone_number AS yang berisi 9 karakter alih-alih 14
• Solusi Potensial:
  • Hapus baris yang terdampak oleh pelanggaran panjang
  • Atur observasi yang terdampak menjadi hilang

3. Data Teks dengan Pemformatan Tidak Konsisten

• Apa itu: Memastikan kolom teks yang mengikuti standar tertentu memiliki panjang string yang sama 
• Contoh Penerapan: Kolom phone_number AS yang berisi 9 karakter alih-alih 14
• Solusi Potensial:
  • Hapus baris yang terdampak oleh pelanggaran panjang
  • Atur observasi yang terdampak menjadi hilang

Masalah Keseragaman Data

1. Keseragaman Satuan untuk Kolom Numerik

• Apa itu: Memastikan kolom numerik memiliki satuan yang sama (Suhu menggunakan Celsius atau Fahrenheit di semua observasi. Ini sangat relevan saat menggabungkan dataset dari negara atau sumber berbeda.) 
• Contoh Penerapan: Kolom suhu dalam Celsius yang memiliki nilai suhu sangat tinggi atau sangat rendah 
• Solusi Potensial:
  • Menghapus baris yang tidak memiliki konteks satuan dan tidak lolos pemeriksaan kewarasan
  • Standarkan satuan bila memungkinkan

2. Keseragaman Satuan untuk Kolom Tanggal

• Apa itu: Memastikan kolom tanggal memiliki format tanggal-waktu yang sama
• Contoh Penerapan: Kolom birthday yang berisi tanggal dalam format dd-mm-yyyy dan mm-dd-yyyy
• Solusi Potensial:
  • Menstandarkan format tanggal-waktu bila memungkinkan
  • Menghapus baris yang tidak memiliki konteks format tanggal-waktu dan tidak lolos pemeriksaan kewarasan

3. Validasi Lintas Kolom untuk Kolom Numerik

• Apa itu: Validasi lintas kolom adalah ketika kita menggunakan beberapa kolom dalam dataset untuk memastikan keabsahan kolom lain. Misalnya, memastikan bahwa kolom bagian-ke-keseluruhan menjumlah ke total yang relevan.
• Contoh Penerapan: Pemesanan penerbangan per kelas menjumlah ke total pemesanan yang tercatat
• Solusi Potensial:
  • Menghapus baris yang gagal dalam pemeriksaan kewarasan
  • Terapkan aturan berdasarkan pengetahuan domain tentang data 

4. Validasi Lintas Kolom untuk Kolom Tanggal

• Apa itu: Memastikan bahwa kolom tanggal dan temporal lolos pemeriksaan kewarasan (misalnya, memastikan tanggal pendaftaran webinar selalu mendahului tanggal kehadiran webinar) 
• Contoh Penerapan: Kolom date_of_birth yang tidak sesuai dengan kolom age
• Solusi Potensial:
  • Menghapus baris yang gagal dalam pemeriksaan kewarasan
  • Terapkan aturan berdasarkan pengetahuan domain tentang data 

Masalah Data Hilang

1. Hilang Sepenuhnya Secara Acak

• Apa itu: Ketika tidak ada hubungan sistematis antara nilai yang hilang dan nilai lain dalam dataset
• Contoh Penerapan: Tidak ada hubungan yang teramati antara data yang hilang dan nilai lainnya dalam dataset
• Solusi Potensial:
  • Hapus baris yang hilang
  • Imputasi baris yang hilang dengan ukuran keentralan seperti median atau mean
  • Imputasi baris yang hilang dengan pendekatan algoritmik berbasis machine learning
  • Kumpulkan titik data dan fitur baru 

2. Data Hilang Secara Acak

• Apa itu: Ketika ada hubungan sistematis antara data yang hilang dan nilai lain yang teramati
• Contoh Penerapan: Data sensus yang hilang dari wilayah tertentu karena layanan pos tidak memiliki cakupan penuh di wilayah tersebut
• Solusi Potensial:
  • Hapus baris yang hilang
  • Imputasi baris yang hilang dengan ukuran keentralan seperti median atau mean
  • Imputasi baris yang hilang dengan pendekatan algoritmik berbasis machine learning
  • Kumpulkan titik data dan fitur baru 

3. Data Hilang Tidak Secara Acak

• Apa itu: Ketika ada hubungan sistematis antara data yang hilang dan nilai lain yang tidak teramati 
• Contoh Penerapan: Pembacaan suhu dari sensor hilang karena suhu terlalu rendah atau terlalu tinggi
• Solusi Potensial:
  • Hapus baris yang hilang
  • Imputasi baris yang hilang dengan ukuran keentralan seperti median atau mean
  • Imputasi baris yang hilang dengan pendekatan algoritmik berbasis machine learning
  • Kumpulkan titik data dan fitur baru