[İnfografik] Veri Temizleme Kontrol Listesi

Veri temizleme, veri bilimi iş akışının %80’ini oluşturur. Bu nedenle, verilerinizdeki kalite sorunlarını belirlemenize ve çözmenize yardımcı olmak için bu kontrol listesini hazırladık. Veri temizleme hakkında daha fazla bilgi edinmek isterseniz, Python ile Veri Temizleme ve R kurslarımıza göz atın. 

Bu infografiği indirmek için yukarıdaki görsele tıklayın

Veri Kısıtı Sorunları

1. Veri Türü Kısıtları

• Nedir: Analize başlamadan önce farklı sütunların doğru veri türüne sahip olduğundan emin olmak. 
• Uygulamada Örnek: Sayısal veri türü yerine dize olan bir revenue_usd sütunu.
• Olası Çözümler: Doğru veri türüne dönüştürün

2. Veri Aralığı Kısıtları

• Nedir: Farklı sütunların doğru aralığa sahip olduğundan emin olmak. Bu özellikle sınırları olan sütunlar için geçerlidir.
• Uygulamada Örnek: Bir gpa sütunu [0.0, 4.0] aralığı ile sınırlandırılmalıdır
• Olası Çözümler:
  • Ondalık işaretinin yanlış yerde olması gibi yazım hatalarını kontrol edin.
  • Aralık kısıtlarını bozan veri noktalarının bulunduğu satırları kaldırın
  • Aralık kısıtlarını bozan veri noktasını maksimuma veya minimuma ayarlayın
  • Aralık kısıtlarını bozan veri noktasını eksik olarak işaretleyin ve değer atayın

3. Benzersizlik Kısıtları

• Nedir: Satırlarınız içinde birebir veya neredeyse birebir kopyalar bulunmadığından emin olmak. 
• Uygulamada Örnek: name ve phone_number sütunları aynı, ancak height_cm sütunu farklı olan yinelenen bir satır
• Olası Çözümler:
  • Birebir kopya satırlardan sadece birini tutun
  • Tam kopya olmayan yinelenen satırları birleştirin 

Metin ve Kategorik Veri Sorunları

1. Kategorik Veriler için Üyelik Kısıtları

• Nedir: Kategorik sütunların doğru ve tutarlı kategorilere sahip olduğundan emin olmak
• Uygulamada Örnek: city sütununda “New York” için iki farklı giriş
• Olası Çözümler:
  • Tutarsız kategorilerden etkilenen satırları kaldırın
  • Tutarsız kategorileri doğru kategori adına yeniden eşleyin
  • Nasıl yeniden eşleneceği net değilse diğer veri noktalarına dayanarak kategorileri çıkarın

2. Metin Verilerinde Uzunluk İhlali

• Nedir: Belirli bir standardı izleyen metin sütunlarının aynı dize uzunluğuna sahip olduğundan emin olmak 
• Uygulamada Örnek: ABD phone_number sütununun 14 yerine 9 karakter olması
• Olası Çözümler:
  • Uzunluk ihlalinden etkilenen satırları kaldırın
  • Etkilenen gözlemleri eksik olarak ayarlayın

3. Tutarsız Biçimlendirmeye Sahip Metin Verileri

• Nedir: Belirli bir standardı izleyen metin sütunlarının aynı dize uzunluğuna sahip olduğundan emin olmak 
• Uygulamada Örnek: ABD phone_number sütununun 14 yerine 9 karakter olması
• Olası Çözümler:
  • Uzunluk ihlalinden etkilenen satırları kaldırın
  • Etkilenen gözlemleri eksik olarak ayarlayın

Veri Birörnekliliği Sorunları

1. Sayısal Sütunlar için Birim Birörnekliliği

• Nedir: Sayısal sütunların aynı birimlere sahip olduğundan emin olmak (Tüm gözlemler boyunca sıcaklığın Santigrat mı yoksa Fahrenheit mı olduğu. Bu, farklı ülkelerden veya kaynaklardan veri setleri birleştirildiğinde özellikle önemlidir.) 
• Uygulamada Örnek: Gerçekçi olmayan derecede yüksek veya düşük değerler içeren, santigrat cinsinden bir sıcaklık sütunu 
• Olası Çözümler:
  • Birimler hakkında bağlamın olmadığı ve akla yatırlık kontrolünü geçmeyen satırları kaldırma
  • Mümkün olduğunda birimleri standartlaştırma

2. Tarih Sütunları için Birim Birörnekliliği

• Nedir: Tarih sütunlarının aynı tarih-saat biçimine sahip olduğundan emin olmak
• Uygulamada Örnek: birthday sütununda hem dd-mm-yyyy hem de mm-dd-yyyy biçiminde tarihler olması
• Olası Çözümler:
  • Mümkün olduğunda tarih-saat biçimlerini standartlaştırma
  • Tarih-saat biçimi hakkında bağlamın olmadığı ve akla yatırlık kontrolünü geçmeyen satırları kaldırma

3. Sayısal Sütunlar için Alanlar Arası Doğrulama

• Nedir: Alanlar arası doğrulama, bir veri setindeki birden fazla alanı kullanarak başka bir alanın geçerliliğini sağlamaktır. Örneğin, parça-toplam sütunlarının ilgili bir toplamı vermesini sağlamak.
• Uygulamada Örnek: Sınıf başına uçuş rezervasyonlarının, kaydedilen toplam rezervasyonlara eklenmesi
• Olası Çözümler:
  • Akla yatırlık kontrollerinin başarısız olduğu satırları kaldırma
  • Veriyi tanıyarak alan bilgisinden gelen kuralları uygulama 

4. Tarih Sütunları için Alanlar Arası Doğrulama

• Nedir: Tarih ve zamansal sütunların akla yatırlık kontrollerini geçmesini sağlamak (örneğin, web semineri kayıt tarihleri daima katılım tarihlerinden önce olmalıdır) 
• Uygulamada Örnek: date_of_birth sütununun age sütunuyla uyuşmaması
• Olası Çözümler:
  • Akla yatırlık kontrollerinin başarısız olduğu satırları kaldırma
  • Veriyi tanıyarak alan bilgisinden gelen kuralları uygulama 

Eksik Veri Sorunları

1. Tamamen Rastgele Eksik

• Nedir: Eksik değerlerle veri setindeki diğer değerler arasında sistematik bir ilişki olmadığında
• Uygulamada Örnek: Eksik veriler ile veri setindeki diğer değerler arasında gözlemlenen bir ilişki yok
• Olası Çözümler:
  • Eksik satırları kaldırın
  • Eksik satırlara medyan veya ortalama gibi merkezi eğilim ölçüleriyle değer atayın
  • Eksik satırlara algoritmik, makine öğrenmesine dayalı yöntemlerle değer atayın
  • Yeni veri noktaları ve özellikler toplayın 

2. Rastgele Eksik

• Nedir: Eksik verilerle diğer gözlemlenen değerler arasında sistematik bir ilişki olduğunda
• Uygulamada Örnek: Posta hizmetinin o bölgede tam kapsama sağlamaması nedeniyle belirli bir bölgeden eksik nüfus sayımı verileri
• Olası Çözümler:
  • Eksik satırları kaldırın
  • Eksik satırlara medyan veya ortalama gibi merkezi eğilim ölçüleriyle değer atayın
  • Eksik satırlara algoritmik, makine öğrenmesine dayalı yöntemlerle değer atayın
  • Yeni veri noktaları ve özellikler toplayın 

3. Rastgele Olmayan Eksik

• Nedir: Eksik verilerle diğer gözlemlenmeyen değerler arasında sistematik bir ilişki olduğunda 
• Uygulamada Örnek: Sıcaklık çok düşük veya çok yüksek olduğu için eksik olan bir sensörden sıcaklık okumaları
• Olası Çözümler:
  • Eksik satırları kaldırın
  • Eksik satırlara medyan veya ortalama gibi merkezi eğilim ölçüleriyle değer atayın
  • Eksik satırlara algoritmik, makine öğrenmesine dayalı yöntemlerle değer atayın
  • Yeni veri noktaları ve özellikler toplayın