[Infografica] Checklist per il data cleaning

Il data cleaning occupa l’80% del flusso di lavoro della data science. Per questo abbiamo creato questa checklist, per aiutarti a identificare e risolvere qualsiasi problema di qualità nei tuoi dati. Se vuoi saperne di più sul cleaning dei dati, dai un’occhiata ai nostri corsi su Cleaning Data in Python e su R rispettivamente. 

Per scaricare questa infografica, fai clic sull’immagine qui sopra

Problemi di vincoli sui dati

1. Vincoli di tipo di dato

• Di cosa si tratta: Assicurarsi che le diverse colonne abbiano il tipo di dato corretto prima di iniziare l’analisi. 
• Esempio pratico: Una colonna revenue_usd che è una stringa e non un tipo di dato numerico.
• Possibili soluzioni: Convertire al tipo di dato corretto

2. Vincoli di intervallo dei dati

• Di cosa si tratta: Assicurarsi che le diverse colonne abbiano l’intervallo corretto. Ciò è particolarmente importante per le colonne che hanno limiti.
• Esempio pratico: Una colonna gpa dovrebbe essere vincolata a [0.0, 4.0]
• Possibili soluzioni:
  • Verificare errori di battitura, come un punto decimale nel posto sbagliato.
  • Eliminare le righe in cui i punti dati violano i vincoli di intervallo
  • Impostare il punto dato che viola i vincoli di intervallo al massimo o al minimo
  • Trattare il punto dato che viola i vincoli di intervallo come mancante e imputarlo

3. Vincoli di unicità

• Di cosa si tratta: Assicurarsi che non ci siano duplicati esatti o quasi esatti tra le righe. 
• Esempio pratico: Una riga duplicata in cui le colonne name e phone_number sono identiche, ma non la colonna height_cm
• Possibili soluzioni:
  • Conservare solo una delle righe duplicati esatti
  • Unire le righe che sono duplicati non esatti 

Problemi con dati testuali e categorici

1. Vincoli di appartenenza per dati categorici

• Di cosa si tratta: Assicurarsi che le colonne categoriche abbiano categorie corrette e coerenti
• Esempio pratico: Due voci diverse per “New York” nella colonna city
• Possibili soluzioni:
  • Eliminare le righe interessate da categorie incoerenti
  • Rimappare le categorie incoerenti al nome di categoria corretto
  • Inferire le categorie in base ad altri punti dati se non è chiaro come rimapparle

2. Violazione della lunghezza per dati testuali

• Di cosa si tratta: Assicurarsi che le colonne testuali che seguono uno standard specifico abbiano la stessa lunghezza della stringa 
• Esempio pratico: Una colonna statunitense phone_number che ha 9 caratteri invece di 14
• Possibili soluzioni:
  • Eliminare le righe interessate da violazioni della lunghezza
  • Impostare le osservazioni interessate come mancanti

3. Dati testuali con formattazione incoerente

• Di cosa si tratta: Assicurarsi che le colonne testuali che seguono uno standard specifico abbiano la stessa lunghezza della stringa 
• Esempio pratico: Una colonna statunitense phone_number che ha 9 caratteri invece di 14
• Possibili soluzioni:
  • Eliminare le righe interessate da violazioni della lunghezza
  • Impostare le osservazioni interessate come mancanti

Problemi di uniformità dei dati

1. Uniformità delle unità per colonne numeriche

• Di cosa si tratta: Assicurarsi che le colonne numeriche abbiano le stesse unità (temperatura in Celsius o Fahrenheit in tutte le osservazioni. Questo è particolarmente rilevante quando si uniscono dataset da paesi o fonti diverse.) 
• Esempio pratico: Una colonna della temperatura in celsius che presenta valori insolitamente alti o bassi 
• Possibili soluzioni:
  • Eliminare le righe in cui non c’è contesto sulle unità e che non superano un controllo di buon senso
  • Standardizzare le unità dove possibile

2. Uniformità delle unità per colonne di date

• Di cosa si tratta: Assicurarsi che le colonne di data abbiano lo stesso formato datetime
• Esempio pratico: Colonna birthday in cui compaiono date in dd-mm-yyyy e mm-dd-yyyy
• Possibili soluzioni:
  • Standardizzare i formati datetime dove possibile
  • Eliminare le righe in cui non c’è contesto sul formato datetime e che non superano un controllo di buon senso

3. Validazione incrociata per colonne numeriche

• Di cosa si tratta: La validazione incrociata è quando usiamo più campi in un dataset per verificare la validità di un altro. Ad esempio, assicurarsi che le colonne parte-totale sommino a un totale pertinente.
• Esempio pratico: Le prenotazioni di volo per classe sommano al totale delle prenotazioni registrate
• Possibili soluzioni:
  • Eliminare le righe in cui i controlli di buon senso falliscono
  • Applicare regole basate sulla conoscenza del dominio e dei dati 

4. Validazione incrociata per colonne di date

• Di cosa si tratta: Assicurarsi che le colonne di data e temporali superino i controlli di buon senso (ad esempio, verificare che le date di registrazione a un webinar precedano sempre le date di partecipazione) 
• Esempio pratico: Una colonna date_of_birth che non corrisponde alla colonna age
• Possibili soluzioni:
  • Eliminare le righe in cui i controlli di buon senso falliscono
  • Applicare regole basate sulla conoscenza del dominio e dei dati 

Problemi di dati mancanti

1. Missing Completely at Random

• Di cosa si tratta: Quando non c’è alcuna relazione sistematica tra i valori mancanti e gli altri valori all’interno del dataset
• Esempio pratico: Non si osserva alcuna relazione tra i dati mancanti e gli altri valori all’interno del dataset
• Possibili soluzioni:
  • Eliminare le righe con valori mancanti
  • Imputare le righe mancanti con misure di centralità come mediana o media
  • Imputare le righe mancanti con approcci algoritmici basati sul machine learning
  • Raccogliere nuovi punti dati e feature 

2. Missing at Random

• Di cosa si tratta: Quando c’è una relazione sistematica tra i dati mancanti e altri valori osservati
• Esempio pratico: Dati censuari mancanti da una specifica regione, perché il servizio postale non ha copertura completa in quell’area
• Possibili soluzioni:
  • Eliminare le righe con valori mancanti
  • Imputare le righe mancanti con misure di centralità come mediana o media
  • Imputare le righe mancanti con approcci algoritmici basati sul machine learning
  • Raccogliere nuovi punti dati e feature 

3. Missing Not at Random

• Di cosa si tratta: Quando c’è una relazione sistematica tra i dati mancanti e altri valori non osservati 
• Esempio pratico: Rilevazioni della temperatura mancanti da un sensore perché la temperatura era troppo bassa o troppo alta
• Possibili soluzioni:
  • Eliminare le righe con valori mancanti
  • Imputare le righe mancanti con misure di centralità come mediana o media
  • Imputare le righe mancanti con approcci algoritmici basati sul machine learning
  • Raccogliere nuovi punti dati e feature