Corso
Manipolazione dei dati con pandas
4 ore
567.9K
Man mano che la rivoluzione dei dati continua a trasformare il mondo che conosciamo, le aziende stanno iniziando a capire che prosperare in questa era significa mantenere un'architettura dei dati ben progettata. Un'architettura dei dati descrive la struttura degli asset di dati di un'organizzazione e mappa come i dati fluiscono all'interno dell'organizzazione. In sostanza, l'architettura dei dati funge da blueprint per la gestione dei dati, per garantire che tutti i dati aziendali siano gestiti in modo appropriato e soddisfino i requisiti di business. Ma cosa succede quando ci si imbatte in dati di scarsa qualità?
Senza un'architettura dei dati ben definita, è improbabile che le aziende riescano a sbloccare il vero valore dei propri dati e rischiano di sprecare molte risorse nel processo. Potrebbero anche essere sconfitte dai concorrenti con strategie sui dati più mature. Per evitare questa sorte, una delle cose più importanti che i leader devono comprendere è che esistono dati di scarsa qualità e che questi hanno conseguenze.
Qui esploriamo che cosa sono i dati di bassa qualità, perché la qualità dei dati è importante e quali sono i segnali dei dati scadenti.
Che cosa sono i dati di scarsa qualità?
Se la qualità dei dati “buoni” si può definire come adeguata allo scopo, possiamo dire che i dati di scarsa qualità non sono adeguati allo scopo. Significa che i dati non sono abbastanza validi per supportare i risultati per cui vengono utilizzati.
Spesso, i dati grezzi possono essere considerati dati di bassa qualità. Per esempio, i dati estratti da social network come Twitter sono non strutturati e, allo stato grezzo, non sono pronti per essere analizzati o usati per altri scopi informativi.
Tuttavia, i dati grezzi possono diventare dati di qualità tramite pulizia e processamento dei dati, attività che in genere richiedono tempo.
In parole povere, qualsiasi dato privo di struttura e afflitto da problemi di qualità come inaccuratezza, incompletezza, incoerenze e duplicazioni può essere considerato un dato di scarsa qualità.
Perché la qualità dei dati è importante
La qualità dei dati si riferisce allo stato delle informazioni qualitative o quantitative: misura la condizione dei dati in base a fattori specifici come accuratezza, completezza, coerenza, affidabilità e aggiornamento. Oltre ai dati dei clienti, questo include dati su prodotti, aziende, fornitori e molto altro.
Garantire che i dati a tua disposizione siano di buona qualità è fondamentale. Per ricavare valore dai dati, abbiamo bisogno che siano accurati, utili a supportare gli esiti per cui intendiamo usarli e sufficientemente validi per sfruttare al meglio le risorse disponibili.
Perché si verifica una scarsa qualità dei dati?
Ci sono tre grandi tipologie di problemi di qualità dei dati che hanno un impatto diretto sull'efficienza operativa:
- Errori umani. Una delle cause più comuni della bassa qualità dei dati è l'errore umano; ciò accade tipicamente quando il processo di inserimento dati manca di standardizzazione o quando i dipendenti inseriscono manualmente valori nei fogli di calcolo. Entrambe le situazioni aumentano le probabilità di errore.
- Sistemi eterogenei. Le organizzazioni spesso archiviano i dati in diversi sistemi tra loro disallineati e con regole proprie. Creare un dataset può richiedere l'integrazione di diverse fonti provenienti da vari sistemi, con conseguente duplicazione dei dati, campi mancanti o etichette incoerenti. È anche possibile che campi diversi abbiano lo stesso significato ma vengano gestiti diversamente da un altro sistema.
- Dati non validi. Il cambiamento è costante e le aziende evolvono. Quando ciò accade, è necessario aggiornare i dati (ad esempio, modificando il livello di dettaglio nella struttura dei dati, deprezzando campi o aggiornando i campi). Tuttavia, gli analisti potrebbero accorgersi dei cambiamenti necessari solo quando stanno per utilizzare i dati.
Questi fattori sono la causa principale dei dati di scarsa qualità e diventano un collo di bottiglia quando arriva il momento di usare i dati.
Puoi imparare a migliorare la qualità dei dati in Python in questo tutorial sulla pulizia dei dati di DataCamp.
Il costo dei dati di scarsa qualità
Il costo dei dati scadenti può variare a seconda di diversi fattori. In alcuni casi, i costi possono accumularsi nei processi a valle o causare ritardi nelle operazioni critiche. Nel peggiore dei casi, puoi aspettarti il fallimento dell'intero processo.
Esaminiamo alcuni dei costi dei dati di bassa qualità.
Insight errati
Gli insight che traiamo dai dati dipendono dalla qualità dei dati stessi. Per esempio, i leader aziendali potrebbero prendere una decisione chiave basandosi su insight provenienti dai loro dati senza rendersi conto che le molteplici fonti utilizzate per ricavarli contengono duplicati. La ridondanza può distorcere i risultati al punto da non riflettere la realtà, generando insight sbagliati.
Costi finanziari
In un articolo su come costruire un business case per il miglioramento della qualità dei dati, Gartner Research ha affermato che “le organizzazioni ritengono che la scarsa qualità dei dati sia responsabile in media di 15 milioni di dollari all'anno di perdite” e che “questo probabilmente peggiorerà con l'aumentare della complessità degli ambienti informativi — una sfida che riguarda organizzazioni di tutte le dimensioni.”
Efficienza organizzativa
Poiché sempre più aziende operano con i dati al centro, dati di scarsa qualità impattano direttamente sull'organizzazione nel suo insieme. Ad esempio, il team vendite potrebbe proporre prodotti al target sbagliato, cosa che si sarebbe potuta evitare se avesse avuto accesso a dati di buona qualità.
Problemi durante la migrazione
Immagina uno scenario in cui un'organizzazione decide di migrare da una piattaforma a un'altra; la nuova piattaforma potrebbe avere regole di data governance e standardizzazione diverse rispetto alla precedente, causando problemi di migrazione. Potresti anche trovarti in una situazione in cui la piattaforma archivia i dati in un formato differente: questo renderà difficile mappare correttamente i dati.
Un collo di bottiglia generale
La scarsa qualità dei dati può causare rapidamente gravi colli di bottiglia durante la trasformazione digitale di un'organizzazione. I problemi che emergono devono essere risolti, il che significa che il progetto di trasformazione viene messo in pausa. Ripetere questo più volte influisce pesantemente sul tasso di adozione e sulle risorse.
10 segnali di dati di bassa qualità
La qualità dell'input determinerà la qualità dell'output. È praticamente impossibile generare report accurati e affidabili con dati incompleti, incoerenti o corrotti: spazzatura in entrata, spazzatura in uscita.
Quindi, come stabilire se la tua organizzazione soffre di un problema di qualità dei dati? Ecco dieci segnali a cui prestare attenzione (non in ordine):
#1 Mancano informazioni importanti
Le cause dei dati mancanti possono essere diverse, ad esempio malfunzionamenti delle apparecchiature, file persi, inserimenti incompleti, ecc. Anche se non è raro avere qualche dato mancante in un dataset, l'assenza di informazioni importanti comporta molte sfide. Ecco le tre principali:
- L'assenza di dati riduce la potenza statistica, diminuendo le probabilità di rilevare un effetto reale.
- I dati mancanti possono introdurre bias nei parametri di stima
- La mancanza di informazioni cruciali può ridurre la rappresentatività dei campioni.
Puoi approfondire come gestire i dati mancanti in Python con il nostro corso online.
#2 Richiesti troppo sforzo e tempo per compiti banali
Se hai la sensazione di passare la maggior parte del tempo in attività manuali, probabilmente hai a che fare con dati scadenti. Una strategia di data management inefficace (o inesistente) può portarti a organizzare manualmente dati da varie fonti, sollecitare persone per colmare lacune e inserire quei dati nei fogli di calcolo.
#3 Insight poco azionabili
Gli insight azionabili sono conclusioni tratte dai dati che si possono tradurre direttamente in un'azione o una risposta. Devono quindi essere rilevanti, specifici e di valore per chi decide.
Ciò che rende preziosi questi insight è l'informazione nuova che portano in tavola. Tuttavia, non significa che debbano provenire da un dataset completamente nuovo. Se i tuoi dati ti dicono cose che già sai con certezza, allora non hanno valore e non sono rilevanti.
#4 Analizzare i dati è difficile
La normalizzazione dei dati è necessaria per:
- Garantire che la tabella contenga solo dati direttamente correlati alla chiave primaria
- Assicurare che ogni campo dati contenga esattamente un elemento
- Eliminare i dati ridondanti
Senza dati normalizzati, condurre l'analisi può essere estremamente difficile, poiché ogni fonte può presentare propri formati, campi ed etichette che variano in modo significativo.
#5 Opportunità mancate
Il pensiero di non riuscire a sfruttare al massimo i dati in tuo possesso può perseguitarti – soprattutto se non ti fidi dell'attuale strategia di gestione dei dati. Un segnale chiaro che dipendi da dati scadenti è l'aumento dell'esposizione a rischi inutili, che ti lascia scoperto quando si verificano cambiamenti improvvisi.
#6 Gli insight non arrivano in tempo
Devi avere accesso immediato ai dati in un repository centralizzato. Questo ti consente di generare report in modo rapido e semplice, oltre ad altri vantaggi. Ad esempio, ridurre la ridondanza, minimizzando gli errori e semplificando l'accesso alle informazioni.
I dati centralizzati significano che l'intera organizzazione lavora sullo stesso blueprint e segue le stesse regole. L'idea è evitare le discrepanze che nascono dall'uso di dati disomogenei e strumenti diversi.
#7 Troppi errori nei dati
Gli esseri umani sono inclini all'errore. È sbagliato aspettarsi dati perfetti quando una persona è responsabile dell'inserimento manuale nel sistema. I dati dovrebbero essere oggetto di audit. Questo renderà anche chiaro se gli errori nei tuoi dati derivano dal fornitore del servizio o da sbagli umani.
#8 I decisori non hanno fiducia
I dati dovrebbero generare fiducia. Disporre di dati affidabili è un prerequisito fondamentale per prendere decisioni data-driven. Quando i decisori non si fidano dei dati, l'istinto è tornare alle vecchie abitudini, quindi puoi aspettarti decisioni basate sull'intuizione e su congetture informate.
Scopri di più sull'importanza del Decision Making data-driven per il business con il nostro corso online.
#9 Mancanza di visibilità sulle metriche chiave di business
Quando i Key Performance Indicator (KPI) non sono disponibili in tempo reale, diventa poco chiaro quali azioni genereranno il maggiore impatto.
#10 Esperienza cliente frammentata
Un segnale evidente (e potenzialmente costoso) di dati scadenti è quando i clienti ricevono contenuti non allineati alla fase del loro percorso d'acquisto. Oggi i consumatori non “vogliono” più un'esperienza personalizzata; se l'aspettano. Se i clienti non ricevono un'esperienza personalizzata in tutti i touchpoint, l'esperienza può essere considerata frammentata.
Riconoscere più di alcuni di questi sintomi nella tua organizzazione è motivo di preoccupazione: è probabile che ci sia un problema di qualità dei dati. Scopri di più su come costruire motori di raccomandazione in Python con il nostro corso online.
Come gestire i dati di scarsa qualità
Si spera che ora sia chiaro che non tutti i dati sono buoni. Il modo migliore per gestire i dati scadenti è prevenire la scarsa qualità alla fonte. Tuttavia, questa soluzione può essere difficile da far rispettare se stai già facendo i conti con dati di bassa qualità.
I seguenti passaggi sono pensati per aiutarti a gestire i dati scadenti se li hai già raccolti:
Passo 1: Accetta la realtà
Hai dati di scarsa qualità. Accettalo. Se non riconosci che i dati scadenti sono un problema, è altamente improbabile che tu sia disposto a intraprendere azioni per migliorarli.
Passo 2: Aggiorna i tuoi dati scadenti
Usando le tue conoscenze su come identificare i dati di bassa qualità, i tuoi dati devono essere puliti – questo probabilmente includerà l'aggiornamento dei record esistenti.
Passo 3: Introduci un programma per la qualità dei dati
I programmi di qualità dei dati servono a ridurre il rischio di errori, stabilendo processi comuni e affidabili a supporto dell'uso e della produzione dei dati.
Passo 4: Migliora le tecniche di raccolta
Implementa tecniche migliori per acquisire i dati: questo può significare evitare di richiedere informazioni quando non sono necessarie e spiegare perché ti servono dati specifici, come intendi usarli e quali vantaggi avrà il cliente se condivide i suoi dati con te.
Passo 5: Forma le persone intorno a te
Per gestire meglio i dati, i dipendenti devono sapere come raccoglierli, trattarli, smaltirli e gestirli.
La chiave per gestire i dati di scarsa qualità è affrontarli alla fonte. Se hai già raccolto dati scadenti, devi accettare che i tuoi dati non sono buoni e poi procedere con attività di pulizia e aggiornamento dove necessario. Dopo aver ripulito i dati, è fondamentale ridurre il rischio di ritrovarti di nuovo nella stessa situazione introducendo un programma di qualità dei dati che migliori le tecniche di data management della tua organizzazione. Hai competenze sui dati sufficienti? Puoi imparare a rispondere a domande reali usando i dati con lo skill track Data Skills for Business di DataCamp.
FAQ sui dati di scarsa qualità
Che cos'è la qualità dei dati?
La qualità dei dati è una misura della condizione dei dati basata su accuratezza, completezza, coerenza, affidabilità e aggiornamento.
Quali sono le cause comuni dei problemi di qualità dei dati?
I problemi di qualità dei dati possono sorgere per diversi motivi, ma le tre cause principali che hanno un impatto diretto sull'efficienza operativa sono: 1) errore umano, 2) sistemi eterogenei e 3) dati non validi.
Quali sono le conseguenze dei dati di scarsa qualità?
La scarsa qualità dei dati può danneggiare seriamente la tua attività perché rappresenta un grande collo di bottiglia. I costi dei dati scadenti includono insight errati, alti costi finanziari, problemi di migrazione ed efficienza organizzativa ridotta.
Come fai a sapere se i tuoi dati sono scarsi?
Segnali di allarme che indicano che hai dati scadenti includono:
- La stessa domanda restituisce risposte diverse
- Gli insight non arrivano in tempo / Si perdono opportunità
- Richiesti troppo sforzo e tempo per compiti banali
- Reclami dei clienti sulla scarsa conoscenza, da parte dei dipendenti, delle transazioni precedenti
- Disaccordi tra team sulle performance dell'organizzazione
- Fallimenti ricorrenti nelle attività di migrazione a causa di dati scadenti
- Indicatori di performance inaffidabili nonostante molteplici data warehouse e data lake
- I dipendenti non si fidano del sistema – di conseguenza mantengono un proprio archivio dati.
- Analizzare i dati è difficile
- Mancano informazioni importanti
Argomenti
