10 signalen van slechte data: zo herken je gebrekkige datakwaliteit

Wat zijn slechte data?

Als we goede data definiëren als data die geschikt zijn voor het doel, dan zijn slechte data data die niet geschikt zijn voor het doel. Dat betekent dat de data niet goed genoeg zijn om de beoogde uitkomsten te ondersteunen. 

Vaak worden ruwe data als slechte data beschouwd. Data die bijvoorbeeld zijn geëxtraheerd van sociale netwerken zoals Twitter zijn ongestructureerd en in ruwe vorm niet klaar om te worden geanalyseerd of voor andere inzichten te worden gebruikt. 

Ruwe data kunnen echter goede data worden via opschonen en verwerking, wat doorgaans tijd kost. 

De simpelste manier om het te zeggen: elke dataset die structuur mist en last heeft van kwaliteitsproblemen zoals onnauwkeurigheid, onvolledigheid, inconsistenties en duplicaten, kan als slechte data worden beschouwd.

Waarom datakwaliteit ertoe doet

Datakwaliteit verwijst naar de staat van kwalitatieve of kwantitatieve gegevens: het meet de conditie van data aan de hand van factoren zoals nauwkeurigheid, volledigheid, consistentie, betrouwbaarheid en actualiteit. Naast klantdata gaat het ook om productdata, bedrijfsdata, leveranciersdata en meer. 

Zorgen dat je data van goede kwaliteit zijn, is cruciaal. Om waarde uit data te halen, moeten ze kloppen, bruikbaar zijn voor de beoogde uitkomsten en goed genoeg om beschikbare middelen optimaal te benutten.  

Waarom ontstaat slechte datakwaliteit? 

Er zijn drie belangrijke soorten kwaliteitsproblemen met directe impact op de operationele efficiëntie: 

• Menselijke fouten. Een van de meest voorkomende oorzaken van slechte datakwaliteit is menselijke fout; dit gebeurt vaak wanneer het proces voor data-entry niet gestandaardiseerd is of wanneer medewerkers handmatig waarden in spreadsheets invoeren. Beide vergroten de kans op fouten.
• Disparate systemen. Organisaties slaan data vaak op in meerdere losse systemen met eigen regels. Een dataset opbouwen kan het integreren van meerdere bronnen uit verschillende systemen vereisen, wat leidt tot dubbele data, ontbrekende velden of inconsistente labels. Ook kunnen verschillende velden hetzelfde betekenen maar in een ander systeem anders benoemd zijn.
• Ongeldige data. Verandering is constant en bedrijven evolueren. Dan moeten ook de data mee veranderen (bijv. het detailniveau in de datastructuur aanpassen, velden afschaffen of bijwerken). Analisten merken de benodigde wijzigingen soms pas op het moment dat ze de data willen gebruiken. 

Deze factoren zijn de voornaamste oorzaak van slechte data en vormen een bottleneck zodra de data gebruikt moeten worden. 

Je kunt leren hoe je datakwaliteit in Python verbetert in deze DataCamp-tutorial over data opschonen.

De kosten van slechte data

De kosten van slechte data variëren afhankelijk van meerdere factoren. In sommige gevallen stapelen kosten zich op in downstream-processen of door vertragingen in kritieke operaties. In het slechtste geval kan het hele proces mislukken. 

Laten we enkele kosten van slechte data bekijken.

Gemanipuleerde inzichten

De inzichten die we uit data halen, zijn afhankelijk van de kwaliteit van die data. Zo kan het gebeuren dat leiders een belangrijke beslissing nemen op basis van inzichten uit data, zonder te beseffen dat de gebruikte bronnen duplicaten bevatten. De redundantie kan de resultaten vertekenen, waardoor ze de werkelijkheid niet weerspiegelen en de inzichten gebrekkig zijn.  

Financiële kosten 

In een artikel over het opstellen van een businesscase voor het verbeteren van datakwaliteit stelt Gartner-onderzoek dat “organisaties slechte datakwaliteit verantwoordelijk achten voor gemiddeld $15 miljoen per jaar aan verliezen” en “dat dit waarschijnlijk zal verergeren naarmate informatiesystemen complexer worden — een uitdaging voor organisaties van alle grootte.” 

Organisatorische efficiëntie

Nu meer bedrijven datagedreven werken, raakt slechte data de hele organisatie. Zo kan het salesteam producten pitchen bij de verkeerde doelgroep, iets wat voorkomen had kunnen worden met goede data.  

Problemen tijdens migratie

Stel dat een organisatie besluit te migreren van het ene platform naar het andere; het nieuwe platform kan andere regels voor data governance en standaardisatie hebben dan het oude, wat migratieproblemen veroorzaakt. Ook kan het platform data in een ander formaat opslaan: dan wordt het lastig om data nauwkeurig te mappen. 

Een algehele bottleneck 

Slechte datakwaliteit kan snel ernstige bottlenecks veroorzaken tijdens de digitale transformatie van een organisatie. Ontstane issues moeten worden opgelost, waardoor het transformatieproject pauzeert. Herhaling hiervan drukt zwaar op het adoptietempo en op de inzet van middelen. 

10 signalen van slechte data

De kwaliteit van de input bepaalt de kwaliteit van de output. Het is praktisch onmogelijk om nauwkeurige en betrouwbare rapporten te maken met onvolledige, inconsistente of corrupte data: garbage in, garbage out. 

Hoe bepaal je of je organisatie een datakwaliteitsprobleem heeft? Dit zijn tien signalen om op te letten (in willekeurige volgorde):

#1 Belangrijke informatie ontbreekt 

Ontbrekende data kunnen meerdere oorzaken hebben, zoals storingen van apparatuur, kwijgeraakte bestanden, onvolledige invoer, enzovoort. Hoewel het niet ongebruikelijk is dat een dataset wat ontbrekende waarden heeft, levert het ontbreken van cruciale informatie veel uitdagingen op. De drie grootste zijn: 

1. De afwezigheid van data verlaagt de statistische power, waardoor de kans afneemt om een echt effect te detecteren. 
2. Ontbrekende data kunnen leiden tot bias in de schattingen 
3. Het ontbreken van cruciale informatie kan de representativiteit van de steekproeven verminderen.

Je kunt meer leren over omgaan met ontbrekende data in Python met onze online cursus.  

#2 Buitensporig veel tijd gaat naar routinetaken 

Gaat het grootste deel van je tijd op aan handwerk, dan heb je waarschijnlijk slechte data. Een ineffectieve (of ontbrekende) datastrategie kan ertoe leiden dat je handmatig data uit diverse bronnen ordent, mensen achternazit om gaten te vullen en die data in spreadsheets zet.  

#3  Te weinig actionabele inzichten 

Actionabele inzichten zijn conclusies uit data die direct zijn te vertalen naar actie of respons. Ze moeten dus relevant, specifiek en waardevol zijn voor de beslisser. 

Wat zulke inzichten waardevol maakt, is de nieuwe informatie die ze bieden. Dat hoeft niet per se uit een volledig nieuwe dataset te komen. Als je data je alleen vertellen wat je al zeker wist, hebben ze geen waarde en zijn ze niet relevant. 

#4 Data analyseren is lastig 

Normalisatie van je data is nodig om: 

1. Zeker te zijn dat de tabel alleen data bevat die direct gerelateerd zijn aan de primaire sleutel
2. Zeker te zijn dat elk veld precies één data-element bevat
3. Redundante data te verwijderen 

Zonder genormaliseerde data kan analyse extreem moeilijk zijn, omdat elke bron mogelijk eigen formaten, velden en labels heeft die onderling verschillen. 

#5 Kansen worden gemist 

Het gevoel dat je niet het maximale uit je data haalt, kan blijven knagen – zeker als je je huidige datastrategie niet vertrouwt. Een duidelijk teken dat je op slechte data leunt, is dat je onnodige risico’s loopt en kwetsbaar bent bij plotselinge veranderingen.

#6 Inzichten komen niet op tijd 

Je moet direct toegang hebben tot data in een gecentraliseerde repository. Dat maakt het mogelijk om snel en eenvoudig rapporten te genereren, plus andere voordelen. Bijvoorbeeld minder redundantie, waardoor je fouten minimaliseert en de toegang tot informatie vereenvoudigt.

Gecentraliseerde data betekenen dat de hele organisatie volgens dezelfde blauwdruk werkt en dezelfde regels volgt. Zo voorkom je verschillen die ontstaan door het gebruik van losse data en uiteenlopende tools. 

#7 Te veel fouten in de data

Mensen maken fouten. Het is onrealistisch om perfecte data te verwachten wanneer iemand handmatig gegevens invoert. Data moeten worden geaudit. Zo wordt ook duidelijk of fouten in je data door de leverancier komen of door menselijke vergissingen. 

#8 Beslissers hebben weinig vertrouwen

Data zouden vertrouwen moeten geven. Betrouwbare data zijn een basisvoorwaarde voor datagedreven beslissingen. Als beslissers geen vertrouwen hebben in de data, vallen ze terug op de oude manier, met keuzes op onderbuikgevoel en educated guesses. 

Leer meer over het belang van datagedreven beslissingen nemen voor bedrijven met onze online cursus.

#9 Gebrek aan zicht op sleutelmetricen 

Als Key Performance Indicators (KPI’s) niet realtime beschikbaar zijn, is het onduidelijk welke acties de meeste impact hebben. 

#10 Gefragmenteerde klantervaring 

Een duidelijk (en mogelijk kostbaar) signaal van slechte data is wanneer klanten content ontvangen die niet past bij hun fase in de klantreis. Tegenwoordig “willen” consumenten niet langer een gepersonaliseerde ervaring; ze verwachten die. Als klanten geen gepersonaliseerde ervaring krijgen over contactpunten heen, is de klantervaring gefragmenteerd.

Als je meerdere van deze symptomen herkent in je organisatie, is dat zorgelijk: er is waarschijnlijk een datakwaliteitsprobleem. Lees meer over aanbevelingssystemen bouwen in Python met onze online cursus. 

Hoe ga je om met slechte data

Hopelijk is het nu duidelijk dat niet alle data goed zijn. De beste manier om slechte data te managen, is slechte kwaliteit bij de bron voorkomen. Maar die oplossing is lastig af te dwingen als je al met slechte data te maken hebt. 

De volgende stappen helpen je omgaan met slechte data als je ze al hebt verzameld: 

Stap 1: Accepteer de realiteit

Je data zijn slecht. Accepteer het. Als je slechte data niet als probleem herkent, is de kans klein dat je bereid bent verbeterstappen te zetten. 

Stap 2: Werk je slechte data bij

Gebruikmakend van je kennis om slechte data te identificeren, moeten je data opgeschoond worden – dit houdt waarschijnlijk ook in dat je bestaande records bijwerkt. 

Stap 3: Voer een datakwaliteitsprogramma in

Datakwaliteitsprogramma’s verkleinen het risico op fouten en leggen gemeenschappelijke, betrouwbare processen vast die het gebruik en de productie van data ondersteunen. 

Stap 4: Verbeter technieken voor dataverzameling

Implementeer betere methoden om data te verzamelen: vraag geen informatie die niet nodig is en leg uit waarom je specifieke data nodig hebt, hoe je die wilt gebruiken en wat je klant eraan heeft als die data worden gedeeld.

Stap 5: Onderwijs je omgeving 

Om data beter te beheren, moeten medewerkers weten hoe ze data verzamelen, verwerken, verwijderen en beheren.

De sleutel tot het managen van slechte data is ze bij de bron aan te pakken. Als je al slechte data hebt verzameld, moet je erkennen dat je data slecht zijn en vervolgens opschonen en bijwerken waar nodig. Nadat je je data hebt opgeschoond, is het cruciaal om het risico op herhaling te verkleinen met een datakwaliteitsprogramma dat de datamanagementtechnieken van je organisatie verbetert. Heb je voldoende datavaardigheden? Leer echte vragen beantwoorden met data in DataCamp’s Data Skills for Business-skilltrack.