In 5 stappen data analyseren voor je bedrijf

Big data is big business. De snelle digitalisering van onze samenleving heeft geleid tot een ongekende datagroei. En met de komst van nieuwe technologieën en infrastructuren zoals virtual reality, de metaverse, het Internet of Things (IoT) en 5G zal die trend zich waarschijnlijk voortzetten. Daarom is het cruciaal om te begrijpen hoe je data analyseert. 

Data is een van de meest waardevolle bezittingen in de economie van de 21e eeuw geworden. Overheden, bedrijven en individuen gebruiken data om hun besluitvorming te verbeteren. Dit heeft geleid tot een enorme vraag naar gekwalificeerde professionals die grote hoeveelheden data kunnen verwerken en analyseren.

Toch hebben veel bedrijven nog moeite om data te beheren en te begrijpen. Volgens een onderzoek van Splunk wordt 55% van alle door bedrijven verzamelde data beschouwd als “dark data” – oftewel data die bedrijven tijdens hun reguliere bedrijfsactiviteiten verzamelen maar niet gebruiken. Soms zijn bedrijven zich simpelweg niet bewust van het bestaan van bepaalde data, maar vaak analyseren ze data niet omdat ze het juiste talent missen.

Het opleiden van medewerkers via interne data science-programma’s is een van de beste strategieën om het tekort aan data scientists aan te pakken. In tegenstelling tot wat vaak wordt gedacht, heb je geen gevorderde graad in statistiek of een PhD in informatica nodig om met data-analyse te beginnen. De markt biedt volop opties voor allerlei mensen en situaties. Zo bieden we bij DataCamp uitgebreide datatraining voor individuen en organisaties. 

In dit artikel introduceren we het data-analyseproces. We presenteren een eenvoudig raamwerk, de data science-workflow, met simpele stappen die je volgt om van ruwe data naar waardevolle inzichten te gaan.

Hoe analyseer je data met de data science-workflow

Wanneer dataprofessionals aan een nieuw project met data-analyse beginnen, volgen ze doorgaans een proces van vijf stappen. Dat noemen we de data science-workflow, waarvan je de onderdelen hieronder ziet:

1. Zakelijke vragen identificeren
2. Data verzamelen en opslaan
3. Data opschonen en voorbereiden
4. Data analyseren
5. Resultaten visualiseren en communiceren

De data science-workflow

In de volgende secties bekijken we elke stap in meer detail.

Hoewel de data science-workflow per taak kan variëren, is het belangrijk om bij elk nieuw dataproject vast te houden aan een samenhangend en goed gedefinieerd raamwerk. Dat helpt je je werk te plannen, uit te voeren en te optimaliseren.

1. Zakelijke vragen identificeren

Data is maar zo goed als de vragen die je stelt. Veel organisaties geven miljoenen uit om allerlei data uit verschillende bronnen te verzamelen, maar slagen er niet in er waarde uit te halen. Hoeveel data je bedrijf ook bezit of hoeveel data scientists je afdeling telt, data wordt pas een gamechanger als je de juiste zakelijke vragen hebt geïdentificeerd. 

De eerste stap om data in inzichten te veranderen, is een duidelijke set doelen en vragen definiëren. Hieronder vind je een lijst met voorbeelden:

• Wat heeft het bedrijf nodig? 
• Welk soort probleem proberen we op te lossen? 
• Hoe kan data helpen een probleem of zakelijke vraag op te lossen? 
• Welk type data is nodig?
• Welke programmeertalen en technologieën gaan we gebruiken? 
• Welke methodologie of techniek gebruiken we in het data-analyseproces?
• Hoe meten we de resultaten? 
• Hoe worden de datataken binnen het team verdeeld?

Aan het einde van deze eerste stap van de data science-workflow heb je idealiter een duidelijke en goed gedefinieerde aanpak om verder te gaan. Deze blauwdruk helpt je door de complexiteit van de data te navigeren en je doelen te bereiken.

Maak je geen zorgen als deze stap extra tijd kost. Het identificeren van de juiste zakelijke vragen is cruciaal om efficiënter te werken en bespaart je bedrijf uiteindelijk tijd en andere middelen.

2. Data verzamelen en opslaan

Nu je een duidelijke set vragen hebt, is het tijd om aan de slag te gaan. Eerst moet je je data verzamelen en veilig opslaan om die te kunnen analyseren.

In onze datagedreven samenleving wordt elke seconde een enorme hoeveelheid data gegenereerd. De drie belangrijkste databronnen zijn: 

• Bedrijfsdata. Deze ontstaat bij de dagelijkse activiteiten van bedrijven. Denk aan webevents, klantdata, financiële transacties of enquêtegegevens. Deze data wordt normaal gesproken opgeslagen in relationele databases.
• Machinedata. Door recente vooruitgang in sensortechnologie en IoT genereren steeds meer elektronische apparaten data. Dat varieert van camera’s en smartwatches tot slimme huizen en satellieten. 
• Open data. Vanwege het potentieel van data om economische waarde te creëren, stellen overheden en bedrijven data beschikbaar voor vrij gebruik. Dit kan via een open data-portaal en API’s (Application Programming Interface).

We kunnen data vervolgens indelen in twee typen:

• Kwantitatieve data. Informatie die kan worden geteld of gemeten met numerieke waarden. Dit is doorgaans gestructureerd in spreadsheets of SQL-databases. 
• Kwalitatieve data.  Het grootste deel van de data die tegenwoordig wordt gegenereerd is kwalitatief. Veelvoorkomende voorbeelden zijn tekst, audio, video, afbeeldingen of socialmediadata. Kwalitatieve data is vaak ongestructureerd, waardoor het lastig op te slaan en te verwerken is in standaardspreadsheets of relationele databases.

Afhankelijk van de zakelijke vragen die je wilt beantwoorden, gebruik je verschillende soorten data en technieken. Over het algemeen vergen het verzamelen, opslaan en analyseren van kwalitatieve data geavanceerdere methoden dan kwantitatieve data.

3. Data opschonen en voorbereiden 

Als je je data hebt verzameld en opgeslagen, is de volgende stap de kwaliteit beoordelen. Onthoud dat het succes van je data-analyse sterk afhangt van de kwaliteit van je data. Als je informatie onnauwkeurig, onvolledig of inconsistent is, zijn je inzichten verkeerd of misleidend. Daarom is tijd besteden aan opschonen en voorbereiden verplicht. Lees ons artikel over de signalen van slechte datakwaliteit voor meer informatie. 

Ruwe data is zelden direct klaar voor analyse. Het beoordelen van datakwaliteit is essentieel om fouten in je data te vinden en te corrigeren. Dit proces omvat het verhelpen van fouten zoals:

• Duplicaten in rijen, kolommen of cellen verwijderen. 
• Rijen en kolommen verwijderen die tijdens de analyse niet nodig zijn. Dit is vooral belangrijk als je werkt met grote datasets die veel geheugen gebruiken. 
• Omgaan met lege waarden in datasets, ook wel null-waarden genoemd
• Omgaan met afwijkende en extreme waarden, ook wel outliers genoemd
• Data-structuur en -typen standaardiseren zodat alle data op dezelfde manier is uitgedrukt.

Fouten en afwijkingen in data opsporen is op zichzelf een data-analyse, gewoonlijk bekend als exploratieve data-analyse.

Exploratieve data-analyse

Exploratieve data-analyse is gericht op het bestuderen en samenvatten van de kenmerken van data. De belangrijkste methoden hiervoor zijn statistiek en datavisualisaties: 

• Statistiek levert korte, informatieve kengetallen die data samenvatten. Veelvoorkomende statistieken zijn gemiddelde, mediaan, standaarddeviatie en correlatiecoëfficiënten. 
• Datavisualisatie is de grafische weergave van data. Afhankelijk van het type data zijn sommige grafieken nuttiger dan andere. Zo is een boxplot een uitstekende grafiek om de verdeling van data te visualiseren en extreme waarden te scheiden.  

De tijd die je in deze fase investeert, hangt sterk af van de omvang en de kwaliteit van de data die je wilt analyseren. Toch is data opschonen doorgaans de meest tijdrovende stap in de data science-workflow. Sterker nog, data scientists besteden 80% van hun tijd aan deze fase van de data science-workflow.

Werk je bij een bedrijf waar data-analyse onderdeel is van de dagelijkse activiteiten, dan is een goede strategie om de efficiëntie in deze fase te verhogen het implementeren van een data governance-strategie. Met duidelijke regels en beleid voor het opschonen en verwerken van data is je bedrijf beter voorbereid en verklein je de tijd die nodig is voor data cleaning.

Ben je benieuwd hoe het proces van data opschonen werkt en wat de belangrijkste soorten dataproblemen zijn, bekijk dan onze ​​Cleaning Data in Python-cursus en Cleaning Data in R-cursus. Wil je ook leren hoe exploratieve data-analyse in de praktijk werkt, dan helpt onze Exploratory Data Analysis in SQL-cursus je op weg. 

4. Data analyseren

Nu je data er schoon uitziet, ben je klaar om te analyseren. Patronen, verbanden, inzichten en voorspellingen vinden is vaak het meest bevredigende deel van het werk van een data scientist. 

Afhankelijk van de doelen van de analyse en het type data zijn er verschillende technieken beschikbaar. In de loop der jaren zijn er nieuwe technieken en methodologieën ontstaan om met allerlei soorten data om te gaan. Die variëren van eenvoudige lineaire regressies tot geavanceerde technieken uit toonaangevende vakgebieden zoals machine learning, natural language processing (NLP) en computer vision.

Hieronder vind je een lijst van enkele van de populairste data-analysemethoden om dieper in je analyse te duiken:

Machine learning

Deze tak van kunstmatige intelligentie biedt een set algoritmen waarmee machines patronen en trends leren uit beschikbare historische data. Zodra algoritmen zijn getraind, kunnen ze generaliseerbare voorspellingen doen met toenemende nauwkeurigheid. Er zijn drie soorten machine learning, afhankelijk van het type probleem dat je wilt oplossen:

• Supervised learning houdt in dat je een model traint op een gelabelde trainingsset met historische data, waaruit het de relaties tussen input- en outputdata leert. Vervolgens schat het de nauwkeurigheid van voorspellingen op een testset waarvan de outputwaarden vooraf bekend zijn, zodat het model later kan worden gebruikt om voorspellingen te doen op onbekende data. Wil je meer leren over supervised learning, volg dan DataCamp’s Supervised Learning with scikit-learn-cursus. 
• Unsupervised learning richt zich op het identificeren van de intrinsieke structuur van de data zonder een afhankelijke variabele, het detecteren van patronen, het classificeren van datapunten op basis van hun kenmerken en vervolgens, op basis van deze informatie, voorspellingen doen op nieuwe data. Wil je je kennis in unsupervised learning uitbreiden, bekijk dan onze Unsupervised Learning in Python-cursus. 
• Reinforcement learning houdt in dat een algoritme geleidelijk leert door te interacteren met een omgeving, bepaalt welke acties het dichter bij de oplossing brengen, identificeert welke acties het ervan afleiden op basis van eerdere ervaringen en vervolgens de beste actie uitvoert voor die specifieke stap. Het principe is dat het algoritme straffen krijgt voor foute acties en beloningen voor juiste acties, zodat het de optimale strategie voor zijn prestaties kan bepalen. Klaar om meer te leren? Bekijk deze Introduction to Reinforcement Learning-tutorial.