Python-tutorial Exploratory Data Analysis

Leer de basis van Exploratory Data Analysis (EDA) in Python met pandas, Matplotlib en NumPy, zoals sampling, feature engineering, correlatie, enz.

Bijgewerkt 2 okt 2026 · 15 min lezen

Verken met AI

ChatGPT Claude Perplexity

Zoals je inmiddels weet, gebruik je de Python-bibliotheek pandas voor datamanipulatie. Voor wie net begint, kan dat klinken alsof het pakket alleen handig is voor het preprocessen van data, maar niets is minder waar: pandas is ook ideaal om je data te verkennen en om die op te slaan nadat je klaar bent met het preprocessen.

Daarnaast is het, als je DataCamps Python-tutorials hebt gevolgd of al bent geïntroduceerd in de basis van SciPy, NumPy, Matplotlib en pandas, een goed idee om sommige kennis die je hebt opgebouwd nog eens op te frissen.

De tutorial van vandaag laat je manieren zien om je data efficiënt te verkennen met al deze pakketten, zodat je kunt beginnen met modelleren:

Je leert eerst hoe je data importeert, de eerste stap die je succesvol moet afronden voordat je met je analyse kunt beginnen.
Als je niet zeker weet wat Exploratory Data Analysis (EDA) is en wat precies het verschil is tussen EDA en data mining, dan legt dit onderdeel het voor je uit voordat je met de tutorial start!
Daarna krijg je een basale beschrijving van je data. Je richt je op beschrijvende statistieken, bekijkt de eerste en laatste rijen van je DataFrame, haalt steekproeven uit je data, enzovoort. Je zult zien dat dit een fijne manier is om feeling met je data te krijgen en die misschien nu al beter te begrijpen!
Nadat je wat informatie over je data hebt verzameld, is het ook een goed idee om er dieper in te duiken door de data te query’en of te indexeren. Met deze techniek kun je enkele basishypotheses over de data testen.
Nu je je data hebt geïnspecteerd, zie je waarschijnlijk al dat er features zijn die interessant zijn voor je analyse: je ziet welke met feature engineering en featureselectie je analyse positief kunnen beïnvloeden.
Vervolgens zie je dat een eerste verkenning goed is, maar dat je ook een idee moet hebben van de uitdagingen die je data kan opleveren, zoals ontbrekende waarden of uitschieters, en natuurlijk hoe je daarmee omgaat, en
Tot slot leer je ook hoe je patronen in je data ontdekt, door je data snel en eenvoudig te visualiseren met de Python-visualisatiepakketten Matplotlib en Bokeh, of door specifieke functies te gebruiken om de correlatie tussen attributen te berekenen.

Geïnteresseerd in een cursus over pandas? Overweeg onze cursus Data Manipulation with pandas!

Data importeren

Om je data te verkennen, begin je met het inladen ervan. Waarschijnlijk weet je dit al, maar dankzij de pandas-bibliotheek is dat eenvoudig: je importeert het pakket conventioneel als pd en gebruikt de functie read_csv(), waaraan je de URL meegeeft waar de data te vinden is en een header-argument. Met dit laatste argument zorg je ervoor dat je data correct wordt ingelezen: de eerste rij van je data wordt dan niet geïnterpreteerd als kolomnamen van je DataFrame.

Daarnaast zijn er nog andere argumenten die je kunt opgeven om zeker te zijn dat je data goed wordt ingelezen: je kunt de scheidingsteken aangeven met de argumenten sep of delimiter, de kolomnamen met names, of de kolom die als rijlabels voor het resulterende DataFrame moet dienen met index_col.

Dit zijn lang niet alle argumenten die je aan de functie read_csv() kunt toevoegen. Lees meer over deze functie en de argumenten in de documentatie.

eyJsYW5ndWFnZSI6InB5dGhvbiIsInNhbXBsZSI6IiMgSW1wb3J0IHRoZSBgcGFuZGFzYCBsaWJyYXJ5IGFzIGBwZGBcbmltcG9ydCBwYW5kYXMgYXMgcGRcblxuIyBMb2FkIGluIHRoZSBkYXRhIHdpdGggYHJlYWRfY3N2KClgXG5kaWdpdHMgPSBwZC5yZWFkX2NzdihcImh0dHA6Ly9hcmNoaXZlLmljcy51Y2kuZWR1L21sL21hY2hpbmUtbGVhcm5pbmctZGF0YWJhc2VzL29wdGRpZ2l0cy9vcHRkaWdpdHMudHJhXCIsXG4gICAgICAgICAgICAgICAgICAgICBoZWFkZXI9Tm9uZSlcblxuIyBQcmludCBvdXQgYGRpZ2l0c2BcbnByaW50KGRpZ2l0cykifQ==

Let op dat je in dit geval read_csv() gebruikt omdat de data comma-separated is. Als je bestanden met een andere scheidingsteken hebt, kun je ook andere functies gebruiken om je data in te laden, zoals read_table(), read_excel(), read_fwf() en read_clipboard voor respectievelijk algemeen gescheiden bestanden, Excel-bestanden, vast-breedtebestanden en data die naar het klembord is gekopieerd.

Je vindt ook read_sql() als optie om een SQL-query of een databasetabel in een DataFrame in te lezen. Voor nog meer inputfuncties, bekijk dit onderdeel van de pandas-documentatie.

Wat is Exploratory Data Analysis (EDA)?

Exploratory Data Analysis (EDA) wordt enerzijds gebruikt om vragen te beantwoorden, businessassumpties te testen en hypothesen te genereren voor verdere analyse. Anderzijds kun je het ook gebruiken om data voor te bereiden op modellering. Wat deze twee waarschijnlijk gemeen hebben, is een goed begrip van je data om óf de antwoorden te krijgen die je nodig hebt óf om intuïtie te ontwikkelen voor het interpreteren van de resultaten van toekomstige modellen.

Er zijn veel manieren om deze doelen te bereiken: je kunt een basale beschrijving van de data verkrijgen, visualiseren, patronen identificeren, de uitdagingen bij het gebruik van de data bepalen, enz.

Iets wat je vaak tegenkomt als je over EDA leest, is data profiling. Data profiling draait om het samenvatten van je dataset met beschrijvende statistieken. Je wilt verschillende maten gebruiken om je dataset beter te begrijpen. Het doel is een solide begrip van je data, zodat je daarna op allerlei manieren queries en visualisaties kunt maken. Dat betekent echter niet dat je niet hoeft te itereren: juist omdat data profiling de dataset samenvat, wordt het vaak gebruikt om de datakwaliteit te beoordelen. Afhankelijk van de uitkomst kun je besluiten je data te corrigeren, te verwijderen of anders te behandelen.

Je leert meer over data profiling in een volgende post.

EDA en Data Mining (DM)

EDA onderscheidt zich van data mining, al zijn ze nauw verwant, omdat veel EDA-technieken zijn overgenomen in data mining. Ook de doelen zijn vergelijkbaar: EDA zorgt ervoor dat je de data zo verkent dat interessante features en relaties tussen features duidelijker worden. In EDA verken en vergelijk je doorgaans veel verschillende variabelen met allerlei technieken om systematische patronen te zoeken en te vinden. Data mining houdt zich daarentegen bezig met het extraheren van patronen uit de data. Die patronen geven inzicht in relaties tussen variabelen die gebruikt kunnen worden om betere beslissingen te nemen. In beide gevallen heb je geen a priori verwachtingen of zijn die verwachtingen onvolledig wat betreft de relaties tussen variabelen.

In het algemeen kun je echter zeggen dat data mining meer toepassingsgericht is, terwijl EDA zich meer richt op de aard van de onderliggende fenomenen. Met andere woorden: data mining is relatief minder bezig met het identificeren van de specifieke relaties tussen de betrokken variabelen. Daardoor accepteert data mining een “black box”-benadering van data-exploratie en gebruikt het niet alleen technieken die ook in EDA voorkomen, maar ook technieken zoals neurale netwerken om geldige voorspellingen te doen, zonder de specifieke aard van de relaties tussen de variabelen die aan de basis van die voorspellingen liggen te identificeren.

Basale beschrijving van de data

Zoals je hierboven las, draait EDA om het leren kennen van je data. Een van de meest elementaire stappen is een basale beschrijving van je data. Dat is een breed begrip: je kunt het zien als een snelle, pragmatische manier om informatie over je data te krijgen, als een manier om simpele, goed begrijpelijke informatie te verzamelen, om gevoel te krijgen bij je data, enzovoort.

Dit onderdeel maakt geen onderscheid tussen deze interpretaties: het introduceert manieren om snel informatie over je DataFrame te verzamelen die makkelijk te begrijpen is.

De data beschrijven

Je kunt bijvoorbeeld de functie describe() gebruiken om verschillende samenvattende statistieken te krijgen die NaN-waarden uitsluiten. Bekijk dit voorbeeld waarin je de beroemde Iris-dataset beschrijft. De data is al voor je ingeladen in de DataCamp Light-chunk:

Je ziet dat deze functie het aantal waarden, het gemiddelde, de standaardafwijking, de minimum- en maximumwaarden en de kwartielen van de data retourneert. Let op dat er natuurlijk veel pakketten in Python zijn die je deze statistieken kunnen geven, inclusief pandas zelf. Deze functie gebruiken is slechts één manier om deze informatie te krijgen.

Let ook op dat je zeker de tijd moet nemen om dieper in de beschrijvende statistieken te duiken als je dat nog niet hebt gedaan. Je kunt ze gebruiken om te beginnen met het beoordelen van de kwaliteit van je data. Dan kun je beslissen of je data moet worden gecorrigeerd, verwijderd of op een andere manier moet worden behandeld. Dit is doorgaans de data-profiling-stap. Deze stap binnen EDA is bedoeld om de data-elementen en hun anomalieën beter te begrijpen en te zien hoe de data enerzijds aansluit bij de documentatie en anderzijds bij de businessbehoeften.

Let op dat je terugkomt op de data-profiling-stap terwijl je je verkennende analyse doorloopt, omdat de kwaliteit van je data beïnvloed kan worden door de stappen die je neemt.

Eerste en laatste DataFrame-rijen

Nu je een algemeen idee van je dataset hebt, is het ook goed om de data zelf van dichterbij te bekijken. Met de functies head() en tail() van pandas kun je eenvoudig respectievelijk de eerste en laatste regels van je DataFrame bekijken.

Inspecteer de eerste en laatste vijf rijen van de handgeschreven digits-data met de functies head() en tail() in de onderstaande DataCamp Light-chunk. De data is al voor je ingeladen:

Je zult zien dat het resultaat van head() en tail() niet veel zegt als je niet vertrouwd bent met dit soort data.

Je ziet misschien gewoon een hoop rijen en kolommen met numerieke waarden. Lees de beschrijving van de dataset als je dat nog niet hebt gedaan; die geeft relevante informatie over hoe de data is verzameld en vermeldt ook het aantal attributen en rijen, wat handig is om te checken of je de data correct hebt geïmporteerd.

Ga daarnaast terug naar je eerste constatering: de numerieke waarden in de rijen. Op het eerste gezicht lijkt er geen probleem, want de gehele waarden lijken correct en niets springt eruit.

Maar als je dit met een andere dataset had gedaan, bijvoorbeeld met datum-tijd-informatie, dan had een snelle blik op de resultaten van deze regels code vragen kunnen oproepen: “Is mijn data als DateTime ingelezen?”, “Hoe kan ik dat checken?” en “Hoe kan ik het datatype veranderen?”.

Dit zijn verdiepende vragen die je meestal aanpakt in de data-profiling-stap, waar we in een volgende post op terugkomen.

Steekproeven nemen van de data

Als je een grote dataset hebt, kun je overwegen een steekproef te nemen als snelle manier om gevoel voor je data te krijgen. Een eerste en eenvoudige manier is de functie sample() van pandas, zoals hier:

Een andere — misschien iets complexere — manier is een willekeurige index maken en vervolgens willekeurige rijen uit je DataFrame pakken. Je ziet dat de code hieronder het pakket random gebruikt met de module sample om te kunnen sampelen, in combinatie met range() en len(). Let op dat je ook ix gebruikt om de exacte rijen van je DataFrame te selecteren die je in je steekproef wilt opnemen.

Als je niet goed weet waarom je hier ix gebruikt, kan DataCamps specifiekere tutorial je helpen! Die behandelt dit soort algemene onderwerpen in detail. Klik op de link hierboven om ‘m te bekijken!

Laten we nu onze Python-skills oefenen! Ga aan de slag met de oefening hieronder:

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IG51bXB5IGFzIG5wXG5pbXBvcnQgcGFuZGFzIGFzIHBkXG5kaWdpdHMgPSBwZC5yZWFkX2NzdihcImh0dHA6Ly9hcmNoaXZlLmljcy51Y2kuZWR1L21sL21hY2hpbmUtbGVhcm5pbmctZGF0YWJhc2VzL29wdGRpZ2l0cy9vcHRkaWdpdHMudHJhXCIsXG4gICAgICAgICAgICAgICAgICAgICBoZWFkZXI9Tm9uZSkiLCJzYW1wbGUiOiIjIGltcG9ydCBgc2FtcGxlYCBmcm9tIGByYW5kb21gXG5mcm9tIHJhbmRvbSBpbXBvcnQgX19fX19fXG5cbiMgQ3JlYXRlIGEgcmFuZG9tIGluZGV4XG5yYW5kb21JbmRleCA9IG5wLmFycmF5KHNhbXBsZShyYW5nZShsZW4oX19fX19fKSksIDUpKVxuXG4jIEdldCA1IHJhbmRvbSByb3dzXG5kaWdpdHNTYW1wbGUgPSBkaWdpdHMuaXhbX19fX19fX19fX19dXG5cbiMgUHJpbnQgdGhlIHNhbXBsZVxucHJpbnQoX19fX19fX19fX19fKSIsInNvbHV0aW9uIjoiIyBpbXBvcnQgYHNhbXBsZWAgZnJvbSBgcmFuZG9tYFxuZnJvbSByYW5kb20gaW1wb3J0IHNhbXBsZVxuXG4jIENyZWF0ZSBhIHJhbmRvbSBpbmRleFxucmFuZG9tSW5kZXggPSBucC5hcnJheShzYW1wbGUocmFuZ2UobGVuKGRpZ2l0cykpLCA1KSlcblxuIyBHZXQgNSByYW5kb20gcm93c1xuZGlnaXRzU2FtcGxlID0gZGlnaXRzLml4W3JhbmRvbUluZGV4XVxuXG4jIFByaW50IHRoZSBzYW1wbGVcbnByaW50KGRpZ2l0c1NhbXBsZSkiLCJzY3QiOiJ0ZXN0X2ltcG9ydChcInJhbmRvbS5zYW1wbGVcIilcbnRlc3Rfb2JqZWN0KFwicmFuZG9tSW5kZXhcIilcbnRlc3Rfb2JqZWN0KFwiZGlnaXRzU2FtcGxlXCIpXG50ZXN0X2Z1bmN0aW9uKFwicHJpbnRcIikifQ==

Nader kijken naar je data: queries

Nu je snel naar je data hebt gekeken en een idee hebt waar het over gaat, ben je klaar om wat dieper te gaan: tijd om de data verder te inspecteren door te query’en.

Dat gaat eenvoudig met de functie query(), waarmee je heel simpele hypothesen over je data kunt testen, zoals “Is de petallengte meestal groter dan de sepallengte?” of “Is de petallengte soms gelijk aan de sepallengte?”.

Je ziet dat deze hypothese niet standhoudt. Je krijgt een leeg DataFrame terug als resultaat.

Let op dat je deze functie ook zo kunt schrijven: iris[iris.Petal_length > iris.Sepal_length].

De uitdagingen van je data

Nu je basale informatie over je data hebt verzameld, is het een goed idee om iets dieper in te gaan op de uitdagingen die je data kan opleveren. Als je de data-profiling-stap al hebt gedaan, ben je je bewust van ontbrekende waarden en heb je een idee welke waarden uitschieters zijn, enzovoort.

Dit onderdeel beschrijft enkele basale manieren om hier alvast zicht op te krijgen en hoe je met de data omgaat als je onregelmatigheden vindt. Merk nogmaals op dat je in de data-profiling-stap dieper ingaat op het identificeren van onregelmatigheden en dat het normaal is om naar die stap terug te keren nadat je met enkele uitdagingen in je data bent omgegaan.

Ontbrekende waarden

Wat je bij het verkennen van je data ook wilt checken, is of de dataset ontbrekende waarden heeft.

Dit onderzoeken is belangrijk, omdat de dataset aan zeggingskracht kan verliezen als er data ontbreekt, wat tot zwakke of bevooroordeelde analyses kan leiden. In de praktijk betekent dit dat wanneer je waarden mist voor bepaalde features, de kans toeneemt dat je classificaties of voorspellingen afwijken.

Natuurlijk kan het ontbreken van data in je dataset het gevolg zijn van een foutieve extractie of import, of van het verzamelproces. Systemen die je data leveren kunnen haperen of er blijven lege velden in de enquête die je hebt uitgestuurd. Het is ook heel belangrijk om te kijken of er een patroon zit in de ontbrekende data; juist hierbij kan de data-profiling-stap nuttig zijn. Onthoud dat je data profiling kunt gebruiken om een beter beeld te krijgen van je datakwaliteit. In een vervolgpost lees je meer over het ontdekken van patronen in ontbrekende data.

Kortom, de oorzaken van ontbrekende data zijn divers en hangen sterk af van de datacontext, maar kunnen ook bij jezelf liggen. Daarom heb je je data meteen bij het importeren geïnspecteerd in een van de vorige stappen!

Om de rijen met ontbrekende waarden te identificeren, kun je isnull() gebruiken. In het resultaat dat je terugkrijgt, zie je in elke cel True of False: True geeft aan dat de waarde in de cel ontbreekt; False betekent dat de cel een ‘normale’ waarde bevat.

In dit geval zie je dat de data behoorlijk compleet is: er zijn geen ontbrekende waarden.

Let op dat je dit ook had kunnen lezen in de datasetbeschrijving van de UCI Machine Learning Repository (link hierboven), waar staat dat er geen ontbrekende waarden zijn.

Dit zal echter niet bij elke dataset zo zijn. Daarom is het goed om te weten wat je kunt doen wanneer je wel met ontbrekende data te maken krijgt.

Je kunt de ontbrekende data verwijderen: je verwijdert het hele record, of je behoudt alleen records waarin de features van belang nog aanwezig zijn. Wees hier voorzichtig mee, want data verwijderen kan je analyse ook vertekenen. Vraag jezelf af of de kans dat bepaalde data ontbreekt voor één record gelijk is aan die voor alle andere records. Als die kans niet per record verschilt, is verwijderen een valide optie.
Naast verwijderen kun je cellen met ontbrekende waarden ook opvullen met zogeheten “imputatiemethoden”. Als je ervaring met statistiek hebt, weet je dat imputatie het vervangen van ontbrekende data door substitutiewaarden is. Je kunt het gemiddelde, de modus of de mediaan invullen. Bedenk of je bijvoorbeeld het gemiddelde of de mediaan voor alle ontbrekende waarden van een variabele wilt nemen, of dat je ontbrekende waarden wilt vervangen op basis van een andere variabele. Als je bijvoorbeeld categorieën als “man” of “vrouw” hebt, wil je die misschien meenemen voordat je vervangt, omdat observaties kunnen verschillen tussen mannen en vrouwen. In dat geval kun je het gemiddelde van de vrouwelijke observaties berekenen en daarmee ontbrekende waarden voor andere “vrouwelijke” records invullen.
Schat de waarde met behulp van regressie, ANOVA, logistische regressie of een andere modelleertechniek. Dit is veruit de meest complexe manier om waarden in te vullen.
Vul de cellen met waarden van records die het meest lijken op het record met ontbrekende waarden. Je kunt in zulke gevallen KNN (K-Nearest Neighbors) gebruiken.

Let op dat elke aanpak voor het invullen van ontbrekende data voor- en nadelen heeft! Denk aan tijd, kosten, de aard van je data, enzovoort, voordat je een definitief besluit neemt.

Heb je besloten wat je met de ontbrekende data gaat doen, lees dan verder om te zien hoe je de gewenste wijzigingen in je data kunt doorvoeren.

Ontbrekende waarden invullen

Als je besluit om met imputatie in te vullen, kun je nog steeds kiezen hoe je dat wilt doen!

Maak gebruik van pandas fillna() in combinatie met functies uit NumPy. Bekijk onderstaande code, waarin je veronderstelt dat je een DataFrame hebt met de resultaten van een enquête naar salaris. In een context waarin je doelgroep uit dezelfde maatschappelijke klasse komt en de kans dat respondenten de vraag beantwoorden voor iedereen gelijk is, kun je ervoor kiezen het gemiddelde van de mensen die wel antwoordden te berekenen en dat te gebruiken om de ontbrekende waarden in te vullen.

# Import NumPyimport numpy as np# Calculate the meanmean = np.mean(df.Salary)# Replace missing values with the meandf. = df.Salary.fillna(mean)

Natuurlijk hoef je niet per se een waarde door te geven aan fillna(). Je kunt niet-lege waarden ook voorwaarts of achterwaarts doorvoeren door het argument method toe te voegen aan fillna(). Geef ffill of bfill door om respectievelijk achterwaarts of voorwaarts te vullen.

Labels met ontbrekende waarden verwijderen

Om kolommen of rijen met ontbrekende waarden uit te sluiten, kun je de pandas-functie dropna() gebruiken:

# Drop rows with missing valuesdf.dropna(axis=0)# Drop columns with missing values df.dropna(axis=1)

Interpolatie

Alternatief kun je ervoor kiezen om ontbrekende waarden te interpoleren: de functie interpolate() voert lineaire interpolatie uit op de punten met ontbrekende data om de meest waarschijnlijke waarde te “raden”.

df.interpolate()

Je kunt ook het argument method toevoegen om toegang te krijgen tot geavanceerdere interpolatiemethoden, zoals polynomiale of cubische interpolatie, maar voor dit soort interpolatie heb je SciPy nodig.

Natuurlijk zijn er grenzen aan interpolatie, vooral als de NaN-waarden te ver van de laatste geldige observatie liggen. In zulke gevallen wil je een limit-argument toevoegen. Je geeft een positief geheel getal door en dat aantal bepaalt hoeveel waarden na een niet-NaN-waarde worden ingevuld. De standaardrichting is voorwaarts, maar ook dat kun je veranderen met limit_direction

Uitschieters

Net als ontbrekende waarden kan je data ook waarden bevatten die sterk afwijken van de grote meerderheid. Deze punten noemen we “uitschieters”. Om ze te vinden, kun je de verdeling van losse variabelen bekijken met een boxplot of een scatterplot maken om punten te identificeren die buiten het “verwachte” gebied van de plot liggen.

De oorzaken van uitschieters variëren: van systeemfouten tot beïnvloeding door mensen bij data-entry of -verwerking. Het is belangrijk om het effect op je analyse te overwegen: ze veranderen de uitkomst van statistische toetsen zoals standaardafwijking, gemiddelde of mediaan; ze kunnen de normaliteit verminderen en de resultaten van statistische modellen zoals regressie of ANOVA beïnvloeden.

Om met uitschieters om te gaan, kun je ze verwijderen, transformeren of imputeren: de keuze hangt opnieuw af van de datacontext. Daarom is het belangrijk je data te begrijpen en de oorzaak van de uitschieters te identificeren:

Als de uitschieter het gevolg is van invoer- of verwerkingsfouten, overweeg dan de waarde te verwijderen.
Je kunt uitschieters transformeren door gewichten toe te kennen aan observaties of de natuurlijke log te gebruiken om de variatie die uitschieters veroorzaken te verkleinen.
Net als bij ontbrekende waarden kun je imputatiemethoden gebruiken om extreme waarden te vervangen door mediaan-, gemiddelde- of moduswaarden.

Je kunt de functies uit het vorige onderdeel gebruiken om met uitschieters om te gaan.

De features van je data

Let op dat je deze stap iteratief uitvoert met andere datasciencetaken: je bouwt modellen en valideert, maar daarna besluit je misschien de features aan te passen en opnieuw te itereren met het model, enzovoort.

Feature engineering

Je kunt feature engineering gebruiken om de voorspellende kracht van leeralgoritmen te vergroten door features te creëren uit ruwe data die het leerproces ondersteunen. Dat doe je door extra relevante features te maken uit bestaande ruwe features in de data.

Feature engineering kost tijd om onder de knie te krijgen; het is niet altijd duidelijk wat je met ruwe data kunt doen om de voorspellende kracht te vergroten. Maar misschien helpt de volgende lijst je op weg als je zoekt naar manieren om features te construeren voor je dataset:

Factoriseer een feature: codeer categorische variabelen naar numerieke met factorize(), zoals in dit voorbeeld:

Deel continue variabelen in groepen in: gebruik cut() om de waarden van een kolom in bins te verdelen

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuaW1wb3J0IG51bXB5XG51cmwgPSBcImh0dHBzOi8vYXJjaGl2ZS5pY3MudWNpLmVkdS9tbC9tYWNoaW5lLWxlYXJuaW5nLWRhdGFiYXNlcy9waW1hLWluZGlhbnMtZGlhYmV0ZXMvcGltYS1pbmRpYW5zLWRpYWJldGVzLmRhdGFcIlxubmFtZXMgPSBbJ3ByZWcnLCAncGxhcycsICdwcmVzJywgJ3NraW4nLCAndGVzdCcsICdtYXNzJywgJ3BlZGknLCAnYWdlJywgJ2NsYXNzJ11cbmRmID0gcGQucmVhZF9jc3YodXJsLCBuYW1lcz1uYW1lcylcbmFycmF5ID0gZGYudmFsdWVzXG5YID0gYXJyYXlbOiwwOjhdXG5ZID0gYXJyYXlbOiw4XSIsInNhbXBsZSI6IiMgRGVmaW5lIHlvdXIgb3duIGJpbnNcbm15YmlucyA9IHJhbmdlKDAsIGRmLmFnZS5tYXgoKSwgMTApXG5cbiMgQ3V0IHRoZSBkYXRhIHdpdGggdGhlIGhlbHAgb2YgdGhlIGJpbnNcbmRmWydhZ2VfYnVja2V0J10gPSBwZC5jdXQoZGYuYWdlLCBiaW5zPW15YmlucylcblxuIyBDb3VudCB0aGUgbnVtYmVyIG9mIHZhbHVlcyBwZXIgYnVja2V0XG5kZlsnYWdlX2J1Y2tldCddLnZhbHVlX2NvdW50cygpIn0=

Scale features: centreer je data rond 0. Je kunt de preprocessing-module van Scikit-Learn gebruiken:

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuaW1wb3J0IG51bXB5XG51cmwgPSBcImh0dHBzOi8vYXJjaGl2ZS5pY3MudWNpLmVkdS9tbC9tYWNoaW5lLWxlYXJuaW5nLWRhdGFiYXNlcy9waW1hLWluZGlhbnMtZGlhYmV0ZXMvcGltYS1pbmRpYW5zLWRpYWJldGVzLmRhdGFcIlxubmFtZXMgPSBbJ3ByZWcnLCAncGxhcycsICdwcmVzJywgJ3NraW4nLCAndGVzdCcsICdtYXNzJywgJ3BlZGknLCAnYWdlJywgJ2NsYXNzJ11cbmRhdGFmcmFtZSA9IHBkLnJlYWRfY3N2KHVybCwgbmFtZXM9bmFtZXMpXG5hcnJheSA9IGRhdGFmcmFtZS52YWx1ZXNcblggPSBhcnJheVs6LDA6OF1cblkgPSBhcnJheVs6LDhdIiwic2FtcGxlIjoiZnJvbSBza2xlYXJuLnByZXByb2Nlc3NpbmcgaW1wb3J0IFN0YW5kYXJkU2NhbGVyXG5cbnNjYWxlciA9IFN0YW5kYXJkU2NhbGVyKCkuZml0KFgpXG5cbnJlc2NhbGVkWCA9IHNjYWxlci50cmFuc2Zvcm0oWCkifQ==

Tip: bekijk de preprocessing-module van Scikit-Learn eens goed; je zult zien dat die handige functies bevat die je helpen om nieuwe features voor je data te bedenken!

Let op dat dit slechts enkele manieren zijn om nieuwe features te construeren om je data voorspelbaarder te maken! De sleutel is om te brainstormen over nieuwe features of oude te combineren en hun effectiviteit te testen met Scikit-Learn.

Featureselectie

Bij featureselectie kies je een kernsubset uit de oorspronkelijke datafeatures om de dimensionaliteit van het trainingsprobleem te verkleinen. Dit lijkt sterk op andere technieken voor dimensionaliteitsreductie, zoals PCA. Toch is er een verschil: PCA combineert vergelijkbare (gecorreleerde) attributen en creëert nieuwe, die superieur worden geacht aan de oorspronkelijke attributen van de dataset. Featureselectie combineert geen attributen: het evalueert de kwaliteit en voorspellende kracht en selecteert de beste set.

Om belangrijke features te vinden, kun je het RandomForest-algoritme gebruiken: het genereert willekeurig duizenden beslisbomen en laat om de beurt elke variabele weg bij het fitten van het model. Zo kun je berekenen hoeveel beter of slechter een model presteert als je een variabele weglaat. Je kunt hiervoor de Python-bibliotheek Scikit-Learn gebruiken:

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuaXJpcyA9IHBkLnJlYWRfY3N2KFwiaHR0cHM6Ly9hcmNoaXZlLmljcy51Y2kuZWR1L21sL21hY2hpbmUtbGVhcm5pbmctZGF0YWJhc2VzL2lyaXMvaXJpcy5kYXRhXCIsIFxuICAgICAgICAgICAgICAgICAgc2VwPVwiLFwiLCBcbiAgICAgICAgICAgICAgICAgIGhlYWRlcj1Ob25lLFxuICAgICAgICAgICAgICAgICAgbmFtZXM9WydTZXBhbF9sZW5ndGgnLCAnU2VwYWxfd2lkdGgnLCAnUGV0YWxfbGVuZ3RoJywgJ1BldGFsX3dpZHRoJywgJ0NsYXNzJ10pIiwic2FtcGxlIjoiIyBJbXBvcnQgYFJhbmRvbUZvcmVzdENsYXNzaWZpZXJgXG5mcm9tIHNrbGVhcm4uZW5zZW1ibGUgaW1wb3J0IFJhbmRvbUZvcmVzdENsYXNzaWZpZXJcblxuIyBJc29sYXRlIERhdGEsIGNsYXNzIGxhYmVscyBhbmQgY29sdW1uIHZhbHVlc1xuWCA9IGlyaXMuaWxvY1s6LDA6NF1cblkgPSBpcmlzLmlsb2NbOiwtMV1cbm5hbWVzID0gaXJpcy5jb2x1bW5zLnZhbHVlc1xuXG4jIEJ1aWxkIHRoZSBtb2RlbFxucmZjID0gUmFuZG9tRm9yZXN0Q2xhc3NpZmllcigpXG5cbiMgRml0IHRoZSBtb2RlbFxucmZjLmZpdChYLCBZKVxuXG4jIFByaW50IHRoZSByZXN1bHRzXG5wcmludChcIkZlYXR1cmVzIHNvcnRlZCBieSB0aGVpciBzY29yZTpcIilcbnByaW50KHNvcnRlZCh6aXAobWFwKGxhbWJkYSB4OiByb3VuZCh4LCA0KSwgcmZjLmZlYXR1cmVfaW1wb3J0YW5jZXNfKSwgbmFtZXMpLCByZXZlcnNlPVRydWUpKSJ9

Je ziet dat de beste set features die is met de petallengte en -breedte.

Let op dat je de resultaten van de featureselectie ook kunt visualiseren met Matplotlib:

# Import `pyplot` and `numpy`import matplotlib.pyplot as pltimport numpy as np# Isolate feature importances importance = rfc.feature_importances_# Sort the feature importances sorted_importances = np.argsort(importance)# Insert paddingpadding = np.arange(len(names)-1) + 0.5# Plot the dataplt.barh(padding, importance[sorted_importances], align='center')# Customize the plotplt.yticks(padding, names[sorted_importances])plt.xlabel("Relative Importance")plt.title("Variable Importance")# Show the plotplt.show()

Patronen in je data

Een volgende stap in de verkenning van je data is het identificeren van patronen, zoals correlaties tussen data-attributen of tussen ontbrekende data. Iets wat hierbij helpt, is visualiseren; en dat hoeft niet statisch te zijn: durf te kiezen voor interactieve visualisaties met de Python-bibliotheken Bokeh of Plotly.

Correlatie identificeren met Matplotlib

Nu je naar de cijfers hebt gekeken en je data kwantitatief hebt geanalyseerd, is het ook nuttig om je data visueel te bekijken. Tijd om de data ook visueel te verkennen.

Om dit snel en eenvoudig te doen, kun je gebruikmaken van de Python-visualisatiebibliotheek Matplotlib. Het enige wat in de weg zit, is ironisch genoeg je data: zoals je weet heeft je data 64 kolommen of features. Met zoveel features spreek je van high-dimensional data.

Wat dat precies is, leer je in onze machine learning-tutorial, maar voor nu is het goed om te begrijpen dat als je je data in 2D- of 3D-plots wilt visualiseren, je data slechts twee of drie dimensies mag hebben. Dat betekent dat je de dimensies moet reduceren.

Daarvoor gebruik je technieken voor dimensionaliteitsreductie, zoals Principal Component Analysis (PCA):

eyJsYW5ndWFnZSI6InB5dGhvbiIsInByZV9leGVyY2lzZV9jb2RlIjoiaW1wb3J0IHBhbmRhcyBhcyBwZFxuZGlnaXRzID0gcGQucmVhZF9jc3YoXCJodHRwOi8vYXJjaGl2ZS5pY3MudWNpLmVkdS9tbC9tYWNoaW5lLWxlYXJuaW5nLWRhdGFiYXNlcy9vcHRkaWdpdHMvb3B0ZGlnaXRzLnRyYVwiLFxuICAgICAgICAgICAgICAgICAgICAgaGVhZGVyPU5vbmUpIiwic2FtcGxlIjoiIyBJbXBvcnQgYFBDQWAgZnJvbSBgc2tsZWFybi5kZWNvbXBvc2l0aW9uYFxuZnJvbSBza2xlYXJuLmRlY29tcG9zaXRpb24gaW1wb3J0IF9fX1xuXG4jIEJ1aWxkIHRoZSBtb2RlbFxucGNhID0gUENBKG5fY29tcG9uZW50cz0yKVxuXG4jIFJlZHVjZSB0aGUgZGF0YSwgb3V0cHV0IGlzIG5kYXJyYXlcbnJlZHVjZWRfZGF0YSA9IHBjYS5maXRfdHJhbnNmb3JtKF9fX19fX18pXG5cbiMgSW5zcGVjdCB0aGUgc2hhcGUgb2YgYHJlZHVjZWRfZGF0YWBcbnJlZHVjZWRfZGF0YS5fX19fX19cblxuIyBwcmludCBvdXQgdGhlIHJlZHVjZWQgZGF0YVxucHJpbnQoX19fX19fX19fX19fX19fKSIsInNvbHV0aW9uIjoiIyBJbXBvcnQgYFBDQWAgZnJvbSBgc2tsZWFybi5kZWNvbXBvc2l0aW9uYFxuZnJvbSBza2xlYXJuLmRlY29tcG9zaXRpb24gaW1wb3J0IFBDQVxuXG4jIEJ1aWxkIHRoZSBtb2RlbFxucGNhID0gUENBKG5fY29tcG9uZW50cz0yKVxuXG4jIFJlZHVjZSB0aGUgZGF0YSwgb3V0cHV0IGlzIG5kYXJyYXlcbnJlZHVjZWRfZGF0YSA9IHBjYS5maXRfdHJhbnNmb3JtKGRpZ2l0cylcblxuIyBJbnNwZWN0IHNoYXBlIG9mIHRoZSBgcmVkdWNlZF9kYXRhYFxucmVkdWNlZF9kYXRhLnNoYXBlXG5cbiMgcHJpbnQgb3V0IHRoZSByZWR1Y2VkIGRhdGFcbnByaW50KHJlZHVjZWRfZGF0YSkiLCJzY3QiOiJ0ZXN0X2ltcG9ydChcInNrbGVhcm4uZGVjb21wb3NpdGlvbi5QQ0FcIilcbnRlc3Rfb2JqZWN0KFwicGNhXCIsIGRvX2V2YWw9RmFsc2UpXG50ZXN0X29iamVjdChcInJlZHVjZWRfZGF0YVwiLCBkb19ldmFsPUZhbHNlKVxucHJlZGVmX21zZz1cIkRpZCB5b3UgaW5zcGVjdCB0aGUgc2hhcGUgb2YgYHJlZHVjZWRfZGF0YWA/XCJcbnRlc3Rfb2JqZWN0X2FjY2Vzc2VkKFwicmVkdWNlZF9kYXRhLnNoYXBlXCIsIG5vdF9hY2Nlc3NlZF9tc2c9cHJlZGVmX21zZylcbiMgVGVzdCBgcHJpbnRgIFxudGVzdF9mdW5jdGlvbihcbiAgICBcInByaW50XCIsXG4gICAgbm90X2NhbGxlZF9tc2c9XCJEaWQgeW91IHByaW50IG91dCB0aGUgYHJlZHVjZWRfZGF0YV9ycGNhYCBkYXRhP1wiLFxuICAgIGluY29ycmVjdF9tc2c9XCJEb24ndCBmb3JnZXQgdG8gcHJpbnQgb3V0IHRoZSBgcmVkdWNlZF9kYXRhX3JwY2FgIGRhdGEhXCIsXG4gICAgZG9fZXZhbD1GYWxzZVxuKVxuc3VjY2Vzc19tc2coXCJBbWF6aW5nIVwiKSJ9

Als je de gereduceerde data bekijkt, zie je dat de kolommen of features nu zijn teruggebracht tot twee. Het aantal rijen of observaties is nog steeds hetzelfde, namelijk 3823. En nu je data in het juiste formaat staat, is het tijd om te plotten!

De keuze voor de juiste plot is al een goed begin, maar wat kies je?

In dit geval verken je de data, dus wil je waarschijnlijk mogelijke correlaties tussen de attributen ontdekken. Een scatterplot is daarvoor geschikt: die helpt je om een relatie te identificeren tussen de twee features die uit de dimensionaliteitsreductie zijn gekomen.

import matplotlib.pyplot as pltplt.scatter(reduced_data[:,0], reduced_data[:,1], c=labels, cmap = 'viridis')plt.show()

Correlation Python

Correlatie identificeren met Bokeh

Daarnaast kun je ook Bokeh gebruiken om een interactieve plot te maken en correlaties tussen de attributen in je data te ontdekken. De Bokeh-bibliotheek is een Python-bibliotheek voor interactieve visualisatie die is gericht op moderne webbrowsers. Het is ideaal bij grote of streaming datasets, maar zoals je hieronder ziet, kun je het ook voor “reguliere” data gebruiken.

De code is eenvoudig: je importeert de benodigde modules, construeert de scatterplot, configureert de standaard outputtoestand om output naar een bestand te schrijven wanneer show() wordt aangeroepen. Tot slot roep je show() aan om de gemaakte scatterplot te bekijken!

# Import the necessary modulesfrom bokeh.charts import Scatter, output_file, show# Construct the scatter plotp = Scatter(iris, x='Petal_length', y='Petal_width', color="Class", title="Petal Length vs Petal Width",            xlabel="Sepal Length", ylabel="Sepal Width")# Output the file output_file('scatter.html')# Show the scatter plotshow(p)

Het resultaat is elegant:

Python data exploration

Let op dat dit een statische, opgeslagen afbeelding van de plot is, maar dat de resulterende plot in je notebook of terminal interactief is! Dit is natuurlijk maar één eenvoudig voorbeeld van hoe je Bokeh kunt gebruiken om interactieve grafieken te maken. Bekijk zeker de Bokeh Gallery voor meer inspiratie of volg DataCamps cursus Interactive Data Visualization with Bokeh.

Correlatie identificeren met pandas

De plots uit de vorige onderdelen zijn een visuele manier om correlatie tussen de attributen van je data te verkennen. Maar je kunt deze maat ook kwantitatief onderzoeken! Als je dat doet, gebruik dan de pandas-functie corr(). Let er wel op dat NaN- of null-waarden in deze berekening worden uitgesloten!

Let op dat de laatste twee correlatiematen vereisen dat je de data rangschikt voordat je de coëfficiënten berekent. Dat kan eenvoudig met rank(): voor de oefening hierboven is de iris-data al gerankt met iris.rank().

Verder gaan deze correlaties uit van aannames: de Pearson-correlatie gaat ervan uit dat je variabelen normaal verdeeld zijn, dat er een lineaire relatie is tussen de variabelen en dat de data normaal verdeeld is rond de regressielijn. De Spearman-correlatie gaat er daarentegen van uit dat je twee ordinale variabelen hebt of twee variabelen die op een of andere manier gerelateerd zijn, maar niet lineair.

De Kendall Tau-correlatie is een coëfficiënt die de mate van overeenstemming tussen twee kolommen gerankte data weergeeft. Je kunt de Spearman-correlatie gebruiken om de mate van associatie tussen twee variabelen te meten. Die lijken erg op elkaar, toch?

Hoewel de Kendall- en Spearman-correlaties op elkaar lijken, verschillen ze wel: het verschil zit in de berekening. De Kendall Tau-coëfficiënt is het aantal concordante paren minus het aantal discordante paren, gedeeld door het totaal aantal paren. De Spearman-coëfficiënt is de som van de kwadratische afwijkingen gedeeld door n maal n min 1.

De Spearman-coëfficiënt is meestal groter dan Kendall’s Tau, maar niet altijd: je krijgt een kleinere Spearman wanneer de afwijkingen tussen observaties enorm zijn. De Spearman-correlatie is hier erg gevoelig voor, wat in sommige gevallen handig kan zijn!

Wanneer gebruik je welke coëfficiënt? De twee toetsen eigenlijk iets verschillends; Kendall’s Tau geeft de proportie concordante paren ten opzichte van discordante paren weer en Spearman doet dat niet. Je kunt ook stellen dat Kendall’s Tau intuïtiever te interpreteren en makkelijker te berekenen is, dat hij een betere schatting geeft van de overeenkomstige populatieparameter en dat de p-waarden nauwkeuriger zijn bij kleine steekproeven.

Tip voeg de functie print() toe om de resultaten van specifieke paarsgewijze correlatieberekeningen van kolommen te zien.

Verder!

Gefeliciteerd, je bent aan het einde van onze pandas-tutorial gekomen! Je beheerst nu enkele basistechnieken om je data met Python te verkennen.

Wil je nog dieper duiken in dit onderwerp? Dan is onze pandas-cursusreeks perfect: bekijk onze cursussen Data Manipulation with pandas, Reshaping Data with pandas of Joining Data with pandas.

Ben je echter klaar om verder te gaan dan pandas en het pakket Matplotlib verder te verkennen? Overweeg dan DataCamps Python data visualization-tutorial of begin met het modelleren van je data! Ga door naar onze machine learning-tutorial om te ontdekken hoe je een ML-model bouwt dat handgeschreven cijfers automatisch herkent!

Onderwerpen

Python

Data Science

Data-analyse