Preprocessing in Data Science (Deel 1): Centreren, schalen en KNN

In dit artikel gebruik ik het voorbeeld van het schalen van numerieke data (numerieke data: data die uit getallen bestaat, in tegenstelling tot categorieën/strings; schalen: de range van de data aanpassen met eenvoudige rekenkunde; meer hierover zo) om het belang te laten zien van preprocessing als onderdeel van een groter geheel: de machinelearning (ML)‑pijplijn. We bekijken hiervoor een praktijkvoorbeeld waarin schalen de modelprestaties kan verbeteren.

Ik introduceer eerst classificatieproblemen in ML en k-Nearest Neighbors, een van de simpelste algoritmen in zulke situaties. Om het belang van het schalen van numerieke data te waarderen, bespreek ik maatstaven voor modelprestaties en de concepten train- en testset. Je ziet al deze concepten en werkwijzen terug op een dataset waarin ik de kwaliteit van rode wijn probeer te classificeren. Ik plaats preprocessing ook op de meest zinvolle plek: aan het begin van een iteratieve data science‑pijplijn. Alle voorbeelden zijn in Python. Als je Python niet kent, bekijk dan onze DataCamp-cursussen hier. Ik gebruik de libraries pandas voor dataframes en scikit-learn voor machine learning.

Dit is deel één van een driedelige tutorial:

Deel 2: Centreren, schalen en logistieke regressie

Deel 3: Schalen van gesynthetiseerde data

Een korte introductie tot classificatieproblemen in machine learning

Dingen uit de waarneembare wereld classificeren en labelen is zo oud als de weg naar Rome. In de 4e eeuw v.Chr. ontwierp Aristoteles een classificatiesysteem voor levende wezens dat 2.000 jaar gebruikt werd. In de moderne tijd zien we classificatie vaak als een machinelearningtaak, en dan specifiek een supervised learning‑taak. Het basisprincipe van supervised learning is eenvoudig: we hebben een hoop data die bestaat uit predictorvariabelen en een doelvariabele. Het doel van supervised learning is een model bouwen dat ‘goed’ is in het voorspellen van de doelvariabele, gegeven de predictorvariabelen. Als de doelvariabele uit categorieën bestaat (bijv. ‘klik’ of ‘niet’, ‘maligne’ of ‘benigne’ tumor), noemen we de leertaak classificatie. Als de doelvariabele daarentegen continu varieert (bijv. huizenprijs), dan is het een regressietaak.

Een illustratief voorbeeld helpt: bekijk de hartziektedataset, met 75 predictorvariabelen, zoals ‘leeftijd’, ‘geslacht’ en ‘roker of niet’, en een doelvariabele die de aanwezigheid van hartziekte aangeeft en loopt van 0 (geen hartziekte) tot 4. Veel werk aan deze dataset richt zich op het onderscheiden van aanwezigheid versus afwezigheid van hartziekte. Dat is een classificatietaak. Als je zou proberen de daadwerkelijke waarde (0 t/m 4) van de doelvariabele te voorspellen, dan is dat een regressieprobleem (omdat de doelvariabele geordend is). Regressie bespreek ik in de volgende post. Hier kijk ik naar een van de eenvoudigste algoritmen voor classificatie: het algoritme van de k-Nearest Neighbors.

k-Nearest Neighbors voor classificatie in machine learning

Stel dat we gelabelde data hebben, bijvoorbeeld kenmerken van rode wijn (zoals alcoholgehalte, dichtheid, hoeveelheid citroenzuur, pH, enz.; dit zijn de predictorvariabelen) met als doelvariabele ‘Quality’ en labels ‘good’ & ‘bad’. Gegeven de kenmerken van een nieuwe, ongelabelde wijn is de classificatietaak dan om de ‘Quality’ te voorspellen. Als alle predictorvariabelen numeriek zijn (er zijn ook manieren voor categorische variabelen), kunnen we elke rij/wijn zien als een punt in een n‑dimensionale ruimte. In dat geval is k-Nearest Neighbors (k‑NN) een conceptueel en computationeel eenvoudig classificatiemethode: voor elke nieuwe, ongelabelde wijn berekenen we, voor een geheel getal k, de k dichtstbijzijnde buren in de n‑dimensionale ruimte van predictorvariabelen. Vervolgens kijken we naar de labels van deze k buren (dus ‘good’ of ‘bad’) en kennen we het label met de meeste stemmen toe aan de nieuwe wijn (bijv. als k = 5, 3 buren stemmen ‘good’ en 2 ‘bad’, dan labelt ons model de nieuwe wijn als ‘good’). Let op: het trainen van het model bestaat hier volledig uit het opslaan van de datapunten: er zijn geen parameters om te fitten!

Een visuele beschrijving van k-Nearest Neighbors

In de onderstaande afbeelding zie je k‑NN in 2D: hoe classificeer je het datapunt in het midden? Als k=3, classificeer je het als rood en als k=5, als groen.

k-NN-implementatie in Python (scikit-learn)

Let eerst op de range van de predictorvariabelen: ‘free sulfur dioxide’ loopt van 0 tot ~70 en ‘volatile acidity’ van ~0 tot ~1,2. Meer specifiek: de eerste heeft een range die 2 ordes van grootte groter is dan die van de tweede. Elk algoritme, zoals k‑NN, dat gevoelig is voor afstanden tussen datapunten, kan daardoor onevenredig veel aandacht geven aan variabelen met een grotere range, zoals ‘free sulfur dioxide’—een variabele die, voor zover we weten, vooral ruis kan bevatten. Dit motiveert het schalen van onze data, waar we zo op terugkomen.

De doelvariabele is nu een ‘Quality’-rating van wijn en loopt van 3 tot 8. Voor de eenvoud van de uitleg maken we er een tweecategorievariabele van: ‘good’ (rating > 5) & ‘bad’ (rating <= 5). We plotten ook histogrammen van beide varianten van de doelvariabele om te zien wat er speelt.

y = y1 <= 5 # is the rating <= 5?# plot histograms of original target variable# and aggregated target variableplt.figure(figsize=(20,5));plt.subplot(1, 2, 1 );plt.hist(y1);plt.xlabel('original target value')plt.ylabel('count')plt.subplot(1, 2, 2);plt.hist(y)plt.xlabel('aggregated target value')plt.show()Mogelijk gemaakt door

k-Nearest Neighbors: hoe goed presteert het?

Opmerking: accuracy kan ook gedefinieerd worden aan de hand van een confusion matrix en wordt bij binaire classificatie vaak uitgedrukt in termen van true positives & false negatives; andere veelgebruikte maatstaven die uit de confusion matrix volgen zijn precision, het aantal true positives gedeeld door het aantal true & false positives, en recall, het aantal true positives gedeeld door het aantal true positives plus het aantal false negatives; een andere maatstaf, de F1‑score, is het harmonisch gemiddelde van precision en recall. Zie machine learning mastery voor een heldere uitleg; bekijk ook de Wikipedia‑pagina’s over de confusion matrix en de F1‑score.

We introduceren nu schalen en centreren, de meest basale methoden voor preprocessing van numerieke data, en kijken of en hoe ze onze modelprestaties beïnvloeden.

De mechanica van preprocessing: schalen en centreren

Voordat je een model zoals regressie (voorspellen van een continue variabele) of classificatie (voorspellen van een discrete variabele) op data draait, wil je bijna altijd enige preprocessing doen. Voor numerieke variabelen is het gebruikelijk om je data te normaliseren of te standaardiseren. Wat betekenen deze termen?

Normaliseren betekent simpelweg dat je een dataset schaalt zodat het minimum 0 is en het maximum 1. Dit bereiken we door elk datapunt $x$ te transformeren naar

Standaardiseren is iets anders; het centreert de data rond 0 en schaalt met betrekking tot de standaardafwijking:

waarbij $\mu$ en $\sigma$ respectievelijk het gemiddelde en de standaardafwijking van de dataset zijn. Let erop dat deze transformaties alleen de range van de data veranderen en niet de verdeling. Later wil je misschien andere transformaties gebruiken, zoals een logtransformatie of een Box‑Cox‑transformatie, om je data meer Gaussisch (klokvormig) te maken. Maar voordat we verder gaan, is het belangrijk te vragen: waarom schalen we onze data? Wanneer is het geschikter? Is het bijvoorbeeld belangrijker bij classificatie dan bij regressie?

Laten we eerst inzoomen op classificatie en zien hoe schalen de prestaties van k‑Nearest Neighbors beïnvloedt:

Preprocessing: schalen in de praktijk

Hieronder (i) schaal ik de data, (ii) pas ik k‑Nearest Neighbors toe en (iii) controleer ik de modelprestaties. Ik gebruik scikit‑learns scale‑functie, die alle features (kolommen) in de array die je doorgeeft standaardiseert.

from sklearn.preprocessing import scaleXs = scale(X)from sklearn.cross_validation import train_test_splitXs_train, Xs_test, y_train, y_test = train_test_split(Xs, y, test_size=0.2, random_state=42)knn_model_2 = knn.fit(Xs_train, y_train)print('k-NN score for test set: %f' % knn_model_2.score(Xs_test, y_test))print('k-NN score for training set: %f' % knn_model_2.score(Xs_train, y_train))y_true, y_pred = y_test, knn_model_2.predict(Xs_test)print(classification_report(y_true, y_pred))Mogelijk gemaakt door

Al deze maatstaven verbeterden met 0,1, wat een verbetering van 16% is en significant! Zoals hierboven al gesuggereerd: vóór het schalen waren er meerdere predictorvariabelen met ranges die ordes van grootte verschilden, waardoor één of twee variabelen konden domineren in een algoritme als k‑NN. De twee belangrijkste redenen om je data te schalen zijn:

1. Je predictorvariabelen kunnen sterk verschillende ranges hebben en in bepaalde situaties, zoals bij k‑NN, moet je dit mitigeren zodat bepaalde features het algoritme niet domineren;
2. Je wilt dat je features eenheidsonafhankelijk zijn, dus niet afhankelijk van de meetschaal: jij kunt een feature in meters hebben en ik dezelfde feature in centimeters. Als we allebei onze data schalen, is deze feature voor ons beiden gelijk.

We hebben gezien welke essentiële plek preprocessing, in de vorm van schalen en centreren, inneemt in de data science‑pijplijn, en deden dat om een holistische benadering van machinelearninguitdagingen te bevorderen. In toekomstige artikelen wil ik dit uitbreiden naar andere soorten preprocessing, zoals transformaties van numerieke data en preprocessing van categorische data—beide onmisbare onderdelen van de gereedschapskist van elke data scientist. Voor het zover is, bekijk ik in het volgende artikel de rol van schalen bij regressiebenaderingen van classificatie. In het bijzonder kijk ik naar logistieke regressie, en je zult zien dat het resultaat heel anders is dan wat je zojuist zag bij k‑Nearest Neighbors.

In het interactieve venster hieronder kun je zelf met de data spelen. Begin met het aanpassen van de variabele n_neig, het aantal buren dat k‑NN gebruikt. Je kunt de data ook schalen door sc = True te zetten, als je dat wilt. Voer daarna het hele script uit om de accuracy van het model te rapporteren, samen met een classificatierapport.

import pandas as pdimport matplotlib.pyplot as pltfrom sklearn.cross_validation import train_test_splitfrom sklearn import neighborsfrom sklearn.preprocessing import scalefrom sklearn.metrics import classification_report # Set the the number of neighbors for k-NNn_neig = 5# Set sc = True if you want to scale your featuressc = False# Load datadf = pd.read_csv('http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv ' , sep = ';')X = df.drop('quality' , 1).values# drop target variable# Here we scale, if desiredif sc == True: X = scale(X)# Target valuey1 = df['quality'].values# original target variabley = y1 <= 5# new target variable: is the rating <= 5?# Split the data into a test set and a training setX_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# Train k-NN model and print performance on the test setknn = neighbors.KNeighborsClassifier(n_neighbors = n_neig)knn_model = knn.fit(X_train, y_train)y_true, y_pred = y_test, knn_model.predict(X_test)print('k-NN accuracy for test set: %f' % knn_model.score(X_test, y_test))print(classification_report(y_true, y_pred))Mogelijk gemaakt door

Supervised learning: De taak om een doelvariabele af te leiden uit predictorvariabelen. Bijvoorbeeld: de doelvariabele ‘aanwezigheid van hartziekte’ afleiden uit predictorvariabelen zoals ‘leeftijd’, ‘geslacht’ en ‘rookstatus’.

Classificatietaak: Een supervised learning‑taak is een classificatietaak als de doelvariabele uit categorieën bestaat (bijv. ‘klik’ of ‘niet’, ‘maligne’ of ‘benigne’ tumor).

Regressietaak: Een supervised learning‑taak is een regressietaak als de doelvariabele een continu variërende variabele is (bijv. prijs van een huis) of een geordende categorische variabele zoals ‘kwaliteitsrating van wijn’.

k-Nearest Neighbors: Een algoritme voor classificatietaken, waarbij een datapunt het label krijgt dat wordt bepaald door een meerderheid van stemmen van zijn k dichtstbijzijnde buren.

Preprocessing: Allerlei bewerkingen die data scientists gebruiken om hun data geschikt te maken voor wat ze ermee willen doen. Zo wil je, voordat je sentimentanalyse op Twitter‑data uitvoert, misschien alle html‑tags en witruimtes verwijderen, afkortingen uitschrijven en tweets opsplitsen in lijsten met de woorden die ze bevatten.

Centreren en schalen: Dit zijn vormen van preprocessing van numerieke data, dus data die uit getallen bestaat, in tegenstelling tot categorieën of strings, bijvoorbeeld; centreren van een variabele is het gemiddelde van de variabele van elk datapunt aftrekken zodat het nieuwe gemiddelde 0 is; schalen van een variabele is elk datapunt met een constante vermenigvuldigen om de range van de data te wijzigen. Zie de hoofdtekst voor het belang hiervan, met voorbeelden.

Dit artikel is gegenereerd vanuit een Jupyter‑notebook. Je kunt de notebook hier downloaden.