Preprocessing in Data Science (Deel 2): Centreren, schalen en logistische regressie

Lineaire regressie in Python

Zoals hierboven vermeld, wordt regressie vaak gebruikt om de waarde van een numerieke variabele te voorspellen op basis van een andere. Hieronder voeren we bijvoorbeeld een lineaire regressie uit op Boston-huisgegevens (een ingebouwde dataset in scikit-learn): in dit geval is de onafhankelijke variabele (x-as) het aantal kamers en de afhankelijke variabele (y-as) de prijs.

Hoe werkt zo’n regressie? Kort samengevat zijn de mechanismen als volgt: we willen een model \(y = ax + b\) fitten op de data \((x_i,y_i)\), dat wil zeggen, we willen de optimale \(a\) en \(b\) vinden, gegeven de data. In de ordinary least squares (OLS, veruit de meest gebruikte) formulering wordt aangenomen dat de fout optreedt in de afhankelijke variabele. Daarom worden de optimale \(a\) en \(b\) gevonden door \[SSE = \sum_i (y_i - (ax_i + b))^2\] te minimaliseren, en deze optimalisatie wordt vaak bereikt met een algoritme dat gradient descent heet. Hier voeren we een eenvoudige lineaire regressie uit op de Boston-huisgegevens:

# Import necessary packages
import pandas as pd
%matplotlib inline
import matplotlib.pyplot as plt
plt.style.use('ggplot')
from sklearn import datasets
from sklearn import linear_model
import numpy as np

# Load data
boston = datasets.load_boston()
yb = boston.target.reshape(-1, 1)
Xb = boston['data'][:,5].reshape(-1, 1)

# Plot data
plt.scatter(Xb,yb)
plt.ylabel('value of house /1000 ($)')
plt.xlabel('number of rooms')

# Create linear regression object
regr = linear_model.LinearRegression()
# Train the model using the training sets
regr.fit( Xb, yb)

# Plot outputs
plt.scatter(Xb, yb,  color='black')
plt.plot(Xb, regr.predict(Xb), color='blue',
         linewidth=3)
plt.show()

Deze regressie pakt de algemene stijgende trend van de data, maar niet veel meer. We hebben slechts één predictorvariabele gebruikt en hadden er veel meer kunnen gebruiken; in dat geval zouden we \(n\) coëfficiënten \(a_1,\ldots,a_n\) in het model hebben, één voor elke predictorvariabele. Het is het vermelden waard dat de grootteorde van de variabele \(a_i\) ons vertelt hoe sterk de corresponderende variabele correleert met de doelvariabele.

Logistische regressie in Python

Regressie kan ook worden gebruikt voor classificatieproblemen. Het eerste voor de hand liggende voorbeeld hiervan is logistische regressie. Bij binaire classificatie (twee labels) kun je de labels zien als 0 & 1. Met de predictorvariabele aangeduid als \(x\), wordt het logistische regressiemodel gegeven door de logistische functie \[F(x) = \frac{1}{1+e^{-(ax+b)}}.\] Dit is een sigmoïde (S-vormige) kromme; hieronder zie je een voorbeeld. Voor een gegeven \(x\), als \(F(x) <0.5\), dan voorspelt het logistische model y = 0 en, als \(F(X) > 0.5\), voorspelt het model \(y = 1\). Opnieuw, als we meer dan één predictorvariabele hebben, hebben we ook \(n\) coëfficiënten \(a_1,\ldots,a_n\), één voor elke predictorvariabele. In dit geval vertelt de grootteorde van de variabele \(a_i\) ons hoe sterk de corresponderende variabele de doelvariabele beïnvloedt.

# Synthesize data
X1 = np.random.normal(size=150)
y1 = (X1 > 0).astype(np.float)
X1[X1 > 0] *= 4
X1 += .3 * np.random.normal(size=150)
X1= X1.reshape(-1, 1)

# Run the classifier
clf = linear_model.LogisticRegression()
clf.fit(X1, y1)

# Plot the result
plt.scatter(X1.ravel(), y1, color='black', zorder=20 , alpha = 0.5)
plt.plot(X1_ordered, clf.predict_proba(X1_ordered)[:,1], color='blue' , linewidth = 3)
plt.ylabel('target variable')
plt.xlabel('predictor variable')
plt.show()

Verklarende woordenlijst

Supervised learning: De taak om een doelvariabele af te leiden uit predictorvariabelen. Bijvoorbeeld: het afleiden van de doelvariabele ‘aanwezigheid van hartziekte’ uit predictorvariabelen zoals ‘leeftijd’, ‘geslacht’ en ‘rookstatus’.

Classificatietaak: Een taak van supervised learning is een classificatietaak als de doelvariabele uit categorieën bestaat (bijv. ‘klik’ of ‘geen’, ‘kwaadaardig’ of ‘goedaardig’ gezwel).

Regressietaak: Een taak van supervised learning is een regressietaak als de doelvariabele een continu variërende variabele is (bijv. prijs van een huis) of een geordende categorische variabele zoals ‘kwaliteitsbeoordeling van wijn’.

k-Nearest Neighbors: Een algoritme voor classificatietaken waarbij een datapunt het label krijgt dat wordt bepaald door een meerderheid van zijn k dichtstbijzijnde buren.

Preprocessing: Allerlei bewerkingen die data scientists gebruiken om hun data in een vorm te krijgen die beter aansluit bij wat ze ermee willen doen. Bijvoorbeeld: voordat je sentimentanalyse uitvoert op Twitter-gegevens, wil je misschien alle html-tags en witruimtes verwijderen, afkortingen uitschrijven en de tweets opsplitsen in lijsten met de woorden die ze bevatten.

Centreren en schalen: Dit zijn vormen van preprocessing van numerieke data, dat wil zeggen data die uit getallen bestaat, in tegenstelling tot bijvoorbeeld categorieën of strings; centreren van een variabele is het gemiddelde van de variabele van elk datapunt aftrekken zodat het gemiddelde van de nieuwe variabele 0 is; schalen van een variabele is elk datapunt met een constante vermenigvuldigen om het bereik van de data te veranderen. Zie de hoofdtekst van het artikel voor het belang hiervan, met voorbeelden.

Dit artikel is gegenereerd vanuit een Jupyter-notebook. Je kunt de notebook hier downloaden.