Preprocessing in Data Science (Teil 2): Zentrieren, Skalieren und Logistische Regression

Lineare Regression in Python

Wie oben erwähnt, wird Regression häufig genutzt, um den Wert einer numerischen Variablen aus einer anderen vorherzusagen. Unten führen wir zum Beispiel eine lineare Regression auf Boston-Housing-Daten durch (ein in scikit-learn enthaltener Datensatz): Hier ist die unabhängige Variable (x-Achse) die Zimmeranzahl und die abhängige Variable (y-Achse) der Preis.

Wie funktioniert eine solche Regression? Kurz gesagt, so: Wir wollen ein Modell \(y = ax + b\) an die Daten \((x_i,y_i)\) anpassen, d. h. die optimalen Werte für \(a\) und \(b\) finden. In der Formulierung der kleinsten Quadrate (OLS, mit Abstand am häufigsten) nimmt man an, dass der Fehler in der abhängigen Variable auftritt. Daher werden die optimalen \(a\) und \(b\) durch Minimieren von \[SSE = \sum_i (y_i - (ax_i + b))^2\] gefunden, und diese Optimierung erfolgt häufig per Gradientenabstieg. Hier führen wir eine einfache lineare Regression auf den Boston-Housing-Daten aus:

# Import necessary packages
import pandas as pd
%matplotlib inline
import matplotlib.pyplot as plt
plt.style.use('ggplot')
from sklearn import datasets
from sklearn import linear_model
import numpy as np

# Load data
boston = datasets.load_boston()
yb = boston.target.reshape(-1, 1)
Xb = boston['data'][:,5].reshape(-1, 1)

# Plot data
plt.scatter(Xb,yb)
plt.ylabel('value of house /1000 ($)')
plt.xlabel('number of rooms')

# Create linear regression object
regr = linear_model.LinearRegression()
# Train the model using the training sets
regr.fit( Xb, yb)

# Plot outputs
plt.scatter(Xb, yb,  color='black')
plt.plot(Xb, regr.predict(Xb), color='blue',
         linewidth=3)
plt.show()Bereitgestellt von

Diese Regression erfasst den allgemeinen Aufwärtstrend der Daten, aber nicht viel mehr. Wir haben nur eine Prädiktorvariable genutzt; man könnte viele weitere verwenden — dann gäbe es \(n\) Koeffizienten \(a_1,\ldots,a_n\) im Modell, je einen pro Prädiktor. Bemerkenswert ist, dass die Größe von \(a_i\) anzeigt, wie stark die entsprechende Variable mit der Zielvariablen korreliert.

Logistische Regression in Python

Regression kann auch für Klassifikationsprobleme eingesetzt werden. Das naheliegendste Beispiel ist die logistische Regression. Bei binärer Klassifikation (zwei Labels) kann man die Labels als 0 und 1 auffassen. Bezeichnen wir die Prädiktorvariable wieder mit \(x\), dann ist das Modell durch die logistische Funktion gegeben: \[F(x) = \frac{1}{1+e^{-(ax+b)}}.\] Das ist eine S-förmige Kurve (Sigmoid), ein Beispiel siehst du unten. Für ein gegebenes \(x\) gilt: Wenn \(F(x) < 0.5\), sagt das Modell \(y = 0\) voraus, andernfalls bei \(F(x) > 0.5\) \(y = 1\). Haben wir mehr als eine Prädiktorvariable, gibt es entsprechend \(n\) Koeffizienten \(a_1,\ldots,a_n\). In diesem Fall zeigt die Größe von \(a_i\), wie stark die entsprechende Variable die Zielvariable beeinflusst.

# Synthesize data
X1 = np.random.normal(size=150)
y1 = (X1 > 0).astype(np.float)
X1[X1 > 0] *= 4
X1 += .3 * np.random.normal(size=150)
X1= X1.reshape(-1, 1)

# Run the classifier
clf = linear_model.LogisticRegression()
clf.fit(X1, y1)

# Plot the result
plt.scatter(X1.ravel(), y1, color='black', zorder=20 , alpha = 0.5)
plt.plot(X1_ordered, clf.predict_proba(X1_ordered)[:,1], color='blue' , linewidth = 3)
plt.ylabel('target variable')
plt.xlabel('predictor variable')
plt.show()Bereitgestellt von

Glossar

Überwachtes Lernen (Supervised Learning): Die Aufgabe, aus Prädiktorvariablen eine Zielvariable abzuleiten. Beispiel: Die Zielvariable „Vorliegen einer Herzerkrankung“ aus Prädiktoren wie „Alter“, „Geschlecht“ und „Raucherstatus“ vorhersagen.

Klassifikationsaufgabe: Eine Aufgabe des überwachten Lernens ist eine Klassifikationsaufgabe, wenn die Zielvariable aus Kategorien besteht (z. B. „Klick“ oder „kein Klick“, „bösartig“ oder „gutartig“ bei Tumoren).

Regressionsaufgabe: Eine Aufgabe des überwachten Lernens ist eine Regressionsaufgabe, wenn die Zielvariable kontinuierlich ist (z. B. Hauspreis) oder eine geordnete kategoriale Variable wie die „Qualitätsbewertung von Wein“.

k-Nearest Neighbors: Ein Algorithmus für Klassifikationsaufgaben, bei dem ein Datenpunkt das Label erhält, das durch Mehrheitsentscheid seiner k nächsten Nachbarn bestimmt wird.

Preprocessing: Verschiedene Schritte, mit denen Data Scientists Daten so aufbereiten, dass sie für das jeweilige Vorhaben besser geeignet sind. Beispiel: Bevor du eine Sentimentanalyse auf Twitter-Daten durchführst, willst du vielleicht HTML-Tags und überflüssige Leerzeichen entfernen, Abkürzungen ausschreiben und Tweets in Wortlisten zerlegen.

Zentrieren und Skalieren: Zwei Formen des Preprocessings von numerischen Daten, also Daten, die aus Zahlen bestehen (im Gegensatz zu Kategorien oder Strings). Zentrieren bedeutet, vom jeweiligen Datenpunkt den Mittelwert der Variable abzuziehen, sodass der neue Mittelwert 0 ist. Skalieren bedeutet, jeden Datenpunkt mit einer Konstante zu multiplizieren, um den Wertebereich zu verändern. Im Artikel findest du Beispiele und warum das wichtig ist.

Dieser Artikel wurde aus einem Jupyter-Notebook generiert. Das Notebook kannst du hier herunterladen.