Prétraitement en data science (partie 2) : centrage, mise à l'échelle et régression logistique

Régression linéaire en Python

Comme indiqué ci-dessus, la régression sert couramment à prédire la valeur d'une variable numérique à partir d'une autre. Par exemple, ci-dessous nous effectuons une régression linéaire sur les données du logement à Boston (jeu de données intégré à scikit-learn) : ici, la variable indépendante (axe des x) est le nombre de pièces et la variable dépendante (axe des y) est le prix.

Comment fonctionne une telle régression ? En bref, la mécanique est la suivante : nous souhaitons ajuster un modèle \(y = ax + b\) aux données \((x_i,y_i)\), c'est-à-dire trouver les \(a\) et \(b\) optimaux, étant données les observations. Dans la formulation des moindres carrés ordinaires (OLS, de loin la plus courante), on suppose que l'erreur se situe sur la variable dépendante. Ainsi, les \(a\) et \(b\) optimaux minimisent \[SSE = \sum_i (y_i - (ax_i + b))^2\] et cette optimisation est généralement réalisée par descente de gradient. Voici une simple régression linéaire sur les données immobilières de Boston :

# Import necessary packages
import pandas as pd
%matplotlib inline
import matplotlib.pyplot as plt
plt.style.use('ggplot')
from sklearn import datasets
from sklearn import linear_model
import numpy as np

# Load data
boston = datasets.load_boston()
yb = boston.target.reshape(-1, 1)
Xb = boston['data'][:,5].reshape(-1, 1)

# Plot data
plt.scatter(Xb,yb)
plt.ylabel('value of house /1000 ($)')
plt.xlabel('number of rooms')

# Create linear regression object
regr = linear_model.LinearRegression()
# Train the model using the training sets
regr.fit( Xb, yb)

# Plot outputs
plt.scatter(Xb, yb,  color='black')
plt.plot(Xb, regr.predict(Xb), color='blue',
         linewidth=3)
plt.show()Propulsé par

Cette régression saisit la tendance globale croissante des données mais pas grand-chose de plus. Nous n'avons utilisé qu'une variable prédictive, alors que nous aurions pu en exploiter bien d'autres ; dans ce cas, le modèle comporterait \(n\) coefficients \(a_1,\ldots,a_n\), un par variable prédictive. À noter que l'ampleur du coefficient \(a_i\) indique à quel point la variable correspondante est corrélée à la variable cible.

Régression logistique en Python

La régression peut aussi s'appliquer aux problèmes de classification. Le premier exemple naturel est la régression logistique. En classification binaire (deux étiquettes), on peut représenter les classes par 0 et 1. En notant à nouveau la variable prédictive \(x\), le modèle de régression logistique est donné par la fonction logistique \[F(x) = \frac{1}{1+e^{-(ax+b)}}.\] C'est une courbe sigmoïde (en S), illustrée ci-dessous. Pour un \(x\) donné, si \(F(x) <0.5\), le modèle prédit y = 0 et, si \(F(X) > 0.5\), le modèle prédit \(y = 1\). Si nous avons plusieurs variables prédictives, nous aurons \(n\) coefficients \(a_1,\ldots,a_n\), un par variable. Ici, l'ampleur du coefficient \(a_i\) indique la force avec laquelle la variable correspondante influe sur la variable cible.

# Synthesize data
X1 = np.random.normal(size=150)
y1 = (X1 > 0).astype(np.float)
X1[X1 > 0] *= 4
X1 += .3 * np.random.normal(size=150)
X1= X1.reshape(-1, 1)

# Run the classifier
clf = linear_model.LogisticRegression()
clf.fit(X1, y1)

# Plot the result
plt.scatter(X1.ravel(), y1, color='black', zorder=20 , alpha = 0.5)
plt.plot(X1_ordered, clf.predict_proba(X1_ordered)[:,1], color='blue' , linewidth = 3)
plt.ylabel('target variable')
plt.xlabel('predictor variable')
plt.show()Propulsé par

Glossaire

Apprentissage supervisé : tâche consistant à inférer une variable cible à partir de variables prédictives. Par exemple, déduire la variable cible « présence d'une maladie cardiaque » à partir de variables prédictives telles que « âge », « sexe » et « statut fumeur ».

Tâche de classification : une tâche d'apprentissage supervisé est une tâche de classification si la variable cible est catégorielle (p. ex. « clic » ou « non », « tumeur maligne » ou « bénigne »).

Tâche de régression : une tâche d'apprentissage supervisé est une tâche de régression si la variable cible varie de façon continue (p. ex. le prix d'une maison) ou est une variable catégorielle ordonnée comme la « note de qualité d'un vin ».

k plus proches voisins : algorithme de classification qui assigne à un point de données l'étiquette décidée par vote majoritaire de ses k plus proches voisins.

Prétraitement : ensemble d'opérations utilisées par les data scientists pour mettre les données dans une forme plus adaptée à l'objectif poursuivi. Par exemple, avant une analyse de sentiment sur des tweets, vous pouvez retirer les balises HTML, les espaces superflus, développer les abréviations et découper les tweets en listes de mots.

Centrage et mise à l'échelle : deux formes de prétraitement de données numériques, c'est-à-dire des données constituées de nombres, par opposition aux catégories ou chaînes de caractères ; centrer une variable consiste à soustraire sa moyenne à chaque point pour obtenir une moyenne nulle ; mettre à l'échelle une variable consiste à multiplier chaque point par une constante afin de modifier l'amplitude des données. Voir le corps de l'article pour leur importance et des exemples.

Cet article a été généré à partir d'un notebook Jupyter. Vous pouvez télécharger le notebook ici.