Tests d'hypothèse en apprentissage automatique

Le test d'hypothèse consiste à tirer des inférences, ou une conclusion, sur l'ensemble d'une population ou d'un jeu de données en réalisant des tests statistiques sur un échantillon. Les mêmes inférences s'appliquent à différents modèles d'apprentissage automatique via le test t, que nous allons aborder dans ce tutoriel.

Pour établir des inférences, il faut formuler des hypothèses qui mènent à deux notions clés utilisées en test d'hypothèse.

• Hypothèse nulle : elle correspond à l'hypothèse selon laquelle il n'y a pas d'anomalie ni d'effet ; on considère que l'observation suit l'hypothèse de départ.

• Hypothèse alternative : à l'inverse de l'hypothèse nulle, elle indique que l'observation résulte d'un effet réel.

Valeur p

On peut l'interpréter comme un niveau de preuve, ou niveau de signification, vis-à-vis de l'hypothèse nulle, y compris dans les algorithmes d'apprentissage automatique. Elle mesure l'importance des prédicteurs par rapport à la cible.

En général, on retient un seuil de signification de 5 %, mais cela peut se discuter selon les cas. Si vous disposez d'un fort a priori sur le fonctionnement de vos données, vous pouvez ajuster ce seuil.

À l'inverse, si la valeur p est inférieure à 0,05 dans un modèle d'apprentissage automatique pour une variable indépendante donnée, alors cette variable est jugée pertinente : elle présente un comportement hétérogène vis-à-vis de la cible, utile et exploitable par les algorithmes.

Les étapes d'un test d'hypothèse sont les suivantes :

• Formuler une hypothèse nulle : en apprentissage automatique, on considère souvent qu'il n'existe pas d'effet entre la cible et la variable explicative.

• Constituer un échantillon

• Calculer la statistique de test

• Décider d'accepter ou de rejeter l'hypothèse nulle

Calcul de la statistique de test (t)

Pour calculer la statistique t, posons un scénario.

Supposons qu'une entreprise fabriquant des conteneurs d'expédition affirme que chaque conteneur pèse 1 000 kg, ni moins ni plus. Cette affirmation semblant douteuse, nous collectons des données et créons un échantillon.

Après avoir prélevé un échantillon de 30 conteneurs, nous constatons que le poids moyen est de 990 kg, avec un écart-type de 12,5 kg.

Calcul de la statistique de test :

t = (Moyenne - Valeur revendiquée) / (Écart-type / Racine carrée de la taille d'échantillon)

Ce qui donne -4,3818 après substitution des valeurs.

Calculons maintenant la valeur critique de t pour un seuil de 0,05 et le nombre de degrés de liberté approprié.

Remarque : Degrés de liberté = Taille d'échantillon - 1

D'après la table de Student, la valeur critique est -1,699.

Après comparaison, la statistique observée est inférieure (plus extrême) à la valeur critique au niveau de signification retenu. Nous pouvons donc rejeter la revendication.

Vous pouvez calculer la valeur critique de t avec la fonction stats.t.ppf() de la classe stats de la bibliothèque scipy.

Erreurs

Les tests d'hypothèse s'effectuent sur un échantillon plutôt que sur toute la population, faute de ressources ou de données complètes. En travaillant sur échantillon, on s'expose à deux types d'erreurs :

• Erreur de type I : on rejette l'hypothèse nulle alors qu'elle est vraie.

• Erreur de type II : on accepte l'hypothèse nulle alors qu'elle est fausse.

Autres approches

Il existe de nombreuses approches pour tester des hypothèses entre deux modèles, par exemple entraîner deux modèles sur les mêmes caractéristiques : l'un avec l'ensemble des variables, l'autre en retirant une variable. On peut ainsi tester la significativité de chaque variable. Toutefois, les interdépendances entre variables peuvent biaiser ces méthodes simples.

En régression, on suit souvent la règle de la valeur p : les variables qui ne respectent pas le seuil de signification sont supprimées, ce qui améliore le modèle de manière itérative.

Chaque algorithme propose des méthodes spécifiques pour tester des hypothèses sur différentes caractéristiques.

Si vous souhaitez approfondir les fondamentaux des inférences bayésiennes, suivez le cours Fundamentals of Bayesian Data Analysis in R de DataCamp.

Découvrez aussi notre tutoriel Machine Learning Basics.