Plus de soixante-dix ans se sont écoulés depuis que le célèbre mathématicien américain Samuel S. Wilks a déclaré : « La pensée statistique sera un jour aussi nécessaire à une citoyenneté efficace que la capacité de lire et d’écrire », paraphrasant l’ouvrage de HG Wells, Mankind in the Making. Si l’affirmation peut paraître un brin emphatique, son message de fond sur l’importance des statistiques reste plus que jamais d’actualité à l’ère de l’information.
Source de l’image : The American Statistical Association
Avec la progression fulgurante des technologies et une vague d’innovations sans précédent, l’apprentissage automatique et l’IA générative occupent désormais le devant de la scène. Ces avancées transforment notre quotidien et facilitent la prise de décision à grande échelle, basée sur les données.
Au milieu de l’engouement suscité par ces technologies de pointe, les statistiques demeurent le socle de nombreux progrès en apprentissage automatique. Elles sont indissociables de la donnée elle-même, qui constitue la fondation de toutes les innovations qui nous entourent.
Qu’est-ce que l’apprentissage automatique statistique ?
Comme son nom le laisse entendre, l’apprentissage automatique statistique consiste à utiliser des techniques statistiques pour développer des modèles capables d’apprendre à partir des données et de produire des prédictions ou des décisions.
En substance, il marie l’efficacité computationnelle et l’adaptabilité des algorithmes de machine learning avec la puissance de l’inférence et de la modélisation statistiques. Vous avez sans doute entendu parler d’apprentissage supervisé, non supervisé ou semi-supervisé : tous reposent sur des bases statistiques solides.
En mobilisant des méthodes statistiques, nous pouvons extraire des motifs, relations et insights significatifs de jeux de données complexes, ce qui renforce l’efficacité des algorithmes de machine learning.
Le rôle des statistiques en apprentissage automatique
J’ai dit que, fondamentalement, les statistiques fournissent le cadre théorique sur lequel s’appuient les algorithmes d’apprentissage automatique. Regardons de plus près leurs différences et la manière dont elles se complètent.
Les statistiques sont la science qui permet de collecter, analyser, interpréter, présenter et organiser les données. Elles offrent des outils pour comprendre motifs et tendances, mais aussi pour formuler des inférences et des prédictions à partir des données. Face à de grands jeux de données, elles aident à résumer et à structurer l’information pour en dégager des schémas complexes.
Le machine learning, de son côté, est un outil puissant qui permet aux ordinateurs d’apprendre à partir des données et de prendre des décisions ou de formuler des prédictions. Son objectif ultime est de créer des modèles capables de s’adapter et de s’améliorer dans le temps, et de généraliser d’exemples spécifiques à des cas plus larges.
C’est là que la complémentarité entre statistiques et apprentissage automatique prend tout son sens. Les principes statistiques constituent les piliers qui soutiennent l’édifice du machine learning.
- Construire des modèles de machine learning : les statistiques apportent les méthodologies et principes nécessaires à la création de modèles. Par exemple, la régression linéaire s’appuie sur la méthode statistique des moindres carrés pour estimer les coefficients.
- Interpréter les résultats : les concepts statistiques nous aident à interpréter les sorties des modèles. Des mesures comme la p-valeur, les intervalles de confiance ou le R-carré offrent un éclairage statistique sur les performances du modèle.
- Valider les modèles : des techniques statistiques sont essentielles pour valider et affiner les modèles, comme les tests d’hypothèse, la validation croisée ou le bootstrapping, afin de quantifier la performance et d’éviter le surapprentissage.
- Sous-tendre les techniques avancées : même des algorithmes complexes, comme les réseaux de neurones, reposent sur des principes statistiques. Les méthodes d’optimisation utilisées pour les entraîner, telles que la descente de gradient, sont ancrées dans la théorie statistique.
Ainsi, une solide maîtrise des statistiques permet non seulement de mieux construire et valider des modèles de machine learning, mais aussi d’interpréter leurs résultats de manière pertinente et exploitable.
Passons en revue quelques notions statistiques clés étroitement liées au machine learning. Vous pouvez approfondir ces concepts dans notre parcours Statistics Fundamentals with Python pour vous exercer concrètement.
Probabilités
La théorie des probabilités est cruciale en machine learning car elle sert de base à la modélisation de l’incertitude et aux prédictions probabilistes. Comment quantifier la probabilité de différents résultats, événements ou valeurs numériques ? Les probabilités répondent à cette question ! Les lois de probabilité jouent un rôle central en apprentissage automatique et rendent « toute la magie » possible.
Parmi les lois les plus utilisées, citons la gaussienne (normale), la bernoulli, la poisson et l’exponentielle. Nous proposons une fiche mémo sur les probabilités pour rappeler rapidement les règles essentielles.
Statistiques descriptives
Les statistiques descriptives nous aident à comprendre les caractéristiques et propriétés d’un jeu de données. Elles permettent de résumer et de visualiser les données, d’identifier des motifs, de détecter des valeurs aberrantes et d’obtenir des premiers insights qui orientent la modélisation et l’analyse.
Notre fiche mémo sur les statistiques descriptives vous aide à assimiler ces notions
Mesures de tendance centrale
La moyenne, la médiane et le mode donnent un aperçu des valeurs centrales ou représentatives d’un jeu de données. En machine learning, elles facilitent le prétraitement des données, par exemple pour l’imputation des valeurs manquantes et l’identification de valeurs aberrantes potentielles.
Lors de l’ingénierie des caractéristiques, elles aident aussi à capturer les valeurs typiques ou les plus fréquentes qui influencent la performance du modèle.
Variance et écart-type
La variance et l’écart-type quantifient la dispersion des points de données autour de la tendance centrale. Ils renseignent sur la cohérence et la variabilité des données en machine learning.
Ces mesures sont utiles pour la sélection de variables ou la réduction de dimension, en repérant des caractéristiques à faible pouvoir prédictif.
Elles contribuent aussi à évaluer les performances en analysant la variabilité des prédictions ou des résidus, ce qui facilite la comparaison entre algorithmes.
Mesures de dispersion
L’étendue, l’écart interquartile et les centiles sont des mesures de dispersion qui informent sur la distribution des valeurs. Elles sont particulièrement utiles pour détecter les valeurs aberrantes, afin d’identifier et de traiter des points susceptibles d’influencer fortement l’entraînement et les prédictions. Lorsque les données doivent être transformées ou normalisées pour de meilleures performances, ces mesures servent de repères.
Échantillonnage
Les modèles de machine learning sont entraînés sur des données échantillonnées. Si les échantillons sont mal choisis, la fiabilité des modèles devient incertaine. L’idéal est de sélectionner des sous-ensembles représentatifs d’une population plus large.
Un échantillonnage approprié garantit aussi des données diverses et non biaisées pour l’entraînement, soutenant un usage éthique et responsable de la technologie.
Découvrez notre cours Sampling in Python pour approfondir cette compétence clé.
Estimation
Les techniques d’estimation sont essentielles pour déterminer des paramètres inconnus d’une population à partir d’un échantillon. Elles permettent d’estimer les paramètres des modèles, d’évaluer leurs performances et de prédire sur des données non vues.
La méthode d’estimation la plus courante en machine learning est le maximum de vraisemblance (ML), qui consiste à choisir l’estimateur d’un paramètre inconnu en maximisant la fonction de vraisemblance.
Tests d’hypothèse
Les tests d’hypothèse offrent une démarche rigoureuse pour évaluer l’importance de relations ou de différences dans des tâches de machine learning. Ils permettent de vérifier des hypothèses, de comparer des modèles et de prendre des décisions statistiquement fondées sur les éléments disponibles.
Validation croisée
La validation croisée (CV) est une technique statistique utilisée pour estimer la performance et l’erreur de généralisation d’un algorithme. Son objectif principal est d’éviter le surapprentissage, quand un modèle réussit très bien sur l’entraînement mais généralise mal sur de nouvelles données.
En divisant le jeu de données en plusieurs sous-ensembles et en entraînant/évaluant le modèle de façon itérative sur différentes combinaisons, la validation croisée fournit une estimation plus fiable des performances sur des données inédites.
Techniques populaires d’apprentissage automatique statistique
Ces concepts statistiques, parfois complexes, constituent les premières briques d’algorithmes de machine learning performants. Explorons maintenant quelques modèles phares et voyons comment les statistiques ont permis leurs capacités remarquables.
Régression linéaire
La régression linéaire est un terme courant en statistique, mais c’est aussi un algorithme d’apprentissage supervisé qui modélise la relation entre une variable dépendante et une ou plusieurs variables explicatives.
Les statistiques aident à estimer les coefficients, à mener des tests d’hypothèse et à évaluer la significativité des relations, offrant des insights précieux et une compréhension approfondie des données. Approfondissez le sujet avec notre tutoriel essentials of linear regression in Python ou notre cours Introduction to Regression in R.
Régression logistique
Comme la régression linéaire, la régression logistique est un algorithme statistique de classification qui estime la probabilité d’issues catégorielles à partir de variables explicatives. En appliquant une fonction logistique, elle prédit l’appartenance à une classe.
Régression logistique et régression linéaire
Arbres de décision
Les arbres de décision sont des algorithmes polyvalents qui utilisent des critères statistiques pour scinder les données selon des caractéristiques, construisant une structure arborescente pour la classification ou la régression. Ils sont intuitifs, interprétables et gèrent les données catégorielles comme numériques.
Des mesures statistiques, telles que l’impureté de Gini ou le gain d’information, guident souvent les découpages tout au long de la construction de l’arbre.
Vous pouvez découvrir la classification par arbre de décision en Python dans un tutoriel dédié, ou explorer les arbres de décision en machine learning avec R.
Forêt aléatoire
La forêt aléatoire (Random Forest) est une méthode d’ensemble qui améliore la précision des prédictions en combinant de multiples arbres de décision. Elle recourt à l’échantillonnage pour sélectionner aléatoirement des sous-ensembles de variables et d’observations lors de la construction des arbres. Les prédictions des arbres individuels sont ensuite agrégées pour produire la prédiction finale.
Cet algorithme est particulièrement puissant : il introduit de la diversité et réduit le surapprentissage. Cette diversité permet un modèle plus robuste, capable de capter une large palette de motifs, tandis que la réduction du surapprentissage assure une bonne généralisation sur des données inédites, ce qui en fait un outil fiable et précis pour l’analytique prédictive.
Nous proposons un tutoriel dédié à la classification par forêt aléatoire, qui explique comment et quand utiliser cette technique statistique en machine learning.
Exemple de classification par forêt aléatoire
Machines à vecteurs de support (SVM)
Les SVM sont des algorithmes puissants, utilisables pour la classification comme pour la régression. Ils s’appuient sur des principes statistiques pour définir une frontière entre différents groupes de points de données, facilitant leur séparation. En optimisant cette frontière, les SVM réduisent les erreurs et améliorent la précision globale.
Nous proposons des tutoriels sur les machines à vecteurs de support avec scikit-learn en Python, ainsi que sur les SVM en R.
K plus proches voisins (KNN)
KNN est un algorithme simple mais efficace pour classer des points de données à partir du vote majoritaire de leurs plus proches voisins. Il convient à la classification comme à la régression et ne nécessite pas d’entraînement préalable.
Dans KNN, des mesures statistiques servent à évaluer la proximité entre points de données afin d’identifier les voisins les plus proches. Le vote majoritaire de ces voisins sert ensuite à classer ou à prédire la variable cible.
Là encore, vous pouvez approfondir le concept avec notre tutoriel K-Nearest Neighbors Classification with scikit-learn.
Pour conclure
À l’heure où la technologie progresse à vive allure et où les décisions s’appuient de plus en plus sur les données, consolider vos bases en statistiques est un atout majeur pour développer vos compétences en machine learning. En maîtrisant les fondamentaux, vous vous donnez les moyens de libérer tout le potentiel de l’apprentissage automatique.
Que vous débutiez ou que vous soyez déjà confirmé, lancez-vous dès aujourd’hui avec les parcours Statistics Fundamentals with Python et Machine Learning Fundamentals with Python pour explorer en profondeur ce domaine passionnant qu’est l’apprentissage automatique statistique !
Sources
- All of Statistics (A Concise Course in Statistical Inference), Larry Wasserman
- The Elements of Statistical Learning, Jerome H. Friedman, Robert Tibshirani et Trevor Hastie
