Comprendre la somme des carrés : guide de la SST, de la SSR et de la SSE

La somme des carrés est une mesure statistique essentielle, au cœur de l’analyse de régression. Elle décrit la variabilité de la variable dépendante et se décompose en trois composantes : la somme totale des carrés (SST), la somme des carrés due à la régression (SSR) et la somme des carrés des erreurs (SSE). Ensemble, elles permettent d’évaluer les performances d’un modèle de régression.

Dans cet article, nous allons passer en revue ces trois composantes de la somme des carrés, ainsi que le coefficient de détermination R². Nous commencerons par présenter chaque somme de carrés séparément, puis nous étudierons leur relation mathématique. Enfin, nous verrons le lien entre SST, SSR, SSE et le R², un indicateur clé d’évaluation des modèles.

Qu’est-ce que la SST, la SSR et la SSE ?

Commençons par définir la SST, la SSR et la SSE, la façon dont chacune reflète la variabilité totale et comment elles aident à évaluer l’ajustement d’un modèle de régression. Nous verrons également à quoi ressemble chacune d’elles dans le cas d’une régression linéaire simple avec une variable dépendante et une variable indépendante.

Si, au fil des définitions, vous souhaitez réviser les statistiques sans coder, découvrez notre cours Introduction to Statistics. Pour des cours d’introduction ancrés dans une technologie spécifique, nous proposons notamment Introduction to Statistics in Google Sheets, Introduction to Statistics in Python et Introduction to Statistics in R.

Somme totale des carrés (SST)

La somme totale des carrés (SST) est la somme des carrés des écarts entre chaque valeur observée de la variable dépendante et la moyenne de cette variable. Elle est aussi appelée total sum of squares (TSS).

La SST représente la variabilité totale de la variable dépendante, en incluant les parts de variabilité expliquée et non expliquée par le modèle de régression. Par nature, la SST reflète la dispersion globale des valeurs observées de la variable dépendante autour de sa moyenne.

Voici la formule mathématique permettant de calculer la SST :

où :

• y_i est la valeur observée de la variable dépendante pour chacun des n points de données.
• ȳ est la moyenne des valeurs observées de la variable dépendante.

Le graphique ci-dessous, pour une régression linéaire simple, illustre visuellement la formule :

Calcul de la somme totale des carrés pour une régression linéaire simple. Image de l’auteure

Comme on le voit, les distances (segments rouges sur le graphique) entre la valeur moyenne (ligne grise en pointillés) de la variable dépendante observée et chacune de ses valeurs (points gris) sont mesurées, mises au carré, puis additionnées. Ce graphique montre aussi clairement que la SST ne dépend pas du modèle de régression : elle ne dépend que des valeurs observées de y et de leur moyenne.

Somme des carrés due à la régression (SSR)

La somme des carrés due à la régression (SSR) est la somme des carrés des écarts entre chaque valeur de la variable dépendante prédite par un modèle de régression pour chaque point de la variable indépendante et la moyenne de la variable dépendante observée. On l’appelle aussi regression sum of squares, sum of squares due to regression ou explained sum of squares. Une autre abréviation existe : ESS.

La SSR capture la part de la variabilité totale de la variable dépendante expliquée par le modèle de régression (d’où l’appellation explained sum of squares). On peut aussi l’interpréter comme l’erreur réduite grâce au modèle.

Pour calculer la SSR, on utilise la formule suivante :

où :

• y_i est la valeur de la variable dépendante prédite par le modèle de régression pour chacun des n points de la variable indépendante,
• ȳ est la moyenne observée de la variable dépendante.

Nous pouvons illustrer cette formule sur le graphique suivant de régression linéaire simple :

Calcul de la somme des carrés due à la régression pour une régression linéaire simple. Image de l’auteure

En termes simples, on mesure, met au carré et additionne les distances (segments verts) entre la moyenne (ligne grise en pointillés) de la variable dépendante observée et chaque valeur de la variable dépendante prédite par le modèle (ligne bleue), pour chaque point de la variable indépendante.

En analyse de régression, la SSR contribue à mesurer la qualité d’ajustement du modèle en indiquant dans quelle mesure il prédit correctement les points de données. Nous y verrons plus clair plus loin, lorsque nous discuterons la relation entre les trois métriques de la somme des carrés.

Somme des carrés des erreurs (SSE)

La somme des carrés des erreurs (SSE) est la somme des carrés des écarts entre chaque valeur observée de la variable dépendante et la valeur de la variable dépendante prédite par un modèle de régression pour le même point de la variable indépendante. Autrement dit, cette métrique mesure l’écart entre les valeurs réelles et les valeurs prédites de la variable dépendante.

La SSE est aussi appelée error sum of squares, residual sum of squares, sum of squares residual ou unexplained sum of squares. Outre SSE, on rencontre aussi les abréviations RSS, ESS, voire SSR — au risque de la confondre avec la SSR évoquée plus haut, qui désigne la somme des carrés due à la régression.

La SSE reflète l’erreur résiduelle, ou variabilité inexpliquée, c’est-à-dire la part de la variabilité totale de la variable dépendante que le modèle ne parvient pas à expliquer (d’où l’appellation unexplained sum of squares).

On utilise la formule suivante pour calculer la SSE :

où :

• y_i est la valeur réelle de la variable dépendante pour chacun des n points de la variable indépendante.
• ŷ est la valeur prédite de la variable dépendante pour chacun des n points de la variable indépendante.

Graphiquement, la formule s’illustre ainsi :

Calcul de la somme des carrés des erreurs pour une régression linéaire simple. Image de l’auteure

Ici, les distances (segments jaunes) entre chaque paire de valeurs réelle–prédite de la variable dépendante sont mesurées, mises au carré puis additionnées.

En analyse de régression, minimiser la SSE est crucial pour améliorer la précision du modèle. Nous allons construire l’intuition autour de ce point au chapitre suivant.

Nous proposons également une collection de tutoriels par technologie pour acquérir les compétences nécessaires à la construction de régressions linéaires et logistiques simples, notamment Essentials of Linear Regression in Python, How to Do Linear Regression in R et Linear Regression in Excel: A Comprehensive Guide For Beginners.

Relation mathématique entre SST, SSR et SSE

La relation mathématique entre la SST, la SSR et la SSE s’exprime par la formule suivante :

Nous avons dit plus haut que la variabilité totale (SST) se compose de la variabilité expliquée (SSR) et de la variabilité non expliquée (SSE), ce que reflète la formule ci-dessus.

Comme nous l’avons vu, la SST ne dépend pas du modèle de régression, alors que les deux autres métriques, si. Autrement dit, améliorer la précision du modèle revient à agir sur la SSR ou la SSE — en particulier, en minimisant la SSE et donc en maximisant la SSR. D’après la formule, plus la SSE est faible, plus la SSR se rapproche de la SST ; le modèle ajuste alors mieux les valeurs observées de la variable dépendante.

Si la SSE était égale à 0, la SSR coïnciderait avec la SST, ce qui signifierait que toutes les valeurs observées de la variable dépendante sont parfaitement expliquées par le modèle de régression, c’est-à-dire placées exactement sur la droite de régression. Dans la pratique, cela n’arrive pas, mais il faut viser une SSE minimale pour obtenir un modèle plus fiable.

Interprétation géométrique

Puisque la SST représente la variabilité totale des données, l’ajustement d’un modèle de régression décompose cette variabilité en deux parties : SSR et SSE. Cette décomposition est intéressante géométriquement, car elle reflète le théorème de Pythagore dans un espace de grande dimension : la variabilité totale est partagée en deux composantes orthogonales, celle expliquée par le modèle et l’erreur inexpliquée. Cette interprétation est logique puisque la régression consiste essentiellement à projeter les données sur un espace de plus faible dimension, engendré par nos prédicteurs. Suivez notre cours Linear Algebra for Data Science in R pour en savoir plus sur les sous-espaces.

Quand SST n’est pas égal à SSR + SSE

Dans les régressions ridge et lasso, la décomposition de la SST en SSR et SSE ne suit pas cette relation. En effet, ridge et lasso ajoutent des termes de régularisation (pénalités) à leur fonction de coût, ce qui modifie la relation. Dans les versions régularisées, la SST reste bien définie, mais la variabilité expliquée et la variabilité résiduelle ne s’additionnent plus en SST à cause du terme de régularisation. Lisez notre tutoriel Regularization in R Tutorial: Ridge, Lasso and Elastic Net pour en savoir plus.

Somme des carrés et R²

Le R², aussi appelé coefficient de détermination, est une mesure statistique importante pour évaluer la qualité d’ajustement d’un modèle de régression, et donc son pouvoir prédictif. Il représente la proportion de la variabilité de la variable dépendante qui peut être expliquée par la variable indépendante. Le R² peut être obtenu en élevant au carré le coefficient de corrélation r, et il peut aussi se calculer avec la formule suivante :

Ou, de manière équivalente :

Compte tenu de la relation entre SST, SSR et SSE, on peut réécrire la formule ainsi :

La valeur de R² varie de 0 à 1, bornes incluses. Si R² = 0, le modèle n’explique aucune part de la variabilité de la variable dépendante. À l’inverse, si R² = 1, le modèle explique parfaitement toute la variabilité. En pratique, ces valeurs extrêmes sont quasi impossibles : on observe le plus souvent des valeurs intermédiaires.

Modèles de régression avec une valeur de R² élevée (gauche) et faible (droite). Source : Kaggle Number of Books Read et Kaggle Possum Regression. Image de l’auteure.

Un R² élevé indique de bonnes performances : la variable dépendante peut être prédite avec une grande précision à partir de la variable indépendante. Toutefois, il n’existe pas de seuil universel de « bon » R². Tout dépend du cas d’usage, des exigences de précision et du niveau de variabilité attendu dans les données. Souvent, le domaine d’application compte aussi : en sciences « dures », on visera un R² supérieur à 0,8, tandis qu’en sciences sociales, 0,3 peut déjà être satisfaisant.

Dernier point : en régression linéaire multiple, c’est-à-dire avec plusieurs variables indépendantes, on utilise souvent le R² ajusté, une extension du R² qui tient compte du nombre de prédicteurs et de la taille de l’échantillon.

Conclusion

Même si la SST, la SSR et la SSE se calculent aujourd’hui très facilement dans la plupart des logiciels et langages, il reste essentiel d’en comprendre le sens, les liens entre elles et, surtout, leur rôle en analyse de régression. Maîtriser la relation entre ces trois composantes de la variabilité et le R² aide les analystes et data scientists à améliorer les performances des modèles en minimisant la SSE tout en maximisant la SSR, afin de prendre des décisions éclairées sur leurs modèles.

Pour poser des bases solides en statistiques et apprendre des techniques puissantes sur des données réelles, explorez ces parcours de compétences complets et accessibles aux débutants : Statistics Fundamentals in Python et Statistics Fundamentals in R. Enfin, si le calcul des coefficients de régression vous intéresse, consultez nos tutoriels Normal Equation for Linear Regression Tutorial et QR Decomposition in Machine Learning: A Detailed Guide.