Comprendre le Skewness et le Kurtosis et comment les tracer

Qu'est-ce que le kurtosis et quels sont ses types ?

Alors que l'asymétrie se concentre sur la dispersion (queues) de la distribution normale, l'aplatissement se concentre davantage sur la hauteur. Elle nous indique à quel point notre distribution normale (ou de type normal) est plate ou en crête. Le terme, qui signifie courbé ou arqué en grec, a été inventé pour la première fois par le mathématicien britannique Karl Pearson (qui a passé sa vie à étudier les distributions de probabilités), ce qui n'est pas surprenant.

Un kurtosis élevé indique :

• Pic aigu au centre de la distribution.
• Plus de valeurs concentrées autour de la moyenne que dans une distribution normale.
• Queues plus lourdes en raison d'une plus grande concentration de valeurs extrêmes ou de valeurs aberrantes dans les queues.
• Probabilité accrue d'événements extrêmes.

D'autre part, un kurtosis faible indique :

• Pic plat.
• Moins de valeurs concentrées autour de la moyenne, mais toujours plus que la distribution normale.
• Queues plus légères.
• Diminution de la probabilité d'événements extrêmes.

Selon leur degré, les distributions présentent trois types d'aplatissement :

1. Distribution mésokurtique (kurtosis = 3, excès de kurtosis = 0) : distribution normale parfaite ou très proche.
2. Distribution leptokurtique (kurtosis > 3, excès de kurtosis > 0) : pic net, queues lourdes
3. Distribution platykurtique (kurtosis < 3, excès de kurtosis < 0) : pic plat, queues légères

Notez qu'ici, l'excès d'aplatissement est défini comme l'aplatissement - 3, l'aplatissement de la distribution normale étant considéré comme 0. De cette manière, les scores de kurtosis sont plus faciles à interpréter.

Comment calculer le Kurtosis en Python

Vous pouvez calculer l'aplatissement en Python de la même manière que l'asymétrie en utilisant pandas ou SciPy :

from scipy.stats import kurtosis

kurtosis(diamond_prices)
2.177382669056634

Pandas propose deux fonctions pour le kurtosis : kurt et kurtosis. La première est exclusive aux séries Pandas, tandis que vous pouvez utiliser l'autre sur les DataFrame.

diamond_prices.kurt()
2.17769575924869

# Select numeric features and calculate kurtosis
diamonds.select_dtypes(include="number").kurtosis()
carat     1.256635
depth     5.739415
table     2.801857
price     2.177696
x        -0.618161
y        91.214557
z        47.086619
dtype: float64

Encore une fois, les chiffres diffèrent pour la distribution car pandas et SciPy utilisent des formules différentes.

Si vous souhaitez calculer manuellement l'aplatissement, vous pouvez utiliser la formule suivante :

Ici :

• n représente le nombre d'observations dans l'ensemble de données
• x_i désigne chaque point de données individuel

Nous allons à nouveau appliquer la formule à l'intérieur d'une fonction :

def moment_based_kurtosis(distribution):
   n = len(distribution)
   mean = np.mean(distribution)
   std = np.std(distribution)

   kurtosis = (1 / n) * sum(((distribution - mean) / std) ** 4) - 3

   return kurtosis

>>> moment_based_kurtosis(diamond_prices)
2.1773826690576463

Nous constatons que les prix des diamants ont un excès d'aplatissement de 2,18, ce qui signifie que si nous traçons la distribution, elle aura un pic plus marqué qu'une distribution normale.

C'est donc ce que nous allons faire !

Visualisation du Skewness et du Kurtosis en Python

Le graphique de l'estimation de la densité du noyau (KDE) est l'un des meilleurs moyens de visualiser la forme et, par conséquent, l'asymétrie et l'aplatissement des distributions. Vous pouvez l'utiliser par l'intermédiaire de Seaborn :

import matplotlib.pyplot as plt

sns.kdeplot(diamond_prices)

plt.title("KDE plot of diamond prices")
plt.xlabel("Price ($)")

Ce graphique est conforme aux chiffres que nous avons vus jusqu'à présent : la distribution a une longue queue droite, ce qui indique une asymétrie positive, et elle présente un pic très net, ce qui correspond à une aplatissement élevé.

KDE n'est pas la seule parcelle à voir la forme. Nous pouvons également utiliser des histogrammes :

sns.histplot(diamonds["carat"])

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

L'inconvénient des histogrammes est que vous devez choisir vous-même le nombre de bins (le nombre de barres). Ici, il y a trop de barres, ce qui crée du bruit dans le visuel - on ne peut pas définir clairement la forme. Diminuons donc le nombre de bacs :

sns.histplot(diamonds["carat"], bins=25)

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

La forme est maintenant mieux définie, mais nous pouvons encore l'améliorer. En plaçant kde=True à l'intérieur de histplot, nous pouvons tracer un KDE de la distribution au-dessus des barres :

sns.histplot(diamonds["carat"], bins=25, kde=True)

plt.xlabel("Carat")
plt.title("A histogram of the carat of diamonds")

La ligne KDE superposée semble irrégulière, et non la courbe lisse qui nous permet de voir la forme générale. Cette irrégularité s'explique par le fait que la distribution des carats est naturellement irrégulière et éloignée de la distribution normale.

Cependant, nous pouvons réduire la sensibilité de l'EDK à ces fluctuations en ajustant la largeur de bande. Cela se fait à l'aide du paramètre bw_adjust, dont la valeur par défaut est 1 :

# Change the bandwidth from 1 to 3
sns.kdeplot(diamonds["carat"], bw_adjust=3, color="red")

plt.title("KDE of diamond carats");

Cette version semble beaucoup moins hérissée que le tracé KDE superposé. Pour ajuster la largeur de bande de l'EDK lors de l'utilisation d'un histogramme superposé à un EDK, vous pouvez utiliser le paramètre kde_kws:

ax = sns.histplot(
   diamonds["carat"],
   kde=True,
   kde_kws=dict(bw_adjust=3),
   bins=25,
)

plt.title("An overlaid histogram of diamond carats");

kde_kws accepte tout paramètre acceptable par la fonction kdeplot qui contrôle le calcul de l'EDK.

Une astuce que vous pouvez utiliser lorsque vous tracez des EDK est de supprimer tout ce qui n'est pas la ligne de l'EDK. Étant donné que l'objectif principal d'un EDK est de voir la forme de la distribution, d'autres détails du tracé, tels que les pointes d'axe, les épines et les étiquettes, sont parfois inutiles :

sns.kdeplot(diamond_prices, color="red")

# Remove the spine from three sides
sns.despine(top=True, right=True, left=True)

# Remove the ticks and ticklabels
plt.xticks([])
plt.yticks([])
plt.ylabel("")
plt.xlabel("")

# Set a title
plt.title("Diamond prices", fontdict=dict(fontsize=20));

Cette parcelle est beaucoup plus ordonnée. Vous pouvez encore améliorer le graphique en ajoutant des lignes pour indiquer la position de la moyenne, de la médiane et du mode :

sns.kdeplot(diamond_prices, color="red")

sns.despine(top=True, right=True, left=True)
plt.xticks([])
plt.yticks([])
plt.ylabel("")
plt.xlabel("")
plt.title("Diamond prices", fontdict=dict(fontsize=20))

# Find the mean, median, mode
mean_price = diamonds["price"].mean()
median_price = diamonds["price"].median()
mode_price = diamonds["price"].mode().squeeze()

# Add vertical lines at the position of mean, median, mode
plt.axvline(mean_price, label="Mean")
plt.axvline(median_price, color="black", label="Median")
plt.axvline(mode_price, color="green", label="Mode")

plt.legend();

Ce graphique confirme ce que nous avons évoqué dans la section sur les types d'asymétrie : dans une distribution à asymétrie positive, la moyenne est supérieure à la médiane et le mode est inférieur à la moyenne et à la médiane.

Conclusion

L'asymétrie et l'aplatissement, souvent négligés dans l'analyse exploratoire des données, révèlent des informations importantes sur la nature des distributions.

L'asymétrie indique l'inclinaison des données, qu'elles penchent à gauche ou à droite, et révèle leur asymétrie (le cas échéant). Une asymétrie positive signifie que la queue s'étire vers la droite, tandis qu'une asymétrie négative s'oriente dans la direction opposée.

Le kurtosis est une question de pics et de queues. Un kurtosis élevé accentue les pics et alourdit les queues, tandis qu'un kurtosis faible étale les données et allège les queues.

Si vous souhaitez en savoir plus sur l'asymétrie et l'aplatissement, vous pouvez consulter ces excellents cours d'analyse quantitative dispensés par des experts du secteur sur DataCamp :

• Gestion du risque de portefeuille en Python
• Introduction à l'analyse de portefeuille en Python