Analyse exploratoire des bières artisanales : data profiling

Beers : variables

print_categories(beers)

La commande ci-dessus renvoie le résultat suivant :

abv :  Numerical
ibu :  Numerical
id :  Numerical
name :  Categorical
style :  Categorical
brewery_id :  Numerical
ounces :  Numerical

Breweries : variables

print_categories(breweries)

Ce qui donne le résultat suivant :

name :  Categorical
city :  Categorical
state :  Categorical
id :  Numerical

Avec ces informations, vous comprenez déjà mieux le jeu de données. Vous savez que vous ne traitez que des données catégorielles et numériques. Les variables numériques permettent de calculer de nombreuses mesures (moyenne, écart type, etc.). Les variables catégorielles servent souvent à segmenter et regrouper les données. Par exemple, vous pourriez chercher à comprendre comment l’IBU varie selon les styles de bière.

Longueur

La fonction len compte le nombre d’observations dans une Series. Elle compte toutes les observations, qu’il y ait des valeurs manquantes ou nulles.

length = len(beers["ibu"])
print(length)

Dans cette Series, nous avons au total 2410 observations.

Effectif non nul

La fonction count renvoie le nombre d’observations non NA/non nulles dans une Series.

count = beers["ibu"].count()
print(count)

Comme vous le voyez, il y a 1405 observations non nulles dans la Series.

Valeurs manquantes

Avec la Length et le Count, nous pouvons calculer le nombre de valeurs manquantes. C’est la différence entre la Length et le Count.

number_of_missing_values = length - count
pct_of_missing_values = float(number_of_missing_values / length)
pct_of_missing_values = "{0:.1f}%".format(pct_of_missing_values*100)
print(pct_of_missing_values)

Pour afficher le pourcentage de valeurs manquantes, il suffit de diviser le nombre de valeurs manquantes par le nombre total d’observations (la longueur). La fonction float garantit la prise en compte des décimales dans la division. La fonction format permet une mise en forme propre en pourcentage.

Dans ce cas, il manque presque 42 % de la variable IBU. C’est une information clé car elle impactera votre analyse. La plupart des statistiques descriptives ignoreront ces valeurs manquantes, ce qui introduira certainement un biais.

Valeur minimale/maximale

Les valeurs minimale et maximale d’un jeu de données s’obtiennent facilement avec les fonctions min et max sur une Series.

print("Minimum value: ", beers["ibu"].min())
print("Maximum value: ", beers["ibu"].max())

Ces valeurs aident à comprendre l’étendue de la variable. Ici, l’IBU varie de 4 à 138.

Mode

Le mode est la valeur la plus fréquente d’un jeu de données. Il s’obtient avec la fonction mode sur une Series.

print(beers["ibu"].mode())

Dans une distribution normale, le mode est égal à la mean et à la median.

Dans notre cas, le mode de la variable IBU est 20. C’est l’IBU le plus fréquent de notre jeu de données.

Moyenne

La moyenne est une mesure de tendance centrale. Elle correspond à la somme des valeurs divisée par le nombre d’observations non manquantes.

Elle s’obtient avec la fonction mean sur une Series.

mean = beers["ibu"].mean()

La moyenne est sensible aux valeurs extrêmes. Quelques valeurs très élevées ou très faibles peuvent la tirer vers le haut ou vers le bas.

Médiane

La médiane est également une mesure de tendance centrale. C’est la valeur qui se situe exactement au milieu d’une liste ordonnée de valeurs numériques.

median = beers["ibu"].median()

En présence de distributions asymétriques, la médiane est souvent plus représentative que la moyenne.

Pour la distribution de l’IBU, la moyenne et la médiane sont du même ordre de grandeur.

Écart type

L’écart type est une mesure de dispersion. Un écart type élevé indique que les valeurs sont réparties sur une large plage. L’écart type s’exprime dans la même unité que les valeurs.

standarddev = beers["ibu"].std()

Ici, l’écart type est d’environ 26 (25,954065911259324 exactement). Si la distribution de l’IBU était normale, ~68 % des observations se trouveraient à une distance d’un écart type autour de la moyenne.

Statistiques de quantiles

Les quantiles sont des points de coupure qui partagent une distribution en parts égales. Plusieurs quantiles ont leur propre nom. Si vous partagez une distribution en quatre groupes égaux, on parle de quartiles. Vous pouvez calculer des quantiles avec la fonction quantile sur une Series. Passez-lui un tableau des quantiles souhaités. Ci-dessous, nous divisons la distribution en quatre groupes égaux.

quantile = beers["ibu"].quantile([.25, .5, .75])

Comme vous le voyez, le quantile 50 % est égal à la médiane : c’est la valeur qui coupe le jeu de données en deux. Vous pouvez aussi noter que 75 % des observations sont inférieures ou égales à 64 IBU. Par ailleurs, 50 % de la distribution se situe entre 21 et 64 IBU. Remarque : les valeurs manquantes ne sont pas prises en compte dans ces métriques.

Graphiques de distribution

Les visualisations sont très utiles en EDA. Nous ne développerons pas ici l’ensemble du sujet, mais on ne peut pas parler de data profiling sans mentionner l’importance d’un graphique de distribution des fréquences. C’est l’une des visualisations les plus simples et pourtant des plus puissantes : elle montre la fréquence de chaque valeur dans notre jeu de données.

Pour créer cette visualisation, nous utilisons la bibliothèque seaborn avec la fonction displot. Cette fonction attend une Series sans valeurs manquantes.

import seaborn as sns
sns.set(color_codes=True)
sns.set_palette(sns.color_palette("muted"))

sns.distplot(beers["ibu"].dropna());

Sur ce graphique, on distingue clairement plusieurs des valeurs calculées précédemment. La valeur minimale est proche de 0 IBU et la valeur maximale avoisine 140 IBU. La valeur la plus fréquente est proche de 20 IBU. En outre, on observe un pic près de 60 IBU.

Pourquoi observe-t-on deux pics dans cette distribution ?

Qu’est-ce qui peut l’expliquer ? C’est un point à explorer dans la deuxième phase de l’EDA.

Corrélations

Les corrélations sont un excellent moyen de déceler des relations entre variables numériques. Il existe plusieurs façons de calculer une corrélation. Le coefficient de corrélation de Pearson est largement utilisé pour mesurer la dépendance linéaire entre deux variables. Il varie de -1 à 1 : 1 indique une corrélation positive totale, -1 une corrélation négative totale et 0 l’absence de corrélation linéaire. Nous pouvons effectuer ce calcul avec la fonction corr sur une Series. Par défaut, elle utilise le coefficient de Pearson, mais d’autres méthodes sont disponibles.

beers[["abv", "ibu", "ounces"]].corr()

Comme attendu, la corrélation de l’IBU avec lui-même est de 1. Plus intéressant : la corrélation entre l’ABV et l’IBU vaut 0.670621. Ce n’est pas une corrélation parfaite, mais elle reste forte. Voilà un axe d’exploration intéressant pour la suite.

Quelques remarques sur les variables non numériques

Les métriques examinées ci-dessus s’appliquent surtout aux valeurs numériques. Si vous travaillez avec d’autres types de données, comme les données catégorielles, vous pouvez tout de même en tirer des mesures utiles. Par exemple, calculer la fréquence de chaque modalité.

Les DataFrame disposent d’une fonction describe qui résume le jeu de données. Si votre DataFrame ne contient que des valeurs catégorielles ou textuelles, le résumé sera adapté à ce type de données.

beers[["name", "style"]].describe()