Indices hiérarchiques, groupby et pandas

Vous voyez l'Index sur la gauche du DataFrame, composé d'entiers. Il s'agit d'un RangeIndex :

# Check out index
df.index

RangeIndex(start=0, stop=3, step=1)

Nous pouvons utiliser cet index pour extraire une ou plusieurs lignes de df :

# Slice and dice data
df.loc[:1]

Cet index n'est toutefois pas très informatif. Si vous étiquetez les lignes de votre DataFrame, autant le faire de manière pertinente, lorsque c'est possible. Peut-on le faire avec ce jeu de données ? Une bonne approche consiste à rechercher un identifiant à la fois unique et parlant pour chaque ligne. Parcourez les colonnes et voyez si l'une d'elles correspond à ces critères. Remarquez que la colonne date contient des dates uniques, il est donc judicieux d'étiqueter chaque ligne par la date. Autrement dit, vous pouvez faire de la colonne date l'index du DataFrame avec la méthode .set_index() (NB : inplace=True signifie que vous modifiez effectivement le DataFrame df sur place) :

# Set new index
df.set_index(pd.DatetimeIndex(df['date']), inplace=True)
df

Le DataFrame df a maintenant un DateTimeIndex :

# Check out new index
df.index

DatetimeIndex(['2017-01-01', '2017-01-02', '2017-01-03'], dtype='datetime64[ns]', name='date', freq=None)

Vous pouvez désormais extraire des lignes en utilisant le DateTimeIndex que vous venez de créer :

# Slice and dice data w/ new index
df.loc['2017-01-02']

date           2017-01-02
language           python
ex_complete             5
Name: 2017-01-02 00:00:00, dtype: object

Notez également que l'attribut .columns renvoie un index contenant les noms de colonnes de df :

# Check out columns
df.columns

Index(['date', 'language', 'ex_complete'], dtype='object')

Cela peut prêter à confusion car cela signifie que df.columns est de type Index. Cela ne veut pas dire que les colonnes sont l'index du DataFrame. L'index de df est toujours df.index. Consultez notre tutoriel sur les DataFrames pandas pour en savoir plus sur les index. Il est temps de découvrir les indices hiérarchiques.

Le multi-index d'un DataFrame pandas

Et si nous avions plusieurs langages dans notre jeu de données, comme c'est le cas sur DataCamp ? Regardez :

# Import and check out data
df = pd.read_csv('data/user_ex.csv')
df

Chaque date correspond désormais à plusieurs lignes, une par langage. Par exemple, la date "2017-01-02" apparaît aux lignes 1 et 4, pour les langages Python et R respectivement. La date ne permet donc plus de spécifier de façon unique la ligne. En revanche, « date » et « language » ensemble identifient bien chaque ligne de manière unique. Pour cette raison, nous les utilisons tous deux comme index :

# Set index
df.set_index(['date', 'language'], inplace=True)
df

Vous avez maintenant créé un multi-index, ou index hiérarchique (familarisez-vous avec ces deux termes, utilisés indifféremment), ce que vous pouvez constater en inspectant l'index comme suit :

# Check out multi-index
df.index

MultiIndex(levels=[['2017-01-01', '2017-01-02', '2017-01-03'], ['python', 'r']],
           labels=[[0, 1, 2, 0, 1, 2], [0, 0, 0, 1, 1, 1]],
           names=['date', 'language'])

Ce qui précède indique que votre DataFrame df possède désormais un MultiIndex à deux niveaux : le premier correspond à la date, le second au langage. Rappelez-vous qu'auparavant, vous pouviez découper le DataFrame via l'index et l'accesseur .loc : df.loc['2017-01-02']. Pour pouvoir découper avec un multi-index, vous devez d'abord trier l'index :

# Sort index
df.sort_index(inplace=True)
df

Vous pouvez maintenant extraire le nombre d'exercices R effectués le 2017-01-02 en passant un tuple à l'accesseur .loc :

# Slice & dice your DataFrame
df.loc[('2017-01-02', 'r')]

ex_complete 8 Name: (2017-01-02, r), dtype: int64

Quand et pourquoi utiliser les multi-index

Les multi-index sont un outil puissant pour l'analyse et l'organisation des données avec pandas. Ils permettent de créer des index hiérarchiques, utiles pour grouper et agréger des données sur plusieurs dimensions. Ils sont particulièrement pertinents pour des jeux de données complexes avec plusieurs niveaux de catégorisation, comme les données financières ou les séries temporelles.

En créant un multi-index, vous pouvez regrouper simultanément selon plusieurs variables, ce qui révèle des insights qui échapperaient à un regroupement à un seul niveau. Par exemple, on peut regrouper par période et par localisation afin d'examiner l'évolution des tendances régionales dans le temps.

De plus, les multi-index facilitent la sélection et la création de sous-ensembles, l'index offrant un moyen pratique d'accéder à des segments précis des données. En somme, les multi-index sont essentiels pour organiser, regrouper et analyser des jeux de données complexes dans pandas, et constituent un incontournable pour toute analyste ou data scientist travaillant avec des données hiérarchiques.

Vous en savez maintenant un peu plus sur les indices hiérarchiques (ou multi-index). Voyons comment ils apparaissent lorsque l'on travaille avec des objets groupby.

Indices hiérarchiques, objets groupby et split-apply-combine

Dans un article précédent, nous avons exploré les objets groupby et les principes analytiques « split-apply-combine » à l'aide de données Netflix. Faisons un bref rappel avec un autre jeu de données, le jeu de données tips intégré au package seaborn. « Tips » contient des variables comme tip, total_bill, le jour de la semaine et le moment de la journée. Chargeons et explorons d'abord les données :

# Import and check out data
import seaborn as sns
tips = sns.load_dataset("tips")
tips.head()

Notez que l'index de tips est un RangeIndex :

# Check out index
tips.index

RangeIndex(start=0, stop=244, step=1)

Il est toujours utile de faire un peu d'EDA visuelle avant de passer au calcul, et la fonction pairplot de seaborn permet d'obtenir une vue d'ensemble de toutes les variables numériques :

# Import pyplot, figures inline, set style, plot pairplot
import matplotlib.pyplot as plt
%matplotlib inline
sns.set()
sns.pairplot(tips, hue='day');

Si vous voulez comparer le pourboire moyen entre « fumeurs » et « non-fumeurs », vous pouvez scinder le DataFrame d'origine par « smoker » (avec groupby), appliquer la fonction mean et combiner le tout dans un nouveau DataFrame :

# Get mean of smoker/non-smoker groups
df = tips.groupby('smoker').mean()
df

L'index du DataFrame df résultant est la colonne « smoker » du DataFrame tips d'origine :

# Check out new index
df.index

CategoricalIndex(['Yes', 'No'], categories=['Yes', 'No'], ordered=False, name='smoker', dtype='category')

Si besoin, vous pouvez réinitialiser l'index afin que « smoker » redevienne une colonne du DataFrame :

# Reset the index
df.reset_index()

Voyons maintenant comment les indices hiérarchiques découlent de split-apply-combine et des opérations groupby.

Regroupements multiples et indices hiérarchiques

Ci-dessus, vous avez regroupé le jeu de données tips selon la variable « smoker ». Il arrive que vous ayez besoin de regrouper selon deux variables. Par exemple, il est naturel de regrouper tips en fumeurs/non-fumeurs & dîner/déjeuner. Pour cela, passez la liste des colonnes sur lesquelles regrouper :

# Group by two columns
df = tips.groupby(['smoker','time']).mean()
df

À la lecture du tableau ci-dessus, vous voyez que « smoker » et « time » forment tous deux l'index de df. C'est logique : si un groupby sur « smoker » transforme la colonne d'origine « smoker » en index, regrouper selon deux colonnes vous donnera deux niveaux d'index. Vérifiez l'index pour confirmer qu'il est hiérarchique :

# Check out index
df.index

MultiIndex(levels=[['Yes', 'No'], ['Lunch', 'Dinner']],
           labels=[[0, 0, 1, 1], [0, 1, 0, 1]],
           names=['smoker', 'time'])

Et c'est bien le cas. Vous pouvez maintenant faire tout un tas de choses utiles, comme obtenir les effectifs dans chaque regroupement :

# Group by two features
tips.groupby(['smoker','time']).size()

smoker  time  
Yes     Lunch      23
        Dinner     70
No      Lunch      45
        Dinner    106
dtype: int64

Vous pouvez également permuter les niveaux de l'index hiérarchique afin que « time » apparaisse avant « smoker » dans l'index :

# Swap levels of multi-index
df.swaplevel()

Vous souhaiterez ensuite peut-être retirer l'une de ces variables de l'index hiérarchique et créer différentes colonnes pour cette variable. Vous pouvez le faire avec la méthode unstack :

# Unstack your multi-index
df.unstack()

Vous pouvez désempiler selon la variable externe de l'index via l'argument « level » :

# Unsstack the outer index
df.unstack(level=0)

Le résultat du désempilement a un index non hiérarchique, comme on pouvait s'y attendre :

# Check out index
df.unstack().index

CategoricalIndex(['Yes', 'No'], categories=['Yes', 'No'], ordered=False, name='smoker', dtype='category')

Vous pouvez à présent mener toutes sortes d'analyses en fonction de ces regroupements. Je vous encourage à explorer.

Indices hiérarchiques au quotidien

Dans cet article, vous avez découvert les indices hiérarchiques (ou multi-index) et vu comment ils apparaissent naturellement lorsque vous voulez un index de DataFrame qui identifie les lignes de manière unique et pertinente. Vous avez aussi vu comment ils émergent lorsque vous devez regrouper vos données par plusieurs colonnes, conformément au principe split-apply-combine. J'espère que vous prendrez plaisir à utiliser les indices hiérarchiques dans vos projets.

Cet article a été généré à partir d'un Jupyter Notebook ; vous pouvez le retrouver dans ce dépôt. Si vous avez des remarques, réactions et/ou réflexions, n'hésitez pas à me contacter sur Twitter : @hugobowne.

Découvrez d'autres tutoriels pratiques sur pandas proposés par DataCamp, notamment :

• Utiliser la méthode .apply() de pandas
• Importer des données CSV dans pandas avec read_csv()
• Le guide ultime de pandas pour les débutants