Tutoriel Pandas : DataFrame en Python

• Vous savez également que .iloc[] ira consulter les positions de l'indice. Si vous passez par 2, vous obtiendrez un retour :

48    7
49    8
50    9

• Puisque l'index ne contient pas que des entiers, .ix[] aura le même comportement que iloc et regardera les positions dans l'index. Vous obtiendrez le même résultat que .iloc[].

Maintenant que la différence entre .iloc[], .loc[] et .ix[] est claire, vous êtes prêt à ajouter des lignes à votre DataFrame !

Conseil: suite à ce que vous venez de lire, vous comprenez maintenant que la recommandation générale est d'utiliser .loc pour insérer des lignes dans votre DataFrame. En effet, si vous utilisez df.ix[], vous risquez d'essayer de référencer un index à valeur numérique avec la valeur de l'index et d'écraser accidentellement une ligne existante de votre DataFrame. Vous devriez éviter cela !

Vérifiez une nouvelle fois la différence dans le DataFrame ci-dessous :

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), index= [2.5, 12.6, 4.8], columns=[48, 49, 50])

# This will make an index labeled `2` and add the new values
df.loc[2] = [11, 12, 13]
print(df)

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

2.0   11  12  13

Vous comprenez pourquoi tout cela peut être déroutant, n'est-ce pas ?

Ajouter une colonne à votre DataFrame

Dans certains cas, vous souhaitez que votre index fasse partie de votre DataFrame. Vous pouvez facilement le faire en prenant une colonne de votre DataFrame ou en faisant référence à une colonne que vous n'avez pas encore créée et en l'affectant à la propriété .index, comme ceci :

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])
​
# Use `.index`
df['D'] = df.index
​
# Print `df`
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

En d'autres termes, vous indiquez à votre DataFrame qu'il doit prendre la colonne A comme index.

Toutefois, si vous souhaitez ajouter des colonnes à votre DataFrame, vous pouvez également suivre la même approche que lorsque vous ajoutez un index à votre DataFrame : vous utilisez .loc[] ou .iloc[]. Dans ce cas, vous ajoutez une série à un DataFrame existant à l'aide de .loc[]:

# Study the DataFrame `df`
print(df)

# Append a column to `df`
df.loc[:, 4] = pd.Series(['5', '6', '7'], index=df.index)

# Print out `df` again to see the changes
print(df)

  A  B  C  D

0  1  2  3  0

1  4  5  6  1

2  7  8  9  2

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

N'oubliez pas qu'un objet Series est comparable à une colonne d'un DataFrame. Cela explique pourquoi vous pouvez facilement ajouter une série à un DataFrame existant. Notez également que l'observation faite précédemment à propos de .loc[] reste valable, même lorsque vous ajoutez des colonnes à votre DataFrame !

Réinitialisation de l'index de votre DataFrame

Si votre index n'est pas tout à fait comme vous le souhaitez, vous pouvez choisir de le réinitialiser. Vous pouvez facilement le faire avec .reset_index(). Cependant, vous devez rester vigilant, car vous pouvez passer plusieurs arguments qui peuvent faire ou défaire le succès de votre réinitialisation :

# Check out the weird index of your dataframe
print(df)

# Use `reset_index()` to reset the values. 
df_reset = df.reset_index(level=0, drop=True)

# Print `df_reset`
print(df_reset)

  A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

   A  B  C  D  4

0  1  2  3  0  5

1  4  5  6  1  6

2  7  8  9  2  7

Vous pouvez essayer de remplacer l'argument drop par inplace dans l'exemple ci-dessus et voir ce qui se passe !

Notez que vous utilisez l'argument drop pour indiquer que vous voulez vous débarrasser de l'index qui existait. Si vous aviez utilisé inplace, l'index original avec les flottants est ajouté comme une colonne supplémentaire à votre DataFrame.

Suppression d'un index de votre DataFrame

Si vous souhaitez supprimer l'index de votre DataFrame, vous devez reconsidérer votre décision car les DataFrames et les Séries ont toujours un index.

Cependant, ce que vous *pouvez* faire, c'est, par exemple :

• réinitialisation de l'index de votre DataFrame (reportez-vous à la section précédente pour savoir comment procéder) ou
• supprimez le nom de l'index, s'il y en a un, en exécutant del df.index.name,
• supprimer les valeurs d'index en double en réinitialisant l'index, en supprimant les doublons de la colonne d'index qui a été ajoutée à votre DataFrame et en réintégrant cette colonne sans doublon en tant qu'index.
• et enfin, supprimer un index, et avec lui une ligne. Ce point est développé plus loin dans ce tutoriel.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])
                  
df.reset_index().drop_duplicates(subset='index', keep='last').set_index('index')

Maintenant que vous savez comment supprimer un index de votre DataFrame, vous pouvez passer à la suppression des colonnes et des lignes !

Suppression d'une colonne de votre DataFrame

Pour éliminer (une sélection de) colonnes de votre DataFrame, vous pouvez utiliser la méthode drop():

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Check out the DataFrame `df`
print(df)

# Drop the column with label 'A'                  
df.drop('A', axis=1, inplace=True)

# Drop the column at position 1
df.drop(df.columns[[1]], axis=1)

  A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

Vous vous dites peut-être maintenant : ce n'est pas si simple ; il y a des arguments supplémentaires qui sont transmis à la méthode drop()!

• L'argument axis est soit 0 lorsqu'il indique des lignes, soit 1 lorsqu'il est utilisé pour supprimer des colonnes.
• Vous pouvez définir inplace sur True pour supprimer la colonne sans avoir à réaffecter le DataFrame.

Suppression d'une ligne de votre DataFrame

Vous pouvez supprimer les lignes dupliquées de votre DataFrame en exécutant df.drop_duplicates(). Vous pouvez également supprimer des lignes de votre DataFrame, en ne prenant en compte que les valeurs en double qui existent dans une colonne.

Regardez cet exemple :

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9], [40, 50, 60], [23, 35, 37]]), 
                  index= [2.5, 12.6, 4.8, 4.8, 2.5], 
                  columns=[48, 49, 50])

# Check out your DataFrame `df`
print(df)

# Drop the duplicates in `df`
df.drop_duplicates([48], keep='last')

      48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

S'il n'y a pas de critère d'unicité pour la suppression que vous souhaitez effectuer, vous pouvez utiliser la méthode drop(), où vous utilisez la propriété index pour spécifier l'index des lignes que vous souhaitez supprimer de votre DataFrame :

# Check out the DataFrame `df`
print(df)

# Drop the index at position 1
df.drop(df.index[1])

     48  49  50

2.5    1   2   3

12.6   4   5   6

4.8    7   8   9

4.8   40  50  60

2.5   23  35  37

Après cette commande, il se peut que vous souhaitiez réinitialiser l'index.

Conseil : essayez de réinitialiser l'index du DataFrame résultant par vous-même ! N'oubliez pas d'utiliser l'argument drop si vous le jugez nécessaire.

Remplacer toutes les occurrences d'une chaîne de caractères dans un DataFrame

Pour remplacer certaines chaînes de caractères dans votre DataFrame, vous pouvez facilement utiliser replace(): passez les valeurs que vous souhaitez modifier, suivies des valeurs par lesquelles vous souhaitez les remplacer.

Comme ceci :

df = pd.DataFrame({"Student1":['OK','Awful','Acceptable'], 
                   "Student2":['Perfect','Awful','OK'], 
                   "Student3":['Acceptable','Perfect','Poor']})

# Study the DataFrame `df` first
print(df)

# Replace the strings by numerical values (0-4)
df.replace(['Awful', 'Poor', 'OK', 'Acceptable', 'Perfect'], [0, 1, 2, 3, 4]) 

     Student1 Student2    Student3

0          OK  Perfect  Acceptable

1       Awful    Awful     Perfect

2  Acceptable       OK        Poor

Notez qu'il existe également un argument regex qui peut vous aider considérablement lorsque vous êtes confronté à des combinaisons de chaînes étranges :

df =  pd.DataFrame([["1\n", 2, "3\n"], [4, 5, "6\n"] ,[7, "8\n", 9]])

# Check out your DataFrame `df`
print(df)

# Replace strings by others with `regex`
df.replace({'\n': ''}, regex=True)

    0    1    2

0  1\n    2  3\n

1    4    5  6\n

2    7  8\n    9

En bref, replace() est principalement ce dont vous avez besoin lorsque vous souhaitez remplacer des valeurs ou des chaînes de caractères dans votre DataFrame par d'autres !

Suppression de parties de chaînes de caractères dans les cellules de votre DataFrame

L'élimination des parties non désirées des cordes est un travail fastidieux. Heureusement, il existe une solution simple à ce problème !

df =  pd.DataFrame([["+-1aAbBcC", "2", "+-3aAbBcC"], ["4", "5", "+-6aAbBcC"] ,["7", "+-8aAbBcC", "9"]])

# Check out your DataFrame
print(df)

# Delete unwanted parts from the strings in the first column
df[0] = df[0].map(lambda x: x.lstrip('+-').rstrip('aAbBcC'))

# Check out the result again
df

          0          1          2

0  +-1aAbBcC          2  +-3aAbBcC

1          4          5  +-6aAbBcC

2          7  +-8aAbBcC          9

Vous utilisez map() sur la colonne result pour appliquer la fonction lambda à chaque élément ou à chaque élément de la colonne. La fonction elle-même prend la valeur de la chaîne et supprime le + ou - qui se trouve à gauche, ainsi que les six aAbBcC qui se trouvent à droite.

Diviser le texte d'une colonne en plusieurs lignes dans un DataFrame

Il s'agit d'une tâche de formatage un peu plus difficile. Cependant, le morceau de code suivant vous guidera à travers les étapes :

df = pd.DataFrame({"Age": [34, 22, 19], 
                   "PlusOne":[0,0,1], 
                   "Ticket":["23:44:55", "66:77:88", "43:68:05 56:34:12"]})

# Inspect your DataFrame `df`
print(df)

# Split out the two values in the third row
# Make it a Series
# Stack the values
ticket_series = df['Ticket'].str.split(' ').apply(pd.Series, 1).stack()

# Get rid of the stack:
# Drop the level to line up with the DataFrame
ticket_series.index = ticket_series.index.droplevel(-1)

print(ticket_series)

  Age  PlusOne             Ticket

0   34        0           23:44:55

1   22        0           66:77:88

2   19        1  43:68:05 56:34:12

0    23:44:55

1    66:77:88

2    43:68:05

2    56:34:12

dtype: object

          0

0  23:44:55

1  66:77:88

2  43:68:05

2  56:34:12

En bref, ce que vous faites est :

• Commencez par inspecter le DataFrame dont vous disposez. Vous constatez que les valeurs de la dernière ligne et de la dernière colonne sont un peu trop longues. Il semble qu'il y ait deux billets parce qu'un invité a emmené une personne supplémentaire au concert.
• Vous prenez la colonne Ticket du DataFrame df et vous y ajoutez un espace. Cela permettra de s'assurer que les deux billets se retrouveront dans deux rangées distinctes à la fin. Ensuite, vous prenez ces quatre valeurs (les quatre numéros de ticket) et vous les placez dans un objet Series :

      0         1
0  23:44:55       NaN
1  66:77:88       NaN
2  43:68:05  56:34:12

• Cela ne semble pas encore tout à fait correct. Vous avez là des valeurs NaN! Vous devez empiler les séries pour vous assurer que vous n'avez pas de valeurs NaN dans la série résultante.
• Ensuite, vous constatez que votre série est empilée.

0  0    23:44:55
1  0    66:77:88
2  0    43:68:05
   1    56:34:12

• Ce n'est pas non plus l'idéal. C'est pourquoi vous abaissez le niveau pour l'aligner sur le DataFrame :

0    23:44:55
1    66:77:88
2    43:68:05
2    56:34:12
dtype: object

• C'est ce que vous recherchez.
• Transformez votre série en DataFrame pour vous assurer que vous pouvez la joindre à votre DataFrame initial. Toutefois, pour éviter les doublons dans votre DataFrame, vous pouvez supprimer la colonne originale Ticket.

Appliquer une fonction aux colonnes ou aux lignes de votre DataFrame Pandas

Vous pouvez souhaiter ajuster les données de votre DataFrame en lui appliquant une fonction. Commençons par répondre à cette question en créant votre propre fonction lambda :

doubler = lambda x: x*2

Conseil: si vous souhaitez en savoir plus sur les fonctions en Python, pensez à suivre ce tutoriel sur les fonctions en Python.

df = pd.DataFrame(data=np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]]), columns=['A', 'B', 'C'])

# Study the `df` DataFrame
print(df)

# Apply the `doubler` function to the `A` DataFrame column
df['A'].apply(doubler)
 A  B  C

0  1  2  3

1  4  5  6

2  7  8  9

0     2

1     8

2    14

Name: A, dtype: int64

Notez que vous pouvez également sélectionner la ligne de votre DataFrame et lui appliquer la fonction lambda doubler. Rappelez-vous que vous pouvez facilement sélectionner une ligne dans votre DataFrame en utilisant .loc[] ou .iloc[].

Ensuite, vous exécuterez quelque chose comme ceci, selon que vous souhaitez sélectionner votre index en fonction de sa position ou de son étiquette :

df.loc[0].apply(doubler)

Notez que la fonction apply() n'applique la fonction doubler que le long de l'axe de votre DataFrame. Cela signifie que vous ciblez soit l'index, soit les colonnes. En d'autres termes, il s'agit d'une ligne ou d'une colonne.

Toutefois, si vous souhaitez l'appliquer à chaque élément ou élément par élément, vous pouvez utiliser la fonction map(). Vous pouvez simplement remplacer la fonction apply() dans le morceau de code ci-dessus par map(). N'oubliez pas de lui passer la fonction doubler pour vous assurer que vous multipliez les valeurs par 2.

Supposons que vous souhaitiez appliquer cette fonction de doublement non seulement à la colonne A de votre DataFrame, mais à l'ensemble de celle-ci. Dans ce cas, vous pouvez utiliser applymap() pour appliquer la fonction doubler à chaque élément de l'ensemble du DataFrame :

doubled_df = df.applymap(doubler)
print(doubled_df)

   A   B   C

0   2   4   6

1   8  10  12

2  14  16  18

Notez que dans ces cas, nous avons travaillé avec des fonctions lambda ou des fonctions anonymes qui sont créées au moment de l'exécution. Cependant, vous pouvez également écrire votre propre fonction. Par exemple :

def doubler(x):
    if x % 2 == 0:
        return x
    else:
        return x * 2

# Use `applymap()` to apply `doubler()` to your DataFrame
doubled_df = df.applymap(doubler)

# Check the DataFrame
print(doubled_df)

   A   B   C

0   2   2   6

1   4  10   6

2  14   8  18

Si vous souhaitez obtenir plus d'informations sur le flux de contrôle en Pythonvous pouvez toujours consulter nos autres ressources.

Pivoter votre DataFrame

Vous pouvez utiliser la fonction pivot() pour créer un nouveau tableau dérivé à partir de votre tableau d'origine. Lorsque vous utilisez la fonction, vous pouvez passer trois arguments :

1. values: cet argument vous permet de spécifier les tableaux de votre DataFrame d'origine que vous souhaitez voir apparaître dans votre tableau croisé dynamique.
2. columns: ce que vous donnez à cet argument deviendra une colonne dans votre tableau.
3. index: ce que vous donnez à cet argument deviendra un index dans votre tableau.

# Import pandas
import pandas as pd

# Create your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
        'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
        'testscore': [4, 3, 5, 7, 5, 8]})

# Use `pivot()` to pivot the DataFrame
pivot_products = products.pivot(index='category', columns='store', values='price')

# Check out the result
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           55.75    NaN   111.55

Lorsque vous n'indiquez pas précisément les valeurs que vous souhaitez voir figurer dans le tableau obtenu, vous effectuez un pivot sur plusieurs colonnes :

# Import the Pandas library
import pandas as pd
​
# Construct the DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                       'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                       'price':[11.42, 23.50, 19.99, 15.95, 55.75, 111.55],
                       'testscore': [4, 3, 5, 7, 5, 8]})
​
# Use `pivot()` to pivot your DataFrame
pivot_products = products.pivot(index='category', columns='store')
​
# Check out the results
print(pivot_products)

             price                testscore             

store            Dia   Fnac Walmart       Dia Fnac Walmart

category                                                  

Cleaning       23.50    NaN   11.42       3.0  NaN     4.0

Entertainment    NaN  15.95   19.99       NaN  7.0     5.0

Tech           55.75    NaN  111.55       5.0  NaN     8.0

Notez que vos données ne peuvent pas comporter de lignes avec des valeurs dupliquées pour les colonnes que vous spécifiez. Si ce n'est pas le cas, vous obtiendrez un message d'erreur. Si vous ne pouvez pas garantir l'unicité de vos données, vous devrez plutôt utiliser la méthode pivot_table:

# Import the Pandas library
import pandas as pd

# Your DataFrame
products = pd.DataFrame({'category': ['Cleaning', 'Cleaning', 'Entertainment', 'Entertainment', 'Tech', 'Tech'],
                        'store': ['Walmart', 'Dia', 'Walmart', 'Fnac', 'Dia','Walmart'],
                        'price':[11.42, 23.50, 19.99, 15.95, 19.99, 111.55],
                        'testscore': [4, 3, 5, 7, 5, 8]})

# Pivot your `products` DataFrame with `pivot_table()`
pivot_products = products.pivot_table(index='category', columns='store', values='price', aggfunc='mean')

# Check out the results
print(pivot_products)

store            Dia   Fnac  Walmart

category                            

Cleaning       23.50    NaN    11.42

Entertainment    NaN  15.95    19.99

Tech           19.99    NaN   111.55

Notez l'argument supplémentaire aggfunc qui est transmis à la méthode pivot_table. Cet argument indique que vous utilisez une fonction d'agrégation permettant de combiner plusieurs valeurs. Dans cet exemple, vous pouvez clairement voir que la fonction mean est utilisée.

L'utilisation stack() et unstack() pour remodeler votre DataFrame Pandas

Vous avez déjà vu un exemple d'empilage dans la section 5. En substance, vous vous souvenez peut-être encore que lorsque vous empilez un DataFrame, vous le rendez plus grand. Vous déplacez l'indice de la colonne la plus proche pour qu'il devienne l'indice de la ligne la plus proche. Vous renvoyez un DataFrame avec un index comportant un nouveau niveau interne d'étiquettes de ligne.

L'inverse de l'empilage s'appelle le dépilage. Comme pour stack(), vous utilisez unstack() pour déplacer l'indice de la ligne la plus proche pour qu'il devienne l'indice de la colonne la plus proche.

Pour une explication du pivotement, de l'empilement et du dépilement des pandas, consultez notre article intitulé Remodeler les données avec pandas .

Remodeler votre DataFrame avec melt()

La fusion est considérée comme utile dans les cas où vous avez des données dont une ou plusieurs colonnes sont des variables d'identification, tandis que toutes les autres colonnes sont considérées comme des variables mesurées.

Ces variables mesurées sont toutes "non pivotées" par rapport à l'axe des lignes. Autrement dit, alors que les variables mesurées qui étaient réparties sur la largeur du DataFrame, la fonte fera en sorte qu'elles soient placées dans la hauteur de celui-ci. En d'autres termes, votre DataFrame s'allonge au lieu de s'élargir.

Par conséquent, vous avez deux colonnes non identifiées, à savoir "variable" et "valeur".

Illustrons cela par un exemple :

# The `people` DataFrame
people = pd.DataFrame({'FirstName' : ['John', 'Jane'],
                       'LastName' : ['Doe', 'Austen'],
                       'BloodType' : ['A-', 'B+'],
                       'Weight' : [90, 64]})

# Use `melt()` on the `people` DataFrame
print(pd.melt(people, id_vars=['FirstName', 'LastName'], var_name='measurements'))

 FirstName LastName measurements value

0      John      Doe    BloodType    A-

1      Jane   Austen    BloodType    B+

2      John      Doe       Weight    90

3      Jane   Austen       Weight    64

Si vous cherchez d'autres moyens de remodeler vos données, consultez la documentation.

Sortie d'un DataFrame au format CSV

Pour écrire un DataFrame sous forme de fichier CSV, vous pouvez utiliser to_csv():

import pandas as pd
df.to_csv('myDataFrame.csv')

Ce morceau de code semble assez simple, mais c'est là que les difficultés commencent pour la plupart des gens, car vous aurez des exigences spécifiques pour la sortie de vos données. Vous ne voulez peut-être pas de virgule comme délimiteur, ou vous voulez spécifier un encodage particulier.

Ne vous inquiétez pas ! Vous pouvez passer des arguments supplémentaires à to_csv() pour vous assurer que vos données sont restituées comme vous le souhaitez !

• Pour délimiter par une tabulation, utilisez l'argument sep:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t')

• Pour utiliser un codage de caractères spécifique, vous pouvez utiliser l'argument encoding:

import pandas as pd
df.to_csv('myDataFrame.csv', sep='\t', encoding='utf-8')

• En outre, vous pouvez spécifier comment vous voulez que vos valeurs NaN ou manquantes soient représentées, si vous voulez ou non éditer l'en-tête, si vous voulez ou non écrire les noms de ligne, si vous voulez une compression, vous pouvez lire les options.

Écriture d'un DataFrame dans Excel

De la même manière que pour la sortie de votre DataFrame au format CSV, vous pouvez utiliser to_excel() pour écrire votre tableau dans Excel. Cependant, c'est un peu plus compliqué :

import pandas as pd
writer = pd.ExcelWriter('myDataFrame.xlsx')
df.to_excel(writer, 'DataFrame')
writer.save()

Notez cependant que, comme pour to_csv(), vous disposez de nombreux arguments supplémentaires tels que startcol, startrow, et ainsi de suite, pour vous assurer que vous produisez vos données correctement. Pour en savoir plus sur l'importation et l'exportation de données vers des fichiers CSV à l'aide de pandas, consultez notre tutoriel. 

Si, toutefois, vous souhaitez plus d'informations sur les outils IO dans Pandas, vous pouvez consulter la documentation pandas DataFrames to excel.