Moyennes mobiles avec pandas

Calculons la SMA avec une fenêtre de 3 : vous prenez donc trois valeurs à chaque fois pour calculer la moyenne mobile, et à chaque nouvelle valeur, la plus ancienne est ignorée.

Pour l'implémenter, vous utiliserez la fonction iloc de pandas. Comme la colonne demand vous intéresse, vous fixez sa position dans iloc et laissez la ligne varier au moyen d'une variable i que vous ferez évoluer jusqu'à la fin du DataFrame.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)

Pour vérifier, utilisons aussi la fonction native rolling de pandas et comparons avec notre moyenne mobile simple codée à la main.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()

df.head()

Parfait ! Comme vous le voyez, les moyennes mobiles personnalisée et pandas coïncident, ce qui valide notre implémentation de la SMA.

Calculons aussi rapidement la moyenne mobile simple pour une window_size de 4.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)

df.head()

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()

df.head()

Représentons maintenant les moyennes mobiles calculées.

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x11fe15080>

Moyenne mobile cumulative

Je pense que nous sommes prêts à passer à un jeu de données réel.

Pour la moyenne mobile cumulative, utilisons un jeu de données sur la qualité de l'air que vous pouvez télécharger via ce lien.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

df.head()

Le prétraitement est une étape essentielle lorsque vous travaillez avec des données. Pour les données numériques, l'une des premières vérifications consiste à détecter les valeurs NaN (Null). En présence de NaN, vous pouvez les remplacer par 0, par la moyenne, par la valeur précédente ou suivante, ou encore les supprimer. Même si remplacer est souvent préférable, ce jeu de données ne contient que peu de valeurs NULL et elles se situent en fin de série : les supprimer ne nuira pas à la continuité.

df.isna().sum()

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

On observe environ 114 valeurs NaN dans toutes les colonnes, situées à la fin de la série : supprimons-les.

df.dropna(inplace=True)

df.isna().sum()

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

Nous allons appliquer la moyenne mobile cumulative à la colonne température (T). Séparons rapidement cette colonne du reste.

df_T = pd.DataFrame(df.iloc[:,-2])

df_T.head()

Nous allons maintenant utiliser la méthode expanding de pandas pour obtenir la moyenne cumulative des données ci-dessus. Comme indiqué en introduction, à la différence de la moyenne mobile simple, la moyenne cumulative prend en compte toutes les valeurs précédentes.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()

df_T.head(10)

Les séries temporelles se tracent par rapport au temps. Fusionnons donc les colonnes de date et d'heure et convertissons le tout en objet datetime. Pour cela, nous utiliserons le module datetime de Python (Source : Time Series Tutorial).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))

Changeons l'index du DataFrame temperature avec ces datetimes.

df_T.index = df.DateTime

Traçons maintenant la température réelle et la moyenne mobile cumulative en fonction du temps.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x1210a2d30>

Moyenne mobile exponentielle

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()

df_T.head()

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x14b2a41d0>

Impressionnant ! Comme vous pouvez le voir sur le graphique ci-dessus, la moyenne mobile exponentielle (EMA) capture très bien le motif des données, alors que la moyenne mobile cumulative (CMA) est nettement en retrait.

Pour aller plus loin

Félicitations pour avoir terminé ce tutoriel.

Ce guide constitue un bon point de départ pour calculer des moyennes mobiles sur vos données et en tirer des enseignements.

Essayez d'écrire le code Python pour les moyennes mobiles cumulative et exponentielle sans utiliser la bibliothèque pandas. Vous comprendrez plus finement comment elles sont calculées et en quoi elles diffèrent.

Il reste encore beaucoup à expérimenter. Calculez, par exemple, la corrélation partielle entre les données d'entrée et la moyenne mobile, et tentez d'identifier des relations.

Pour en savoir plus sur les DataFrames dans pandas, suivez le cours interactif pandas Foundations de DataCamp.

Références :

• Time Series Tutorial

N'hésitez pas à poser vos questions sur ce tutoriel dans les commentaires ci-dessous.