Medie mobili in pandas

Calcoliamo la SMA con una finestra di 3: significa che prenderai in considerazione tre valori ogni volta per calcolare la media mobile e, per ogni nuovo valore, quello più vecchio verrà ignorato.

Per implementarlo, userai la funzione iloc di pandas: poiché ti serve la colonna demand, fisserai la posizione di quella nella funzione iloc, mentre la riga sarà una variabile i che itererai fino a raggiungere la fine del dataframe.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)

Per un controllo rapido, usiamo anche la funzione integrata rolling di pandas e verifichiamo se coincide con la nostra media mobile semplice implementata in Python.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()

df.head()

Ottimo: come puoi vedere, le medie mobili personalizzate e quelle di pandas coincidono esattamente, il che significa che la tua implementazione della SMA è corretta.

Calcoliamo anche rapidamente la media mobile semplice per una window_size di 4.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)

df.head()

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()

df.head()

Ora traccerai i dati delle medie mobili che hai calcolato.

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x11fe15080>

Media mobile cumulativa

Direi che ora siamo pronti per passare a un dataset reale.

Per la media mobile cumulativa, usiamo un air quality dataset che puoi scaricare da questo link.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

df.head()

Il preprocessing è uno step essenziale quando lavori con i dati. Per i dati numerici, uno dei passaggi più comuni è controllare la presenza di valori NaN (Null). Se ci sono valori NaN, puoi sostituirli con 0, con la media, con i valori precedenti o successivi, o persino eliminarli. Sebbene la sostituzione sia di solito preferibile alla rimozione, dato che in questo dataset i valori NULL sono pochi, eliminarli non comprometterà la continuità della serie.

df.isna().sum()

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

Dal risultato sopra puoi notare che ci sono circa 114 valori NaN in tutte le colonne; tuttavia, scoprirai che sono tutti alla fine della serie temporale, quindi rimuoviamoli velocemente.

df.dropna(inplace=True)

df.isna().sum()

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

Applicherai la media mobile cumulativa alla colonna Temperature (T), quindi separiamo rapidamente quella colonna dal resto dei dati.

df_T = pd.DataFrame(df.iloc[:,-2])

df_T.head()

Ora userai il metodo expanding di pandas per trovare la media cumulativa dei dati sopra. Se ricordi dall’introduzione, a differenza della media mobile semplice, la media mobile cumulativa considera tutti i valori precedenti nel calcolo della media.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()

df_T.head(10)

I dati di serie temporale si tracciano rispetto al tempo, quindi uniamo le colonne di data e ora e convertiamole in un oggetto datetime. Per farlo userai il modulo datetime di Python (Fonte: Time Series Tutorial).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))

Modifichiamo l’indice del dataframe temperature con il datetime.

df_T.index = df.DateTime

Ora tracciamo la temperatura reale e la media mobile cumulativa rispetto al tempo.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x1210a2d30>

Exponential Moving Average

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()

df_T.head()

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x14b2a41d0>

Wow! Come puoi osservare dal grafico sopra, la Exponential Moving Average (EMA) fa un ottimo lavoro nel catturare il pattern dei dati, mentre la Cumulative Moving Average (CMA) resta indietro in misura considerevole.

Vai oltre!

Congratulazioni per aver completato il tutorial.

Questo tutorial è stato un buon punto di partenza per capire come calcolare le medie mobili dei tuoi dati e dar loro un senso.

Prova a scrivere il codice Python per la media mobile cumulativa ed esponenziale senza usare la libreria pandas. Ti darà una comprensione più profonda di come vengono calcolate e in che modo differiscono tra loro.

C’è ancora molto da sperimentare. Prova a calcolare la correlazione parziale tra i dati in ingresso e la media mobile, e cerca di trovare qualche relazione tra i due.

Se vuoi saperne di più sui DataFrame in pandas, segui il corso interattivo pandas Foundations di DataCamp.

Riferimenti:

• Time Series Tutorial

Per qualsiasi domanda su questo tutorial, scrivi pure nei commenti qui sotto.