Moving Averages in pandas

Laten we SMA berekenen voor een venstergrootte van 3. Dat betekent dat je telkens drie waarden meeneemt om het moving average te berekenen, en dat bij elke nieuwe waarde de oudste waarde wordt genegeerd.

Om dit te implementeren, gebruik je de pandas-functie iloc. Omdat je de kolom demand nodig hebt, fixeer je de positie daarvan in de iloc-functie, terwijl de rij een variabele i is die je blijft itereren totdat je het einde van de dataframe bereikt.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)

Voor een sanity check gebruiken we ook de ingebouwde rolling-functie van pandas en kijken we of die overeenkomt met onze zelfgeschreven Python-gebaseerde simple moving average.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()

df.head()

Top, zoals je ziet komen de custom en pandas moving averages precies overeen, wat betekent dat je implementatie van SMA correct was.

Laten we ook snel het simple moving average berekenen voor een window_size van 4.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)

df.head()

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()

df.head()

Nu ga je de gegevens plotten van de moving averages die je hebt berekend.

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x11fe15080>

Cumulative Moving Average

Ik denk dat we nu klaar zijn voor een echte dataset.

Voor cumulative moving average gebruiken we een luchtkwaliteitsdataset die je via deze link kunt downloaden.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

df.head()

Preprocessing is een essentiële stap wanneer je met data werkt. Voor numerieke gegevens is een van de meest voorkomende preprocessing-stappen het controleren op NaN (Null)-waarden. Als er NaN-waarden zijn, kun je die vervangen door 0, het gemiddelde, voorafgaande of daaropvolgende waarden, of ze zelfs droppen. Hoewel vervangen normaal gesproken een betere keuze is dan droppen, heeft deze dataset weinig NULL-waarden, dus ze droppen zal de continuïteit van de reeks niet beïnvloeden.

df.isna().sum()

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

Uit de bovenstaande output kun je opmaken dat er ongeveer 114 NaN-waarden zijn over alle kolommen. Je zult echter zien dat ze allemaal aan het einde van de tijdreeks staan, dus laten we ze snel droppen.

df.dropna(inplace=True)

df.isna().sum()

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

Je gaat het cumulative moving average toepassen op de Temperatuur-kolom (T), dus laten we die kolom snel loshalen van de volledige data.

df_T = pd.DataFrame(df.iloc[:,-2])

df_T.head()

Nu gebruik je de pandas-methode expanding om het cumulatieve gemiddelde van de bovenstaande gegevens te vinden. Zoals je je uit de introductie herinnert, neemt het cumulative moving average, in tegenstelling tot het simple moving average, alle voorgaande waarden mee bij het berekenen van het gemiddelde.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()

df_T.head(10)

Tijdreeksgegevens worden uitgezet ten opzichte van de tijd, dus laten we de datum- en tijdkolom combineren en omzetten naar een datetime-object. Hiervoor gebruik je de module datetime uit Python (Bron: Time Series Tutorial).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))

Laten we de index van de temperature-dataframe wijzigen naar datetime.

df_T.index = df.DateTime

Laten we nu de werkelijke temperatuur en het cumulative moving average uitzetten t.o.v. de tijd.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x1210a2d30>

Exponential Moving Average

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()

df_T.head()

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x14b2a41d0>

Wauw! Zoals je in de bovenstaande grafiek kunt zien, doet de Exponential Moving Average (EMA) het uitstekend in het vastleggen van het patroon in de gegevens, terwijl de Cumulative Moving Average (CMA) aanzienlijk achterblijft.

Ga verder!

Gefeliciteerd met het afronden van de tutorial.

Deze tutorial was een goed startpunt om te leren hoe je de moving averages van je gegevens kunt berekenen en er betekenis aan kunt geven.

Probeer de Python-code voor cumulative en exponential moving average te schrijven zonder de pandas-bibliotheek. Dat geeft je veel diepere kennis over hoe ze worden berekend en op welke manieren ze van elkaar verschillen.

Er valt nog veel te experimenteren. Probeer de partiële autocorrelatie te berekenen tussen de inputgegevens en het moving average, en probeer daar een relatie tussen te vinden.

Als je meer wilt leren over DataFrames in pandas, volg dan de interactieve cursus pandas Foundations van DataCamp.

Referenties:

• Time Series Tutorial

Stel gerust vragen over deze tutorial in de reacties hieronder.