Gleitende Durchschnitte in pandas

Lass uns den SMA für eine Fenstergröße von 3 berechnen. Das bedeutet, du nimmst jeweils drei Werte, um den gleitenden Durchschnitt zu bilden, und bei jedem neuen Wert fällt der älteste weg.

Dafür verwendest du in pandas die Funktion iloc. Da du die Spalte demand brauchst, fixierst du deren Position in iloc, während die Zeile eine Variable i ist, die du iterierst, bis du das Ende des DataFrames erreichst.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)

Zur Plausibilitätsprüfung nutzen wir zusätzlich die eingebaute rolling-Funktion von pandas und prüfen, ob sie mit unserem eigenen Python-SMA übereinstimmt.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()

df.head()

Super. Wie du siehst, stimmen eigener und pandas-basierter gleitender Durchschnitt exakt überein. Deine SMA-Implementierung passt.

Berechnen wir schnell auch den einfachen gleitenden Durchschnitt für eine window_size von 4.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)

df.head()

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()

df.head()

Jetzt visualisierst du die berechneten gleitenden Durchschnitte.

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x11fe15080>

Kumulativer gleitender Durchschnitt

Ich denke, wir sind bereit für einen echten Datensatz.

Für den kumulativen gleitenden Durchschnitt verwenden wir ein air quality dataset, das du unter diesem Link herunterladen kannst.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

df.head()

Vorverarbeitung ist ein entscheidender Schritt, wenn du mit Daten arbeitest. Für numerische Daten gehört das Prüfen auf NaN (Null)-Werte zu den gängigen Schritten. Falls es NaN-Werte gibt, kannst du sie z. B. durch 0, den Durchschnitt, vorherige oder nachfolgende Werte ersetzen oder die Zeilen sogar löschen. Ersetzen ist meist besser als löschen. Da dieser Datensatz jedoch nur wenige NULL-Werte hat, beeinträchtigt das Löschen die Kontinuität der Reihe nicht.

df.isna().sum()

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

Aus der Ausgabe oben siehst du, dass es rund 114 NaN-Werte über alle Spalten gibt. Sie liegen jedoch alle am Ende der Zeitreihe, daher können wir sie schnell entfernen.

df.dropna(inplace=True)

df.isna().sum()

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

Wir wenden den kumulativen gleitenden Durchschnitt auf die Temperaturspalte (T) an. Trennen wir diese Spalte schnell vom restlichen Datensatz ab.

df_T = pd.DataFrame(df.iloc[:,-2])

df_T.head()

Jetzt verwenden wir die pandas-Methode expanding, um den kumulativen Durchschnitt der obigen Daten zu berechnen. Zur Erinnerung: Anders als der einfache gleitende Durchschnitt berücksichtigt der kumulative gleitende Durchschnitt alle vorangegangenen Werte.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()

df_T.head(10)

Zeitreihendaten werden gegen die Zeit aufgetragen. Kombinieren wir also die Spalten Datum und Uhrzeit und wandeln sie in ein Datetime-Objekt um. Dafür nutzt du das Python-Modul datetime (Quelle: Time Series Tutorial).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))

Ändern wir nun den Index des temperature-DataFrames auf Datetime.

df_T.index = df.DateTime

Jetzt plotten wir die tatsächliche Temperatur und den kumulativen gleitenden Durchschnitt über die Zeit.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x1210a2d30>

Exponentieller gleitender Durchschnitt

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()

df_T.head()

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x14b2a41d0>

Wow! Wie du im obigen Diagramm siehst, bildet der Exponentielle gleitende Durchschnitt (EMA) das Muster der Daten hervorragend ab, während der Kumulative gleitende Durchschnitt (CMA) deutlich hinterherhinkt.

Geh noch weiter!

Glückwunsch, du hast das Tutorial abgeschlossen.

Dieses Tutorial war ein guter Einstieg, um die gleitenden Durchschnitte deiner Daten zu berechnen und sinnvoll zu interpretieren.

Versuche, den kumulativen und den exponentiellen gleitenden Durchschnitt in Python ohne die pandas-Bibliothek zu programmieren. Das gibt dir ein tieferes Verständnis dafür, wie sie berechnet werden und worin sie sich unterscheiden.

Es gibt noch viel zu experimentieren. Berechne zum Beispiel die partielle Autokorrelation zwischen den Eingangsdaten und dem gleitenden Durchschnitt und suche nach Zusammenhängen.

Wenn du mehr über DataFrames in pandas lernen möchtest, schau dir den interaktiven Kurs pandas Foundations von DataCamp an.

Referenzen:

• Time Series Tutorial

Stell gern deine Fragen zu diesem Tutorial unten in den Kommentaren.