Medias móviles en pandas

Calculemos la SMA con una ventana de 3, lo que significa que considerarás tres valores cada vez para calcular la media móvil y, con cada nuevo valor, ignorarás el más antiguo.

Para implementarlo, usarás la función iloc de pandas. Como lo que necesitas es la columna demand, fijarás su posición en la función iloc, mientras que la fila será la variable i, que irás iterando hasta llegar al final del dataframe.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)Con la tecnología de

Para validar, usemos también la función integrada rolling de pandas y comprobemos si coincide con nuestra media móvil simple implementada en Python puro.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()Con la tecnología de

df.head()Con la tecnología de

Genial: como ves, las medias móviles personalizada y la de pandas coinciden prácticamente, así que tu implementación de la SMA es correcta.

Calculemos también de forma rápida la media móvil simple para un window_size de 4.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)
Con la tecnología de

df.head()
Con la tecnología de

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()
Con la tecnología de

df.head()
Con la tecnología de

Ahora vamos a representar los datos de las medias móviles que has calculado.

import matplotlib.pyplot as plt
%matplotlib inlineCon la tecnología de

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)
Con la tecnología de

<matplotlib.legend.Legend at 0x11fe15080>
Con la tecnología de

Media móvil acumulada

Creo que ya estamos listos para pasar a un conjunto de datos real.

Para la media móvil acumulada, usaremos un conjunto de datos de calidad del aire que puedes descargar desde este enlace.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]
Con la tecnología de

df.head()
Con la tecnología de

La preparación de datos es un paso esencial. En datos numéricos, uno de los pasos más comunes es comprobar si hay valores NaN (Null). Si los hay, puedes sustituirlos por 0, por la media, por valores anteriores o posteriores, o incluso eliminarlos. Aunque suele ser mejor imputar que eliminar, en este dataset hay pocos NULL y están al final, así que eliminarlos no afectará a la continuidad de la serie.

df.isna().sum()
Con la tecnología de

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64
Con la tecnología de

Como ves en la salida anterior, hay unos 114 valores NaN en todas las columnas, pero están al final de la serie temporal, así que vamos a eliminarlos rápidamente.

df.dropna(inplace=True)
Con la tecnología de

df.isna().sum()
Con la tecnología de

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64
Con la tecnología de

Aplicarás la media móvil acumulada a la columna de temperatura (T), así que vamos a separarla del resto de datos.

df_T = pd.DataFrame(df.iloc[:,-2])
Con la tecnología de

df_T.head()
Con la tecnología de

Ahora usarás el método expanding de pandas para obtener la media acumulada de los datos anteriores. Como recordarás de la introducción, a diferencia de la media móvil simple, la media móvil acumulada tiene en cuenta todos los valores anteriores al calcular la media.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()
Con la tecnología de

df_T.head(10)
Con la tecnología de

Las series temporales se representan respecto al tiempo, así que vamos a combinar las columnas de fecha y hora y convertirlas en un objeto datetime. Para ello, usarás el módulo datetime de Python (Fuente: Time Series Tutorial).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))
Con la tecnología de

Cambiemos el índice del dataframe de temperatura por el datetime.

df_T.index = df.DateTime
Con la tecnología de

Ahora representemos la temperatura real y la media móvil acumulada con respecto al tiempo.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)
Con la tecnología de

<matplotlib.legend.Legend at 0x1210a2d30>
Con la tecnología de

Media móvil exponencial

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()
Con la tecnología de

df_T.head()
Con la tecnología de

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)
Con la tecnología de

<matplotlib.legend.Legend at 0x14b2a41d0>
Con la tecnología de

¡Vaya! Como puedes observar en el gráfico, la Exponential Moving Average (EMA) capta muy bien el patrón de los datos, mientras que la Cumulative Moving Average (CMA) se queda bastante atrás.

Sigue aprendiendo

Enhorabuena por completar el tutorial.

Este tutorial es un buen punto de partida para calcular medias móviles sobre tus datos y sacarles partido.

Intenta escribir el código de la media móvil acumulada y la media móvil exponencial en Python sin usar la librería pandas. Te dará una comprensión más profunda de cómo se calculan y en qué se diferencian.

Todavía hay mucho por experimentar. Prueba a calcular la autocorrelación parcial entre los datos de entrada y la media móvil, e intenta descubrir alguna relación entre ambos.

Si quieres aprender más sobre DataFrames en pandas, haz el curso interactivo pandas Foundations de DataCamp.

Referencias:

• Time Series Tutorial

No dudes en dejar cualquier pregunta sobre este tutorial en los comentarios.