Moving Average di pandas

Mari hitung SMA untuk ukuran jendela 3, yang berarti Anda akan mempertimbangkan tiga nilai setiap kali untuk menghitung moving average, dan untuk setiap nilai baru, nilai tertua akan diabaikan.

Untuk mengimplementasikannya, Anda akan menggunakan fungsi pandas iloc, karena kolom demand yang Anda butuhkan, Anda akan memfiksasi posisi kolom itu di fungsi iloc sementara baris akan berupa variabel i yang akan terus Anda iterasi sampai mencapai akhir dataframe.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)

Untuk pengecekan cepat, mari juga gunakan fungsi bawaan pandas yaitu rolling dan lihat apakah hasilnya cocok dengan simple moving average kustom berbasis Python kita.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()

df.head()

Keren, seperti yang Anda lihat, moving average kustom dan pandas cocok persis, yang berarti implementasi SMA Anda benar.

Mari juga cepat menghitung simple moving average untuk window_size 4.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)

df.head()

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()

df.head()

Sekarang, Anda akan memplot data moving average yang telah Anda hitung.

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x11fe15080>

Cumulative Moving Average

Saya rasa kini kita siap beralih ke dataset nyata.

Untuk cumulative moving average, mari gunakan air quality dataset yang dapat diunduh dari tautan ini.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

df.head()

Prapemrosesan adalah langkah penting setiap kali Anda bekerja dengan data. Untuk data numerik salah satu langkah prapemrosesan yang paling umum adalah memeriksa nilai NaN (Null). Jika ada nilai NaN, Anda dapat menggantinya dengan 0 atau rata-rata atau nilai sebelumnya atau sesudahnya, atau bahkan menghapusnya. Meskipun penggantian biasanya lebih baik daripada menghapus, karena dataset ini hanya memiliki beberapa nilai NULL, menghapusnya tidak akan memengaruhi kesinambungan deret.

df.isna().sum()

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

Dari keluaran di atas, Anda dapat melihat bahwa ada sekitar 114 nilai NaN di semua kolom, namun Anda akan mengetahui bahwa semuanya berada di akhir deret waktu, jadi mari cepat hapus.

df.dropna(inplace=True)

df.isna().sum()

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

Anda akan menerapkan cumulative moving average pada kolom Suhu (T), jadi mari pisahkan kolom itu dari keseluruhan data.

df_T = pd.DataFrame(df.iloc[:,-2])

df_T.head()

Sekarang, Anda akan menggunakan metode pandas expanding untuk mencari rata-rata kumulatif dari data di atas. Jika Anda ingat dari pendahuluan, berbeda dengan simple moving average, cumulative moving average mempertimbangkan semua nilai sebelumnya saat menghitung rata-rata.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()

df_T.head(10)

Data deret waktu diplot terhadap waktu, jadi mari gabungkan kolom tanggal dan waktu lalu konversi menjadi objek datetime. Untuk mencapainya, Anda akan menggunakan modul datetime dari Python (Sumber: Time Series Tutorial).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))

Mari ubah indeks dataframe temperature dengan datetime.

df_T.index = df.DateTime

Sekarang mari plot suhu aktual dan cumulative moving average terhadap waktu.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x1210a2d30>

Exponential Moving Average

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()

df_T.head()

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x14b2a41d0>

Wah! Seperti yang dapat Anda amati dari grafik di atas, Exponential Moving Average (EMA) melakukan pekerjaan yang sangat baik dalam menangkap pola data sementara Cumulative Moving Average (CMA) tertinggal cukup jauh.

Lanjutkan!

Selamat telah menyelesaikan tutorial ini.

Tutorial ini merupakan titik awal yang baik tentang cara menghitung moving average dari data Anda dan memahaminya.

Cobalah menulis kode Python untuk cumulative dan exponential moving average tanpa menggunakan pustaka pandas. Itu akan memberi Anda pemahaman yang jauh lebih mendalam tentang bagaimana keduanya dihitung dan dalam hal apa mereka berbeda satu sama lain.

Masih banyak yang bisa dieksplorasi. Cobalah menghitung partial auto-correlation antara data masukan dan moving average, dan coba temukan hubungan di antara keduanya.

Jika Anda ingin mempelajari lebih lanjut tentang DataFrame di pandas, ikuti kursus interaktif Fondasi pandas dari DataCamp.

Referensi:

• Time Series Tutorial

Silakan ajukan pertanyaan apa pun terkait tutorial ini di kolom komentar di bawah.