pandas’ta Hareketli Ortalamalar

Şimdi pencere boyutu 3 için SMA’yı hesaplayalım; bu, her seferinde hareketli ortalamayı hesaplamak için üç değeri dikkate alacağınız ve her yeni değer için en eski değerin göz ardı edileceği anlamına gelir.

Bunu uygulamak için pandas iloc fonksiyonunu kullanacaksınız; çünkü ihtiyacınız olan sütun demand, bunu iloc fonksiyonunda sabitleyecek, satırı ise veri çerçevesinin sonuna ulaşana kadar yineleyeceğiniz değişken i yapacaksınız.

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)

Sağlama yapmak için, dahili pandas rolling fonksiyonunu da kullanalım ve özel Python tabanlı basit hareketli ortalamamızla eşleşip eşleşmediğine bakalım.

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()

df.head()

Harika, gördüğünüz gibi özel ve pandas hareketli ortalamaları birebir örtüşüyor; bu da SMA uygulamanızın doğru olduğu anlamına gelir.

Hadi, window_size 4 için de hızlıca basit hareketli ortalamayı hesaplayalım.

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)

df.head()

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()

df.head()

Şimdi, hesapladığınız hareketli ortalamaların verisini görselleştireceksiniz.

import matplotlib.pyplot as plt
%matplotlib inline

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x11fe15080>

Kümülatif Hareketli Ortalama

Artık gerçek bir veri kümesine geçmeye hazır olduğumuzu düşünüyorum.

Kümülatif hareketli ortalama için, bu bağlantıdan indirilebilen bir hava kalitesi veri kümesini kullanalım.

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]

df.head()

Veriyle çalışırken ön işleme her zaman gerekli bir adımdır. Sayısal veriler için en yaygın ön işleme adımlarından biri NaN (Null) değerlerini kontrol etmektir. Eğer herhangi bir NaN değeri varsa, bunları 0 ile veya ortalama ile ya da önceki/sonraki değerlerle değiştirebilir veya hatta düşürebilirsiniz. Değiştirmek genellikle düşürmeye kıyasla daha iyi bir seçenektir; ancak bu veri kümesinde birkaç AŞK (NULL) değer bulunduğundan, bunları düşürmek serinin sürekliliğini etkilemeyecektir.

df.isna().sum()

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64

Yukarıdaki çıktıya göre, tüm sütunlarda yaklaşık 114 NaN değeri olduğunu görebilirsiniz; ancak bunların hepsinin zaman serisinin sonunda yer aldığını fark edeceksiniz, o hâlde hızlıca bunları düşürelim.

df.dropna(inplace=True)

df.isna().sum()

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64

Kümülatif hareketli ortalamayı Sıcaklık sütununa (T) uygulayacaksınız, o hâlde bu sütunu tüm veriden hızlıca ayıralım.

df_T = pd.DataFrame(df.iloc[:,-2])

df_T.head()

Şimdi, yukarıdaki verinin kümülatif ortalamasını bulmak için pandas expanding metodunu kullanacaksınız. Giriş bölümünden hatırlarsanız, basit hareketli ortalamanın aksine, kümülatif hareketli ortalama, ortalamayı hesaplarken önceki tüm değerleri dikkate alır.

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()

df_T.head(10)

Zaman serisi verileri zamana göre çizilir, bu yüzden tarih ve saat sütunlarını birleştirip bir datetime nesnesine dönüştürelim. Bunu başarmak için Python’daki datetime modülünü kullanacaksınız (Kaynak: Zaman Serisi Eğitimi).

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))

temperature veri çerçevesinin indeksini datetime ile değiştirelim.

df_T.index = df.DateTime

Şimdi, gerçek sıcaklık ile kümülatif hareketli ortalamayı zamana göre çizelim.

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x1210a2d30>

Üssel Hareketli Ortalama

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()

df_T.head()

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)

<matplotlib.legend.Legend at 0x14b2a41d0>

Vay canına! Yukarıdaki grafikten de görebileceğiniz gibi, Üssel Hareketli Ortalama (EMA) verinin desenini yakalamada mükemmel bir iş çıkarırken, Kümülatif Hareketli Ortalama (CMA) kayda değer ölçüde geride kalıyor.

Daha da ileri gidin!

Eğitimi tamamladığınız için tebrikler.

Bu eğitim, verilerinizin hareketli ortalamalarını nasıl hesaplayabileceğinize ve onlardan nasıl anlam çıkarabileceğinize dair iyi bir başlangıçtı.

Pandas kütüphanesini kullanmadan kümülatif ve üssel hareketli ortalama Python kodunu yazmayı deneyin. Bu, nasıl hesaplandıklarına ve birbirlerinden hangi açılardan farklı olduklarına dair çok daha derin bir bilgi sağlayacaktır.

Hâlâ denenecek çok şey var. Girdi verisi ile hareketli ortalama arasındaki kısmi otokorelasyonu hesaplamayı deneyin ve ikisi arasında bir ilişki bulmaya çalışın.

pandas’ta DataFrame’ler hakkında daha fazla bilgi edinmek isterseniz, DataCamp’in etkileşimli pandas Foundations kursunu alın.

Kaynaklar:

• Zaman Serisi Eğitimi

Lütfen bu eğitimle ilgili tüm sorularınızı aşağıdaki yorumlar bölümünde sormaktan çekinmeyin.