Pandas और Numpy: मूविंग एवरेज (Moving Average) और एक्सपोनेंशियल मूविंग एवरेज (Exponential Moving Average) ट्यूटोरियल

परिचय

मूविंग एवरेज, जिसे रोलिंग या रनिंग एवरेज भी कहा जाता है, पूर्ण डेटासेट के अलग-अलग सबसेट्स के औसत निकालकर टाइम-सीरीज़ डेटा का विश्लेषण करने के लिए उपयोग किया जाता है। चूंकि इसमें समय के साथ डेटासेट का औसत लिया जाता है, इसे मूविंग मीन (MM) या रोलिंग मीन भी कहा जाता है।

रोलिंग एवरेज की गणना करने के कई तरीके हैं, जिनमें से एक तरीका है कि संख्याओं की एक पूर्ण श्रृंखला से एक नियत आकार का सबसेट लिया जाए। पहला मूविंग एवरेज, पहले निश्चित सबसेट का औसत लेकर निकाला जाता है, और फिर सबसेट को आगे बढ़ाते हुए अगले निश्चित सबसेट पर शिफ्ट किया जाता है (जहां नए उपसमूह में भविष्य का मान शामिल होता है और श्रृंखला के पिछले मान को बाहर कर दिया जाता है)।

मूविंग एवरेज का उपयोग अधिकतर टाइम सीरीज़ डेटा के साथ किया जाता है ताकि अल्पकालिक उतार-चढ़ाव को कैप्चर किया जा सके, जबकि दीर्घकालिक रुझानों पर ध्यान केंद्रित बना रहे।

टाइम सीरीज़ डेटा के कुछ उदाहरण हैं: शेयर कीमतें, मौसम रिपोर्ट, वायु गुणवत्ता, सकल घरेलू उत्पाद, रोज़गार आदि।

सामान्य तौर पर, मूविंग एवरेज डेटा को स्मूद करता है।

मूविंग एवरेज कई एल्गोरिद्म की रीढ़ है, और ऐसा ही एक एल्गोरिद्म है ऑटोरिग्रेसिव इंटीग्रेटेड मूविंग एवरेज मॉडल (ARIMA), जो टाइम सीरीज़ डेटा की भविष्यवाणी करने के लिए मूविंग एवरेज का उपयोग करता है।

मूविंग एवरेज के कई प्रकार होते हैं:

सिंपल मूविंग एवरेज (SMA): सिंपल मूविंग एवरेज (SMA) एक स्लाइडिंग विंडो का उपयोग करके निश्चित संख्या की समय अवधियों पर औसत लेता है। यह पिछले n डेटा का समान-भारित मीन होता है।

SMA को और बेहतर समझने के लिए, आइए n मानों का एक अनुक्रम लें:

तो n डेटा पॉइंट्स के लिए समान-भारित रोलिंग एवरेज मूलतः पिछले M डेटा-पॉइंट्स का औसत होगा, जहां M स्लाइडिंग विंडो का आकार है:

इसी तरह, बाद के रोलिंग एवरेज मानों की गणना करने के लिए, एक नया मान सम में जोड़ा जाएगा और पिछली समय अवधि का मान हटा दिया जाएगा। चूंकि आपके पास पिछली समय अवधियों का औसत होता है, इसलिए हर बार पूर्ण समेशन की आवश्यकता नहीं होती:

क्यूम्युलेटिव मूविंग एवरेज (CMA): सिंपल मूविंग एवरेज, जिसमें नया मान जुड़ते ही सबसे पुराना ऑब्ज़र्वेशन हटा दिया जाता है, के विपरीत, क्यूम्युलेटिव मूविंग एवरेज सभी पूर्ववर्ती ऑब्ज़र्वेशनों पर विचार करता है। प्रवृत्तियों का विश्लेषण करने और डेटा को स्मूद करने के लिए CMA बहुत अच्छी तकनीक नहीं है। कारण यह है कि यह वर्तमान डेटा पॉइंट तक के सभी पिछले डेटा का औसत लेता है, यानी n मानों के अनुक्रम का समान-भारित औसत:वर्तमान समय तक इस प्रकार दिया जाएगा:इसी तरह, हर नए मान के आने पर क्यूम्युलेटिव एवरेज को अपडेट करने के लिए नीचे दिए गए सूत्र का उपयोग किया जा सकता है:

एक्सपोनेंशियल मूविंग एवरेज (EMA): SMA और CMA के विपरीत, एक्सपोनेंशियल मूविंग एवरेज हाल के मूल्यों को अधिक वेट देता है, जिसके परिणामस्वरूप यह ट्रेंड की मूवमेंट को तेज़ी से और बेहतर तरीके से कैप्चर कर सकता है। EMA की प्रतिक्रिया डेटा के पैटर्न के सीधे अनुपात में होती है।

क्योंकि EMA पुराने डेटा की तुलना में हाल के डेटा को अधिक वेट देता है, यह नवीनतम मूल्य परिवर्तनों के प्रति अधिक प्रतिक्रियाशील होता है, जबकि SMA में यह कम होता है। इस कारण से EMA के परिणाम अधिक समयोचित होते हैं और इसलिए EMA अन्य तकनीकों की तुलना में अधिक पसंद किया जाता है।

काफी सिद्धांत हो गया, है न? आइए अब मूविंग एवरेज के व्यावहारिक इम्प्लीमेंटेशन पर चलते हैं।

टाइम सीरीज़ डेटा पर मूविंग एवरेज लागू करना

सिंपल मूविंग एवरेज (SMA)

पहले, आइए डमी टाइम सीरीज़ डेटा बनाएं और केवल Python का उपयोग करके SMA इम्प्लीमेंट करने की कोशिश करें।

मान लीजिए किसी उत्पाद की मांग 12 महीनों (1 वर्ष) तक देखी गई है, और आपको 3 और 4 महीने की विंडो अवधियों के लिए मूविंग एवरेज निकालने हैं।

मॉड्यूल आयात करें

import pandas as pd
import numpy as np
 संचालित द्वारा

product = {'month' : [1,2,3,4,5,6,7,8,9,10,11,12],'demand':[290,260,288,300,310,303,329,340,316,330,308,310]}
संचालित द्वारा

df = pd.DataFrame(product)संचालित द्वारा

df.head()संचालित द्वारा

इस ट्यूटोरियल का कोड ऑनलाइन चलाएं और संपादित करें

कोड चलाएं

	month	demand
0	1	290
1	2	260
2	3	288
3	4	300
4	5	310

आइए 3 की विंडो साइज के लिए SMA की गणना करें, जिसका अर्थ है कि आप हर बार तीन मानों को लेकर मूविंग एवरेज निकालेंगे, और हर नए मान के लिए सबसे पुराना मान नज़रअंदाज़ कर दिया जाएगा।

इसे लागू करने के लिए, आप pandas के iloc फ़ंक्शन का उपयोग करेंगे। चूंकि आपको demand कॉलम चाहिए, आप iloc फ़ंक्शन में उसकी पोजीशन फिक्स करेंगे, जबकि पंक्ति एक चर i होगी जिसे आप डेटाफ्रेम के अंत तक इटरेट करते रहेंगे।

for i in range(0,df.shape[0]-2):
    df.loc[df.index[i+2],'SMA_3'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1])/3),1)संचालित द्वारा

	month	demand	SMA_3
0	1	290	NaN
1	2	260	NaN
2	3	288	279.3
3	4	300	282.7
4	5	310	299.3

एक सैनीटी चेक के लिए, आइए pandas की इन-बिल्ट rolling फ़ंक्शन का भी उपयोग करें और देखें कि क्या यह हमारे कस्टम Python-आधारित सिंपल मूविंग एवरेज से मेल खाता है।

df['pandas_SMA_3'] = df.iloc[:,1].rolling(window=3).mean()संचालित द्वारा

df.head()संचालित द्वारा

	month	demand	SMA_3	pandas_SMA_3
0	1	290	NaN	NaN
1	2	260	NaN	NaN
2	3	288	279.3	279.333333
3	4	300	282.7	282.666667
4	5	310	299.3	299.333333

बहुत बढ़िया, जैसा कि आप देख सकते हैं, कस्टम और pandas के मूविंग एवरेज बिल्कुल मेल खाते हैं, जिसका मतलब है कि आपका SMA इम्प्लीमेंटेशन सही था।

आइए window_size 4 के लिए भी सिंपल मूविंग एवरेज जल्दी से गणना करें।

for i in range(0,df.shape[0]-3):
    df.loc[df.index[i+3],'SMA_4'] = np.round(((df.iloc[i,1]+ df.iloc[i+1,1] +df.iloc[i+2,1]+df.iloc[i+3,1])/4),1)
संचालित द्वारा

df.head()
संचालित द्वारा

	month	demand	SMA_3	pandas_SMA_3	SMA_4
0	1	290	NaN	NaN	NaN
1	2	260	NaN	NaN	NaN
2	3	288	279.3	279.333333	NaN
3	4	300	282.7	282.666667	284.5
4	5	310	299.3	299.333333	289.5

df['pandas_SMA_4'] = df.iloc[:,1].rolling(window=4).mean()
संचालित द्वारा

df.head()
संचालित द्वारा

	month	demand	SMA_3	pandas_SMA_3	SMA_4	pandas_SMA_4
0	1	290	NaN	NaN	NaN	NaN
1	2	260	NaN	NaN	NaN	NaN
2	3	288	279.3	279.333333	NaN	NaN
3	4	300	282.7	282.666667	284.5	284.5
4	5	310	299.3	299.333333	289.5	289.5

अब, आप उन मूविंग एवरेज डेटा को प्लॉट करेंगे जिनकी आपने गणना की है।

import matplotlib.pyplot as plt
%matplotlib inlineसंचालित द्वारा

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df['demand'],label='data')
plt.plot(df['SMA_3'],label='SMA 3 Months')
plt.plot(df['SMA_4'],label='SMA 4 Months')
plt.legend(loc=2)
संचालित द्वारा

<matplotlib.legend.Legend at 0x11fe15080>
संचालित द्वारा

क्यूम्युलेटिव मूविंग एवरेज

मेरा मानना है कि अब हम वास्तविक डेटासेट पर जाने के लिए तैयार हैं।

क्यूम्युलेटिव मूविंग एवरेज के लिए, आइए एक air quality dataset का उपयोग करें जिसे इस लिंक से डाउनलोड किया जा सकता है।

df = pd.read_csv("AirQualityUCI/AirQualityUCI.csv", sep = ";", decimal = ",")
df = df.iloc[ : , 0:14]
संचालित द्वारा

df.head()
संचालित द्वारा

	Date	Time	CO(GT)	PT08.S1(CO)	NMHC(GT)	C6H6(GT)	PT08.S2(NMHC)	NOx(GT)	PT08.S3(NOx)	NO2(GT)	PT08.S4(NO2)	PT08.S5(O3)	T	RH
0	10/03/2004	18.00.00	2.6	1360.0	150.0	11.9	1046.0	166.0	1056.0	113.0	1692.0	1268.0	13.6	48.9
1	10/03/2004	19.00.00	2.0	1292.0	112.0	9.4	955.0	103.0	1174.0	92.0	1559.0	972.0	13.3	47.7
2	10/03/2004	20.00.00	2.2	1402.0	88.0	9.0	939.0	131.0	1140.0	114.0	1555.0	1074.0	11.9	54.0
3	10/03/2004	21.00.00	2.2	1376.0	80.0	9.2	948.0	172.0	1092.0	122.0	1584.0	1203.0	11.0	60.0
4	10/03/2004	22.00.00	1.6	1272.0	51.0	6.5	836.0	131.0	1205.0	116.0	1490.0	1110.0	11.2	59.6

जब भी आप डेटा के साथ काम कर रहे हों, प्रीप्रोसेसिंग एक आवश्यक चरण है। न्यूमेरिकल डेटा के लिए, सबसे सामान्य प्रीप्रोसेसिंग चरणों में से एक है NaN (Null) मानों की जांच करना। यदि कोई NaN मान हैं, तो आप उन्हें 0 या औसत या पिछले/अगले मानों से बदल सकते हैं या उन्हें हटा भी सकते हैं। यद्यपि सामान्यतः हटाने की बजाय बदलना बेहतर विकल्प होता है, लेकिन चूंकि इस डेटासेट में कुछ ही NULL मान हैं, उन्हें हटाने से श्रृंखला की निरंतरता पर प्रभाव नहीं पड़ेगा।

df.isna().sum()
संचालित द्वारा

Date             114
Time             114
CO(GT)           114
PT08.S1(CO)      114
NMHC(GT)         114
C6H6(GT)         114
PT08.S2(NMHC)    114
NOx(GT)          114
PT08.S3(NOx)     114
NO2(GT)          114
PT08.S4(NO2)     114
PT08.S5(O3)      114
T                114
RH               114
dtype: int64
संचालित द्वारा

ऊपर के आउटपुट से आप देख सकते हैं कि सभी कॉलम्स में लगभग 114 NaN मान हैं, हालांकि आप पाएंगे कि वे सभी टाइम-सीरीज़ के अंत में हैं, तो आइए उन्हें जल्दी से हटा देते हैं।

df.dropna(inplace=True)
संचालित द्वारा

df.isna().sum()
संचालित द्वारा

Date             0
Time             0
CO(GT)           0
PT08.S1(CO)      0
NMHC(GT)         0
C6H6(GT)         0
PT08.S2(NMHC)    0
NOx(GT)          0
PT08.S3(NOx)     0
NO2(GT)          0
PT08.S4(NO2)     0
PT08.S5(O3)      0
T                0
RH               0
dtype: int64
संचालित द्वारा

आप Temperature कॉलम (T) पर क्यूम्युलेटिव मूविंग एवरेज लागू करेंगे, इसलिए आइए उस कॉलम को पूरे डेटा से अलग कर लेते हैं।

df_T = pd.DataFrame(df.iloc[:,-2])
संचालित द्वारा

df_T.head()
संचालित द्वारा

	T
0	13.6
1	13.3
2	11.9
3	11.0
4	11.2

अब, आप pandas के expanding मेथड का उपयोग करके ऊपर दिए गए डेटा का क्यूम्युलेटिव औसत निकालेंगे। यदि आपको परिचय भाग से याद हो, तो सिंपल मूविंग एवरेज के विपरीत, क्यूम्युलेटिव मूविंग एवरेज औसत निकालते समय सभी पूर्ववर्ती मानों पर विचार करता है।

df_T['CMA_4'] = df_T.expanding(min_periods=4).mean()
संचालित द्वारा

df_T.head(10)
संचालित द्वारा

	T	CMA_4
0	13.6	NaN
1	13.3	NaN
2	11.9	NaN
3	11.0	12.450000
4	11.2	12.200000
5	11.2	12.033333
6	11.3	11.928571
7	10.7	11.775000
8	10.7	11.655556
9	10.3	11.520000

टाइम सीरीज़ डेटा को समय के सापेक्ष प्लॉट किया जाता है, इसलिए आइए तारीख और समय कॉलम को मिलाकर एक datetime ऑब्जेक्ट में बदलते हैं। इसे प्राप्त करने के लिए, आप Python के datetime मॉड्यूल का उपयोग करेंगे (स्रोत: Time Series Tutorial)।

import datetime

df['DateTime'] = (df.Date) + ' ' + (df.Time)
df.DateTime = df.DateTime.apply(lambda x: datetime.datetime.strptime(x, '%d/%m/%Y %H.%M.%S'))
संचालित द्वारा

आइए temperature डेटाफ्रेम का इंडेक्स datetime से बदलते हैं।

df_T.index = df.DateTime
संचालित द्वारा

अब समय के सापेक्ष वास्तविक तापमान और क्यूम्युलेटिव मूविंग एवरेज को प्लॉट करते हैं।

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.legend(loc=2)
संचालित द्वारा

<matplotlib.legend.Legend at 0x1210a2d30>
संचालित द्वारा

एक्सपोनेंशियल मूविंग एवरेज

df_T['EMA'] = df_T.iloc[:,0].ewm(span=40,adjust=False).mean()
संचालित द्वारा

df_T.head()
संचालित द्वारा

	T	CMA_4	EMA
DateTime
2004-03-10 18:00:00	13.6	NaN	13.600000
2004-03-10 19:00:00	13.3	NaN	13.585366
2004-03-10 20:00:00	11.9	NaN	13.503153
2004-03-10 21:00:00	11.0	12.45	13.381048
2004-03-10 22:00:00	11.2	12.20	13.274655

plt.figure(figsize=[15,10])
plt.grid(True)
plt.plot(df_T['T'],label='temperature')
plt.plot(df_T['CMA_4'],label='CMA_4')
plt.plot(df_T['EMA'],label='EMA')
plt.legend(loc=2)
संचालित द्वारा

<matplotlib.legend.Legend at 0x14b2a41d0>
संचालित द्वारा

वाह! तो जैसा कि आप ऊपर दिए गए ग्राफ से देख सकते हैं, एक्सपोनेंशियल मूविंग एवरेज (EMA) डेटा के पैटर्न को कैप्चर करने में बेहतरीन काम करता है, जबकि क्यूम्युलेटिव मूविंग एवरेज (CMA) काफी हद तक पीछे रह जाता है।

और आगे बढ़ें!

ट्यूटोरियल पूरा करने पर बधाई।

यह ट्यूटोरियल इस बात पर एक अच्छा शुरुआती बिंदु था कि आप अपने डेटा के मूविंग एवरेज कैसे निकाल सकते हैं और उसे समझ सकते हैं।

pandas लाइब्रेरी का उपयोग किए बिना क्यूम्युलेटिव और एक्सपोनेंशियल मूविंग एवरेज का Python कोड लिखने का प्रयास करें। इससे आपको उनकी गणना के तरीके और आपस में अंतर के बारे में और गहन जानकारी मिलेगी।

अभी बहुत कुछ एक्सपेरिमेंट करना बाकी है। इनपुट डेटा और मूविंग एवरेज के बीच आंशिक ऑटोकॉरिलेशन की गणना करें और दोनों के बीच कुछ संबंध खोजने की कोशिश करें।

यदि आप pandas में DataFrames के बारे में और सीखना चाहते हैं, तो DataCamp का pandas Foundations इंटरैक्टिव कोर्स लें।

संदर्भ:

Time Series Tutorial

कृपया नीचे टिप्पणी अनुभाग में इस ट्यूटोरियल से संबंधित कोई भी प्रश्न निःसंकोच पूछें।

विषय

Python डेटा विज़ुअलाइज़ेशन डेटा विश्लेषण

प्रौद्योगिकियाँ

विषय

pandas में मूविंग एवरेज

AI के साथ खोजें

परिचय

टाइम सीरीज़ डेटा पर मूविंग एवरेज लागू करना

सिंपल मूविंग एवरेज (SMA)

क्यूम्युलेटिव मूविंग एवरेज

एक्सपोनेंशियल मूविंग एवरेज

और आगे बढ़ें!

विषय

संबंधित कोर्स

इंटरमीडिएट Python

pandas के साथ Police Activity का विश्लेषण

pandas के साथ मार्केटिंग कैंपेनों का विश्लेषण

प्रौद्योगिकियाँ

विषय

संबंधित कोर्स

इंटरमीडिएट Python

pandas के साथ Police Activity का विश्लेषण

pandas के साथ मार्केटिंग कैंपेनों का विश्लेषण