विंसोराइज़्ड मीन: आउटलायर से निपटने का सुदृढ़ तरीका

आउटलायर अक्सर आपकी अंतर्दृष्टि को भटका सकते हैं, जिससे सार्थक विश्लेषण भ्रामक निष्कर्षों में बदल सकता है। वास्तविक दुनिया के परिदृश्यों में अपूर्ण और शोरयुक्त डेटा सामान्य है, और विंसोराइज़ेशन बिना कोई डेटा हटाए आउटलायर के प्रभाव को कम करने का एक व्यावहारिक समाधान है।

यह लेख विंसोराइज़्ड मीन कैसे काम करता है, इसके व्यावहारिक उपयोग, और Python का उपयोग करके इसे कैसे गणना करें, यह समझाएगा। हम इसके लाभ और हानियाँ भी समझेंगे, ट्रिम्ड मीन जैसी अन्य उपयोगी मीटरों से तुलना करेंगे, और अन्य विंसोराइज़ेशन सांख्यिकीय मापों को भी देखेंगे।

विंसोराइज़्ड मीन क्या है?

विंसोराइज़्ड मीन एक सांख्यिकीय माप है जो अत्यधिक मूल्यों को पूरी तरह हटाने के बजाय उन्हें कम चरम परसेंटाइल से प्रतिस्थापित करके आउटलायर के प्रभाव को घटाता है। अंकगणितीय औसत के विपरीत, जो सभी डाटा बिंदुओं को समान रूप से मानता है, विंसोराइज़्ड मीन उन अत्यधिक मूल्यों के प्रभाव को सीमित करता है जो समग्र परिणाम को विकृत कर सकते हैं।

विंसोराइज़ेशन एक निश्चित परसेंटाइल सीमा से परे के मूल्यों को कैप या प्रतिस्थापित करके काम करता है। उदाहरण के लिए, 5% विंसोराइज़ेशन में, सबसे निचले 5% डेटा बिंदुओं को 5वें परसेंटाइल के मान से और सबसे ऊँचे 5% को 95वें परसेंटाइल के मान से प्रतिस्थापित किया जाता है। यह विधि डेटासेट की समग्र संरचना को बनाए रखते हुए आउटलायर के प्रभाव को कम करने में मदद करती है, जिससे चरम मूल्यों वाले डेटासेट में यह मानक मीन का एक सुदृढ़ विकल्प बनती है।

विंसोराइज़्ड मीन के व्यावहारिक उपयोग

सांख्यिकीय विश्लेषण में विंसोराइज़्ड मीन की प्रासंगिकता विशेष रूप से उन क्षेत्रों में स्पष्ट है जहाँ डेटा का वितरण तिरछा होने की प्रवृत्ति रखता है। यहाँ कुछ प्रमुख क्षेत्र हैं जहाँ विंसोराइज़्ड मीन उपयोगी सिद्ध होता है:

• वित्त और निवेश विश्लेषण: वित्तीय डेटासेट में अक्सर अत्यधिक मूल्य होते हैं, जैसे बाजार में गिरावट या असाधारण लाभ, जो औसत को विकृत कर सकते हैं और रुझानों को धुंधला कर सकते हैं। रिटर्न या एसेट कीमतों का विंसोराइज़ेशन करके विश्लेषक अधिक स्थिर प्रदर्शन मीट्रिक बना सकते हैं जो सामान्य बाजार व्यवहार को बेहतर दर्शाते हैं।
• आर्थिक डेटा: व्यापक आर्थिक अध्ययनों में, आय या संपत्ति वितरण जैसे संकेतक अक्सर कुछ अत्यधिक ऊँचे या निम्न मूल्यों से तिरछे हो जाते हैं। इन चरम अवलोकनों के प्रभाव को सीमित करके विंसोराइज़्ड मीन आर्थिक स्थितियों का अधिक संतुलित दृष्टिकोण प्रदान कर सकता है।
• सर्वेक्षण और सामाजिक विज्ञान अनुसंधान: सर्वेक्षणों में अत्यधिक प्रतिक्रियाएँ आ सकती हैं, जैसे बहुत अधिक या बहुत कम रेटिंग। ऐसे मामलों में, विंसोराइज़्ड मीन केंद्रीय प्रवृत्ति का अधिक सटीक मापन प्रदान करता है, यह सुनिश्चित करते हुए कि चरम उत्तर समग्र विश्लेषण को असंगत रूप से प्रभावित न करें।
• चिकित्सा और जैविक अनुसंधान: चिकित्सा डेटा, जैसे रोगी परिणाम या परीक्षण परिणाम, कभी-कभी दुर्लभ स्थितियों या अपवाद मामलों के कारण अत्यधिक मूल्य दिखा सकते हैं। ऐसे डेटा का विंसोराइज़ेशन करके शोधकर्ता औसत परिणामों की अधिक सटीक तस्वीर प्राप्त कर सकते हैं, बिना संभावित रूप से मूल्यवान डेटा बिंदुओं को पूरी तरह हटाए।

इन प्रत्येक उपयोगों में, विंसोराइज़्ड मीन मानक मीन का एक सुदृढ़ विकल्प है, जो विश्लेषकों को महत्वपूर्ण डेटा पैटर्न सुरक्षित रखते हुए आउटलायर से कम प्रभावित अंतर्दृष्टि प्राप्त करने देता है।

Python में विंसोराइज़्ड मीन कैसे गणना करें

Python में विंसोराइज़्ड मीन की गणना में अत्यधिक मूल्यों (आउटलायर) को विशिष्ट परसेंटाइल के मूल्यों से प्रतिस्थापित करना शामिल है। शुरू करने से पहले, हम जिन चरणों का पालन करेंगे उनका संक्षिप्त सारांश:

• आयात करें आवश्यक लाइब्रेरी और डेटासेट।

• विंसोराइज़ करें डेटासेट को scipy.winsorize() का उपयोग करके।

• गणना करें मीन को numpy.mean() का उपयोग करके।

आइए एक उदाहरण के साथ विवरण में जाएँ। 

आवश्यक लाइब्रेरी और डेटासेट आयात करें

सबसे पहले, हम मीन की गणना के लिए आवश्यक लाइब्रेरी आयात करेंगे।

import numpy as np
from scipy.stats.mstats import winsorize

अगला, हम डेटासेट लोड करेंगे, जो CSV फ़ाइल या किसी अन्य डेटा स्रोत से हो सकता है। सरलता के लिए, हम numpy का उपयोग करके एक नमूना डेटासेट बनाएँगे।

data = np.array([10, 12, 14, 15, 16, 18, 20, 22, 24, 25, 30, 35, 40, 45, 50, 60, 70, 80, 82, 85, 90, 200])

प्रारंभिक विश्लेषण के आधार पर, इस डेटासेट में 200 को आउटलायर माना जा सकता है।

डेटासेट को विंसोराइज़ करें 

scipy लाइब्रेरी का winsorize() फ़ंक्शन आपको निचले और ऊपरी दोनों सिरे से विंसोराइज़ किए जाने वाले डेटा का प्रतिशत निर्दिष्ट करने देता है। ऐसा करने के लिए कोड इस प्रकार है:

# Winsorize 5% from both the lower and upper tails
winsorized_data = winsorize(data, limits=[0.05, 0.05])

ऊपर दिए गए कोड में, winsorize() फ़ंक्शन को दिया गया limits=[0.05, 0.05] पैरामीटर, सबसे छोटे 5% और सबसे बड़े 5% मूल्यों को क्रमशः 5वें और 95वें परसेंटाइल के मूल्यों से प्रतिस्थापित करता है। अब हम बनाए गए विंसोराइज़्ड डेटा का निरीक्षण कर सकते हैं।

print("Original data: ", data)
print("Winsorized data: ", winsorized_data)

आउटपुट दिखाएगा कि आउटलायर को प्रतिस्थापित किया गया है:

Original data: [ 10 12 14 15 16 18 20 22 24 25 30 35 40 45 50 60 70 80 82 90 200]
Winsorized data: [ 12 12 14 15 16 18 20 22 24 25 30 35 40 45 50 60 70 80 82 90 90]

यहाँ अधिकतम मान 200 को 90 से प्रतिस्थापित किया गया है; इसी तरह, निचले सिरे का अत्यधिक मान 10 को 12 से बदला गया है।

मीन की गणना करें 

अंत में, विंसोराइज़्ड डेटा का मीन गणना करते हैं:

winsorized_mean = np.mean(winsorized_data)
print("Winsorized mean: ", winsorized_mean)

आउटपुट इस प्रकार है:

Winsorized mean: 42.5

विंसोराइज़्ड मीन ने अत्यधिक ऊँचे मूल्यों के प्रभाव को सामान्य मीन की तुलना में घटा दिया है। तुलना के लिए, हम मूल मीन को इस प्रकार गणना कर सकते हैं:

original_mean = np.mean(data)
print("Original mean: ", original_mean)

आउटपुट इस प्रकार है:

Original mean: 47.40909090909091

मूल मीन 47.40 आउटलायर से काफी प्रभावित है, जिससे यह काफी अधिक हो गया है। चरम मूल्यों को विंसोराइज़ करने के बाद, विंसोराइज़्ड मीन 42.5 पर काफी कम है और चरम मूल्यों का प्रभाव घट गया है।

विंसोराइज़्ड मीन बनाम ट्रिम्ड मीन: मुख्य अंतर

विंसोराइज़्ड मीन और ट्रिम्ड मीन दोनों ही मीन पर आउटलायर के प्रभाव को घटाने के तरीके हैं, लेकिन वे अत्यधिक मूल्यों को संभालने के तरीके में भिन्न हैं:

• विंसोराइज़्ड मीन डेटा के दोनों सिरों पर अत्यधिक मूल्यों (आउटलायर) को डेटासेट के भीतर के निकटतम मूल्यों से प्रतिस्थापित करता है। यह डेटा को हटाता नहीं, बल्कि सबसे चरम मूल्यों को समायोजित करता है ताकि उनका प्रभाव घटे।
• ट्रिम्ड मीन सबसे छोटे और सबसे बड़े प्रतिशत डेटा बिंदुओं को हटा देता है। यह तरीका दोनों सिरों पर डेटा का एक हिस्सा बाहर कर देता है। 5% ट्रिम्ड मीन में, सबसे छोटे 5% और सबसे बड़े 5% डेटा बिंदुओं को मीन की गणना से बाहर रखा जाता है।

जब आप डेटा संरचना को सुरक्षित रखना चाहते हैं (यानी सैंपल आकार समान रहे) और साथ ही चरम मूल्यों का प्रभाव घटाना चाहते हैं, तो विंसोराइज़्ड मीन को प्राथमिकता दी जाती है। जब डेटासेट में स्पष्ट आउटलायर हों जिन्हें आप पूरी तरह हटाना चाहते हों और ट्रिमिंग के बाद छोटा सैंपल आकार स्वीकार्य हो, तब ट्रिम्ड मीन को प्राथमिकता दी जाती है।

Python में ट्रिम्ड मीन और विंसोराइज़्ड मीन की तुलना

आइए देखें कि दोनों तरीके डेटासेट को कैसे प्रभावित करते हैं और उनके परिणामों की तुलना करें।

from scipy.stats import trim_mean

# Calculate the Trimmed mean by removing 5% from both tails
trimmed_mean = trim_mean(data, proportiontocut=0.05)

# Print the results
print("Original mean: ", np.mean(data))
print("Winsorized mean (5%): ", winsorized_mean)
print("Trimmed mean (5%): ", trimmed_mean)

आउटपुट इस प्रकार है:

Original mean: 47.40909090909091
Winsorized mean (5%): 42.5
Trimmed mean (5%): 41.65

मूल मीन 47.4 आउटलायर से काफी प्रभावित था। विंसोराइज़्ड मीन 42.5 आउटलायर को कम चरम मूल्यों से प्रतिस्थापित करके निकाला गया। ट्रिम्ड मीन, जहाँ आउटलायर पूरी तरह हटा दिए गए, 41.65 है।

कब किस विधि का उपयोग करें

जब आप सभी डेटा बिंदुओं को रखना चाहते हैं पर अत्यधिक मूल्यों के प्रभाव को घटाना चाहते हैं, तब विंसोराइज़्ड मीन का उपयोग करें। यह अच्छा ह्यूरिस्टिक है क्योंकि विंसोराइज़्ड मीन तब उपयोगी है जब आपको लगता है कि आउटलायर वास्तविक हैं, लेकिन आप उनके प्रभाव को न्यूनतम रखना चाहते हैं।

जब आप डेटासेट से आउटलायर को पूरी तरह हटाना चाहते हैं, तब ट्रिम्ड मीन का उपयोग करें। ट्रिम्ड मीन तब सबसे उपयोगी है जब आपको संदेह हो कि आउटलायर त्रुटिपूर्ण हैं या डेटा वितरण का प्रतिनिधित्व नहीं करते।

मुख्य अंतर का सार

सारांशित अंतर नीचे तालिकाबद्ध किए जा सकते हैं:

विंसोराइज़्ड मीन बनाम ट्रिम्ड मीन के बीच मुख्य अंतर। चित्र: लेखक द्वारा।

विंसोराइज़्ड और ट्रिम्ड मीन दोनों आउटलायर से निपटने में मदद करते हैं, लेकिन चुनाव इस पर निर्भर करता है कि आप डेटासेट से चरम मूल्यों को बनाए रखना चाहते हैं या हटाना।

विंसोराइज़्ड मीन के लाभ और कमियाँ

हालाँकि विंसोराइज़ेशन आउटलायर को संभालने का एक सुदृढ़ तरीका है, अत्यधिक मूल्यों में संशोधन डेटा हेरफेर को लेकर चिंताएँ पैदा कर सकता है। यहाँ इस तकनीक के कुछ लाभ और कमियाँ दी गई हैं:

लाभ

• आउटलायर की उपस्थिति में मानक मीन से अधिक सुदृढ़: विंसोराइज़्ड मीन अत्यधिक मूल्यों (आउटलायर) के प्रभाव को घटाता है, जिससे ऐसे डेटासेट में केंद्रीय प्रवृत्ति अधिक स्थिर और विश्वसनीय मिलती है जहाँ आउटलायर परिणाम को विकृत कर सकते हैं।
• सभी डेटा बिंदुओं को रखते हुए डेटासेट की समग्र संरचना बनाए रखता है: ट्रिम्ड मीन के विपरीत, जो अत्यधिक मूल्यों को हटा देता है, विंसोराइज़्ड मीन उन्हें कम चरम मूल्यों से प्रतिस्थापित करता है, जिससे सैंपल आकार और डेटासेट की समग्र संरचना बनी रहती है।
• छोटे डेटासेट के लिए अधिक उपयुक्त: ऐसे डेटासेट में जहाँ डेटा बिंदु हटाने (ट्रिमिंग) से नमूना अप्रतिनिधिक या अधूरा हो जाएगा, विंसोराइज़ेशन सभी मानों को सुरक्षित रखता है और डेटासेट को उपयोगी बनाए रखता है।

कमियाँ

• यदि अंतर्निहित डेटा वितरण असममित है तो पूर्वाग्रह ला सकता है: दोनों सिरों से निश्चित परसेंटाइल (जैसे 5%) के आधार पर विंसोराइज़ करना, यदि डेटासेट सममित रूप से वितरित नहीं है, तो पूर्वाग्रह पैदा कर सकता है। यदि डेटा तिरछा है, तो विंसोराइज़ेशन केंद्रीय प्रवृत्ति को सही रूप से दर्शाने के बजाय उसे विकृत कर सकता है।
• विंसोराइज़ेशन प्रतिशत का सावधानीपूर्वक चयन आवश्यक: विंसोराइज़ किए जाने वाले डेटा का प्रतिशत (यानी बदले जाने वाले चरम मूल्यों का अनुपात) अक्सर मनमाना चुना जाता है। अनुचित प्रतिशत चुनने पर या तो आउटलायर के प्रभाव को पर्याप्त रूप से कम नहीं किया जा सकेगा, या बहुत सारे मान बदल दिए जाएँगे, जिससे डेटासेट की प्रतिनिधित्व क्षमता घट सकती है।
• अधिक विंसोराइज़ेशन महत्वपूर्ण पैटर्न को धुंधला कर सकता है: बहुत अधिक डेटा बिंदुओं में संशोधन करने से डेटा में निहित अर्थपूर्ण पैटर्न या रुझान छिप सकते हैं। कुछ मामलों में, अत्यधिक मूल्य वैध और महत्वपूर्ण जानकारी का प्रतिनिधित्व करते हैं (उदा., वित्तीय डेटा में, जहाँ आउटलायर दुर्लभ पर प्रभावशाली घटनाओं का संकेत दे सकते हैं) और उन्हें प्रतिस्थापित करना भ्रामक निष्कर्षों तक ले जा सकता है।

इसलिए, अपने डेटा विश्लेषण प्रोजेक्ट्स में इस तकनीक को शामिल करने से पहले इसके पक्ष-विपक्ष पर विचार करना महत्वपूर्ण है।

अन्य विंसोराइज़्ड सांख्यिकीय अवधारणाएँ

क्योंकि विंसोराइज़ेशन किसी माप पर लागू की जाने वाली एक सांख्यिकीय तकनीक है, इसे अन्य सामान्य सांख्यिकीय मापों तक बढ़ाया जा सकता है। आइए कुछ अन्य मापों का अन्वेषण करें जिन पर विंसोराइज़ेशन लागू किया जा सकता है:

• विंसोराइज़्ड सैंपल डिविएशन: मानक विचलन का विंसोराइज़्ड रूप, अत्यधिक मूल्यों को प्रतिस्थापित करके विंसोराइज़्ड डेटासेट के प्रसार को मापता है। इसे विंसोराइज़्ड वैरिएंस के वर्गमूल के रूप में गणना किया जाता है।
• विंसोराइज़्ड वैरिएंस: वैरिएंस का विंसोराइज़्ड समकक्ष, आउटलायर के प्रभाव को घटाते हुए यह मापता है कि डेटा बिंदु विंसोराइज़्ड मीन से कितना विचलित होते हैं। इसे विंसोराइज़्ड डेटासेट में विंसोराइज़्ड मीन से औसत वर्ग विचलन के रूप में गणना किया जाता है।
• विंसोराइज़्ड रेंज: विंसोराइज़्ड डेटासेट में अधिकतम और न्यूनतम मूल्यों के बीच का अंतर, जो आउटलायर के प्रतिस्थापन के कारण मूल रेंज से छोटा होता है।
• विंसोराइज़्ड स्क्यूनेस: विंसोराइज़्ड डेटासेट के वितरण की असममिति को मापता है, यह दर्शाते हुए कि विंसोराइज़ेशन के बाद वितरण बाएँ या दाएँ तिरछा है। यह उन डेटासेट में स्क्यूनेस पहचानने में मदद करता है जहाँ अत्यधिक मूल्य मानक स्क्यूनेस गणना को विकृत कर सकते हैं।
• विंसोराइज़्ड सहसंबंध: पियरसन के सहसंबंध का विंसोराइज़्ड संस्करण, दो चर के बीच रैखिक संबंध का आकलन करता है, दोनों डेटासेट में आउटलायर के प्रभाव को घटाते हुए।

इन प्रत्येक विंसोराइज़्ड मापों से, गैर-सामान्य डेटा या चरम मूल्यों वाले डेटासेट पर काम करते समय, विश्लेषण पर आउटलायर के प्रभाव को घटाने में मदद मिलती है।

निष्कर्ष

इस ट्यूटोरियल में आउटलायर से निपटने के लिए एक सांख्यिकीय माप—विंसोराइज़्ड मीन—का परिचय कराया गया। हमने विंसोराइज़ेशन की अवधारणा, इसके व्यावहारिक उपयोग, और एक नमूना डेटासेट पर हाथों-हाथ कार्यान्वयन सीखा। आगे, ट्यूटोरियल में ट्रिम्ड मीन, उसका कार्यान्वयन, और वह विंसोराइज़्ड मीन से कैसे भिन्न है, यह शामिल था। इसमें विंसोराइज़ेशन पर आधारित अन्य सांख्यिकीय अवधारणाएँ, तथा इसके फायदे और कमियाँ भी देखीं। 

जैसा कि हमने देखा, विंसोराइज़्ड मीन आउटलायर को हटाने और बनाए रखने के बीच संतुलन बनाता है, जिससे तिरछे डेटासेट में अधिक विश्वसनीय परिणाम मिलते हैं। हम आपको अपने डेटा विश्लेषण प्रोजेक्ट्स में इस तकनीक का उपयोग करने और विशिष्ट डेटासेट के लिए उपयुक्त स्तर खोजने हेतु विभिन्न विंसोराइज़ेशन स्तरों के साथ प्रयोग करने के लिए प्रोत्साहित करते हैं।

हमारा Intermediate Predictive Analytics in Python पाठ्यक्रम देखें ताकि आप Python का उपयोग करके डेटासेट में आउटलायर को संभालने के बारे में, जिसमें विंसोराइज़ेशन भी शामिल है, और अधिक सीख सकें। आप हमारा Machine Learning Scientist with Python करियर ट्रैक भी देख सकते हैं, जो वास्तविक मॉडल बनाकर अभ्यास करने का एक शानदार तरीका है।