Anomaly Detection का व्यापक परिचय

हर कोई अलग दिखना पसंद करता है। लेकिन डेटा वैज्ञानिक के रूप में आप अपने डेटा बिंदुओं में यह गुण नहीं चाहते। किसी डेटासेट में अलग-थलग पड़े डेटा बिंदु या विसंगतियाँ (anomalies) लगभग हर डेटा प्रोजेक्ट को प्रभावित करने वाली सबसे खतरनाक डेटा गुणवत्ता समस्याओं में से एक हैं।

यदि आप अब तक केवल तराशे हुए ओपन-सोर्स डेटासेट्स पर काम करते आए हैं, जिनमें अक्सर outliers नहीं होते, तो पिछला वाक्य आपको चौंका सकता है। हालाँकि, वास्तविक दुनिया के डेटासेट्स में सामान्य नमूनों से कुछ न कुछ विचलन हमेशा होता है। इन्हें पहचानना और सही तरीके से संभालना आपका काम है।

इस लेख में, आप इस प्रक्रिया के मूल विचार सीखेंगे, जिसे अक्सर anomaly detection कहा जाता है:

1. आपके प्रोजेक्ट पर anomalies के हानिकारक प्रभाव।
2. anomalies का पता लगाने का महत्व।
3. anomaly detection के वास्तविक-जीवन अनुप्रयोग।
4. anomalies, outliers और novelties के बीच का अंतर।
5. anomalies के प्रकार और anomaly detection की विधियाँ।
6. Python में anomaly detection एल्गोरिदम कैसे बनाएँ।
7. anomaly detection की चुनौतियों से कैसे निपटें।

अंत तक, आप anomaly detection की बुनियाद में निपुण हो जाएँगे और अपने प्रोजेक्ट्स में outliers के विघटनकारी प्रभाव को कम करने का आत्मविश्वास पाएँगे।

Anomaly Detection क्या है?

Anomaly detection, जिसे कभी-कभी outlier detection भी कहा जाता है, किसी डेटासेट में ऐसे पैटर्न या उदाहरण ढूँढने की प्रक्रिया है जो अपेक्षित या “सामान्य व्यवहार” से काफी भिन्न हों।

“सामान्य” और असामान्य डेटा की परिभाषा संदर्भ पर निर्भर होकर काफी बदलती है। नीचे anomaly detection के कुछ उदाहरण दिए गए हैं।

1. वित्तीय लेन-देन

सामान्य: लंदन में किसी व्यक्ति की नियमित खरीदारी और सुसंगत खर्च।

Outlier: उसी खाते से आयरलैंड में भारी निकासी, जो संभावित धोखाधड़ी का संकेत देती है।

2. साइबरसुरक्षा में नेटवर्क ट्रैफ़िक

सामान्य: नियमित संचार, स्थिर डेटा ट्रांसफर, और प्रोटोकॉल का पालन।

Outlier: डेटा ट्रांसफर में अचानक वृद्धि या अज्ञात प्रोटोकॉल का उपयोग, जो संभावित उल्लंघन या मैलवेयर का संकेत है।

3. रोगियों के जीवन संकेतों की निगरानी

सामान्य: स्थिर हार्ट रेट और सुसंगत ब्लड प्रेशर

Outlier: हार्ट रेट में अचानक वृद्धि और ब्लड प्रेशर में कमी, जो संभावित आपातस्थिति या उपकरण विफलता को दर्शाती है।

Anomaly detection में असUPERVISED (बिना लेबल) तरीकों के कई प्रकार शामिल हैं जो अलग-थलग नमूनों की पहचान करते हैं। डेटा विशेषज्ञ anomaly के प्रकार, संदर्भ, संरचना और उपलब्ध डेटासेट की विशेषताओं के आधार पर तरीकों का चुनाव करते हैं। हम इन्हें आगे के अनुभागों में कवर करेंगे।

Anomaly Detection के वास्तविक-जीवन उपयोग

ऊपर कुछ उदाहरण देखने के बावजूद, आइए वित्त क्षेत्र में anomaly detection कैसे काम करता है, इसकी एक वास्तविक कहानी देखें।

शैक ओ’नील, चार बार के NBA विजेता, Miami Heat से Phoenix Suns में ट्रेड होते हैं। Phoenix Suns द्वारा दिए गए खाली अपार्टमेंट में पहुँचकर वे आधी रात को ही उसे सुसज्जित करना चाहते हैं। वे Walmart जाते हैं और $70,000 की खरीदारी कर Walmart के इतिहास की सबसे बड़ी खरीद करते हैं। या कम से कम, करने की कोशिश करते हैं; उनका कार्ड अस्वीकृत हो जाता है।

वे सोचते हैं कि समस्या क्या हो सकती है (वे कंगाल तो नहीं हैं!) रात 2 बजे American Express सुरक्षा उन्हें कॉल करती है और बताती है कि उनके कार्ड को चोरी का संदेह हुआ क्योंकि कोई Phoenix के Walmart में $70,000 की खरीदारी करने की कोशिश कर रहा था (पूरी कहानी सुनने के लिए यह प्रसंग देखें)।

वित्त और धोखाधड़ी पहचान से परे anomaly detection के अनेक वास्तविक-जीवन उपयोग हैं:

• साइबरसुरक्षा
• स्वास्थ्य सेवा
• औद्योगिक उपकरणों की निगरानी
• नेटवर्क घुसपैठ पहचान
• ऊर्जा ग्रिड मॉनिटरिंग
• ई-कॉमर्स और उपयोगकर्ता व्यवहार विश्लेषण
• निर्माण में गुणवत्ता नियंत्रण

Anomaly detection हमारी रोज़मर्रा की सेवाओं में गहराई से गुंथा हुआ है और अक्सर हमें इसका अहसास भी नहीं होता।

डेटा विज्ञान में Anomaly Detection का महत्व

डेटा विज्ञान में डेटा सबसे मूल्यवान संसाधन है, और anomalies उसकी गुणवत्ता के लिए सबसे विघटनकारी खतरा। खराब डेटा गुणवत्ता का अर्थ है खराब:

• सांख्यिकीय परीक्षण
• डैशबोर्ड
• मशीन लर्निंग मॉडल
• निर्णय

और अंततः, सूचित निर्णय लेने की नींव पर समझौता।

Anomalies नकली पैटर्न जोड़कर सांख्यिकीय विश्लेषण को विकृत कर देती हैं, जिससे गलत निष्कर्ष और अविश्वसनीय भविष्यवाणियाँ होती हैं। चूँकि वे अक्सर डेटासेट में चरम मान होते हैं, anomalies वितरण की दो सबसे महत्वपूर्ण विशेषताओं—मीन और स्टैण्डर्ड डिविएशन—को तिरछा कर देती हैं।

लगभग सभी मशीन लर्निंग मॉडलों का आंतरिक कामकाज इन दो मीट्रिक्स पर भारी निर्भर करता है, इसलिए anomalies का समय रहते पता लगना अत्यंत आवश्यक है।

Anomalies के प्रकार

Anomaly detection दो व्यापक प्रथाओं को समेटता है: outlier detection और novelty detection।

Outliers वे असामान्य या चरम डेटा बिंदु हैं जो केवल training डेटा में मौजूद होते हैं। इसके विपरीत, novelties मूल (training) डेटा की तुलना में नए या पहले न देखे गए उदाहरण होते हैं।

उदाहरण के लिए, किसी शहर के दैनिक तापमान का डेटासेट लें। अधिकांश दिनों में तापमान 20°C से 30°C के बीच रहता है। हालाँकि, एक दिन 40°C तक उछाल आता है। यह चरम तापमान एक outlier है क्योंकि यह सामान्य दैनिक सीमा से काफी भिन्न है।

अब मान लीजिए कि शहर में एक नया, अधिक सटीक मौसम निगरानी स्टेशन लगाया जाता है। परिणामस्वरूप, डेटासेट लगातार थोड़ा अधिक तापमान दर्ज करने लगता है, जो 25°C से 35°C के बीच रहता है। तापमानों में यह निरंतर वृद्धि एक novelty है, जिसे उन्नत निगरानी प्रणाली द्वारा प्रस्तुत नए पैटर्न के रूप में देखा जा सकता है।

वहीं anomalies एक व्यापक शब्द है जो outliers और novelties—दोनों—को समाहित करता है। यह किसी भी संदर्भ में किसी भी असामान्य उदाहरण को परिभाषित कर सकता है।

Anomalies के प्रकार की पहचान करना महत्वपूर्ण है, क्योंकि इससे उन्हें पहचानने के लिए सही एल्गोरिदम चुनना संभव होता है।

Outliers के प्रकार

जैसे anomalies के दो प्रकार हैं, वैसे ही outliers के भी दो प्रकार हैं: univariate और multivariate। प्रकार के अनुसार, हम अलग-अलग detection एल्गोरिदम का उपयोग करेंगे।

1. Univariate outliers एक ही चर या फ़ीचर में, अलग-थलग मौजूद होते हैं। ये उस विशेष फ़ीचर की सामान्य सीमा से विचलित चरम या असामान्य मान होते हैं।
2. Multivariate outliers एक साथ कई चरों के मानों के संयोजन से पहचाने जाते हैं।

उदाहरण के लिए, किसी मोहल्ले के हाउसिंग प्राइस का डेटासेट लें। अधिकांश घरों की कीमत $200,000 से $400,000 के बीच है, लेकिन House A की कीमत असाधारण रूप से $1,000,000 है। केवल कीमत देखने पर House A स्पष्ट outlier है।

अब, अपने डेटासेट में दो और चर जोड़ते हैं: क्षेत्रफल (square footage) और बेडरूम की संख्या। जब हम क्षेत्रफल, बेडरूम की संख्या और कीमत को साथ देखते हैं, तो House B अजीब लगता है:

• इसका क्षेत्रफल औसत घर के मुकाबले आधा है।
• इसमें केवल एक बेडरूम है।
• फिर भी इसकी कीमत रेंज के शीर्ष पर $380,000 है।

इन चरों को अलग-अलग देखें तो ये साधारण लगते हैं। केवल इन्हें साथ रखने पर पता चलता है कि House B एक स्पष्ट multivariate outlier है।

Anomaly Detection की विधियाँ और किसे कब उपयोग करें

Anomaly detection एल्गोरिदम outliers के प्रकार और डेटासेट की संरचना के अनुसार भिन्न होते हैं।

Univariate outlier detection के लिए सबसे लोकप्रिय विधियाँ हैं:

1. Z-score (standard score): z-score मापता है कि कोई डेटा बिंदु मीन से कितने standard deviations दूर है। सामान्यतः, z-score 3 से अधिक वाले उदाहरण outliers माने जाते हैं।
2. Interquartile range (IQR): IQR किसी वितरण के प्रथम क्वार्टाइल (Q1) और तृतीय क्वार्टाइल (Q3) के बीच की रेंज है। जब कोई उदाहरण Q1 या Q3 से IQR के किसी गुणक से परे हो, तो उसे outlier माना जाता है। सबसे सामान्य गुणक 1.5 है, जिससे outlier रेंज [Q1–1.5 * IQR, Q3 + 1.5 * IQR] बनती है।
3. Modified z-scores: z-scores के समान, लेकिन modified z-scores outliers खोजने के लिए median और Median Absolute Deviation (MAD) का उपयोग करते हैं। चूँकि मीन और स्टैण्डर्ड डिविएशन outliers से आसानी से तिरछे हो जाते हैं, modified z-scores आमतौर पर अधिक robust माने जाते हैं।

Multivariate outliers के लिए, हम सामान्यतः मशीन लर्निंग एल्गोरिदम का उपयोग करते हैं। अपनी गहराई और क्षमता के कारण वे जटिल डेटासेट्स में जटिल पैटर्न्स खोजने में सक्षम होते हैं:

1. Isolation Forest: आइसोलेशन ट्रीज़ (decision trees जैसे) के संग्रह का उपयोग करता है, जो जटिल डेटासेट्स को पुनरावृत्त रूप से विभाजित करते हैं जब तक कि प्रत्येक उदाहरण अलग-थलग न हो जाए। जो उदाहरण सबसे जल्दी अलग-थलग हो जाते हैं, उन्हें outliers माना जाता है।
2. Local Outlier Factor (LOF): LOF किसी नमूने की स्थानीय सघनता (density) का अपने पड़ोसियों की तुलना में विचलन मापता है। जिन बिंदुओं की घनत्व काफी कम होती है, उन्हें outliers चुना जाता है।
3. Clustering तकनीकें: k-means या hierarchical clustering जैसी तकनीकें डेटासेट को समूहों में बाँटती हैं। जो बिंदु किसी समूह में फिट नहीं होते या अपने छोटे-से क्लस्टर में होते हैं, वे outliers माने जाते हैं।
4. Angle-based Outlier Detection (ABOD): ABOD व्यक्तिगत बिंदुओं के बीच कोणों को मापता है। असामान्य कोणों वाले उदाहरण outliers हो सकते हैं।

Anomalies के प्रकार के अलावा, आपको डेटासेट की विशेषताओं और प्रोजेक्ट की बाधाओं पर भी विचार करना चाहिए। उदाहरण के लिए, Isolation Forest लगभग हर डेटासेट पर अच्छा काम करता है, लेकिन एक ensemble विधि होने के कारण यह धीमा और computation-भारी होता है। तुलना में, LOF का training बहुत तेज़ है, लेकिन यह Isolation Forest जितना अच्छा प्रदर्शन नहीं कर सकता।

आप 55 डेटासेट्स पर सबसे आम Anomaly Detection एल्गोरिदम की तुलना Python Outlier Detection (PyOD) पैकेज पर देख सकते हैं।

Python में Anomaly Detection मॉडल बनाना

लगभग हर कार्य की तरह, Python में anomaly detection करने के लिए कई लाइब्रेरियाँ उपलब्ध हैं। सर्वश्रेष्ठ विकल्प हैं:

• Python Outlier Detection (PyOD)
• Scikit-learn

जहाँ scikit-learn पाँच क्लासिक मशीन लर्निंग एल्गोरिदम प्रदान करता है (जिन्हें आप univariate और multivariate outliers—दोनों—के लिए उपयोग कर सकते हैं), PyOD में 30 से अधिक एल्गोरिदम शामिल हैं—सरल MAD से लेकर जटिल डीप लर्निंग मॉडलों तक। आप कस्टम मॉडलों के लिए TensorFlow या PyTorch का भी उपयोग कर सकते हैं, लेकिन वे इस लेख के दायरे से बाहर हैं।

Univariate anomaly detection

मैं pyod को उसके समृद्ध एल्गोरिदम संग्रह और sklearn के अनुरूप API के लिए प्राथमिकता देता हूँ। PyOD का उपयोग करके किसी डेटासेट से outliers ढूँढने और निकालने में कुछ ही पंक्तियाँ लगती हैं। यहाँ univariate डेटासेट पर MAD उपयोग करने का एक उदाहरण है:

import pandas as pd
import seaborn as sns
from pyod.models.mad import MAD

# Load a sample dataset
diamonds = sns.load_dataset("diamonds")
# Extract the feature we want
X = diamonds[["price"]]

# Initialize and fit a model
mad = MAD().fit(X)

# Extract the outlier labels
labels = mad.labels_

>>> pd.Series(labels).value_counts()
0    49708
1     4232
Name: count, dtype: int64संचालित द्वारा

आइए कोड को पंक्ति-दर-पंक्ति समझें। पहले, हम डेटा हेरफेर, डेटासेट लोड करने और outlier detection मॉडल के लिए pyod सहित आवश्यक लाइब्रेरियाँ लोड करते हैं। फिर, Seaborn में अंतर्निर्मित Diamonds डेटासेट लोड करने के बाद, हम डायमंड की कीमतें निकालते हैं।

इसके बाद, हम एक पंक्ति में Median Absolute Deviation (MAD) मॉडल को X पर आरंभ और फिट करते हैं। फिर, mad के labels_ एट्रिब्यूट का उपयोग करके inlier और outlier लेबल्स को labels में निकालते हैं।

अंत में labels के value counts प्रिंट करने पर, हम देखते हैं कि 49708 प्रविष्टियाँ श्रेणी 0 (inliers) में और 4232 प्रविष्टियाँ 1 (outliers) में हैं। यदि हम मूल डेटासेट से outliers हटाना चाहें, तो diamonds पर pandas subsetting का उपयोग कर सकते हैं:

outlier_free = diamonds[labels == 0]

>>> len(outlier_free)
49708संचालित द्वारा

labels == 0 True/False मानों का एक बूलियन एरे बनाता है, जहाँ True inlier को दर्शाता है।

Multivariate anomaly detection

Multivariate anomaly detection मॉडल बनाने की प्रक्रिया भी समान है। लेकिन यदि श्रेणीबद्ध (categorical) फ़ीचर्स मौजूद हों तो अतिरिक्त प्रोसेसिंग कदमों की आवश्यकता होती है:

>>> diamonds.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 53940 entries, 0 to 53939
Data columns (total 10 columns):
#   Column   Non-Null Count  Dtype  
---  ------   --------------  -----  
0   carat    53940 non-null  float64
1   cut      53940 non-null  category
2   color    53940 non-null  category
3   clarity  53940 non-null  category
4   depth    53940 non-null  float64
5   table    53940 non-null  float64
6   price    53940 non-null  int64  
7   x        53940 non-null  float64
8   y        53940 non-null  float64
9   z        53940 non-null  float64
dtypes: category(3), float64(6), int64(1)
memory usage: 3.0 MBसंचालित द्वारा

चूँकि pyod सभी फ़ीचर्स को संख्यात्मक (numeric) अपेक्षित करता है, हमें श्रेणीबद्ध चरों को एन्कोड करना होगा। इसके लिए हम Sklearn का उपयोग करेंगे:

from sklearn.preprocessing import OrdinalEncoder

# Initialize the encoder
oe = OrdinalEncoder()

# Extract the categorical feature names
cats = diamonds.select_dtypes(include="category").columns.tolist()

# Encode the categorical features
cats_encoded = oe.fit_transform(diamonds[cats])

# Replace the old values with encoded values
diamonds.loc[:, cats] = cats_encoded

>>> diamonds.head()संचालित द्वारा

आइए कोड को फिर पंक्ति-दर-पंक्ति देखें। सबसे पहले, हम OrdinalEncoder क्लास आयात करते हैं जो ordinal श्रेणीबद्ध फ़ीचर्स को एन्कोड करता है और इसे आरंभ करते हैं। Ordinal फ़ीचर्स वे चर होते हैं जिनकी श्रेणियाँ स्वाभाविक, क्रमबद्ध होती हैं—जैसे डायमंड गुणवत्ता माप। cut और clarity ordinal हैं, जबकि color नहीं है। लेकिन बात को सरल रखने के लिए, हम अभी इसे ordinal मान लेंगे।

फिर, हम Pandas DataFrame की select_dtypes विधि से श्रेणीबद्ध फ़ीचर्स के नाम निकालते हैं। कॉलम नामों को सूची में पाने के लिए हम .columns और .tolist() को चेन करते हैं और इसे cats नामक सूची में रखते हैं।

इसके बाद, हम इसी सूची का उपयोग कर oe से इच्छित फ़ीचर्स को ट्रांसफॉर्म करते हैं। अंत में, Pandas के एक बढ़िया तरीके .loc से पुराने टेक्स्ट मानों को संख्यात्मक मानों से बदल देते हैं।

Multivariate मॉडल फिट करने से पहले, हम फ़ीचर एरे X निकालेंगे। diamonds डेटासेट का उद्देश्य उसकी विशेषताओं के आधार पर डायमंड कीमत का पूर्वानुमान लगाना है। इसलिए, X में price को छोड़कर सभी कॉलम होंगे:

X = diamonds.drop("price", axis=1)
y = diamonds[["price"]]
Now, let’s build and fit the model:
from pyod.models.iforest import IForest

# Create a model with 10000 trees
iforest = IForest(n_estimators=10000)
iforest.fit(X)  # This will take a minute

# Extract the labels
labels = iforest.labels_संचालित द्वारा

जितने अधिक पेड़ IForest एस्टिमेटर में होंगे, मॉडल को डेटासेट पर फिट करने में उतना ही अधिक समय लगेगा।

लेबल मिलने के बाद, हम मूल डेटा से outliers हटा सकते हैं:

X_outlier_free = X[labels == 0]
y_outlier_free = X[labels == 0]

>>> len(X_outlier_free)
48546

>>> # The length of the original dataset
>>> len(diamonds)
53940संचालित द्वारा

मॉडल ने 5000 से अधिक outliers ढूँढे!

Anomaly Detection में चुनौतियाँ

अपने अनसुपरवाइज़्ड स्वभाव के कारण anomaly detection अन्य मशीन लर्निंग कार्यों से बड़ी चुनौतियाँ पेश कर सकता है। हालाँकि, इन चुनौतियों में से अधिकांश को विभिन्न तरीकों से कम किया जा सकता है (संसाधनों के लिए अगले खंड को देखें)।

Outlier detection में, हमें ये दो प्रश्न पूछने होते हैं:

• क्या मिले हुए outliers वास्तव में outliers हैं?
• क्या मॉडल ने डेटा में मौजूद सभी outliers ढूँढ लिए हैं?

सुपरवाइज़्ड लर्निंग में, हम टेस्ट डेटा पर मॉडल की भविष्यवाणियों को वास्तविक लेबल्स से मिलाकर उसके प्रदर्शन की जाँच आसानी से कर सकते हैं। लेकिन outlier detection में ऐसा नहीं कर सकते, क्योंकि यहाँ तैयार लेबल्स उपलब्ध नहीं होते जो बताएं कि कौन से नमूने inliers हैं और कौन से outliers।

इसलिए, डायमंड्स डेटासेट से मिले +5000 outliers में से कुछ या अधिकांश वास्तव में outliers न भी हों! इसे निश्चित रूप से जानने का कोई तरीका नहीं है। मॉडल ने कुछ inliers को outliers लेबल कर दिया हो सकता है, जबकि कुछ वास्तविक outliers छूट गए हों।

डेटासेट में contamination level (outliers का प्रतिशत) न जानने की समस्या anomaly detection में सबसे बड़ी है। इसकी वजह से हम outlier classifiers के प्रदर्शन को विश्वसनीय रूप से माप नहीं सकते, न ही उनके परिणामों का पक्का सत्यापन कर सकते हैं।

इसी कारण, pyod के सभी एस्टिमेटर्स में contamination नाम का एक पैरामीटर होता है, जिसकी डिफॉल्ट वैल्यू 0.1 है। एक मशीन लर्निंग इंजीनियर के रूप में, आपको इस पैरामीटर को स्वयं ट्यून करना होगा।

बेशक, कभी-कभी विकल्प मौजूद होते हैं। उदाहरण के लिए, Sklearn का IsolationForest मॉडल आंतरिक रूप से contamination स्तर स्वतः खोजने का एल्गोरिदम रखता है। लेकिन IsolationForest सभी outlier detection समस्याओं का रामबाण नहीं है।

Anomaly detection में एक और मुद्दा डेटा असंतुलन है। Anomalies सामान्य उदाहरणों की तुलना में अक्सर दुर्लभ होती हैं, जिससे डेटासेट असंतुलित हो जाते हैं। यह असंतुलन वास्तविक anomalies और बहुसंख्यक वर्ग के भीतर की अनियमितताओं के बीच अंतर करने में कठिनाई पैदा कर सकता है।

इन मुद्दों (और उन कई बातों) से निपटना, जिन्हें हमने यहाँ कवर नहीं किया, उपयुक्त एल्गोरिदम चुनने, हाइपरपैरामीटर ट्यूनिंग, फ़ीचर चयन, वर्ग असंतुलन को संभालने आदि को शामिल करता है।

सारांश और अगले कदम

हमने anomaly detection की दिलचस्प दुनिया से आपका (शायद) पहला परिचय पूरा किया। इस ट्यूटोरियल में शामिल बुनियादी अवधारणाएँ और कौशल, anomaly detection को आगे और गहराई से खोजने में काफी मदद करेंगे।

अपनी समझ को गहरा करने के लिए, आगे ये संसाधन देखें:

• DataCamp का Anomaly Detection in Python कोर्स: इस लेख में चर्चा की गई विधियों और तकनीकों को और गहराई से कवर करता है और अंतिम खंड में बताई गई समस्याओं से निपटने के तरीकों पर चर्चा करता है।
• DataCamp का Anomaly Detection in R कोर्स: उनके लिए जो पुराने, भरोसेमंद R को पसंद करते हैं