Python में Association Rule Mining ट्यूटोरियल

Association rule mining एक तकनीक है जिसका उपयोग बड़े डेटासेट्स में चरों के बीच छिपे संबंधों को उजागर करने के लिए किया जाता है। यह डेटा माइनिंग और मशीन लर्निंग में एक लोकप्रिय तरीका है और मार्केट बास्केट विश्लेषण, ग्राहक विभाजन, और धोखाधड़ी का पता लगाने जैसे कई क्षेत्रों में व्यापक रूप से उपयोग होता है।

इस लेख में, हम Python में association rule mining का अन्वेषण करेंगे, जिसमें इसके उपयोग के मामले, एल्गोरिदम, और कार्यान्वयन शामिल हैं। हम association rule mining और उसके अनुप्रयोगों का संक्षिप्त अवलोकन करके शुरू करेंगे, फिर एल्गोरिदम और उनके Python में कार्यान्वयन के विवरण में जाएँगे। अंत में, हम इस लेख में कवर किए गए प्रमुख बिंदुओं का सारांश प्रस्तुत करेंगे।

Association Rule Mining क्या है?

Association rule mining बड़े डेटा सेट्स में पैटर्न की पहचान करने की तकनीक है। इसमें डेटा में मौजूद चरों के बीच संबंधों को खोजना और उन संबंधों का उपयोग भविष्यवाणी या निर्णय लेने के लिए करना शामिल है। Association rule mining का लक्ष्य ऐसे नियमों को उजागर करना है जो डेटा सेट में विभिन्न आइटम्स के बीच के संबंधों का वर्णन करते हैं।

उदाहरण के लिए, किसी किराना स्टोर के लेन-देन के डेटासेट पर विचार करें। Association rule mining का उपयोग उन आइटम्स के बीच संबंधों की पहचान करने के लिए किया जा सकता है जो अक्सर एक साथ खरीदे जाते हैं। जैसे, नियम "यदि कोई ग्राहक ब्रेड खरीदता है, तो उसके दूध खरीदने की भी संभावना है" इस डेटा सेट से निकाला जा सकने वाला एक association rule है। ऐसे नियम स्टोर के लेआउट, उत्पाद प्लेसमेंट, और मार्केटिंग प्रयासों से जुड़े निर्णयों को सूचित कर सकते हैं।

Association rule mining आमतौर पर एल्गोरिदम का उपयोग कर डेटा का विश्लेषण करने और संबंधों की पहचान करने में शामिल होता है। ये एल्गोरिदम सांख्यिकीय तरीकों या मशीन लर्निंग तकनीकों पर आधारित हो सकते हैं। प्राप्त नियम अक्सर "यदि-तो" कथनों के रूप में व्यक्त किए जाते हैं, जहाँ "यदि" भाग पूर्ववर्ती (जांच की जा रही शर्त) का प्रतिनिधित्व करता है और "तो" भाग परिणामी (वह परिणाम जो शर्त पूरी होने पर होता है) का।

Association rule mining डेटा विश्लेषण में इसलिए महत्वपूर्ण है क्योंकि यह उपयोगकर्ताओं को डेटा के भीतर ऐसे पैटर्न या संबंध खोजने देता है जो तुरंत स्पष्ट नहीं होते। चरों के बीच संघों की पहचान करके, association rule mining उपयोगकर्ताओं को विभिन्न चरों के बीच संबंधों और उनके पारस्परिक संबंधों को समझने में मदद कर सकता है। 

यह कई उद्देश्यों के लिए उपयोगी हो सकता है, जैसे मार्केट रुझानों की पहचान करना, धोखाधड़ी गतिविधि का पता लगाना, या ग्राहक व्यवहार को समझना। Association rule mining अन्य प्रकार के डेटा विश्लेषण, जैसे परिणामों का पूर्वानुमान लगाना या कुछ घटनाओं के प्रमुख कारकों की पहचान करना, के लिए एक आधार के रूप में भी काम कर सकता है। कुल मिलाकर, association rule mining अंतर्दृष्टि निकालने और डेटा की अंतर्निहित संरचना को समझने के लिए एक मूल्यवान उपकरण है।

Association Rule Mining के उपयोग के मामले:

Association rule mining का उपयोग कई अनुप्रयोगों में आम है, जिनमें से कुछ सामान्य हैं:

मार्केट बास्केट विश्लेषण

Association rule mining का सबसे प्रसिद्ध अनुप्रयोगों में से एक मार्केट बास्केट विश्लेषण है। इसमें ग्राहकों द्वारा साथ में खरीदे गए आइटम्स का विश्लेषण शामिल है ताकि उनकी खरीदारी आदतों और प्राथमिकताओं को समझा जा सके। 

उदाहरण के लिए, एक रिटेलर association rule mining का उपयोग कर यह खोज सकता है कि जो ग्राहक डायपर खरीदते हैं वे बेबी फॉर्मूला खरीदने की भी संभावना रखते हैं। इस जानकारी का उपयोग बिक्री बढ़ाने के लिए उत्पाद प्लेसमेंट और प्रोमोशंस को अनुकूलित करने में किया जा सकता है। 

मार्केट बास्केट विश्लेषण के बारे में और जानने के लिए हमारा Market Basket Analysis in R ट्यूटोरियल देखें।

ग्राहक विभाजन

Association rule mining का उपयोग ग्राहकों को उनकी खरीदारी आदतों के आधार पर विभाजित करने के लिए भी किया जा सकता है। 

उदाहरण के लिए, कोई कंपनी association rule mining से यह पता लगा सकती है कि जो ग्राहक कुछ प्रकार के उत्पाद खरीदते हैं, वे अपेक्षाकृत अधिक युवा होते हैं। इसी तरह, वे यह भी जान सकते हैं कि जो ग्राहक कुछ विशेष उत्पाद संयोजन खरीदते हैं, वे विशिष्ट भौगोलिक क्षेत्रों में अधिक पाए जाते हैं। 

इस जानकारी का उपयोग विशिष्ट ग्राहक सेगमेंट्स के लिए मार्केटिंग अभियानों और व्यक्तिगत अनुशंसाओं को अनुकूलित करने में किया जा सकता है। इस विषय पर अधिक जानने के लिए हमारा Python में ग्राहक विभाजन का परिचय ट्यूटोरियल देखें। 

धोखाधड़ी का पता लगाना

Association rule mining का उपयोग धोखाधड़ी वाली गतिविधियों का पता लगाने के लिए भी किया जा सकता है। उदाहरण के लिए, एक क्रेडिट कार्ड कंपनी कम समय में एक ही व्यापारी से कई खरीद जैसी धोखाधड़ी लेन-देन के पैटर्न पहचानने के लिए association rule mining का उपयोग कर सकती है। 

इसके बाद इस जानकारी का उपयोग संभावित धोखाधड़ी गतिविधि को फ़्लैग करने और ग्राहकों की सुरक्षा के लिए निवारक कदम उठाने में किया जा सकता है। हमारे Data Sciece in Banking: Fraud Detection ब्लॉग में आप जान सकते हैं कि यह प्रक्रिया कैसे काम करती है। 

सोशल नेटवर्क विश्लेषण

कई कंपनियाँ सोशल मीडिया डेटा में पैटर्न की पहचान करने के लिए association rule mining का उपयोग करती हैं, जो सोशल नेटवर्क्स के विश्लेषण को सूचित कर सकता है। 

उदाहरण के लिए, Twitter डेटा का विश्लेषण यह प्रकट कर सकता है कि जो उपयोगकर्ता किसी विशेष विषय पर ट्वीट करते हैं, वे अन्य संबंधित विषयों पर भी ट्वीट करने की संभावना रखते हैं, जो नेटवर्क के भीतर समूहों या समुदायों की पहचान में सहायक हो सकता है।

अनुशंसा प्रणालियाँ

Association rule mining का उपयोग ग्राहकों की पिछली खरीद या ब्राउज़िंग हिस्ट्री के आधार पर उन्हें रुचिकर आइटम सुझाने के लिए किया जा सकता है। उदाहरण के लिए, कोई म्यूज़िक स्ट्रीमिंग सेवा उपयोगकर्ता की सुनने की हिस्ट्री के आधार पर नए कलाकारों या एलबम्स की सिफारिश करने के लिए association rule mining का उपयोग कर सकती है।

हमारे Python में अनुशंसा प्रणालियाँ ट्यूटोरियल के साथ, आप ऐसी विभिन्न मॉडलों का निर्माण करना सीख सकते हैं जो यह कार्य करते हैं। 

Association Rule Mining एल्गोरिदम

Association rule mining के लिए कई एल्गोरिदम उपयोग में आते हैं। कुछ सामान्य हैं:

Apriori एल्गोरिदम

Apriori एल्गोरिदम association rule mining के लिए सबसे व्यापक रूप से उपयोग किए जाने वाले एल्गोरिदम में से एक है। यह पहले डेटासेट में आवृत्त आइटमसेट्स (वे आइटमसेट्स जो एक निश्चित संख्या के लेन-देन में प्रकट होते हैं) की पहचान करता है। फिर ये आवृत्त आइटमसेट्स का उपयोग association rules बनाने के लिए किया जाता है, जो इस प्रकार के कथन होते हैं: "यदि आइटम A खरीदा जाता है, तो आइटम B खरीदे जाने की भी संभावना है।" Apriori एल्गोरिदम नीचे-से-ऊपर (bottom-up) दृष्टिकोण अपनाता है, जहाँ यह व्यक्तिगत आइटम्स से शुरू कर धीरे-धीरे अधिक जटिल आइटमसेट्स बनाता है।

FP-Growth एल्गोरिदम

FP-Growth (Frequent Pattern Growth) एल्गोरिदम association rule mining के लिए एक और लोकप्रिय एल्गोरिदम है। यह FP-tree नामक एक ट्री-सदृश संरचना बनाकर काम करता है, जो डेटासेट में आवृत्त आइटमसेट्स को एन्कोड करती है। फिर FP-tree का उपयोग Apriori एल्गोरिदम के समान तरीके से association rules उत्पन्न करने में किया जाता है। विशेष रूप से बड़े डेटासेट्स के लिए FP-Growth एल्गोरिदम आमतौर पर Apriori से तेज़ होता है।

ECLAT एल्गोरिदम

ECLAT (Equivalence Class Clustering and bottom-up Lattice Traversal) एल्गोरिदम Apriori का एक रूपांतर है जो नीचे-से-ऊपर के बजाय ऊपर-से-नीचे (top-down) दृष्टिकोण अपनाता है। यह आइटम्स को उनके सपोर्ट (जिन लेन-देन में वे प्रकट होते हैं उनकी संख्या) के आधार पर समकक्ष वर्गों में विभाजित करके काम करता है। फिर इन समकक्ष वर्गों को लैटिस-सदृश संरचना में संयोजित करके association rules उत्पन्न किए जाते हैं। यह Apriori एल्गोरिदम का अधिक कुशल और स्केलेबल संस्करण है।

Apriori एल्गोरिदम

Apriori एल्गोरिदम आवृत्त आइटमसेट माइनिंग और association rule सीखने के लिए सबसे व्यापक रूप से उपयोग किए जाने वाले एल्गोरिदम में से एक बन गया है। इसे मार्केट बास्केट विश्लेषण, अनुशंसा प्रणालियाँ, और धोखाधड़ी का पता लगाने सहित विभिन्न अनुप्रयोगों में लागू किया गया है, और इसने समान कार्यों के लिए कई अन्य एल्गोरिदम के विकास को प्रेरित किया है।

एल्गोरिदम विवरण

Apriori एल्गोरिदम न्यूनतम सपोर्ट थ्रेशोल्ड सेट करके शुरू होता है। यह वह न्यूनतम संख्या है जितनी बार किसी आइटम का डेटाबेस में आना आवश्यक है ताकि उसे आवृत्त आइटमसेट माना जा सके। इसके बाद एल्गोरिदम उन सभी प्रत्याशी आइटमसेट्स को फ़िल्टर कर देता है जो न्यूनतम सपोर्ट थ्रेशोल्ड को पूरा नहीं करते। 

इसके बाद एल्गोरिदम आवृत्त आइटमसेट्स के सभी संभावित संयोजनों की सूची बनाता है और प्रत्येक संयोजन के डेटाबेस में आने की संख्या गिनता है। फिर एल्गोरिदम आवृत्त आइटमसेट संयोजनों के आधार पर association rules की सूची बनाता है। 

एक association rule इस प्रकार का कथन होता है: "यदि किसी लेन-देन में आइटम A मौजूद है, तो आइटम B के मौजूद होने की भी संभावना है"। संघ की मज़बूती को नियम के confidence से मापा जाता है, जो इस बात की प्रायिकता है कि आइटम A मौजूद होने पर आइटम B भी मौजूद होगा।

इसके बाद एल्गोरिदम उन association rules को फ़िल्टर कर देता है जो न्यूनतम confidence थ्रेशोल्ड को पूरा नहीं करते। इन नियमों को strong association rules कहा जाता है। अंततः, एल्गोरिदम strong association rules की सूची आउटपुट के रूप में लौटाता है।

Apriori "bottom-up" दृष्टिकोण अपनाता है, जहाँ यह व्यक्तिगत आइटम्स से शुरू कर आवृत्त पैटर्न खोजते हुए उन्हें बड़े और बड़े आइटमसेट्स में संयोजित करता जाता है। यह खोज स्थान को कुशलता से छाँटने के लिए "delete-relabel" दृष्टिकोण का भी उपयोग करता है, जिसमें अल्प-आवृत्त आइटमसेट्स को विचार से हटा दिया जाता है।

फायदे:

• Apriori अपेक्षाकृत सरल और समझने में आसान है।
• यह बड़े डेटासेट्स में आवृत्त पैटर्न और association rules की प्रभावी पहचान करता है।
• यह अल्प-आवृत्त आइटमसेट्स को हटाकर खोज स्थान को कुशलता से छाँटता है, जिससे एल्गोरिदम की संगणनात्मक जटिलता घटती है।
• इसे विभिन्न अनुप्रयोगों में व्यापक रूप से उपयोग और परखा गया है, जिससे यह एक स्थापित और विश्वसनीय एल्गोरिदम बनता है।

कमियाँ:

• बहुत बड़े डेटासेट्स के लिए Apriori उपयुक्त नहीं है, क्योंकि डेटासेट के आकार के साथ एल्गोरिदम की संगणनात्मक जटिलता घातीय रूप से बढ़ती है।
• यह उन डेटासेट्स में पैटर्न पहचानने में उतना प्रभावी नहीं हो सकता जिनमें कई दुर्लभ आइटम्स या अल्प-आवृत्त लेन-देन हों।
• यह न्यूनतम सपोर्ट और न्यूनतम confidence थ्रेशोल्ड के प्रति संवेदनशील है, जो परिणामों की गुणवत्ता को प्रभावित कर सकते हैं।
• यह बहुत बड़ी संख्या में association rules उत्पन्न कर सकता है, जिससे परिणामों की व्याख्या कठिन हो सकती है।

Apriori एल्गोरिदम में गहराई से जाने के लिए, DataCamp पर यह शानदार Market Basket Analysis ट्यूटोरियल देखें। 

Association Rules के मूल्यांकन के लिए मेट्रिक्स

Association rule mining में, खोजे गए association rules की गुणवत्ता और महत्व का मूल्यांकन करने के लिए कई मेट्रिक्स आम तौर पर उपयोग किए जाते हैं। 

इन मेट्रिक्स का उपयोग association rules की गुणवत्ता और महत्व का आकलन करने और किसी दिए गए अनुप्रयोग के लिए सबसे प्रासंगिक नियमों का चयन करने में किया जा सकता है। यह ध्यान रखना महत्वपूर्ण है कि उपयुक्त मेट्रिक का चयन अनुप्रयोग के विशेष लक्ष्यों और आवश्यकताओं पर निर्भर करेगा।

Association rule mining मेट्रिक्स के परिणामों की व्याख्या करने के लिए प्रत्येक मेट्रिक के अर्थ और निहितार्थों को समझना आवश्यक है, साथ ही यह भी कि उनका उपयोग खोजे गए association rules की गुणवत्ता और महत्व का मूल्यांकन करने में कैसे किया जाए। यहाँ मुख्य association rule mining मेट्रिक्स के परिणामों की व्याख्या के लिए कुछ दिशानिर्देश दिए गए हैं:

Support

Support इस बात का माप है कि कोई आइटम या आइटमसेट डेटासेट में कितनी बार आता है। इसे उन लेन-देन की संख्या के रूप में गणना किया जाता है जिनमें वह आइटम/आइटमसेट मौजूद है, विभाजित कुल लेन-देन की संख्या से। उच्च support इंगित करता है कि आइटम या आइटमसेट डेटासेट में सामान्य है, जबकि कम support बताता है कि वह दुर्लभ है।

Confidence

Confidence दो आइटम्स के बीच संघ की मज़बूती का माप है। इसे उन लेन-देन की संख्या के रूप में गणना किया जाता है जिनमें दोनों आइटम्स मौजूद हैं, विभाजित उन लेन-देन की संख्या से जिनमें पहला आइटम मौजूद है। उच्च confidence इंगित करता है कि पहले आइटम की उपस्थिति दूसरे आइटम की उपस्थिति का एक सशक्त संकेतक है।

Lift

Lift दो आइटम्स के बीच संघ की मज़बूती का माप है, जो डेटासेट में दोनों आइटम्स की आवृत्ति को ध्यान में रखता है। इसे संघ के confidence को दूसरे आइटम के support से विभाजित करके गणना किया जाता है। Lift का उपयोग दो आइटम्स के बीच संघ की मज़बूती की तुलना उस अपेक्षित मज़बूती से करने के लिए किया जाता है जब आइटम्स स्वतंत्र होते। 

Lift का मान 1 से अधिक होने पर संकेत मिलता है कि दो आइटम्स के बीच संघ, व्यक्तिगत आइटम्स की आवृत्ति के आधार पर अपेक्षित से अधिक मज़बूत है। यह सुझाव देता है कि संघ सार्थक हो सकता है और आगे जाँच के लायक है। Lift का मान 1 से कम होने पर संघ अपेक्षित से कमजोर होता है और कम विश्वसनीय या कम महत्वपूर्ण हो सकता है।

Python और R में Association Rule Mining के लिए लाइब्रेरीज़

R और Python में association rule mining के लिए कई लाइब्रेरीज़ उपलब्ध हैं:

R लाइब्रेरीज़

• arules: यह R में association rules और आवृत्त आइटमसेट्स माइन करने के लिए पैकेज है। यह ट्रांज़ैक्शनल डेटा को पढ़ने और संसाधित करने, साथ ही association rules बनाने और उनकी गुणवत्ता का मूल्यांकन करने के लिए फ़ंक्शंस प्रदान करता है।
• arulesViz: यह R में association rules और आवृत्त आइटमसेट्स के विज़ुअलाइज़ेशन के लिए पैकेज है। यह प्लॉट्स और चार्ट्स बनाने के फ़ंक्शंस प्रदान करता है ताकि association rule mining के परिणामों को समझने और व्याख्या करने में मदद मिल सके।
• arulesSequences: यह R में श्रेणीबद्ध (sequential) डेटा से association rules माइन करने के लिए पैकेज है। यह sequential डेटा को पढ़ने और संसाधित करने, साथ ही association rules बनाने और उनकी गुणवत्ता का मूल्यांकन करने के लिए फ़ंक्शंस प्रदान करता है।

Python लाइब्रेरीज़

• apyori: यह Python में Apriori एल्गोरिदम को लागू करने के लिए लाइब्रेरी है। यह ट्रांज़ैक्शनल डेटा को पढ़ने और संसाधित करने, साथ ही association rules बनाने और उनकी गुणवत्ता का मूल्यांकन करने के लिए फ़ंक्शंस प्रदान करता है।
• mlxtend: यह Python में विभिन्न मशीन लर्निंग एल्गोरिदम और टूल्स (association rule mining सहित) को लागू करने के लिए लाइब्रेरी है। यह ट्रांज़ैक्शनल डेटा को पढ़ने और संसाधित करने, साथ ही association rules बनाने और उनकी गुणवत्ता का मूल्यांकन करने के लिए फ़ंक्शंस प्रदान करता है।
• PyCaret: PyCaret Python में एक ओपन-सोर्स, लो-कोड मशीन लर्निंग लाइब्रेरी है जो एमएल वर्कफ़्लो को ऑटोमेट करती है। यह Apriori एल्गोरिदम के आसान कार्यान्वयन के लिए mlxtend के ऊपर एक रैपर प्रदान करती है।

Python में Association Rules का कार्यान्वयन

हम Python में association rules लागू करने के लिए PyCaret का उपयोग करेंगे। पहले PyCaret इंस्टॉल करते हैं और फिर सैंपल डेटासेट इम्पोर्ट करते हैं। 

PyCaret इंस्टॉल करें

आप pip का उपयोग करके pycaret इंस्टॉल कर सकते हैं। 

```

# install pycaret

pip install pycaret

```संचालित द्वारा

डेटासेट

हम pycaret के रिपॉज़िटरी से सैंपल डेटासेट लोड करके शुरू करेंगे। यह फ्रांस के एक रिटेल स्टोर का ट्रांज़ैक्शनल डेटासेट है। इसमें लेन-देन की पहचान के लिए Invoice नंबर और आइटम का Description है। इस डेटासेट से नियम निकालते समय हमें इन्हीं दो चीज़ों की परवाह है।

```

# load sample data

from pycaret.datasets import get_data

data = get_data('france')

```संचालित द्वारा

सेटअप

पहला चरण `arules` मॉड्यूल इम्पोर्ट करना और `setup` फ़ंक्शन को data, transaction_id, और item_id परिभाषित करके इनिशियलाइज़ करना है।

```

# init setup

from pycaret.arules import *

s = setup(data = data, transaction_id = 'InvoiceNo', item_id = 'Description')

```संचालित द्वारा

setup फ़ंक्शन का आउटपुट

मॉडल बनाएँ

```

The `create_model` function runs the algorithm and return the rules in pandas DataFrame based on the selection parameters defined in the `create_model`. In this example we have used selection metric `confidence` with threshold and support of 0.5.

# train model

arules = create_model(metric='confidence', threshold=0.5, min_support=0.05)

```संचालित द्वारा

create_model फ़ंक्शन का आउटपुट

`create_model` फ़ंक्शंस में परिभाषित थ्रेशोल्ड के आधार पर, हमने 45 नियम बनाए हैं। ऊपर दिए गए आउटपुट में पहले 10 नियम confidence के आधार पर क्रमबद्ध हैं (उच्च से निम्न)। 

नियमों का प्लॉट

PyCaret में `plot_model` फ़ंक्शन का उपयोग करके नियमों को विज़ुअलाइज़ और विश्लेषित करें।

```

# 2d plot
plot_model(arules, plot = '2d')

```संचालित द्वारा

```

# 3d plot

plot_model(arules, plot = '3d')

```संचालित द्वारा

साथ चलने के लिए पूरा Notebook देखें।

निष्कर्ष

Association rule mining डेटा विश्लेषण के लिए एक मूल्यवान उपकरण है और डेटा के भीतर पैटर्न और संबंध खोजने की एक शक्तिशाली तकनीक है। Python और R में association rule mining को लागू करने के लिए कई लाइब्रेरीज़ उपलब्ध हैं, जो विभिन्न एल्गोरिदम के आउट-ऑफ-द-बॉक्स कार्यान्वयन के साथ-साथ परिणामों के विज़ुअलाइज़ेशन के विकल्प प्रदान करती हैं। 

आप association rule mining का उपयोग कई संदर्भों में कर सकते हैं ताकि अंतर्दृष्टि निकाली जा सके और डेटा की अंतर्निहित संरचना को समझा जा सके। हालाँकि, सार्थक और सटीक परिणाम प्राप्त करने के लिए उपयुक्त एल्गोरिदम चुनना और सही पैरामीटर्स (जैसे न्यूनतम सपोर्ट और confidence थ्रेशोल्ड) सेट करना महत्वपूर्ण है। 

यदि आप इस विषय में गहराई से जाना चाहते हैं और association rule mining के बारे में अधिक सीखना चाहते हैं, तो आप निम्न पाठ्यक्रम देख सकते हैं:

• Market Basket Analysis in Python
• Market Basket Analysis in R