टॉपिक मॉडलिंग क्या है? उदाहरणों के साथ एक परिचय

टॉपिक मॉडलिंग क्या है?

टॉपिक मॉडलिंग एक अक्सर इस्तेमाल की जाने वाली विधि है, जो किसी टेक्स्ट कॉर्पस में निहित छिपे हुए सेमान्टिक पैटर्न खोजने और उसके अंदर मौजूद विषयों की स्वतः पहचान करने के लिए उपयोग होती है।

वास्तव में, यह एक प्रकार की सांख्यिकीय मॉडलिंग है जो अनसुपरवाइज़्ड मशीन लर्निंग का लाभ उठाकर टेक्स्ट के भीतर समान शब्दों के क्लस्टर या समूहों का विश्लेषण और पहचान करती है।

उदाहरण के लिए, किसी दस्तावेज़ की सामग्री यह संकेत देती है कि वह इनवॉइस, शिकायत, या अनुबंध है—यह निर्धारित करने के लिए टॉपिक मॉडलिंग एल्गोरिदम तैनात किया जा सकता है।

व्यवसाय में टॉपिक मॉडलिंग की भूमिका

कुछ स्रोतों के अनुसार, औसत व्यक्ति प्रति सेकंड 1.7MB से अधिक डिजिटल डेटा उत्पन्न करता है। यह संख्या प्रतिदिन 2.5 क्विंटिलियन बाइट्स से अधिक डेटा के बराबर है, जिसमें से 80-90% असंरचित है।

एक ऐसा परिदृश्य मानिए जहाँ कोई व्यवसाय एक व्यक्ति को प्रत्येक असंरचित डेटा के अंश की समीक्षा करने और अंतर्निहित विषय के आधार पर उनका विभाजन करने के लिए नियुक्त करता है। यह असंभव कार्य होगा।

इसे पूरा करने में बहुत समय लगेगा और यह अत्यंत नीरस होगा, साथ ही अधिक जोखिम भी रहेगा क्योंकि मनुष्य स्वाभाविक रूप से पक्षपाती होते हैं और मशीनों की तुलना में अधिक त्रुटि-प्रवण होते हैं।

समाधान है टॉपिक मॉडलिंग।

टॉपिक मॉडलिंग के साथ, डेटा से अंतर्दृष्टि तेज़ी से और संभवतः बेहतर तरीके से निकाली जा सकती है। यह तकनीक विषयों को एक समझने योग्य संरचना में व्यवस्थित करती है, जिससे व्यवसायों को जल्द समझ आता है कि क्या हो रहा है।

उदाहरण के लिए, कोई व्यवसाय जो ग्राहकों की सबसे बड़ी चुनौतियों को समझना चाहता है, वह असंरचित डेटा के माध्यम से यह जानने के लिए टॉपिक मॉडलिंग का उपयोग कर सकता है।

संक्षेप में, टॉपिक मॉडलिंग व्यवसायों की इन कार्यों में सहायता करती है:

• असंरचित पाठ्य डेटा पर रियल-टाइम विश्लेषण करना
• स्केल पर असंरचित डेटा से सीखना
• डेटा के प्रारूप की परवाह किए बिना उसका एक सुसंगत बोध बनाना

टॉपिक मॉडलिंग की मुख्य अवधारणाएँ

हमने स्थापित किया है कि टॉपिक मॉडलिंग डेटा पेशेवरों को स्केल पर टेक्स्ट के भीतर समान शब्दों के क्लस्टर या समूहों का तेज़ी से विश्लेषण और पहचान करने में सक्षम बनाती है।

लेकिन विषय क्या होते हैं, और टॉपिक मॉडलिंग काम कैसे करती है?

विषय क्या हैं, और टॉपिक मॉडल कैसे काम करते हैं?

विषय किसी टेक्स्ट कॉर्पस (बड़ी समूह) के अंतर्निहित वर्णन हैं। सहज रूप से, किसी विशिष्ट विषय से संबंधित दस्तावेज़ों में कुछ शब्द अधिक बार आने की संभावना रहती है।

उदाहरण के लिए, “dog” और “bone” शब्द कुत्तों से संबंधित दस्तावेज़ों में अधिक दिखेंगे, जबकि “cat” और “meow” शब्द बिल्लियों से संबंधित दस्तावेज़ों में अधिक मिलेंगे। परिणामस्वरूप, टॉपिक मॉडल दस्तावेज़ों को स्कैन करेगा और समान शब्दों के क्लस्टर बनाएगा।

मूलतः, टॉपिक मॉडल शब्दों का अनुमान लगाकर और समान शब्दों को विषयों में समूहित करके टॉपिक क्लस्टर बनाते हैं।

टॉपिक मॉडलिंग कैसे काम करती है—एक विज़ुअलाइज़ेशन

टॉपिक मॉडलिंग तकनीकों का अन्वेषण

दो लोकप्रिय टॉपिक मॉडलिंग तकनीकें हैं लेटेंट सेमान्टिक एनालिसिस (LSA) और लेटेंट डिरिख्ले एलोकेशन (LDA)। टेक्स्ट डेटा में निहित छिपे सेमान्टिक पैटर्न खोजने का इनका उद्देश्य समान है, लेकिन इसे प्राप्त करने का तरीका अलग है।

लेटेंट सेमान्टिक एनालिसिस (LSA)

लेटेंट सेमान्टिक एनालिसिस (LSA) एक प्राकृतिक भाषा संसाधन तकनीक है, जिसका उपयोग दस्तावेज़ों और उनमें मौजूद शब्दों के बीच संबंधों के विश्लेषण के लिए किया जाता है। यह विधि पहली बार 1988 के एक पेपर “Using Latent Semantic Analysis to Improve Access to Textual Information” में प्रस्तुत की गई थी और आज भी असंरचित टेक्स्ट के संग्रह से संरचित डेटा बनाने के लिए प्रयुक्त होती है।

असल में, LSA मानता है कि समान अर्थ वाले शब्द समान दस्तावेज़ों में दिखाई देंगे। यह ऐसा एक मैट्रिक्स बनाकर करता है जिसमें प्रति दस्तावेज़ शब्द-गणना होती है—जहाँ प्रत्येक पंक्ति एक अद्वितीय शब्द का प्रतिनिधित्व करती है और कॉलम प्रत्येक दस्तावेज़ का—और फिर सिंगुलर वैल्यू डीकंपोज़िशन (SVD) का उपयोग करके पंक्तियों की संख्या घटाई जाती है जबकि कॉलमों के बीच समानता संरचना संरक्षित रहती है। SVD एक गणितीय विधि है जो डेटा को सरल बनाती है जबकि उसकी महत्वपूर्ण विशेषताओं को बनाए रखती है। यहाँ इसका उपयोग शब्दों और दस्तावेज़ों के बीच संबंधों को बनाए रखने के लिए किया जाता है।

दस्तावेज़ों के बीच समानता निर्धारित करने के लिए कोसाइन समानता का उपयोग किया जाता है। यह एक माप है जो दो वेक्टरों के बीच कोण के कोसाइन की गणना करता है—यहाँ वेक्टर दस्तावेज़ों का प्रतिनिधित्व करते हैं। 1 के निकट मान का अर्थ है कि दस्तावेज़ उनके शब्दों के आधार पर बहुत समान हैं, जबकि 0 के निकट मान का अर्थ है कि वे काफी भिन्न हैं।

लेटेंट डिरिख्ले एलोकेशन (LDA)

लेटेंट डिरिख्ले एलोकेशन (LDA) को प्रारंभिक रूप से 2000 में “Inference of population structure using multilocus genotype data.” शीर्षक वाले पेपर में प्रस्तावित किया गया था। यह पेपर मुख्यतः पॉपुलेशन जेनेटिक्स पर केंद्रित था, जो आबादियों के भीतर और उनके बीच आनुवंशिक भिन्नताओं से संबंधित अनुवांशिकी का एक उपक्षेत्र है। तीन वर्ष बाद, लेटेंट डिरिख्ले एलोकेशन को मशीन लर्निंग में लागू किया गया।

पेपर के लेखक इस तकनीक को “टेक्स्ट और अन्य डिस्क्रीट डेटा संग्रहों के लिए एक जनरेटिव मॉडल” के रूप में वर्णित करते हैं। इस प्रकार, LDA को एक प्राकृतिक भाषा तकनीक कहा जा सकता है, जो दस्तावेज़ में मौजूद शब्दों के आधार पर यह पहचानती है कि वह किस-किस विषय से संबंधित है।

और विशेष रूप से, LDA एक बायेज़ियन नेटवर्क है, अर्थात् यह एक जनरेटिव सांख्यिकीय मॉडल है जो मानता है कि दस्तावेज़ ऐसे शब्दों से बने हैं जो विषयों का निर्धारण करने में सहायक होते हैं। इसलिए, दस्तावेज़ों को विषयों की सूची से मैप किया जाता है, दस्तावेज़ के प्रत्येक शब्द को अलग-अलग विषयों को सौंपकर। यह मॉडल दस्तावेज़ में शब्दों के क्रम की अनदेखी करता है और उन्हें बैग-ऑफ-वर्ड्स के रूप में मानता है।

LSA बनाम LDA

लेटेंट सेमान्टिक एनालिसिस (LSA) और लेटेंट डिरिख्ले एलोकेशन (LDA) दोनों प्राकृतिक भाषा संसाधन तकनीकें हैं, जिनका उपयोग असंरचित टेक्स्ट के संग्रह से संरचित डेटा बनाने के लिए किया जाता है।

हालाँकि, LSA टर्म-डॉक्यूमेंट मैट्रिक्स के डायमेंशनलिटी को घटाने के लिए सिंगुलर वैल्यू डीकंपोज़िशन (SVD) का उपयोग करता है और इस धारणा पर आधारित है कि समान अर्थ वाले शब्द समान दस्तावेज़ों में दिखाई देंगे। टेक्स्ट का लोअर-डायमेंशनल प्रतिनिधित्व बनाकर, मॉडल शब्दों के बीच अंतर्निहित संबंधों को पकड़ सकता है ताकि यह निर्धारित कर सके कि दो दस्तावेज़ कितने समान हैं।

इसके विपरीत, LDA एक जनरेटिव प्रायिकता-आधारित मॉडल है जो कॉर्पस में अंतर्निहित विषयों को खोजने के लिए बायेज़ियन इनफ़रेंस का उपयोग करता है। यह मानता है कि प्रत्येक दस्तावेज़ कुछ कम संख्या में निहित विषयों का संयोजन है, और प्रत्येक शब्द किसी विशेष विषय द्वारा जनरेट किया गया है।

आखिरकार, LSA शब्दों के बीच अंतर्निहित संबंधों की खोज करने का प्रयास करता है, जबकि LDA किसी टेक्स्ट कॉर्पस में अंतर्निहित विषयों की खोज करना चाहता है। यद्यपि दोनों टेक्स्ट का वेक्टर प्रतिनिधित्व बनाने की तकनीकें हैं, वे अलग-अलग आधारभूत धारणाएँ बनाते हैं।

टॉपिक मॉडलिंग का व्यावहारिक कार्यान्वयन

आइए देखें कि ये तकनीकें कैसे काम करती हैं। कोड के साथ फॉलो करने के लिए यह DataLab वर्कबुक उपयोग करें।

डेटा तैयारी

सबसे पहले हमें डेटा चाहिए।

टॉपिक मॉडलिंग के लिए, जिस डेटा का हम उपयोग करते हैं उसे कॉर्पस कहा जाता है, जो कि बस टेक्स्ट का एक संग्रह होता है।

यहाँ एक छोटा कॉर्पस है, जो मैंने इंटरनेट से तथ्यों का उपयोग करके बनाया है:

# Creating example documents
doc_1 = "A whopping 96.5 percent of water on Earth is in our oceans, covering 71 percent of the surface of our planet. And at any given time, about 0.001 percent is floating above us in the atmosphere. If all of that water fell as rain at once, the whole planet would get about 1 inch of rain."

doc_2 = "One-third of your life is spent sleeping. Sleeping 7-9 hours each night should help your body heal itself, activate the immune system, and give your heart a break. Beyond that--sleep experts are still trying to learn more about what happens once we fall asleep."

doc_3 = "A newborn baby is 78 percent water. Adults are 55-60 percent water. Water is involved in just about everything our body does."

doc_4 = "While still in high school, a student went 264.4 hours without sleep, for which he won first place in the 10th Annual Great San Diego Science Fair in 1964."

doc_5 = "We experience water in all three states: solid ice, liquid water, and gas water vapor."

# Create corpus
corpus = [doc_1, doc_2, doc_3, doc_4, doc_5]संचालित द्वारा

प्रीप्रोसेसिंग

अगला चरण टेक्स्ट को साफ़ करना है:

# Code source: https://www.analyticsvidhya.com/blog/2016/08/beginners-guide-to-topic-modeling-in-python/

import string
import nltk
nltk.download('stopwords')
nltk.download('wordnet')  
nltk.download('omw-1.4')  
from nltk.corpus import stopwords
from nltk.stem.wordnet import WordNetLemmatizer

# remove stopwords, punctuation, and normalize the corpus
stop = set(stopwords.words('english'))
exclude = set(string.punctuation)
lemma = WordNetLemmatizer()

def clean(doc):
    stop_free = " ".join([i for i in doc.lower().split() if i not in stop])
    punc_free = "".join(ch for ch in stop_free if ch not in exclude)
    normalized = " ".join(lemma.lemmatize(word) for word in punc_free.split())
    return normalized

clean_corpus = [clean(doc).split() for doc in corpus]संचालित द्वारा

ऊपर दिए गए कोड में हमने:

1. आवश्यक लाइब्रेरी आयात कीं और स्टॉपवर्ड्स तथा वर्डनेट डाउनलोड किया
2. अंग्रेज़ी स्टॉपवर्ड्स परिभाषित किए
3. हटाई जाने वाली विरामचिह्नों का सेट बनाया
4. वर्डनेट लेम्माटाइज़र का इंस्टेंस बनाया
5. स्टॉपवर्ड्स और विरामचिह्न हटाने तथा दस्तावेज़ों का लेम्माटाइज़ेशन करने के लिए एक फ़ंक्शन बनाया
6. कॉर्पस के प्रत्येक दस्तावेज़ पर clean फ़ंक्शन लागू किया

लेकिन इसका मतलब यह नहीं कि हम अभी तैयार हैं।

LSA या LDA मॉडल में इस डेटा को इनपुट के रूप में उपयोग करने से पहले, इसे टर्म-डॉक्यूमेंट मैट्रिक्स में बदला जाना चाहिए। टर्म-डॉक्यूमेंट मैट्रिक्स दस्तावेज़ों के सेट और उनमें निहित शब्दों का गणितीय निरूपण होता है।

यह प्रत्येक दस्तावेज़ में हर टर्म की आवृत्ति गिनकर और फिर उन्हें सामान्यीकृत करके बनाया जाता है, ताकि विश्लेषण के लिए प्रयुक्त होने योग्य मानों का एक मैट्रिक्स बन सके।

Python में ऐसा करने के लिए, हम Gensim लाइब्रेरी का उपयोग करेंगे।

from gensim import corpora

# Creating document-term matrix 
dictionary = corpora.Dictionary(clean_corpus)
doc_term_matrix = [dictionary.doc2bow(doc) for doc in clean_corpus]संचालित द्वारा

अब हम अपने मॉडल फिट कर सकते हैं।

मॉडलिंग

पहला मॉडल जो हम उपयोग करेंगे वह LSA है:

from gensim.models import LsiModel

# LSA model
lsa = LsiModel(doc_term_matrix, num_topics=3, id2word = dictionary)

# LSA model
print(lsa.print_topics(num_topics=3, num_words=3))

"""
[
(0, '0.555*"water" + 0.489*"percent" + 0.239*"planet"'), 
(1, '0.361*"sleeping" + 0.215*"hour" + 0.215*"still"'), 
(2, '-0.562*"water" + 0.231*"rain" + 0.231*"planet"')
]
"""संचालित द्वारा

यह विषयों (प्रत्येक पंक्ति) को उनके शब्दों (टर्म) और उनके वेट्स सहित आउटपुट करता है।

आइए इसे LDA के साथ आज़माते हैं:

from gensim.models import LdaModel

# LDA model
lda = LdaModel(doc_term_matrix, num_topics=3, id2word = dictionary)

# Results
print(lda.print_topics(num_topics=3, num_words=3))

"""
[
(0, '0.071*"water" + 0.025*"state" + 0.025*"three"'), 
(1, '0.030*"still" + 0.028*"hour" + 0.026*"sleeping"'), 
(2, '0.073*"percent" + 0.069*"water" + 0.031*"rain"')
]
"""संचालित द्वारा

टॉपिक मॉडलिंग का उपयोग किसके लिए होता है?

मैनुअल और दोहरावदार कार्यों को हटाकर, टॉपिक मॉडलिंग प्रक्रियाओं को सरल ढंग से, आसानी और कम लागत में तेज़ कर सकती है। यहाँ कुछ उदाहरण हैं:

सपोर्ट टिकट टैग करना

ग्राहक सेवा कर्मियों को सपोर्ट क्वेरीज़ का विश्लेषण करने, प्राथमिक समस्याओं की पहचान करने और बार-बार होने वाली समस्याओं का पता लगाने में टॉपिक मॉडलिंग सहायक हो सकती है। उन आंकड़ों के आधार पर, वे अधिक सूचनाप्रद सेल्फ-सर्व कंटेंट बना सकते हैं या सीधे ग्राहकों की मदद कर सकते हैं।

ग्राहक अनुभव बेहतर बनाना

टॉपिक मॉडलिंग का उपयोग बातचीत को टैग करने के लिए किया जा सकता है ताकि उन्हें सबसे उपयुक्त टीम तक रूट किया जा सके। उदाहरण के लिए, ऐसी बातचीत जिसमें “pricing”, “subscription”, “renewal” आदि जैसे शब्द शामिल हों, उसे सीधे अकाउंटिंग विभाग को सपोर्ट के लिए भेजा जा सकता है।

टॉपिक मॉडलिंग बनाम अन्य तकनीकें

टॉपिक मॉडलिंग बनाम क्लस्टरिंग

टॉपिक मॉडलिंग का उपयोग दस्तावेज़ों के संग्रह में मौजूद निहित विषयों की खोज के लिए किया जाता है। इसमें दस्तावेज़ों में आने वाले शब्दों और वाक्यांशों के पैटर्न की पहचान करना और उनकी समानता के आधार पर उन्हें विषयों में समूहित करना शामिल है।

इसके विपरीत, क्लस्टरिंग समानता के किसी माप के आधार पर समान वस्तुओं को समूहित करने की तकनीक है। ऐसे तरीकों का उपयोग डेटा में पैटर्न और संरचना खोजने के लिए किया जाता है, समान डेटा बिंदुओं को एक साथ समूहित करके।

यद्यपि दोनों दृष्टिकोण टेक्स्ट डेटा में पैटर्न उजागर कर सकते हैं, उनके लक्ष्य भिन्न हैं। टॉपिक मॉडलिंग दस्तावेज़ संग्रह में निहित विषयों की पहचान पर केंद्रित होती है, जबकि क्लस्टरिंग समान डेटा बिंदुओं को समूहित करने पर केंद्रित होती है।

टॉपिक मॉडलिंग बनाम टेक्स्ट वर्गीकरण

टेक्स्ट वर्गीकरण, हालाँकि एक प्राकृतिक भाषा संसाधन तकनीक है, लेकिन यह सुपरवाइज़्ड लर्निंग की श्रेणी में आती है। यानी, टेक्स्ट वर्गीकरण का उपयोग किसी दिए गए टेक्स्ट के लिए पूर्वनिर्धारित श्रेणियाँ लेबल करने में किया जाता है। मॉडल यह उपलब्धि प्राप्त कर सके, इसके लिए उसे पहले लेबल किए गए डेटा सेट से सीखना होता है, उसके बाद ही वह नए, अनदेखे टेक्स्ट नमूनों पर भविष्यवाणी कर सकता है।

दूसरी ओर, टॉपिक मॉडलिंग एक अनसुपरवाइज़्ड लर्निंग तकनीक है, जिसका उपयोग टेक्स्ट दस्तावेज़ों के संग्रह में अंतर्निहित विषयों को खोजने के लिए किया जाता है। अर्थात्, इसे लेबल किए गए डेटा सेट से सीखने की आवश्यकता नहीं होती।

इस प्रकार, दोनों विधियों में अंतर यह है कि टेक्स्ट वर्गीकरण टेक्स्ट को पूर्वनिर्धारित लेबल सौंपने के लिए उपयोग होता है, जबकि टॉपिक मॉडलिंग दस्तावेज़ों के संग्रह में अंतर्निहित विषयों की खोज करती है।

वर्गीकरण बनाम टॉपिक मॉडलिंग का एक उदाहरण

निष्कर्ष

टॉपिक मॉडलिंग एक लोकप्रिय प्राकृतिक भाषा संसाधन तकनीक है जिसका उपयोग असंरचित डेटा के संग्रह से संरचित डेटा बनाने में होता है। दूसरे शब्दों में, यह तकनीक व्यवसायों को टेक्स्ट कॉर्पस में निहित छिपे सेमान्टिक पैटर्न सीखने और उसके अंदर मौजूद विषयों की स्वतः पहचान करने में सक्षम बनाती है।

दो लोकप्रिय टॉपिक मॉडलिंग दृष्टिकोण LSA और LDA हैं। दोनों टेक्स्ट डेटा में छिपे पैटर्न खोजने का लक्ष्य रखते हैं, लेकिन उस उद्देश्य को पाने के लिए वे अलग-अलग धारणाएँ बनाते हैं। जहाँ LSA मानता है कि समान अर्थ वाले शब्द समान दस्तावेज़ों में दिखाई देंगे, वहीं LDA मानता है कि दस्तावेज़ ऐसे शब्दों से बने होते हैं जो विषयों का निर्धारण करने में सहायक होते हैं।

इस ट्यूटोरियल में, हमने टॉपिक मॉडलिंग की मुख्य अवधारणाएँ, एक व्यावहारिक कार्यान्वयन, और टेक्स्ट वर्गीकरण तथा क्लस्टरिंग जैसी अन्य तकनीकों से इसका अंतर कवर किया। अपनी सीख जारी रखने के लिए, हमारे ये अन्य संसाधन देखें:

• Introduction to Natural Language Processing in R
• Introduction to Text Analysis in R
• Latent Semantic Analysis using Python
• DataCamp's full catalog of machine learning courses