Python सेंटिमेंट एनालिसिस ट्यूटोरियल

मशीन लर्निंग के वादे ने कई क्षेत्रों में चौंकाने वाले नतीजे दिखाए हैं। नैचुरल लैंग्वेज प्रोसेसिंग भी इसका अपवाद नहीं है, और यह उन क्षेत्रों में से एक है जहाँ मशीन लर्निंग ने जनरल आर्टिफिशियल इंटेलिजेंस (पूरी तरह नहीं, पर कम से कम आंशिक रूप से) के संकेत दिखाते हुए जटिल कार्यों के लिए शानदार परिणाम हासिल किए हैं।

अब, NLP (नैचुरल लैंग्वेज प्रोसेसिंग) कोई नया क्षेत्र नहीं है और न ही मशीन लर्निंग। लेकिन दोनों क्षेत्रों का संगम अपेक्षाकृत समकालीन है और निरंतर प्रगति का वादा करता है। यह उन हाइब्रिड अनुप्रयोगों में से एक है जिनसे हर कोई (एक बजट स्मार्टफोन के साथ) रोजाना रूबरू होता है। उदाहरण के लिए, "कीबोर्ड वर्ड सजेशन" या इंटेलिजेंट ऑटो-कम्प्लीशन लें; ये सभी NLP और मशीन लर्निंग के मेल के उप-उत्पाद हैं, और स्वाभाविक रूप से ये हमारी ज़िंदगी के अभिन्न हिस्से बन चुके हैं।

सेंटिमेंट एनालिसिस NLP के क्षेत्र में एक महत्वपूर्ण विषय है। इसकी प्रासंगिकता और जिन व्यावसायिक समस्याओं का यह समाधान कर रहा है, उनकी संख्या के कारण यह क्षेत्र के सबसे लोकप्रिय विषयों में से एक बन गया है। इस ट्यूटोरियल में, आप इस इतना भी सरल नहीं विषय को सरल तरीके से कवर करेंगे। आप इसके पीछे के छोटे-छोटे गणितीय पहलुओं को समझकर पढ़ेंगे। इस ट्यूटोरियल के अंत में आप एक सरल सेंटिमेंट क्लासिफायर भी बनाएंगे। विशेष रूप से, आप कवर करेंगे:

• एक प्रैक्टिशनर के दृष्टिकोण से सेंटिमेंट एनालिसिस को समझना
• सेंटिमेंट एनालिसिस की समस्या-विवरण (प्रॉब्लम स्टेटमेंट) तैयार करना
• सेंटिमेंट एनालिसिस के लिए Naive Bayes क्लासिफिकेशन
• Python में एक केस स्टडी
• सेंटिमेंट एनालिसिस का विभिन्न व्यवसाय क्षेत्रों पर प्रभाव
• आगे पढ़ने के लिए संदर्भ

चलिए शुरू करते हैं।

स्रोत: Medium

सेंटिमेंट एनालिसिस क्या है - एक प्रैक्टिशनर का दृष्टिकोण:

मूल रूप से, सेंटिमेंट एनालिसिस या सेंटिमेंट क्लासिफिकेशन टेक्स्ट क्लासिफिकेशन कार्यों की व्यापक श्रेणी में आता है, जहाँ आपको कोई वाक्यांश या वाक्यांशों की सूची दी जाती है और आपके क्लासिफायर को यह बताना होता है कि उसके पीछे का भाव सकारात्मक है, नकारात्मक है या तटस्थ। कभी-कभी, इसे बाइनरी क्लासिफिकेशन बनाए रखने के लिए तीसरे एट्रिब्यूट को नहीं लिया जाता। हाल के कार्यों में, "कुछ हद तक सकारात्मक" और "कुछ हद तक नकारात्मक" जैसे भाव भी शामिल किए जा रहे हैं। अब इसे एक उदाहरण से समझते हैं।

निम्नलिखित वाक्यांशों पर विचार करें:

1. "Titanic is a great movie."
2. "Titanic is not a great movie."
3. "Titanic is a movie."

ये वाक्यांश लघु मूवी रिव्यू हैं, और प्रत्येक अलग-अलग भाव व्यक्त करता है। उदाहरण के लिए, पहला वाक्यांश फिल्म Titanic के बारे में सकारात्मक भाव दर्शाता है, जबकि दूसरा इसे उतना अच्छा नहीं मानता (नकारात्मक भाव)। तीसरे वाक्यांश को ध्यान से देखें। उसमें कोई ऐसा शब्द नहीं है जो आपको इसके भाव के बारे में कुछ बता सके। इसलिए, यह तटस्थ भाव का उदाहरण है।

अब, कड़े मशीन लर्निंग दृष्टिकोण से देखें तो यह कार्य सुपरवाइज्ड लर्निंग ही है। आप मशीन लर्निंग मॉडल को वाक्यांशों का एक समूह (उनके संबंधित भावों के लेबल के साथ) देंगे, और फिर मॉडल को बिना लेबल वाले वाक्यांशों पर परखेंगे।

सेंटिमेंट एनालिसिस का परिचय देने के लिए यह ठीक है, लेकिन एक सेंटिमेंट क्लासिफिकेशन मॉडल बनाने के लिए आपको और भी चाहिए। आगे बढ़ते हैं।

स्रोत: SlideShare

सेंटिमेंट एनालिसिस की समस्या-विवरण तैयार करना:

सेंटिमेंट क्लासिफिकेशन कार्य की समस्या-विवरण समझने से पहले, आपको सामान्य टेक्स्ट क्लासिफिकेशन समस्या की स्पष्ट समझ होनी चाहिए। आइए सामान्य टेक्स्ट क्लासिफिकेशन समस्या को औपचारिक रूप से परिभाषित करें।

• इनपुट: - एक दस्तावेज़ d - कक्षाओं का एक स्थिर सेट C = {c₁,c₂,..,c_n}
  
  
• आउटपुट: C में एक भविष्यवाणी की गई कक्षा c

यहाँ दस्तावेज़ शब्द कुछ हद तक व्यक्तिपरक है, क्योंकि टेक्स्ट क्लासिफिकेशन जगत में दस्तावेज़ का अर्थ ट्वीट, वाक्यांश, समाचार लेख का भाग, पूरा समाचार लेख, एक पूर्ण लेख, प्रोडक्ट मैनुअल, कहानी आदि हो सकता है। इस पारिभाषिक शब्दावली के पीछे कारण शब्द है जो इस संदर्भ में परमाणु इकाई और छोटा है। इसलिए शब्दों के बड़े अनुक्रम को दर्शाने के लिए सामान्यतः दस्तावेज़ शब्द का उपयोग होता है। ट्वीट छोटा दस्तावेज़ है, जबकि लेख बड़ा दस्तावेज़।

तो, n लेबल वाले दस्तावेज़ों का एक प्रशिक्षण सेट इस प्रकार दिखता है: (d₁,c₁), (d₂,c₂),...,(d_n,c_n) और अंतिम आउटपुट एक सीखा हुआ क्लासिफायर होता है।

आप अच्छा कर रहे हैं! पर इस बिंदु पर आपके मन में यह प्रश्न अवश्य होगा कि दस्तावेज़ों की विशेषताएँ (फीचर्स) कहाँ हैं? वाजिब सवाल! उस पर थोड़ी देर में आएँगे।

अब, समस्या-प्रतिरूपण के साथ आगे बढ़ते हैं और धीरे-धीरे सेंटिमेंट क्लासिफिकेशन के पीछे की सहज समझ बनाते हैं।

सेंटिमेंट एनालिसिस में काम करते समय एक महत्वपूर्ण बिंदु ध्यान रखना है कि किसी वाक्यांश के सभी शब्द उसके भाव को व्यक्त नहीं करते। "I", "Are", "Am" जैसे शब्द किसी भी तरह का भाव व्यक्त करने में योगदान नहीं देते, और इसलिए, सेंटिमेंट क्लासिफिकेशन के संदर्भ में वे प्रासंगिक नहीं हैं। यहाँ फीचर सेलेक्शन की समस्या पर विचार करें। फीचर सेलेक्शन में, आप उन सबसे प्रासंगिक फीचर्स को खोजने की कोशिश करते हैं जिनका क्लास लेबल से सबसे अधिक संबंध है। वही विचार यहाँ भी लागू होता है। अतः, किसी वाक्यांश में केवल मुट्ठीभर शब्द ही भाग लेते हैं, और उन्हें पहचानना व वाक्यांशों से निकालना चुनौतीपूर्ण कार्य है। लेकिन चिंतित न हों, आप उस तक पहुँचेंगे।

इसे बेहतर समझने के लिए निम्नलिखित मूवी रिव्यू पर विचार करें:

"I love this movie! It's sweet, but with satirical humor. The dialogs are great and the adventure scenes are fun. It manages to be romantic and whimsical while laughing at the conventions of the fairy tale genre. I would recommend it to just about anyone. I have seen it several times and I'm always happy to see it again......."

हाँ, यह निस्संदेह एक ऐसा रिव्यू है जो किसी विशेष फिल्म के बारे में सकारात्मक भाव रखता है। पर वे कौन-से विशिष्ट शब्द हैं जो इस सकारात्मकता को परिभाषित करते हैं?

रिव्यू को फिर से देखें।

"I love this movie! It's sweet, but with satirical humor. The dialogs are great and the adventure scenes are fun. It manages to be romantic and whimsical while laughing at the conventions of the fairy tale genre. I would recommend it to just about anyone. I have seen it several times and I'm always happy to see it again......."

अब आपको स्पष्ट तस्वीर मिल गई होगी। ऊपर दिए गए पाठ में बोल्ड शब्द वे सबसे महत्वपूर्ण शब्द हैं जो पाठ द्वारा व्यक्त भाव के सकारात्मक स्वरूप का निर्माण करते हैं।

इन शब्दों के साथ क्या करें? अगला स्वाभाविक कदम निम्न के समान एक प्रतिनिधित्व बनाना है:

ऊपर दिया गया प्रतिनिधित्व क्या कर रहा है? आपने सही समझा। प्रत्येक पंक्ति में एक शब्द और दस्तावेज़ में उसकी उपस्थिति की आवृत्ति (अब से इसे दस्तावेज़ कहें) है। आप यह भी सोच रहे होंगे कि love केवल एक बार आया है पर आवृत्ति 2 क्यों है? दरअसल, यह पूरे रिव्यू का हिस्सा है। मान लें, यह प्रतिनिधित्व पूरे रिव्यू के लिए है।

सेंटिमेंट क्लासिफिकेशन की समस्या-विवरण बनाते समय, आपने "Bag of words" प्रतिनिधित्व समझा, और ऊपर दिया गया प्रतिनिधित्व Bag-of-words ही है। यह संभवतः NLP के सबसे बुनियादी कॉन्सेप्ट्स में से एक है और किसी भी टेक्स्ट क्लासिफिकेशन समस्या का पहला कदम। इसलिए, इसे भली-भाँति समझ लें।

किसी दस्तावेज़ का bag-of-words प्रतिनिधित्व केवल विशिष्ट शब्दों को नहीं, बल्कि दस्तावेज़ के सभी अद्वितीय शब्दों और उनकी आवृत्तियों को शामिल करता है। यहाँ बैग एक गणितीय समुच्चय है, इसलिए समुच्चय की परिभाषा के अनुसार इसमें कोई डुप्लीकेट शब्द नहीं होते।

लेकिन इस अनुप्रयोग के लिए, आपको केवल पहले बताए गए बोल्ड शब्दों में रुचि है, इसलिए इस दस्तावेज़ का bag-of-words केवल इन्हीं शब्दों को शामिल करेगा।

दस्तावेज़ अव्यवस्थित ढंग से नहीं लिखे जाते, हैं न? दस्तावेज़ में शब्दों का क्रम महत्वपूर्ण होता है। पर सेंटिमेंट क्लासिफिकेशन के संदर्भ में यह क्रम अत्यंत महत्वपूर्ण नहीं होता। यहाँ अधिक महत्वपूर्ण यह है कि ये शब्द मौजूद हैं या नहीं।

bag-of-words में जिन शब्दों को आपने पहचाना, वे अब आपके दस्तावेज़ के फीचर सेट का निर्माण करेंगे। तो मान लें, आपके पास कई मूवी रिव्यू (दस्तावेज़) हैं, और आपने प्रत्येक के लिए bag-of-words प्रतिनिधित्व बनाया है और उनके लेबल (यानी, इस मामले में भाव - +ve या -ve) संजोए हैं। आपका प्रशिक्षण सेट कुछ इस प्रकार दिखेगा:

इस प्रतिनिधित्व को Corpus भी कहा जाता है।

यह प्रशिक्षण सेट समझना आसान होना चाहिए -

सभी पंक्तियाँ स्वतंत्र फीचर वेक्टर हैं जो किसी विशिष्ट दस्तावेज़ (मूवी रिव्यू), विशेष शब्दों और उसके भाव की जानकारी रखती हैं। ध्यान दें, sentiment लेबल को प्रायः (+, -) या (+ve, -ve) से दर्शाया जाता है। साथ ही, फीचर्स w1, w2, w3, 34, ..., wn bag-of-words से जनरेट हुए हैं, और यह आवश्यक नहीं कि सभी दस्तावेज़ इन सभी फीचर्स/शब्दों को रखें।

आप इन फीचर वेक्टरों को क्लासिफायर को देंगे। तो, आगे इसे पढ़ते हैं - सेंटिमेंट क्लासिफिकेशन के लिए Naive Bayes क्लासिफिकेशन मॉडल।

सेंटिमेंट एनालिसिस के लिए Naive Bayes क्लासिफिकेशन:

Naive Bayes क्लासिफिकेशन मूल रूप से क्लासिफिकेशन संभाव्यताओं को बनाने के लिए Bayes नियम का उपयोग है। इस खंड में, आप सेंटिमेंट क्लासिफिकेशन के संदर्भ से Naive Bayes क्लासिफायर का अध्ययन करेंगे। Naive Bayes क्लासिफिकेशन और Bayes नियम का कुछ परिचय लेना अत्यधिक अनुशंसित है। इनके लिए संसाधन निम्न हैं:

• Beginning Bayes in R (अभ्यास)
• Naive Bayes एल्गोरिद्म सीखने के 6 आसान चरण

लेकिन k-NN, Decision Trees और कई अन्य के बीच Naive Bayes ही क्यों? इस पर बाद में आएँगे।

पहले सेंटिमेंट क्लासिफिकेशन के संदर्भ में Naive Bayes क्लासिफायर के सामान्य पदों की धारणा बनाते हैं। आप Bayes नियम पर नज़र डालकर शुरू करेंगे:

• किसी दस्तावेज़ d और कक्षा c के लिए:

इस मामले में, कक्षा दो भावों से मिलकर बनी है: सकारात्मक और नकारात्मक।

अब ऊपर दी गई छवि के प्रत्येक पद का इस संदर्भ में विस्तार से अध्ययन करें।

• दाएँ पक्ष का पद P(c|d) को ऐसे पढ़ते हैं: दस्तावेज़ d के दिए जाने पर कक्षा c की प्रायिकता। इस पद को Posterior भी कहते हैं।
• P(d|c) भी इसी तरह समझें।

तो ये Prior और Likelihood क्या हैं? साथ ही P(d) (किसी दस्तावेज़ की प्रायिकता) का पद; क्या यह अटपटा लगता है? बेहतरीन प्रश्न! अब इनके उत्तर ढूँढते हैं!

• Prior के रूप में दिखाया गया पद आपकी मूल धारणा है, यानी दस्तावेज़ का मूल लेबल कि वह सकारात्मक है या नकारात्मक (भावों के संदर्भ में)।
• Likelihood वह प्रायिकता है जिसमें कक्षा c के दिए जाने पर दस्तावेज़ d मिलता है।
• Posterior को अपनी अद्यतन धारणा मानें, जो Prior और Likelihood को गुणा करके मिलती है।
• पर Normalization Constant P(d) क्या है? परिणाम को विभाजित करने के लिए यह पद प्रयुक्त होता है ताकि आउटपुट को प्रायिकता वितरण के रूप में प्रस्तुत किया जा सके।

अब तक सूक्ष्मतम विवरण नहीं मिले! पर बने रहें। आप और जानकारी खोजेंगे। पर याद रखें, आप अब भी सेंटिमेंट क्लासिफिकेशन के संदर्भ में Bayes नियम को जोड़ने की सहज समझ बना रहे हैं।

चलो और विवरण में जाते हैं कि यहाँ Bayes नियम वास्तव में क्या करने की कोशिश कर रहा है। निम्न छवि Bayes नियम के और विस्तृत चरण प्रस्तुत करती है:

यहाँ बहुत से अपरिचित पद हैं। धीरे-धीरे चलते हैं।

दाएँ पक्ष के पद c_MAP से शुरू करते हैं। यह यहाँ Bayes नियम का प्राथमिक उद्देश्य दर्शाता है, यानी किसी दस्तावेज़ के किसी विशेष कक्षा से संबंधित होने की अधिकतम posterior प्रायिकता/अनुमान खोजना। MAP Max A Posteriori का संक्षेप है।

argmax क्या है? आप सिर्फ max ही ले सकते थे!

• दरअसल, argmax सूचकांक को दर्शाता है। मान लें P(+|d) > P(-|d), जहाँ + और - क्रमशः सकारात्मक और नकारात्मक भाव दर्शाते हैं। P(+|d), P(-|d) प्रायिकताएँ लौटाते हैं जो संख्यात्मक होती हैं। पर आपको प्रायिकता में रुचि नहीं, बल्कि उस कक्षा को जानना है जिसके लिए P(+|d) बड़ा है, और argmax वही लौटाता है। P(+|d) > P(-|d) के लिए, argmax + लौटाएगा।

और हाँ, आप हर बार हर हाल में हराम के रूप में हराम शब्द का इस्तेमाल नहीं कर सकते — क्षमा करें, यहाँ आशय है: आप हर कार्यान्वयन में हर बार हर हाल में हर पद P(d) को नहीं रखना पड़ता; इसे छोड़ा भी जा सकता है। यह पूरी तरह इम्प्लीमेंटेशन पर निर्भर करता है।

पर मैं $P(d|c)$ और $P(c)$ कैसे निकालूँ? यहीं पर bag of words काम आएगा। कैसे?

आगे पढ़ें!

आप जानते हैं कि किसी दिए गए दस्तावेज़ को bag of words प्रतिनिधित्व में कैसे बदला जाता है। और महत्वपूर्ण यह कि इसके माध्यम से आप दस्तावेज़ को फीचर्स के सेट के रूप में दिखा सकते हैं। तो अब मूलतः c_MAP पद (हर बार हर हाल में हर पद P(d) को नज़रअंदाज़ करते हुए) इस तरह लिखा जा सकता है:

लेकिन, प्रायिकताएँ वास्तव में कैसे गणना करें? चलिए $P(c)$ से शुरू करते हैं।

P(c) मूलतः इस प्रश्न से जुड़ा है: "यह कक्षा कितनी बार घटित होती है?" मान लें आपके दस्तावेज़ डेटासेट में 60% सकारात्मक और 40% नकारात्मक भाव हैं। तो $P(+) = 0.6$ और $P(-) = 0.4$।

अब इस पद की व्याख्या कैसे करें: P(x1, x2,...,xn | c)?

इसे ऐसे सोचें — कक्षा c के दिए जाने पर इन शब्दों (फीचर्स) के एकसाथ घटित होने की प्रायिकता क्या है। उदाहरण के लिए, मान लें आपके पास 1000 दस्तावेज़ हैं, और आपके कॉर्पस में केवल दो शब्द हैं - "good" और "awesome"। अब, इन 1000 दस्तावेज़ों में से 500 सकारात्मक लेबल वाले हैं, और शेष 500 नकारात्मक। साथ ही, आपने पाया कि 500 सकारात्मक लेबल वाले दस्तावेज़ों में से 200 दस्तावेज़ों में "good" और "awesome" दोनों हैं (ध्यान दें P(x1,x2) का अर्थ P(x1 and x2) है)। तो, प्रायिकता P(good,awesome | +) = 200 / 1000 = 1/5।

यहाँ एक महत्वपूर्ण बिंदु यह है कि यदि आपका शब्दावली आकार $X$ है, तो आप Xⁿ प्रकार की likelihood (जैसे P(good,awesome | +)) प्रायिकताएँ बना सकते हैं, बशर्ते आपके दस्तावेज़ में n शब्द हों।

याद रखें कि आपको दोनों कक्षाओं के लिए likelihood प्रायिकताएँ गणना करनी होंगी। तो, कुल संयोजनों की संख्या एक ऐसे परिदृश्य में जहाँ आपके पास कुल 2000 शब्द हैं और प्रत्येक दस्तावेज़ में औसतन 20 शब्द हैं, (2000)²⁰ होगी। यह संख्या अत्यधिक बड़ी है! और यदि कॉर्पस आकार लाखों में हो (जो व्यावहारिक मामलों में होता है) तो?

इसे Bayes Classifier कहा जाता है। पर यह काम नहीं करता क्योंकि गणनाएँ बहुत अधिक हैं। अब, आप कुछ मान्यताओं का अध्ययन करेंगे जो Bayes classifier को Naive Bayes बनाती हैं।

जिन मान्यताओं का आप अध्ययन करेंगे उन्हें Naive Bayes Independence Assumptions कहा जाता है। वे इस प्रकार हैं:

- Bag of words मान्यता: मान लें स्थिति (पोजिशन) मायने नहीं रखती। मान लें कोई विशेष शब्द 10वें और 20वें स्थान पर आता है, पर इस मान्यता के साथ इसका अर्थ है कि आप केवल इस शब्द की आवृत्ति 2 की परवाह करते हैं। 10 और 12 ये दो संख्याएँ यहाँ अप्रासंगिक हैं।

- Conditional independence मान्यता: यह एक महत्वपूर्ण मान्यता है जो Bayes classifier को Naive Bayes बनाती है। यह कहती है कि "मान लें फीचर प्रायिकताएँ P(x_i|c_j)"। कथन को गौर से देखें। इसका अर्थ है कि P(x₁|c_j), P(x₂|c_j) आदि एक-दूसरे से स्वतंत्र हैं। (इसका यह अर्थ बिल्कुल नहीं है कि P(x₁), P(x₂) आदि एक-दूसरे से स्वतंत्र हैं) अब, पद P(x1, x2,...,xn | c) को इस प्रकार व्यक्त किया जा सकता है:

तो स्वाभाविक रूप से, Xⁿ संयोजन घटकर Xn रह जाते हैं जो घातांकीय रूप से कम है (यदि आपका शब्दावली आकार $X$ है और आपके दस्तावेज़ में n शब्द हैं)। गणितीय रूप में, Bayes classifier को घटाकर Naive Bayes classifier इस तरह दिखता है:

Naive Bayes के दो फायदे हैं:

• पैरामीटरों की संख्या कम हो जाती है।
• घातांकीय समय जटिलता की जगह रैखिक समय जटिलता।

जब टेक्स्ट क्लासिफिकेशन समस्या पर Naive Bayes क्लासिफिकेशन तंत्र लागू होता है, तो इसे "Multinomial Naive Bayes" क्लासिफिकेशन कहा जाता है।

अब आप विशेषकर सेंटिमेंट क्लासिफिकेशन समस्या के लिए Naive Bayes क्लासिफायर की कार्यप्रणाली को अच्छी तरह समझ चुके हैं। अब समय है कि आप एक सेंटिमेंट क्लासिफायर लागू करें।

आप यह Python में करेंगे! केस स्टडी के साथ शुरू करते हैं।

Python में एक सरल सेंटिमेंट क्लासिफायर:

इस केस स्टडी के लिए, आप NLTK पुस्तक में कवर किया गया एक ऑफ़लाइन मूवी रिव्यू कॉर्पस उपयोग करेंगे, जिसे यहाँ से डाउनलोड किया जा सकता है। nltk डेटासेट का एक संस्करण प्रदान करता है। यह डेटासेट प्रत्येक रिव्यू को सकारात्मक या नकारात्मक के रूप में वर्गीकृत करता है। आपको इसे पहले निम्नानुसार डाउनलोड करना होगा:

python -m nltk.downloader all
संचालित द्वारा

इसे Jupyter Notebook से चलाने की सलाह नहीं दी जाती। कमांड प्रॉम्प्ट (यदि Windows उपयोग कर रहे हैं) से चलाने का प्रयास करें। इसमें कुछ समय लगेगा। इसलिए धैर्य रखें।

NLTK डेटासेट्स के बारे में अधिक जानकारी के लिए, यह लिंक अवश्य देखें।

आप NLTK (Natural Language Toolkit) का उपयोग करके Naive Bayes या कहें Multinomial Naive Bayes क्लासिफायर लागू करेंगे। यह NLP और NLU से संबंधित कार्यों के लिए समर्पित एक लाइब्रेरी है, और इसका दस्तावेज़ीकरण बहुत अच्छा है। यह कई तकनीकों को बेहतरीन तरीके से कवर करता है और प्रयोगों के लिए मुफ्त डेटासेट भी देता है।

यह NLTK की आधिकारिक वेबसाइट है। इसे ज़रूर देखें क्योंकि इसमें विभिन्न NLP कॉन्सेप्ट्स को कवर करने वाले अच्छे ट्यूटोरियल्स हैं।

सारा डेटा डाउनलोड हो जाने के बाद, आप from nltk.corpus import movie_reviews द्वारा मूवी रिव्यू डेटासेट आयात करके शुरू करेंगे। फिर, आप दस्तावेज़ों की एक सूची बनाएँगे, जिन्हें उपयुक्त श्रेणियों के साथ लेबल किया गया है।

# Load and prepare the dataset
import nltk
from nltk.corpus import movie_reviews
import random

documents = [(list(movie_reviews.words(fileid)), category)
              for category in movie_reviews.categories()
              for fileid in movie_reviews.fileids(category)]

random.shuffle(documents)
संचालित द्वारा

अगला, आप दस्तावेज़ों के लिए एक फीचर एक्सट्रैक्टर परिभाषित करेंगे, ताकि क्लासिफायर जान सके कि उसे डेटा के किन पहलुओं पर ध्यान देना है। "इस मामले में, आप प्रत्येक शब्द के लिए एक फीचर परिभाषित कर सकते हैं, जो दर्शाता है कि दस्तावेज़ में वह शब्द मौजूद है या नहीं। क्लासिफायर द्वारा प्रोसेस किए जाने वाले फीचर्स की संख्या को सीमित करने के लिए, आप पूरे कॉर्पस में सबसे अधिक बार आने वाले 2000 शब्दों की सूची बनाकर शुरू करते हैं" स्रोत। फिर आप एक फीचर एक्सट्रैक्टर परिभाषित कर सकते हैं जो केवल यह जाँचता है कि इन शब्दों में से प्रत्येक किसी दिए गए दस्तावेज़ में मौजूद है या नहीं।

# Define the feature extractor

all_words = nltk.FreqDist(w.lower() for w in movie_reviews.words())
word_features = list(all_words)[:2000]

def document_features(document):
    document_words = set(document)
    features = {}
    for word in word_features:
        features['contains({})'.format(word)] = (word in document_words)
    return features
संचालित द्वारा

"जिस कारण से आपने दस्तावेज़ के सभी शब्दों का सेट document_words = set(document) निकाला, केवल यह जाँचने के बजाय कि शब्द दस्तावेज़ में है या नहीं, वह यह है कि किसी सेट में शब्द की उपस्थिति जाँचना किसी सूची में जाँचने की तुलना में बहुत तेज़ है" - स्रोत।

आपने फीचर एक्सट्रैक्टर परिभाषित कर लिया है। अब, आप इसे नए मूवी रिव्यू के भावों की भविष्यवाणी करने के लिए Naive Bayes क्लासिफायर को प्रशिक्षित करने में उपयोग कर सकते हैं। अपने क्लासिफायर के प्रदर्शन की जाँच करने के लिए, आप टेस्ट सेट पर इसकी सटीकता (accuracy) की गणना करेंगे। NLTK show_most_informative_features() प्रदान करता है, जिससे आप देख सकते हैं कि कौन-से फीचर्स क्लासिफायर को सबसे अधिक जानकारीपूर्ण लगे।

# Train Naive Bayes classifier
featuresets = [(document_features(d), c) for (d,c) in documents]
train_set, test_set = featuresets[100:], featuresets[:100]
classifier = nltk.NaiveBayesClassifier.train(train_set)
संचालित द्वारा

# Test the classifier
print(nltk.classify.accuracy(classifier, test_set))
संचालित द्वारा

0.71
संचालित द्वारा

वाह! क्लासिफायर ने बिना किसी पैरामीटर को बदले या फाइन-ट्यूनिंग के 71% सटीकता हासिल कर ली। पहली बार के लिए यह बेहतरीन है!

# Show the most important features as interpreted by Naive Bayes
classifier.show_most_informative_features(5)
संचालित द्वारा

Most Informative Features
       contains(winslet) = True              pos : neg    =      8.4 : 1.0
     contains(illogical) = True              neg : pos    =      7.6 : 1.0
      contains(captures) = True              pos : neg    =      7.0 : 1.0
        contains(turkey) = True              neg : pos    =      6.5 : 1.0
        contains(doubts) = True              pos : neg    =      5.8 : 1.0
संचालित द्वारा

"डेटासेट में, जिस रिव्यू में "Illogical" आता है, वह लगभग 8 गुना अधिक संभावना रखता है कि वह नकारात्मक होगा बनिस्पत सकारात्मक के, जबकि जिस रिव्यू में "Captures" आता है, उसके सकारात्मक होने की संभावना लगभग 6 गुना अधिक है" - स्रोत।

अब सवाल - Naive Bayes ही क्यों?

• आपने Naive Bayes को इसलिए चुना क्योंकि इसका डिजाइन और विकास टेक्स्ट डेटा की व्यावहारिक और परिष्कृत विशेषताओं से अच्छी तरह मेल खाता है, बशर्ते आप Neural Nets पर विचार न कर रहे हों। इसके अलावा, इसे समझना आसान है और यह ब्लैक बॉक्स मॉडल का आभास नहीं कराता।

Naive Bayes की एक कमी भी है:

Naive Bayes की मुख्य सीमा स्वतंत्र प्रेडिक्टर्स की मान्यता है। वास्तविक जीवन में, यह लगभग असंभव है कि आपको पूरी तरह स्वतंत्र प्रेडिक्टर्स का सेट मिले।

सेंटिमेंट एनालिसिस इतना महत्वपूर्ण क्यों है?

सेंटिमेंट एनालिसिस कई वास्तविक व्यावसायिक समस्याओं का समाधान करता है:

• यह किसी विशिष्ट उत्पाद के लिए ग्राहक व्यवहार का पूर्वानुमान लगाने में मदद करता है।
• यह किसी उत्पाद की अनुकूलनशीलता (adaptability) का परीक्षण करने में मदद कर सकता है।
• ग्राहक वरीयता रिपोर्ट्स के कार्य को स्वचालित करता है।
• कई प्लेटफ़ॉर्म से मूवी रिव्यू के पीछे के भावों का विश्लेषण करके यह आसानी से निर्धारित करने की प्रक्रिया को स्वचालित कर सकता है कि कोई फिल्म कितनी सफल रही।
• और भी बहुत कुछ!

अगले कदम:

बधाई हो! आप अंत तक पहुँच गए हैं। NLP बहुत व्यापक और रोचक विषय है और कुछ चुनौतीपूर्ण समस्याओं का समाधान करता है। विशेष रूप से, NLP और डीप लर्निंग का संगम कुछ अद्भुत उत्पादों का जनक बना है। इसने चैटबॉट्स के इंटरेक्शन के तरीके को पूरी तरह बदल दिया है। सूची अंतहीन है।

इस ट्यूटोरियल ने उम्मीद है कि आपको NLP के प्रमुख उप-क्षेत्रों में से एक, यानी सेंटिमेंट एनालिसिस, में एक शुरुआत दी। आपने NLP के सबसे बुनियादी विषयों में से एक - Bag of Words कवर किया और फिर Naive Bayes Classifier का विस्तार से अध्ययन किया। इसकी कमियों की भी जाँच की। आपने nltk का उपयोग किया, जो NLP और NLU कार्यों के लिए सबसे लोकप्रिय Python लाइब्रेरीज़ में से एक है। आपने nltk द्वारा उपलब्ध कराए गए मूवी कॉर्पस के साथ एक सरल Naive Bayes क्लासिफायर लागू किया। खुद के लिए तालियाँ बजाइए। आप इसके हकदार हैं!

यदि आप इस छोटी-सी शुरुआत से आगे बढ़ना चाहते हैं, तो कुछ शानदार संसाधनों के लिंक नीचे दिए गए हैं:

• NLP और इसके विभिन्न टूल/तकनीकों के बारे में और पढ़ें
• सामान्य रूप से टेक्स्ट डेटा के बारे में पढ़ें
• Recurrent Neural Nets पढ़ें
• डीप लर्निंग के साथ NLP के कुछ अद्भुत अनुप्रयोग देखें

इस ट्यूटोरियल को बनाने में निम्न संदर्भों का उपयोग किया गया:

• Text Classification and Naïve Bayes
• डीप लर्निंग का उपयोग करके मूवी रिव्यू से सेंटिमेंट की भविष्यवाणी करें
• NLTK Book
• NLP मूल बातें

यदि आप NLP की बुनियादी बातें सीखने और इसे वास्तविक-जीवन के डेटासेट्स पर लागू करने में रुचि रखते हैं, तो आप DataCamp का "Natural Language Processing Fundamentals in Python" कोर्स कर सकते हैं।