राह में परछाइयाँ मेरे साथ हों
यदि मुझे चलना है तो होना ही होगा
हर कदम धीमे और अकेले उठाया जाए
ताकि सब तैयार मिले
और मुझे धूसर रेखाओं में सोचना होगा
मंद विचार ही मेरे पथप्रदर्शक बनें
नीले और हरे पर टिके रहना होगा
और मेरी नज़र कभी न भूले
कि रंग मेरा मित्र है
और बैंगनी भी मुझे घेरे रहे
सूरज का पीला अब उतना ही
अनधिकार नहीं जितनी नीली बर्फ
जो हम सब पर गिरती है। मुझे चाहिए
धूसर ख्याल और नीले ख्याल मेरे साथ चलें
यदि मुझे कहीं भी दूर जाना है।
A poem generated by GPT-3, OpenAI's latest language model
बड़े भाषा मॉडलों ने अपनी भाषिक क्षमता से दुनिया को चौंका दिया। बिना स्पष्ट प्रशिक्षण के ही वे अनेक तरह के कार्य अत्याधुनिक प्रदर्शन के साथ कर सके।
सौभाग्य से, ये बड़े भाषा मॉडल केवल बिग टेक तक सीमित नहीं हैं। उभरते ओपन-सोर्स NLP समुदाय के प्रयासों और मॉडल APIs की बढ़ती उपलब्धता के चलते ऐसे मॉडलों तक पहुँच बढ़ रही है। किसी के लिए भी बड़े भाषा मॉडल की शक्ति का लाभ उठाना पहले से कहीं आसान हो गया है।
NLP की वृद्धि ने कंपनियों और निवेशकों दोनों की रुचि जगाई है। John Snow Labs और Gradient Flow के सर्वे के अनुसार, 60% तकनीकी नेताओं ने संकेत दिया कि उनके NLP बजट 2020 की तुलना में कम से कम 10% बढ़े। हमने NLP क्षेत्र में बाज़ार हिस्सेदारी के लिए प्रतिस्पर्धा करती स्टार्टअप्स की अविश्वसनीय वृद्धि भी देखी है। जैसे-जैसे NLP तेज रफ़्तार से बढ़ रहा है, AI समुदाय ने बड़े भाषा मॉडलों के खतरों पर उचित चिंता जताई है। इन मॉडलों के व्यापक उपयोग से पहले हमें सुनिश्चित करना होगा कि वे निष्पक्ष और सुरक्षित हों।
इस ब्लॉग पोस्ट में, हम NLP और बड़े भाषा मॉडलों के विभिन्न पहलुओं की पड़ताल करेंगे—वे क्या हैं, कैसे उपयोग होते हैं, और उन्हें सुरक्षित रूप से कैसे इस्तेमाल किया जा सकता है।
NLP की प्रगति—Word2Vec से Transformer तक
पिछले दशक में NLP की शुरुआती प्रगति में से एक महत्वपूर्ण उछाल Word2Vec था। Mikolov व सहलेखकों ने खोजा कि जब कोई मॉडल शब्द-संबंध सीखता है, तो वह उस समय लोकप्रिय N-gram मॉडलों की तुलना में न केवल काफी बेहतर प्रदर्शन करता है, बल्कि अधिक कुशल और तेज भी होता है।
फिर भी, Word2Vec शब्दों के क्रम को उपयोगी सूचना के रूप में नहीं ले पाता। Recurrent Neural Network (RNN) के आगमन ने उस समस्या को संबोधित किया। Word2Vec के विपरीत, RNN पिछले इनपुट से सूचना लेकर वर्तमान इनपुट और आउटपुट को प्रभावित करता है। यह RNN को “मेमोरी” देता है, जो पाठों के बीच संबंध सीखने के लिए उपयुक्त बनाता है।
हालाँकि, वैनिशिंग ग्रेडिएंट की समस्या के कारण RNN की मेमोरी काफ़ी छोटी होती है। छोटे वाक्यों पर RNN अपेक्षाकृत अच्छा प्रदर्शन करता है, लेकिन लंबे अनुच्छेदों पर विफल रहता है। Long Short Term Memory (LSTM) का परिचय, जो RNN का एक विशेष प्रकार है, “गेट्स” प्रदान करता है जो LSTM को जानकारी को बहुत अधिक समय तक याद रखने की क्षमता देते हैं।
LSTM को डि-फैक्टो NLP मॉडल माना जाता था, जब तक कि “Attention is All You Need” नामक पेपर ने सुर्खियाँ नहीं बटोरीं। पेपर में पेश किए गए अटेंशन मैकेनिज्म ने RNNs को आउटपुट देते समय सूचना के किसी उपसमुच्चय पर ध्यान केंद्रित करने की क्षमता दी। अटेंशन-आधारित नेटवर्क का एक विशेष प्रकार, Transformer नेटवर्क, अत्यंत सरल, कुशल और शक्तिशाली साबित हुआ।
विशेष रूप से, BERT (Bidirectional Encoder Representations from Transformer) मॉडल को NLP के क्षेत्र में एक क्रांतिकारी उपलब्धि माना गया (इस NLP ट्यूटोरियल में BERT का सारांश देखें)। दिशात्मक मॉडलों के विपरीत जो पाठ को क्रमशः पढ़ते हैं, BERT एक बार में शब्दों के पूरे अनुक्रम को पढ़ता है। सबसे प्रभावशाली बात यह कि प्री-ट्रेंड BERT मॉडल में केवल एक अतिरिक्त आउटपुट लेयर जोड़कर विभिन्न कार्यों में अत्याधुनिक प्रदर्शन हासिल किया जा सकता था। तब से, कई अटेंशन-आधारित आर्किटेक्चर ने BERT को पीछे छोड़ दिया है। इनमें XLNet, Baidu का ERNIE, और RoBERTa शामिल हैं। आज भी ये मॉडल अनेक NLP कार्यों में आम तौर पर इस्तेमाल होते हैं।
बड़े भाषा मॉडलों का उभार
तकनीक प्रेमियों के लिए Megatron-LM, GPT-3 और T5 जैसे बड़े भाषा मॉडल किसी परिचय के मोहताज नहीं हैं। भारी संख्या में पैरामीटर्स के लिए जाने जाने वाले, बड़े भाषा मॉडल अपनी प्राकृतिक भाषा संबंधी अद्भुत क्षमताओं के साथ सुर्खियाँ बटोरते रहे हैं।
बड़े भाषा मॉडल का सबसे प्रसिद्ध उदाहरण संभवतः OpenAI का Generative Pre-trained Transformer 3 (GPT-3) है। GPT-3 के पास 175 अरब से अधिक पैरामीटर हैं और इसे 570 गीगाबाइट टेक्स्ट पर प्रशिक्षित किया गया, जिससे यह अपने पूर्ववर्ती GPT-2 से 100 गुना बड़ा हो गया।
आकार में वृद्धि ने बड़े भाषा मॉडलों को एक अप्रत्याशित तोहफ़ा दिया—ऐसे कार्य करना, जिन पर उन्हें स्पष्ट रूप से प्रशिक्षित नहीं किया गया था। उदाहरण के लिए, GPT-3 बहुत कम या बिना प्रशिक्षण उदाहरणों के भी अंग्रेज़ी से जर्मन में वाक्यों का अनुवाद कर सकता था। यह प्रश्नों के उत्तर दे सकता था, निबंध लिख सकता था, लंबे टेक्स्ट का सारांश बना सकता था और यहाँ तक कि कंप्यूटर कोड भी जनरेट कर सकता था। हैरानी की बात यह कि उसने कुछ ऐसे अत्याधुनिक मॉडलों को भी पीछे छोड़ दिया जो खास तौर पर उन्हीं कार्यों को हल करने के लिए प्रशिक्षित थे।
दूसरे शब्दों में, बड़े भाषा मॉडल “few-shot” लर्नर्स हैं। इन मॉडलों को किसी विशिष्ट कार्य पर अच्छा प्रदर्शन करने के लिए केवल थोड़ी-सी डोमेन-उन्मुख प्रशिक्षण डेटा की आवश्यकता होती है। कुछ कार्यों के लिए बड़े भाषा मॉडल “zero-shot” लर्नर्स भी हो सकते हैं, जहाँ वे बिना किसी डेमोंस्ट्रेशन के भी एक विशिष्ट कार्य कर सकते हैं।
फ्यू-शॉट, वन-शॉट और ज़ीरो-शॉट लर्निंग का प्रदर्शन (स्रोत)
कंपनियाँ अब भी और भी बड़े भाषा मॉडल बनाने की दौड़ में हैं। 2021 में, Microsoft और Nvidia ने Megatron-Turing NLG 530B जारी किया, जिसमें 530 अरब पैरामीटर हैं। मई 2022 में, Meta ने AI शोध समुदाय के साथ अपना 175-अरब-पैरामीटर वाला Open Pretrained Transformer (OPT-175B) साझा किया। DeepMind ने भी घोषणा की कि वह अपना 7-अरब-पैरामीटर वाला भाषा मॉडल Retrieval Enhanced Transformer (RETRO) जारी करेगा, जिसके बारे में उम्मीद है कि वह अपने आकार से 25 गुना बड़े न्यूरल नेटवर्क्स के समान स्तर पर प्रदर्शन करेगा।
हर साल और बड़े होते जा रहे बड़े भाषा मॉडल (स्रोत)
बड़े भाषा मॉडलों का लोकतंत्रीकरण
कुछ समय पहले तक, बड़े भाषा मॉडल ताकतवर इन-हाउस सुपरकंप्यूटर रखने वाली धनाढ्य बिग टेक कंपनियों के पास ही केंद्रित थे। बड़े भाषा मॉडल के पैरामीटरों की संख्या इतनी अधिक होती है कि सबसे ताकतवर घरेलू GPU भी उसे समाहित नहीं कर पाता। भले ही यह सीमा पार कर ली जाए, बिना पैरेललाइज़ेशन के बड़े भाषा मॉडल को प्रशिक्षित करने में लगने वाला समय अवास्तविक है। उदाहरण के लिए, Nvidia ने अनुमान लगाया कि आठ V100 GPUs पर GPT-3 मॉडल को प्रशिक्षित करने में 36 साल लगेंगे। Lambda Labs के अनुसार GPT-3 विकसित करने की अग्रिम लागत कम से कम $11.5 मिलियन से $27.6 मिलियन है, और क्लाउड में मॉडल को चलाने की वार्षिक आवर्ती लागत कम से कम $87,000 है।
कड़े बजट वाली स्टार्टअप्स के पास न इतना समय है न इतना पैसा, लेकिन बड़े भाषा मॉडलों के APIs की बदौलत, स्टार्टअप्स महँगे कंप्यूट संसाधन खरीदे बिना या हाई-परफॉर्मेंस हार्डवेयर पर खर्च किए बिना GPT-3 की शक्ति का उपयोग कर सकती हैं। उदाहरण के लिए, संस्थापक OpenAI, Cohere, और AI21 द्वारा उपलब्ध कराए गए APIs का उपयोग करके GPT-3 जैसे मॉडलों की शक्ति को अपने व्यवसायों में एकीकृत कर सकते हैं।
मार्च 2021 तक, OpenAI ने कहा कि 300 से अधिक अलग-अलग ऐप्स उसके GPT-3 API के माध्यम से रोज़ाना 4.5 अरब शब्दों की आपूर्ति कर रहे हैं। API की बदौलत, शक्तिशाली NLP एप्लिकेशन विकसित करने की प्रक्रिया पहले से कहीं तेज़ और अधिक स्केलेबल हो गई है।
NLP स्टार्टअप्स का प्रसार
जैसे-जैसे बड़े भाषा मॉडलों तक पहुँच बढ़ रही है, यह आश्चर्य की बात नहीं कि हाल के वर्षों में ढेरों सेवाएँ देने वाली स्टार्टअप्स तेज़ी से उभर रही हैं।
अभ्यासकर्ताओं ने GPT-3 की सुसंगत दीर्घ-रूप सामग्री जनरेट करने की क्षमता पर हैरानी जताई, जैसे कि AI Dungeon द्वारा प्रस्तुत इमर्सिव अनुभव—एक टेक्स्ट-आधारित फैंटेसी एडवेंचर गेम जो सामग्री जनरेट करने के लिए GPT-3 का उपयोग करता है। एक अन्य स्टार्टअप, Fable Studio, ने GPT-3 का उपयोग करके “Virtual Beings” को जीवन देने वाली इंटरैक्टिव कहानियों की नई विधा बनाई।
AI Dungeon का एक स्क्रीनशॉट। आप आगे क्या करेंगे?
तब से, GPT-3 का उपयोग केवल काल्पनिक कहानियाँ ही नहीं, बल्कि व्यवसायों के लिए विपणन सामग्री जनरेट करने में भी होने लगा है। एक छोटे से प्रॉम्प्ट से रोचक ब्लॉग पोस्ट, सोशल मीडिया सामग्री, विज्ञापन सामग्री और ईमेल बनाए जा सकते हैं। इस क्षेत्र की उल्लेखनीय स्टार्टअप्स में copy.ai (आज $13.9 मिलियन मूल्यांकन), CopySmith ($10 मिलियन मूल्यांकन), और Rtyr शामिल हैं। यद्यपि कुछ आलोचक ऐसी स्टार्टअप्स का मज़ाक उड़ा सकते हैं, यह दावा करते हुए कि वे आसानी से बॉट द्वारा लिखी सामग्री पहचान सकते हैं, लेकिन वे अपना रुख़ बदल सकते हैं यदि उन्हें यह कहानी पता हो कि GPT-3 द्वारा जनरेट किए गए एक ब्लॉग पोस्ट ने Hacker News के शीर्ष पर जगह बनाई।
NLP स्टार्टअप्स सर्च स्पेस में भी हलचल मचा रहे हैं। “Google Search is Dying” शीर्षक वाली हालिया ब्लॉग पोस्ट ने आज के सर्च इंजनों की समस्याओं को उजागर किया और इस पर जोशीली बहस छेड़ दी कि स्टार्टअप्स इस क्षेत्र में कैसे बदलाव ला सकते हैं। एक ऐसी ही स्टार्टअप, you.com, जिसका नेतृत्व Salesforce के पूर्व मुख्य वैज्ञानिक कर रहे हैं, ने लगभग $20 मिलियन की फंडिंग जुटाई है। Google को सीधी चुनौती देने के लिए, यह NLP का उपयोग करके सर्च क्वेरीज़ को सेमान्टिक रूप से समझता है और वेब भर से परिणामों का सार प्रस्तुत करता है। एक अन्य स्टार्टअप, Zir AI, जिसे Cloudera के पूर्व CTO ने स्थापित किया, उद्यमों को इन-हाउस सर्च इंजन प्रदान करता है जो आशय और सेमान्टिक्स को समझते हैं।
HuggingFace🤗 का एक NLP पावरहाउस के रूप में उदय
एक अन्य उल्लेखनीय NLP स्टार्टअप HuggingFace है, जो अत्याधुनिक ट्रांसफॉर्मर-आधारित NLP मॉडल्स को आसानी से बनाना, प्रशिक्षित करना और डिप्लॉय करना संभव बनाता है। खुद को “भविष्य का निर्माण करने वाला AI समुदाय” बताते हुए, HuggingFace में एक सक्रिय ओपन-सोर्स समुदाय है जो अत्याधुनिक NLP मॉडल्स और डेटासेट्स साझा करता है। इसकी उपयोग-सहजता इसे NLP टूल्स के अग्रणी के रूप में और भी मज़बूत बनाती है।
HuggingFace का इंटरफ़ेस
2016 में स्थापना के बाद से, HuggingFace ने चर्चा बटोरी है और AI समुदाय में अपार लोकप्रियता हासिल की है। इसे 5,000 से अधिक संगठनों द्वारा उपयोग किया गया है, जिनमें Google AI, Facebook AI, Microsoft, और Allen Institute for AI जैसे तकनीकी दिग्गज शामिल हैं। इसके Github रिपॉज़िटरी को लगभग 60,000 स्टार्स मिले हैं, जिससे यह सबसे लोकप्रिय रिपॉज़िटरीज़ में से एक बन गया है। ये कारक मार्च 2021 तक इसके प्रभावशाली $61.3 मिलियन के मूल्यांकन में योगदान देते हैं। ताज़ा फंडिंग इसकी वैल्यूएशन को $2 बिलियन तक धकेल सकती है, Business Insider ने अप्रैल 2022 में रिपोर्ट किया।
HuggingFace के CTO Julien Chaumond के अनुसार, AI का लोकतंत्रीकरण समाज के लिए सबसे बड़ी उपलब्धियों में से एक होगा। इसमें आश्चर्य नहीं कि HuggingFace NLP एप्लिकेशंस तक पहुँच बढ़ाने के लिए प्रतिबद्ध है। इसकी Model लाइब्रेरी में PyTorch, TensorFlow और Keras सहित विभिन्न लाइब्रेरीज़ से लगभग 42,000 मॉडल्स हैं। इसका सबसे लोकप्रिय मॉडल, ट्रांसफॉर्मर-आधारित gpt2, 100 मिलियन से अधिक डाउनलोड्स बटोर चुका है।
HuggingFace द्वारा सक्षम एप्लिकेशंस
इन मॉडलों ने चकाचौंध भरे विविध कार्यों में उपयोग पाया है। अनुवाद, सार-संक्षेपण और टेक्स्ट जनरेशन जैसे NLP उपयोग मामलों के अलावा, रिपॉज़िटरी में कंप्यूटर विज़न (इमेज क्लासिफिकेशन, इमेज सेगमेंटेशन) और ऑडियो प्रोसेसिंग (ऑडियो क्लासिफिकेशन, टेक्स्ट-टू-स्पीच) के लिए भी मॉडल्स हैं।
हाल ही में HuggingFace ने अनुभवी प्रैक्टिशनर्स, नए छात्रों और इनके बीच के सभी लोगों के लिए NLP का लोकतंत्रीकरण बढ़ाने के अपने प्रयास तेज़ किए हैं। NLP में नए छात्र मुफ़्त HuggingFace NLP कोर्स से लाभ उठा सकते हैं, जो ट्रांसफॉर्मर-आधारित मॉडलों के उपयोग पर व्यावहारिक ट्यूटोरियल देता है। जो लोग ML प्रोजेक्ट बनाना और डिप्लॉय करना चाहते हैं, वे HuggingFace के Spaces पर उपलब्ध मुफ़्त कंप्यूट संसाधनों का उपयोग कर सकते हैं।
NLP उत्साही HuggingFace की Datasets लाइब्रेरी के साथ विशाल टेक्स्ट कॉर्पोरा का अन्वेषण भी कर सकते हैं। डेटा साइंटिस्ट्स और मशीन लर्निंग इंजीनियर्स के लिए यह सुखद होगा कि HuggingFace ने हाल ही में बड़े पैमाने पर ट्रांसफॉर्मर्स को ऑप्टिमाइज़ करने के लिए ओपन-सोर्स Optimum जारी किया है।
HuggingFace की Datasets लाइब्रेरी में 467 भाषाओं और बोलियों के 4,500 से अधिक अनूठे डेटासेट्स हैं, जिन्हें कुछ पंक्तियों के कोड से डाउनलोड किया जा सकता है।
आगामी BigScience Large Language Model कंपनी के लोकतंत्रीकरण प्रयासों का शिखर है। BigScience एक बहुभाषी 176-अरब-पैरामीटर वाला भाषा मॉडल है, जिसे दुनिया भर के 1,000 से अधिक शोधकर्ताओं ने मिलकर बनाया है। मॉडल का प्रशिक्षण 2022 के मध्य तक पूरा हो जाएगा। तब तक, हम केवल उस तकनीक के लिए उत्कंठा से प्रतीक्षा कर सकते हैं जिसे BigScience सक्षम करेगा। आप Twitter पर BigScience Large Language Model के प्रशिक्षण को ट्रैक कर सकते हैं।
अब जब हमने NLP स्टार्टअप्स द्वारा दी जाने वाली सेवाओं के प्रकारों को कवर कर लिया है, तो आइए देखें कि इन सेवाओं को दो विशिष्ट उद्योगों में कैसे लागू किया जा सकता है।
हेल्थकेयर में NLP का भविष्य
हेल्थकेयर उद्योग $4 ट्रिलियन प्रति वर्ष का उद्योग है जो हर दस में से एक अमेरिकी कार्यकर्ता को रोजगार देता है और अमेरिकी सरकारी खर्च का 25% हिस्सा है। अपनी अत्यधिक महत्ता के बावजूद, अमेरिकी हेल्थकेयर सिस्टम में अक्षम्यताएँ व्याप्त हैं। NLP हेल्थकेयर को गहराई से बदलने का वादा रखता है।
एक तरीका यह है कि यह स्वास्थ्य सेवा प्रदाताओं द्वारा देखभाल की दक्षता और सटीकता में सुधार कर सकता है। अमेरिकन मेडिकल एसोसिएशन के 2019 के एक अध्ययन के अनुसार, डॉक्टर प्रतिदिन लगभग 6 घंटे, यानी काम के समय का 50%, इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHR) में संलग्न रहते हैं। समय की बरबादी होने के अलावा, EHR में मैनुअल प्रविष्टियाँ अनिवार्य रूप से रोके जा सकने वाली चिकित्सकीय त्रुटियों का कारण भी बनती हैं।
NLP EHRs के सृजन और विश्लेषण को स्वचालित करके इसे बदल सकता है। वॉयस-टू-टेक्स्ट मॉडलों के साथ, चिकित्सक-रोगी वार्तालापों को स्वतः लिपिबद्ध किया जा सकता है। टेक्स्ट सार-संक्षेपण मॉडलों के साथ, रोगी विज़िट के सारांश जल्दी बनाए जा सकते हैं। बड़े पैमाने के EHRs पर प्रशिक्षित NLP मॉडलों के साथ, चिकित्सकीय निदान और उपचारों का पूर्वानुमान लगाया जा सकता है।
NLP रोगियों के चिकित्सा अनुभव को भी बेहतर बना सकता है। NLP मॉडलों का उपयोग ऐसे चैटबॉट्स बनाने के लिए किया जा सकता है जो क्लिनिकल अपॉइंटमेंट्स के बारे में प्रासंगिक जानकारी प्रदान करें, रोगियों को याद दिलाएँ और उनके स्वास्थ्य से संबंधित प्रश्नों के उत्तर दें।
NLP द्वारा उत्तरित एक रोगी के प्रश्न का उदाहरण (स्रोत)
एक अध्ययन में, स्तन कैंसर रोगियों ने एक वर्ष से अधिक समय तक जिन मेडिकल चैटबॉट्स के साथ बातचीत की, उनके प्रति लगभग 94% संतुष्टि की सूचना दी। इसमें आश्चर्य नहीं कि Babylon Health और AdaHealth जैसी कंपनियों ने इस अवसर का लाभ उठाया और दुनिया भर में हेल्थकेयर सेवाओं के लिए चैटबॉट सेवाएँ देना शुरू कर दिया। हेल्थकेयर को बदलने की NLP की क्षमता को Curai के CEO Neal Khosla, एक MedTech स्टार्टअप, ने अच्छी तरह समेटा है: “AI और NLP गुणवत्तापूर्ण प्राथमिक देखभाल की उपलब्धता को बड़े पैमाने पर बढ़ाने की संभावना देते हैं, जिससे यह अधिक लोगों के लिए कम लागत पर सुलभ हो जाती है।”
शिक्षा में NLP का भविष्य
NLP का एक और दिलचस्प अनुप्रयोग शिक्षा में है। बड़े पैमाने पर उच्च-गुणवत्ता वाली शिक्षा प्रदान करना महत्वपूर्ण आर्थिक चुनौतियाँ पेश करता है। इसलिए, शोधकर्ता ऐसे स्केलेबल संगणकीय तरीकों की खोज कर रहे हैं जो शिक्षकों को बेहतर और अधिक कुशलता से पढ़ाने में मदद करेंगे। आज के सबसे शक्तिशाली NLP मॉडलों को विशिष्ट क्षेत्रों में विषय विशेषज्ञ बनने के लिए प्रशिक्षित किया जा सकता है। ऐसे मॉडल ग्रेडिंग, प्रतिक्रिया देने और यहाँ तक कि प्रश्न जनरेट करने में शिक्षकों के सहायक बन सकते हैं।
एक ठोस उदाहरण है ProtoTransformer, एक मॉडल जिसने Stanford University में ओपन-एंडेड इंट्रोडक्टरी कंप्यूटर साइंस की मिडटर्म की ग्रेडिंग की। कई प्रकार की सूचनाएँ—जैसे कार्य का प्रॉम्प्ट, प्रश्न का आरेख, और ग्रेडिंग रुब्रिक—प्रसंस्कृत करने की क्षमता के चलते ProtoTransformer मानव टीचिंग असिस्टेंट्स जितना प्रभावी था।
NLP वैयक्तिकृत प्रतिक्रिया भी प्रदान कर सकता है, जो बड़े वर्गों में तार्किक रूप से अव्यवहार्य कार्य है। यदि NLP प्रतिक्रिया देने की प्रक्रिया को स्वचालित कर सके, तो यह बदल सकता है। एक उदाहरण है MathBERT, एक BERT मॉडल जिसे प्री-के से लेकर कॉलेज ग्रेजुएट स्तर तक के बड़े गणितीय कॉर्पस पर प्रशिक्षित किया गया है।
NLP प्रश्न निर्माण की प्रक्रिया को भी स्वचालित कर सकता है। विशेष रूप से, Stanford के शोधकर्ताओं ने पाया कि आधुनिक भाषा मॉडल लक्ष्य कठिनाई प्राप्त करने वाले नए रिवर्स-ट्रांसलेशन प्रश्न जनरेट करने में उपयोग किए जा सकते हैं।
भाषा मॉडलों ने अलग-अलग कठिनाइयों के अंग्रेज़ी से स्पैनिश अनुवाद प्रश्न जनरेट किए। तिरछे लिखे प्रश्न नए हैं और मूल डेटासेट में मौजूद नहीं हैं।
McKinsey के शोध से संकेत मिलता है कि वर्तमान में शिक्षकों के 20 से 40 प्रतिशत घंटे मौजूदा तकनीक द्वारा स्वचालित किए जा सकते हैं। Noodle Factory जैसी एडटेक स्टार्टअप्स उस लक्ष्य की ओर एक कदम हैं। यदि शिक्षक मैनुअल, दोहराए जाने वाले कार्यों से मुक्त हो जाएँ, तो वे कोचिंग और छात्रों के मेंटरिंग पर अधिक समय दे सकेंगे—ऐसे कार्य जिन्हें AI नहीं दोहरा सकता।
बड़े भाषा मॉडलों के जोखिम
अब तक, हमने देखा है कि बड़े भाषा मॉडलों ने कैसे वे NLP क्षमताएँ खोली हैं जो पहले असंभव थीं। फिर भी, आलोचक और शोधकर्ता AI के जोखिमों की परवाह किए बिना अनियंत्रित आशावाद के ख़िलाफ़ चेतावनी देते हैं। Stanford के शोधकर्ताओं ने कहा है कि बड़े भाषा मॉडल विज्ञान, समाज और AI को बदलने के लिए तैयार हैं। यह परिवर्तन बेहतर होगा या बदतर, यह इस बात पर निर्भर करेगा कि हम जोखिमों का प्रबंधन कैसे करते हैं।
ऐसा ही एक जोखिम पूर्वाग्रहों और हानिकारक सामग्री का अस्तित्व है। आज के भाषा मॉडल वेब से स्क्रैप किए गए अनक्यूरेटेड डेटासेट्स पर प्रशिक्षित होते हैं। ऐसी जानकारी गलत या हानिकारक हो सकती है। इसका मतलब यह है कि वे भाषा—उसकी सारी खामियों सहित—से सीखते हैं और हमारे मौजूदा संसार के पूर्वाग्रहों को बढ़ा देते हैं।
अल्पसंख्यक वर्गों के प्रति हानि को बनाए रखने वाले भाषा मॉडल का पाठ्य-पुस्तक उदाहरण Microsoft का 2016 का चैटबॉट Tay है, जिसने अन्य Twitter उपयोगकर्ताओं को नस्लवादी और यौन-उत्तेजक संदेश ट्वीट किए। हाल ही में, Wallace व सहलेखकों ने चौंकाने वाला पता लगाया कि किसी भी इनपुट में एक एकल ट्रिगर जोड़ने से GPT-2 नस्लवादी आउटपुट उगल सकता है, यहाँ तक कि गैर-नस्ली संदर्भों पर कंडीशन करने पर भी। इसी प्रयोग में, एक अन्य ट्रिगर के कारण SQuAD मॉडल ने सभी “क्यों” प्रश्नों का उत्तर “to kill American people” दिया।
इसी तरह, भाषा मॉडलों को प्रशिक्षित करने के लिए उपयोग किया गया डेटा ज़हरीला बनाया जा सकता है, जिससे डाउनस्ट्रीम एप्लिकेशंस हानिकारक मॉडलों के जोखिम में आ जाते हैं। चिंताजनक रूप से, Schuster व सहलेखकों ने प्रदर्शित किया कि केवल कुछ दुर्भावनापूर्ण फ़ाइलें इंजेक्ट करके ही कोड कम्प्लीशन NLP सिस्टम को असुरक्षित कोड बनाने के लिए सिखाया जा सकता है। अनुमानतः, अन्य जनरेटिव मॉडलों को भी हानिकारक इंजेक्शनों से हानिकारक सामग्री बनाने के लिए सिखाया जा सकता है।
भाषा मॉडलों के प्रदाता भी चूक सकते हैं। वर्तमान में, GPT-3 प्रैक्टिशनर्स से इनफेरेंस के लिए उपयोग किया गया डेटा OpenAI पर अपलोड करने की माँग करता है। ऐसे संभावित संवेदनशील डेटा का उल्लंघन निजता का उल्लंघन हो सकता है। आज कई भाषा मॉडल सीधे HuggingFace के इन्फ्रास्ट्रक्चर द्वारा सर्व किए जाते हैं। सामान्य इन्फ्रास्ट्रक्चर पर हमला उत्पादन में चल रहे अनेक भाषा मॉडलों को बाधित कर सकता है।
जब अंतर्निहित प्री-ट्रेंड भाषा मॉडल अत्यधिक लोकप्रिय होते हैं, तो ऐसे जोखिम बढ़ जाते हैं। एक बार जब कोई प्रतिद्वंद्वी किसी लोकप्रिय भाषा मॉडल में कोई खामी ढूँढ लेता है, तो वह उसी अंतर्निहित मॉडल को साझा करने वाले अन्य एप्लिकेशंस का दुरुपयोग कर सकता है।
विवेचनीयता की कमी
विवेचनीयता को इस रूप में परिभाषित किया गया है कि किस हद तक एक मानव किसी निर्णय के कारण को समझ सकता है। दुर्भाग्य से, आज के कई NLP मॉडल आदर्श विवेचनीयता से काफी दूर हैं।
बड़े भाषा मॉडल ब्लैक बॉक्स हैं जो यह समझने में बहुत कम या कोई अंतर्दृष्टि नहीं देते कि वे कोई निर्णय कैसे लेते हैं। निर्णय-प्रक्रिया की पूर्ण समझ के बिना उच्च-जोखिम वाले निर्णय लेना शायद समझदारी नहीं है। उदाहरण के लिए, किसी कैदी को पैरोल देना या न देना तय करने के लिए उपयोग किए जाने वाले NLP सिस्टम को अपने निर्णय तथ्यों के आधार पर समझाने में सक्षम होना चाहिए। ऐसी व्याख्याएँ इसके निर्णय की निष्पक्षता और सुसंगतता का ऑडिट करने का ठोस तरीका हैं।
स्वीकार है, ऐसे व्याख्येय AI तरीके मौजूद हैं जो मॉडल के व्यवहार की व्याख्या प्रदान करते हैं। ये अलग मॉडल होते हैं जो किसी ब्लैक-बॉक्स मॉडल को समझाने के लिए बनाए गए हैं। उदाहरणों में Google का Language Interpretability Tool (LIT) और LIME शामिल हैं।
Google के LIT का डेमो (स्रोत)
फिर भी, ऐसे मॉडलों से मिलने वाली व्याख्याएँ अविश्वसनीय हो सकती हैं और मॉडल की भविष्यवाणी के पीछे की तर्क-प्रक्रिया का सटीक प्रतिनिधित्व करने में विफल हो सकती हैं। इसके अलावा, वे अविश्वसनीय, भ्रामक और खतरनाक हो सकती हैं। संभवत: लेकिन अविश्वस्त व्याख्याएँ प्रैक्टिशनर्स को झूठी सुरक्षा का अहसास करा सकती हैं और उन्हें असound मॉडलों पर भरोसा करने के लिए प्रेरित कर सकती हैं, जैसा कि मील का पत्थर साबित हुए पेपर “Stop Explaining Black-Box Machine Learning Models for High Stake Decisions and Use Interpretable Models Instead” में समझाया गया है।
बड़े भाषा मॉडल AI का भविष्य बदल देंगे
“यह मात्र एक पैरेडाइम शिफ्ट की शुरुआत है: बड़े भाषा मॉडलों ने अभी-अभी इस दुनिया में AI सिस्टम बनाने और डिप्लॉय करने के तरीकों को बदलना शुरू किया है,” बड़े भाषा मॉडलों के अवसरों और जोखिमों पर चर्चा करते हुए प्रतिभाशाली AI शोधकर्ताओं के एक समूह ने निष्कर्ष निकाला।
बड़े भाषा मॉडलों द्वारा सक्षम उपयोग के मामले कमाल से कम नहीं हैं। फिर भी, हर चमकती चीज़ सोना नहीं होती। AI प्रैक्टिशनर्स के रूप में, हमें बड़े भाषा मॉडलों की कमियों के प्रति जागरूक होना चाहिए और उनका जिम्मेदारी और सावधानी से उपयोग करना चाहिए। तभी हम बड़े भाषा मॉडलों की पूरी क्षमता का लाभ उठा पाएँगे।
प्राकृतिक भाषा प्रक्रिया के बारे में और जानें: