GPT-3 के लिए शुरुआती मार्गदर्शिका

नेचुरल लैंग्वेज प्रोसेसिंग (NLP) भाषाविज्ञान, कंप्यूटर विज्ञान, आर्टिफिशियल इंटेलिजेंस और सूचना अभियंत्रण का एक उपक्षेत्र है, जो कंप्यूटर और मानव (प्राकृतिक) भाषाओं के बीच अंतःक्रियाओं से संबंधित है—खासकर इस बात से कि कंप्यूटरों को बड़ी मात्रा में प्राकृतिक भाषा डेटा को संसाधित और विश्लेषित करने के लिए कैसे प्रोग्राम किया जाए।

दिलचस्प लगा? अगर हम आपसे कहें कि हमने GPT-3 नामक एक एल्गोरिद्म से यह पूरा अनुच्छेद लिखवाया और उसने पहली ही बार में कर दिखाया—तो आप क्या कहेंगे? हम मजाक नहीं कर रहे! यह देखिए…

क्रिया में GPT-3

काफी अद्भुत है, है ना?! तो, वापस आते हैं NLP पर। यह कंप्यूटरों को पाठ या वॉयस डेटा के रूप में मानव भाषा को संसाधित करने और उसके पूर्ण अर्थ को “समझने” में सक्षम बनाता है, जिसमें वक्ता या लेखक का आशय और भाव शामिल होता है। पिछले दशक में NLP वह क्षेत्र रहा है जहां कुछ सबसे रोमांचक AI खोजें और क्रियान्वयन हुए हैं। बीते कुछ वर्षों में इस क्षेत्र में जो सबसे दिलचस्प और प्रचुर प्रवृत्ति देखी गई है, वह है बड़े भाषा मॉडल, जिनमें GPT-3 भी शामिल है।

कुछ लोगों के अनुसार GPT-3 आर्टिफिशियल जनरल इंटेलिजेंस की दिशा में पहला कदम माना जाता है। इसने जितना ध्यान खींचा है, उतना किसी अन्य AI मॉडल ने नहीं। सामान्यीकृत कार्यों की एक श्रृंखला को लगभग मानव-स्तरीय दक्षता और सटीकता के साथ करने की इसकी अद्भुत लचीलापन ही इसे इतना रोमांचक बनाता है। इसे एक API के रूप में जारी किया गया ताकि दुनिया भर के डेटा वैज्ञानिकों, डेवलपर्स और विविध पेशों के लोग दुनिया के सबसे शक्तिशाली भाषा मॉडलों में से एक तक अभूतपूर्व पहुंच पा सकें। 

यह मॉडल OpenAI द्वारा बनाया गया था, जो आर्टिफिशियल इंटेलिजेंस R&D की अग्रिम पंक्ति में स्थित कंपनी है। जुलाई 2020 में शुरुआती रिलीज़ के बाद से, दुनिया भर के डेवलपर्स पहले ही GPT-3 के सैकड़ों रोमांचक उपयोग ढूंढ चुके हैं, जिनमें हमारे संवाद, सीखने और खेलने के तरीकों को ऊंचा उठाने की क्षमता है। यह सामान्य भाषा-आधारित कार्यों को आसानी से हल कर सकता है और विभिन्न पाठ शैलियों और उद्देश्यों के बीच सहजता से आ-जा सकता है। 

GPT-3 से पहले, भाषा मॉडल आमतौर पर एक विशिष्ट NLP कार्य जैसे टेक्स्ट जनरेशन, सारांशण, या वर्गीकरण के लिए डिज़ाइन किए जाते थे। GPT-3 प्राकृतिक भाषा संसाधन के इतिहास का पहला ऐसा सामान्यीकृत भाषा मॉडल है जो विभिन्न NLP कार्यों की एक श्रृंखला पर समान रूप से अच्छा प्रदर्शन कर सकता है। GPT-3 का अर्थ है “जेनेरेटिव प्री-ट्रेंड ट्रांसफॉर्मर,” और यह OpenAI के इस मॉडल का तीसरा संस्करण है। आइए इन तीन शब्दों को समझते हैं: 

• Generative: जेनरेटिव मॉडल सांख्यिकीय मॉडलों का एक प्रकार हैं, जिनका उपयोग नए डेटा बिंदु उत्पन्न करने के लिए किया जाता है। ये मॉडल किसी डेटासेट में मौजूद चरों के बीच अंतर्निहित संबंधों को सीखते हैं ताकि वे उसी तरह के नए डेटा बिंदु बना सकें।  
• Pre-trained: प्री-ट्रेंड मॉडल वे मॉडल होते हैं जिन्हें पहले से ही किसी बड़े डेटासेट पर प्रशिक्षित किया गया होता है। इससे वे उन कार्यों के लिए इस्तेमाल किए जा सकते हैं जहां शून्य से मॉडल को प्रशिक्षित करना कठिन होगा। प्री-ट्रेंड मॉडल 100% सटीक न भी हो, तो भी यह आपको पहिया फिर से बनाने से बचाता है, समय बचाता है और प्रदर्शन बेहतर करता है।
• Transformer: ट्रांसफॉर्मर मॉडल 2017 में ईजाद किया गया एक प्रसिद्ध कृत्रिम तंत्रिका नेटवर्क है। यह एक डीप लर्निंग मॉडल है, जिसे क्रमिक डेटा, जैसे पाठ, को संभालने के लिए डिज़ाइन किया गया है। ट्रांसफॉर्मर मॉडल का उपयोग अक्सर मशीन अनुवाद और टेक्स्ट वर्गीकरण जैसे कार्यों में किया जाता है। 

अगले खंड में, हम भाषा मॉडलों के व्यापक संदर्भ को देखेंगे—वे क्या हैं, कैसे काम करते हैं और उनका उपयोग किसके लिए होता है। आप एक अलग लेख में GPT-4 के बारे में अब तक जो पता है पढ़ सकते हैं, यहां AI के बारे में और जानें या OpenAI, Google AI और डेटा साइंस पर उनके प्रभाव से जुड़ी नवीनतम जानकारी के बारे में जानें।

बड़े भाषा मॉडल क्या हैं?

पिछले कुछ वर्षों में, प्राकृतिक भाषा संसाधन (NLP) के क्षेत्र में बड़े भाषा मॉडल या LLMs के निर्माण को लेकर भारी रुचि देखी गई है। बड़े पैमाने के पाठ पर प्रशिक्षित LLMs का उपयोग विभिन्न भाषा-आधारित कार्यों के लिए किया जा सकता है, जिनमें टेक्स्ट जनरेशन, मशीन अनुवाद और प्रश्नोत्तर शामिल हैं।

लैंग्वेज मॉडलिंग वह कार्य है जिसमें संभाव्यता का उपयोग करके यह समझा जाता है कि किसी भाषा में वाक्य किस प्रकार बनते हैं। सरल भाषा मॉडल किसी शब्द को देखकर उसके बाद आने वाले सबसे संभावित अगले शब्द (या शब्दों) की भविष्यवाणी कर सकते हैं, जो मौजूदा पाठ क्रमों के सांख्यिकीय विश्लेषण पर आधारित होती है। उदाहरण के लिए, वाक्य "I love walking my ..." का अंत "dog" से होने की संभावना "refrigerator" की तुलना में कहीं अधिक है। शब्द-क्रमों की सटीक भविष्यवाणी के लिए भाषा मॉडल को बहुत से डेटा से प्रशिक्षित करना महत्वपूर्ण है।

LLMs को सांख्यिकीय भविष्यवाणी मशीनों की तरह समझा जा सकता है, जहां इनपुट में पाठ दिया जाता है और आउटपुट में भविष्यवाणी मिलती है। आप संभवतः अपने फोन के ऑटोकंप्लीट फीचर से परिचित होंगे। उदाहरण के लिए, यदि आप “good” टाइप करते हैं, तो ऑटोकंप्लीट “morning” या “luck” जैसे सुझाव दे सकता है। ऑटोकंप्लीट जैसी प्राकृतिक भाषा संसाधन अनुप्रयोग भाषा मॉडलों पर ही काफी निर्भर रहते हैं। 

हालांकि भाषा मॉडल काफी समय से मौजूद हैं, लेकिन हाल ही में ही वे इतने सफल हुए हैं। इसके पीछे कई कारण हैं—जैसे प्रशिक्षण डेटा की बड़ी मात्रा की उपलब्धता, बेहतर प्रशिक्षण एल्गोरिद्म का विकास, और प्रशिक्षण को तेज करने के लिए GPUs का उपयोग। अधिक डेटा के साथ, मॉडल शब्दों के बीच संबंधों और जिस संदर्भ में उनका उपयोग किया जाता है, उसके बारे में अधिक सीख सकते हैं। इससे मॉडल पाठ के अर्थ को बेहतर समझते हैं और अधिक सटीक भविष्यवाणियां कर पाते हैं।

LLMs की सफलता का कारण उनके द्वारा पाठ में शब्दों के बीच निर्भरताओं को पकड़ पाना है। उदाहरण के लिए, वाक्य "The cat sat on the mat" में "cat" शब्द "the" पर निर्भर है, और "mat" शब्द "on" पर निर्भर है। किसी बड़े भाषा मॉडल में ये निर्भरताएं मॉडल के पैरामीटर्स में कैद होती हैं। बड़े भाषा मॉडल जितने उन्नत हुए हैं, वे उतने ही अधिक पैरामीटर्स का उपयोग करने लगे हैं, जैसा कि Microsoft Research द्वारा प्रकाशित निम्न ग्राफ में देखा जा सकता है।

समय के साथ अत्याधुनिक NLP मॉडलों के आकार का रुझान (लॉगारिथमिक स्केल पर)
स्रोत: Microsoft Research ब्लॉग पोस्ट, 11 अक्टूबर 2021

बड़े भाषा मॉडलों का प्री-ट्रेनिंग भारी कंप्यूटेशन मांगता है, जो ऊर्जा-गहन होता है। इन मॉडलों की बढ़ती मांग और अधिक कंप्यूटेशनल संसाधनों की जरूरत पैदा करती है। इसका महत्वपूर्ण पर्यावरणीय असर है, जैसे अस्थिर ऊर्जा उपयोग और कार्बन उत्सर्जन।

2019 के एक अध्ययन में, यूनिवर्सिटी ऑफ मैसाचुसेट्स के शोधकर्ताओं ने अनुमान लगाया कि बड़े डीप-लर्निंग मॉडल को प्रशिक्षित करने से 626,000 पाउंड ग्रह-तापकारी कार्बन डाइऑक्साइड का उत्सर्जन होता है, जो पांच कारों के जीवनकाल के उत्सर्जन के बराबर है। जैसे-जैसे मॉडल बड़े होते हैं, उनकी कंप्यूटिंग आवश्यकताएं हार्डवेयर दक्षता में सुधार की गति से आगे निकल रही हैं। 2021 के एक अध्ययन के अनुसार GPT-3 के प्रशिक्षण से लगभग 552 मीट्रिक टन कार्बन डाइऑक्साइड का उत्सर्जन हुआ। यह उतना ही है जितना 120 कारें एक वर्ष में चलने पर उत्सर्जित करती हैं।

हालांकि, 2019 के Green AI पेपर में उल्लेख है कि “प्री-ट्रेंड मॉडलों को सार्वजनिक रूप से जारी करने की प्रवृत्ति एक हरित सफलता है,” और लेखकों ने संगठनों को प्रोत्साहित किया कि वे “अपने मॉडलों को जारी करना जारी रखें ताकि दूसरों को उन्हें फिर से प्रशिक्षित करने की लागत से बचाया जा सके।” OpenAI जैसी कंपनियां जो प्री-ट्रेंड बड़े भाषा मॉडल जारी कर रही हैं, वे प्रशिक्षण के कार्बन फुटप्रिंट को कम करने की तकनीकों पर लगातार शोध और विकास कर रही हैं। 

GPT-3 विभिन्न NLP कार्यों को करते समय अत्यधिक सटीक है क्योंकि इसे अत्यंत बड़े डेटासेट पर प्रशिक्षित किया गया है और इसकी 175 अरब पैरामीटर्स वाली बड़ी आर्किटेक्चर इसे उस डेटा में तार्किक संबंधों को समझने में सक्षम बनाती है। GPT-3 को पांच बड़े डेटासेट—Common Crawl, WebText2, Books1, Books2, और Wikipedia—के पाठ पर प्री-ट्रेन किया गया है। यह कॉर्पस मिलकर लगभग एक ट्रिलियन शब्दों का है, जो GPT-3 को बिना किसी उदाहरण डेटा के भी, यानी ज़ीरो-शॉट सेटिंग में, चौंकाने वाली संख्या में NLP कार्यों को सफलतापूर्वक करने में सक्षम बनाता है। 

अगले खंड में, हम ट्रांसफॉर्मर्स की पड़ताल करेंगे—वह प्रसिद्ध आर्किटेक्चर जिसने भाषा मॉडलिंग के क्षेत्र में धूम मचा दी और NLP में संभव माने जाने वाले दायरे को बदल दिया।

ट्रांसफॉर्मर मॉडल क्या हैं?

ट्रांसफॉर्मर एक प्रकार की न्यूरल नेटवर्क आर्किटेक्चर है, जो खास तौर पर भाषा मॉडलिंग कार्यों के लिए उपयुक्त है। इसे 2017 में "Attention is All You Need" नामक पेपर में पहली बार प्रस्तुत किया गया था।  इस पेपर में ट्रांसफॉर्मर्स को ऐसी न्यूरल नेटवर्क आर्किटेक्चर के रूप में समझाया गया है, जिसे अनुक्रम-से-अनुक्रम (sequence-to-sequence) कार्यों को कुशलता से निभाने और लंबी दूरी की निर्भरताओं को आसानी से संभालने के लिए डिज़ाइन किया गया है। आज ट्रांसफॉर्मर मॉडल्स NLP कार्यों के लिए प्रमुख आर्किटेक्चर बन चुके हैं और इस क्षेत्र में वर्चस्व कायम किए हुए हैं। 

सीक्वेंस-टू-सीक्वेंस वह तंत्र है जो ट्रांसफॉर्मर मॉडलों की रीढ़ है। इसे संक्षेप में Seq2Seq भी कहा जाता है। यह आर्किटेक्चर किसी दिए गए तत्त्वों के अनुक्रम—जैसे किसी वाक्य के शब्दों—को किसी अन्य अनुक्रम—जैसे किसी दूसरी भाषा के वाक्य—में बदल देता है, जो इसे अनुवाद कार्यों के लिए विशेष रूप से उपयुक्त बनाता है। Google Translate ने 2016 के अंत में एक समान आर्किटेक्चर को उत्पादन में उपयोग करना शुरू किया।

स्रोत: जे अलम्मार का ब्लॉग “The Illustrated Transformer” पोस्ट

Seq2Seq मॉडल दो भागों से मिलकर बनते हैं: एक एन्कोडर और एक डिकोडर। एन्कोडर और डिकोडर को उन मानव अनुवादकों की तरह समझा जा सकता है जो केवल दो भाषाएं बोल सकते हैं। दोनों की मातृभाषा अलग है; उदाहरण के लिए, मान लें एन्कोडर मूल चीनी वक्ता है और डिकोडर मूल अंग्रेजी वक्ता। दोनों की एक दूसरी साझा भाषा है; मान लें वह जापानी है। चीनी को अंग्रेजी में अनुवाद करने के लिए, एन्कोडर चीनी वाक्य को जापानी में बदल देता है। यह जापानी वाक्य, जिसे संदर्भ कहा जाता है, डिकोडर को दिया जाता है। चूंकि डिकोडर जापानी समझता है और उस भाषा को पढ़ सकता है, वह अब जापानी से अंग्रेजी में अनुवाद कर सकता है।

ट्रांसफॉर्मर आर्किटेक्चर का एक और प्रमुख घटक “अटेंशन” नामक तंत्र है। यह एक तकनीक है जो संज्ञानात्मक ध्यान का अनुकरण करती है। संज्ञानात्मक ध्यान वह तरीका है जिससे हमारा मस्तिष्क वाक्य के महत्वपूर्ण हिस्सों पर ध्यान देता है और समग्र अर्थ समझने में मदद करता है। उदाहरण के लिए, जब आप यह वाक्य पढ़ रहे हैं, तो आपका ध्यान उस शब्द पर है जिसे आप अभी पढ़ रहे हैं, लेकिन साथ ही आपकी स्मृति संदर्भ देने के लिए वाक्य के सबसे महत्वपूर्ण कीवर्ड्स को थामे रहती है।

अटेंशन तंत्र इनपुट अनुक्रम को टुकड़ा-टुकड़ा देखकर हर चरण पर तय करता है कि अनुक्रम के कौन से अन्य हिस्से महत्वपूर्ण हैं। यह ट्रांसफॉर्मर को शोर छांटने और प्रासंगिक चीजों पर ध्यान केंद्रित करने में मदद करता है, ऐसे संबंधित शब्दों को जोड़कर जो अपने आप में एक-दूसरे की ओर कोई स्पष्ट संकेत नहीं देते। 

ट्रांसफॉर्मर मॉडल बड़े आर्किटेक्चर और अधिक मात्रा के डेटा से लाभान्वित होते हैं। इससे वे वाक्य में शब्दों के संदर्भ को समझने में अन्य किसी भी प्रकार के न्यूरल नेटवर्क से बेहतर बन जाते हैं, जो मशीन लर्निंग के क्षेत्र पर उनके बड़े प्रभाव की व्याख्या करता है। जैसे-जैसे वे विकसित होते रहेंगे, आने वाले वर्षों में उनका प्रभाव और बढ़ने की संभावना है—और आप कुछ आसान चरणों में LLMs के साथ अपना प्रयोग आरंभ कर सकते हैं।

GPT-3 के साथ शुरुआत

OpenAI API का नेविगेशन

भले ही GPT-3 दुनिया के सबसे परिष्कृत और जटिल भाषा मॉडलों में से एक है, इसकी क्षमताओं तक पहुंच एक सरल "टेक्स्ट-इन-टेक्स्ट-आउट" यूजर इंटरफेस के माध्यम से मिल जाती है। GPT-3 के साथ शुरुआत करने के लिए आपको सबसे पहले OpenAI API तक पहुंच चाहिए। आप इसके लिए यहां आवेदन कर सकते हैं और कुछ ही मिनटों में आपका खाता बन जाएगा।

एक बार जब आपको OpenAI डेवलपर अकाउंट की पहुंच मिल जाए, तो हम Playground को देखेंगे—एक निजी वेब-आधारित सैंडबॉक्स वातावरण, जो आपको API के साथ प्रयोग करने और यह सीखने देता है कि इसके विभिन्न घटक एक साथ कैसे काम करते हैं।

OpenAI API के घटक

यहां विभिन्न API घटकों और उनकी कार्यक्षमताओं का अवलोकन है:

• Execution Engine: यह उस भाषा मॉडल को निर्धारित करता है जिसका निष्पादन के लिए उपयोग होगा। सही इंजन चुनना आपके मॉडल की क्षमताएं तय करने और बदले में सही आउटपुट पाने की कुंजी है। 
• Response Length: रिस्पॉन्स लंबाई यह सीमा तय करती है कि API अपने कम्प्लीशन में कितना टेक्स्ट शामिल करेगा। क्योंकि OpenAI प्रति API कॉल जनरेट किए गए टेक्स्ट की लंबाई के हिसाब से शुल्क लेता है, इसलिए बजट पर रहने वालों के लिए रिस्पॉन्स लंबाई एक अहम पैरामीटर है। अधिक रिस्पॉन्स लंबाई की लागत अधिक होगी।
• Temperature: टेम्परेचर प्रतिक्रिया की अनियमितता को नियंत्रित करता है, जिसकी रेंज 0 से 1 तक होती है। कम टेम्परेचर का मतलब है कि API मॉडल को जो पहली उपयुक्त चीज दिखेगी, उसी से जवाब देगा; अधिक टेम्परेचर का मतलब है कि मॉडल परिणाम देने से पहले संदर्भ में फिट होने वाले संभावित उत्तरों का मूल्यांकन करेगा।
• Top P: Top P यह नियंत्रित करता है कि कम्प्लीशन के लिए मॉडल को, टेम्परेचर डायल के संकेत अनुसार, कितने यादृच्छिक परिणामों पर विचार करना चाहिए—यानी अनियमितता का दायरा। इसकी रेंज 0 से 1 तक होती है। कम मान रचनात्मकता सीमित करता है, जबकि अधिक मान इसके क्षितिज का विस्तार करता है।
• Frequency and Presence Penalty: फ्रीक्वेंसी पेनल्टी मॉडल के उसी पंक्ति को हूबहू दोहराने की संभावना को “दंडित” करके घटाती है। प्रेज़ेंस पेनल्टी इस संभावना को बढ़ाती है कि मॉडल नए विषयों पर बात करेगा।
• Best of: यह पैरामीटर आपको सर्वर-साइड पर उत्पन्न की जाने वाली कम्प्लीशनों की संख्या (n) निर्दिष्ट करने देता है और “n” कम्प्लीशनों में से सर्वश्रेष्ठ लौटाता है।
• Stop Sequence: स्टॉप सीक्वेंस ऐसे कैरेक्टर्स का सेट है जो API को कम्प्लीशन जनरेट करना बंद करने का संकेत देता है।
• Inject Start & Restart Text: इंजेक्ट स्टार्ट टेक्स्ट और इंजेक्ट रिस्टार्ट टेक्स्ट पैरामीटर क्रमशः कम्प्लीशन की शुरुआत या अंत में टेक्स्ट डालने की अनुमति देते हैं।
• Show Probabilities: यह विकल्प दिए गए इनपुट के लिए मॉडल द्वारा जनरेट किए जा सकने वाले टोकनों की सम्भावनाओं को दिखाकर टेक्स्ट प्रॉम्प्ट को डीबग करने देता है।

OpenAI API चार अलग-अलग एक्जीक्यूशन इंजनों की पेशकश करता है, जो उपयोग किए गए पैरामीटर्स की संख्या, प्रदर्शन क्षमताओं और कीमत में भिन्न होते हैं। बढ़ती क्षमताओं और आकार के क्रम में प्रमुख इंजन हैं: Ada (Ada Lovelace के नाम पर), Babbage (Charles Babbage), Curie (Madame Marie Curie) और Davinci (Leonardo da Vinci)। 

इन चार प्राथमिक मॉडलों के आधार पर, OpenAI ने InstructGPT नामक बेहतर मॉडलों की एक श्रृंखला लॉन्च की है, जो निर्देशों को समझने और उन्हें आपके अनुरूप विशिष्ट आउटपुट में बदलने में अधिक सक्षम हैं। आपको बस मॉडल को बताना है कि आप उससे क्या करवाना चाहते हैं, और वह आपके निर्देशों को पूरा करने की पूरी कोशिश करेगा। GPT-3 मॉडल को निर्देश देने की प्रक्रिया को प्रॉम्प्ट इंजीनियरिंग कहा जाता है। 

प्रॉम्प्ट इंजीनियरिंग

GPT-3 को टास्क एग्नॉस्टिक के रूप में डिजाइन किया गया है। यानी यह दिए गए प्रशिक्षण प्रॉम्प्ट के अनुसार संभावित रूप से अनगिनत कार्य कर सकता है। AI समाधान बनाना कभी आसान नहीं रहा, लेकिन GPT-3 के साथ आपको बस सामान्य अंग्रेजी में एक समझदार प्रशिक्षण प्रॉम्प्ट चाहिए।

स्रोत: आंद्रेज कारपथी द्वारा ट्वीट, 18 जून 2020

GPT-3 एप्लिकेशन बनाते समय सबसे पहली और महत्वपूर्ण चीज होती है प्रशिक्षण प्रॉम्प्ट का डिज़ाइन और सामग्री। प्रॉम्प्ट डिज़ाइन GPT-3 मॉडल को अनुकूल और संदर्भित प्रतिक्रिया देने के लिए तैयार करने की सबसे महत्वपूर्ण प्रक्रिया है। 

प्रॉम्प्ट वह टेक्स्ट इनपुट है जो आप मॉडल को देते हैं ताकि वह आपकी अपेक्षित आउटपुट जनरेट करे। एक अच्छा प्रॉम्प्ट डिजाइन करने का मतलब है कि आप टेक्स्ट इनपुट में कार्य के बारे में मॉडल को पर्याप्त संदर्भ दें। GPT-3 इनपुट को देखता है और उस टेक्स्ट से जवाब देने का प्रयास करता है जो उसके अनुसार इनपुट को सबसे बेहतर ढंग से पूरा करता है। 

एक मायने में, प्रॉम्प्ट डिज़ाइन शाराड्स जैसा खेल खेलने जैसा है!

अच्छे प्रॉम्प्ट लिखने का रहस्य यह समझना है कि GPT-3 दुनिया के बारे में क्या जानता है और उस जानकारी का उपयोग करके उपयोगी परिणाम उत्पन्न करने के लिए मॉडल को कैसे प्रेरित किया जाए। शाराड्स के खेल में हमारा लक्ष्य खिलाड़ियों को इतना ही संकेत देना होता है कि वे अपनी बुद्धि से सही शब्द का पता लगा लें। उसी तरह, हमें GPT-3 को प्रशिक्षण प्रॉम्प्ट के रूप में इतना ही संदर्भ देना चाहिए कि मॉडल पैटर्न समझ ले और कार्य कर सके। हम नहीं चाहते कि बहुत अधिक जानकारी देकर मॉडल की प्राकृतिक बुद्धि के प्रवाह में बाधा डालें, लेकिन बहुत कम देना गलत परिणाम दे सकता है।

सामान्य नियम के तौर पर, प्रशिक्षण प्रॉम्प्ट डिज़ाइन करते समय आपका लक्ष्य मॉडल से ज़ीरो-शॉट प्रतिक्रिया पाना होना चाहिए। यदि यह संभव न हो, तो पूरे कॉर्पस देने की बजाय कुछ उदाहरणों के साथ आगे बढ़ें। प्रशिक्षण प्रॉम्प्ट डिज़ाइन के लिए मानक प्रवाह कुछ इस प्रकार होना चाहिए: 

Zero-Shot → Few Shots → Corpus-based Priming

यदि आपके टेक्स्ट इनपुट में मॉडल “Q” अक्षर और उसके बाद सवाल देखता है, तो वह जवाब लिखने का प्रयास करेगा, लेकिन जरूरी नहीं कि वही जवाब दे जिसकी आपको उम्मीद है। पर्याप्त संदर्भ के बिना, वह मान सकता है कि आप प्रश्नों और गलत उत्तरों की सूची लिख रहे हैं। यदि आप सबसे अच्छा उत्तर पाना चाहते हैं, तो आपको GPT-3 को बताना होगा कि किस प्रकार के उत्तर देने हैं।

इसके बजाय कि आप GPT-3 से इस इनपुट को पूरा करने को कहें:

Q:
A:

जिसके लिए हमें पहली कम्प्लीशन मिली:

Q:
A:

Q:
A:

आप इस तरह के प्रॉम्प्ट (या उसके किसी रूपांतर, इस पर निर्भर करते हुए कि आप मॉडल से किस प्रकार के प्रश्न जनरेट कराना चाहते हैं) का उपयोग करके प्रश्नों के लिए अपना आउटपुट काफी बेहतर कर सकते हैं:

Write a few trivia questions.

Q:
A:

जहां हमें पहली ही कोशिश में निम्न कम्प्लीशन मिली:

What is the name of the longest river in Africa?
The Nile

What are the top 5 most spoken languages in the world?
Mandarin, Spanish, English, Hindi, Arabic

उपरोक्त जैसे सरल निर्देश GPT-3 को यह समझाने के लिए पर्याप्त हैं कि उसे ऐसे जवाब देने हैं जो आपकी अपेक्षा के अनुरूप हों; इस मामले में, कई ट्रिविया प्रश्न। आप “A:” की जगह “Factual answer:” जैसी वाक्यांश का प्रयोग करके भी परिणाम बेहतर कर सकते हैं।

Write a few trivia questions.

Question:
Factual answer:

इस इनपुट पर हमें निम्न कम्प्लीशन मिली:

1. What is the world’s largest desert?

The Sahara desert.

2. What is the world’s deepest Ocean?

The Pacific Ocean.

GPT-3 सैंडबॉक्स—Python के साथ OpenAI API का उपयोग

इस खंड में, हम आपको GPT-3 सैंडबॉक्स से परिचित कराएंगे—एक ओपन-सोर्स टूल जो आपकी कल्पनाओं को कुछ पंक्तियों के Python कोड से हकीकत में बदल देता है। हम दिखाएंगे कि इसे कैसे उपयोग करें और अपनी विशिष्ट एप्लिकेशन के लिए कैसे अनुकूलित करें। इस सैंडबॉक्स का उद्देश्य है कि चाहे आपका तकनीकी बैकग्राउंड कुछ भी हो, आप शानदार वेब एप्लिकेशन बना सकें। 

GPT-3 एप्लिकेशन बनाने और डिप्लॉय करने की चरण-दर-चरण वॉकथ्रू के लिए यह इंटरएक्टिव वीडियो श्रृंखला देखें। GPT-3 सैंडबॉक्स का उपयोग करने के लिए आपको निम्न तकनीकी स्टैक चाहिए:

• Python 3.7+
• VS Code जैसा कोई IDE

अपने IDE में नया टर्मिनल खोलकर और निम्न कमांड का उपयोग करके इस रिपोजिटरी से कोड क्लोन करें:

git clone https://github.com/Shubhamsaboo/kairos_gpt3

वेब एप्लिकेशन बनाने और डिप्लॉय करने के लिए जो कुछ चाहिए, वह सब कोड में मौजूद है। आपको बस कुछ फाइलें बदलनी हैं ताकि सैंडबॉक्स को अपने विशिष्ट उपयोग-केस के लिए कस्टमाइज़ कर सकें। अब शुरुआत करने के लिए एक Python वर्चुअल एनवायरमेंट बनाएं। वर्चुअल एनवायरमेंट बनाने के बाद, आप निम्न कमांड से आवश्यक डिपेंडेंसीज इंस्टॉल कर सकते हैं: 

pip install -r requirements.txt

अब आप सैंडबॉक्स कोड को कस्टमाइज़ करना शुरू कर सकते हैं। पहली फाइल जिसे आपको देखना है, वह है training_data.py। इस फाइल को खोलें और डिफॉल्ट प्रॉम्प्ट को उस प्रशिक्षण प्रॉम्प्ट से बदलें जिसे आप उपयोग करना चाहते हैं। आप GPT-3 Playground में विभिन्न प्रशिक्षण प्रॉम्प्ट्स के साथ प्रयोग कर सकते हैं (पुस्तक के अध्याय 2 और सैंडबॉक्स को कस्टमाइज़ करने पर यह वीडियो देखें)।

अब आप API पैरामीटर्स (Maximum tokens, Execution Engine, Temperature, Top-p, Frequency Penalty, Stop Sequence) को एडजस्ट करने के लिए तैयार हैं। हम सुझाव देते हैं कि किसी दिए गए प्रशिक्षण प्रॉम्प्ट के लिए Playground में API पैरामीटर्स के अलग-अलग मानों के साथ प्रयोग करें ताकि आपके उपयोग-केस के लिए सबसे उपयुक्त मान तय हो सकें। जब परिणाम संतोषजनक मिल जाएं, तब आप training_service.py फाइल में मानों को बदल दें।

बस इतना ही! आपका GPT-3 आधारित वेब एप्लिकेशन अब तैयार है। आप इसे लोकली निम्न कमांड का उपयोग करके चला सकते हैं:

streamlit run gpt_app.py

आप Streamlit sharing का उपयोग करके एप्लिकेशन को डिप्लॉय कर सकते हैं और इसे व्यापक दर्शकों तक पहुंचा सकते हैं। अपने एप्लिकेशन को डिप्लॉय करने की पूरी वॉकथ्रू के लिए यह वीडियो देखें।

आप GPT-3 से क्या बना सकते हैं? 

GPT-3 से पहले, अधिकांश लोगों की AI से बातचीत कुछ विशिष्ट कार्यों तक सीमित थी, जैसे Alexa से अपना पसंदीदा गाना चलाने के लिए कहना या अलग-अलग भाषाओं में बातचीत करने के लिए Google Translate का उपयोग करना। LLMs के विकास के साथ, हम एक बड़े पैमाने के बदलाव की ओर देख रहे हैं। LLMs ने हमें दिखाया है कि मॉडलों का आकार बढ़ाकर, AI अनुप्रयोग इंसानों जैसी रचनात्मक और जटिल गतिविधियां कर सकते हैं। 

GPT-3 रचनात्मक उद्यमियों की कल्पनाशक्ति को सही तकनीक से ऊर्जा देकर स्टार्टअप्स की अगली लहर को गति दे रहा है। OpenAI के API जारी करने के तुरंत बाद, स्टार्टअप परिदृश्य उन कंपनियों से भर गया जो इसका उपयोग करके समस्याएं सुलझा रही हैं। आइए इस गतिशील इकोसिस्टम का अन्वेषण करते हैं—रचनात्मक कला, डेटा विश्लेषण, चैटबॉट्स, कॉपीराइटिंग और डेवलपर टूल्स जैसे क्षेत्रों में अपने उत्पाद के मूल में GPT-3 का उपयोग करने वाले कुछ शीर्ष-प्रदर्शन करने वाले स्टार्टअप्स को देखकर। 

1. GPT-3 के रचनात्मक उपयोग: Fable Studio

GPT-3 की सबसे रोमांचक क्षमताओं में से एक है कहानी कहना। आप मॉडल को कोई विषय दे सकते हैं और उससे ज़ीरो-शॉट सेटिंग में कहानी लिखने के लिए कह सकते हैं। इससे लेखक अपनी कल्पनाओं का विस्तार कर रहे हैं और असाधारण रचनाएं सामने ला रहे हैं। उदाहरण के लिए, जेनिफर टैंग द्वारा निर्देशित और चिनोन्येरेम ओडिम्बा तथा नीना सेगल के साथ विकसित नाटक AI GPT-3 की मदद से मानव और कंप्यूटर मस्तिष्कों के बीच एक अनोखे सहयोग को चित्रित करता है। 

Fable Studio मॉडल की रचनात्मक स्टोरीटेलिंग क्षमताओं का उपयोग करने वाली कंपनी है। उन्होंने नील गेइमन और डेव मैककीन की बच्चों की पुस्तक Wolves in the Walls को एक एमी अवॉर्ड-विजेता VR फिल्म अनुभव में ढाला है। फिल्म की नायिका लूसी, GPT-3 द्वारा जनित संवादों की बदौलत लोगों के साथ स्वाभाविक बातचीत कर सकती है। कंपनी का मानना है कि मॉडल के आने वाले संस्करणों के साथ आगे चलकर, उतने ही कुशल और रचनात्मक AI स्टोरीटेलर विकसित करना संभव है जितने श्रेष्ठ मानव लेखक।

2. GPT-3 के डेटा विश्लेषण उपयोग: Viable

Viable एक फीडबैक एग्रीगेशन टूल है जो सर्वेक्षणों, हेल्प डेस्क टिकटों, लाइव चैट लॉग्स और ग्राहक समीक्षाओं में थीम, भावनाएं और सेंटिमेंट्स की पहचान करता है। फिर यह कुछ सेकंड में परिणामों का सारांश प्रदान करता है। उदाहरण के लिए, यदि पूछा जाए, “हमारे ग्राहकों को चेकआउट अनुभव में क्या निराश कर रहा है?” तो Viable इस तरह उत्तर दे सकता है: “ग्राहक चेकआउट फ्लो से निराश हैं क्योंकि इसे लोड होने में बहुत समय लगता है। वे चेकआउट में अपना पता संपादित करने और कई भुगतान तरीकों को सहेजने का विकल्प भी चाहते हैं।”

जैसा कि आप कस्टमर-फीडबैक विशेषज्ञों से उम्मीद करेंगे, Viable सॉफ़्टवेयर द्वारा जनरेट हर उत्तर के पास थम्स अप और थम्स डाउन बटन देता है। वे इस फीडबैक का उपयोग पुनःप्रशिक्षण में करते हैं। इस प्रक्रिया में मनुष्य भी शामिल हैं: Viable के पास एक एनोटेशन टीम है, जो आंतरिक मॉडलों और GPT-3 फाइन-ट्यूनिंग दोनों के लिए प्रशिक्षण डेटासेट बनाने की ज़िम्मेदार है। वे उस फाइन-ट्यून किए गए मॉडल के मौजूदा संस्करण का उपयोग आउटपुट जनरेट करने के लिए करते हैं, जिसे फिर इंसान गुणवत्ता के लिए परखते हैं। अगर आउटपुट समझ में नहीं आता या सटीक नहीं है, तो वे उसे फिर से लिखते हैं। और जब आउटपुट्स की एक ऐसी सूची बन जाती है जिससे वे संतुष्ट हों, तो वे उसे प्रशिक्षण डेटासेट के अगले संस्करण में वापस फीड कर देते हैं।

3. GPT-3 के चैटबॉट उपयोग: Quickchat

Emerson AI कंपनी Quickchat का चैटबॉट पर्सोना है और अपनी सामान्य विश्व-ज्ञान, अनेक भाषाओं के समर्थन और बातचीत जारी रखने की क्षमता के लिए जाना जाता है। Emerson AI का उपयोग GPT-3 संचालित चैटबॉट्स की क्षमताओं को प्रदर्शित करने और उपयोगकर्ताओं को अपनी कंपनियों के लिए ऐसे पर्सोना लागू करने हेतु Quickchat के साथ काम करने के लिए प्रोत्साहित करने में किया जाता है। Quickchat का उत्पाद प्रस्ताव एक सामान्य-उद्देश्य वार्तालाप AI है जो किसी भी विषय पर बात कर सकता है। ग्राहक अपने उत्पाद से संबंधित अतिरिक्त जानकारी जोड़कर चैटबॉट को कस्टमाइज़ कर सकते हैं। Quickchat के विविध उपयोग हुए हैं, जैसे कस्टमर सपोर्ट को स्वचालित करना और आंतरिक कंपनी नॉलेज बेस खोजने में मदद करने के लिए एक AI पर्सोना लागू करना।

सामान्य चैटबॉट सेवा प्रदाताओं के विपरीत, Quickchat कोई वार्तालाप वृक्ष या कठोर परिदृश्य नहीं बनाता, न ही उसे चैटबॉट को किसी विशेष तरीके से उत्तर सिखाने की आवश्यकता होती है। इसके बजाय, ग्राहक एक सरल प्रक्रिया का पालन करते हैं: आप वह टेक्स्ट कॉपी-पेस्ट करते हैं जिसमें वह सारी जानकारी हो जिसे आप चाहते हैं कि आपका AI उपयोग करे, और रिट्रेन बटन पर क्लिक करते हैं—कुछ सेकंड में यह ज्ञान को आत्मसात कर लेता है—और बस। अब आपके डेटा पर प्रशिक्षित चैटबॉट टेस्ट बातचीत के लिए तैयार है। 

4. GPT-3 के मार्केटिंग उपयोग: Copysmith

GPT-3 के सबसे लोकप्रिय उपयोगों में से एक है तुरंत रचनात्मक सामग्री बनाना। Copysmith ऐसी ही एक कंटेंट जनरेशन प्लेटफ़ॉर्म का उदाहरण है। यह ई-कॉमर्स व्यवसायों के लिए प्रॉम्प्ट जनरेट करने में GPT-3 का उपयोग करता है, जिन्हें बाद में कॉपी में बदला जाता है। मार्केटिंग के क्षेत्र में GPT-3 खास चमकता है, जहां यह तेज़ी से गुणवत्ता सामग्री बनाने, सहयोग करने और लॉन्च करने में मदद करता है। इस मॉडल की बदौलत, ऑनलाइन छोटे और मध्यम आकार के व्यवसाय बेहतर कॉल-टू-एक्शन और उत्पाद विवरण लिख सकते हैं और अपनी मार्केटिंग को अगले स्तर पर ले जा सकते हैं।

5. GPT-3 के कोडिंग उपयोग: Stenography

OpenAI कम्युनिटी एम्बेसडर ब्रैम एडम्स ने Stenography बनाया—एक प्रोग्राम जो GPT-3 और Codex का उपयोग करके कोड डाक्यूमेंटेशन लिखने की प्रक्रिया को स्वचालित करता है। 

Stenography ने तुरंत सफलता पाई, ProductHunt पर #1 प्रोडक्ट के रूप में लॉन्च हुआ। एडम्स डॉक्यूमेंटेशन को लोगों तक पहुंचने का एक तरीका मानते हैं—चाहे वह उनकी टीम के अन्य लोग हों, उनका भविष्य का स्व, या कोई भी दिलचस्प व्यक्ति जो GitHub पर किसी डेवलपमेंट प्रोजेक्ट पर आ टकराए। Stenography का लक्ष्य किसी प्रोजेक्ट को दूसरों के लिए समझने योग्य बनाना है।

उभरते GPT-3 इकोसिस्टम के बारे में और जानने के लिए, हमारी आने वाली O’Reilly पुस्तक के अध्याय-4 (अगली पीढ़ी के स्टार्टअप्स के लिए लॉन्चपैड के रूप में GPT-3) और अध्याय-5 (कंपनियों के लिए GPT-3) देखें।

निष्कर्ष

• GPT-3 AI के इतिहास में एक महत्वपूर्ण मील का पत्थर है। यह बड़े LLM ट्रेंड का हिस्सा भी है जो भविष्य में आगे बढ़ता रहेगा। API एक्सेस प्रदान करने का क्रांतिकारी कदम मॉडल-एज़-ए-सर्विस जैसे नए बिजनेस मॉडल का कारण बना है।
• GPT-3 की सामान्य भाषा-आधारित क्षमताएं नवाचारी उत्पादों के निर्माण के द्वार खोलती हैं। यह खास तौर पर टेक्स्ट जनरेशन, टेक्स्ट सारांशण, वर्गीकरण और वार्तालाप जैसे कार्यों को हल करने में अच्छा है।
• कई सफल कंपनियां ज्यादातर या पूरी तरह GPT-3 पर आधारित हैं। हमारे पसंदीदा उपयोग-केस हैं—रचनात्मक स्टोरीटेलिंग, डेटा विश्लेषण, चैटबॉट्स, मार्केटिंग कॉपीराइटिंग और डेवलपर टूल्स।