मुख्य सामग्री पर जाएँ

फाउंडेशन मॉडल क्या हैं?

उस प्रमुख तकनीक को जानें जो जनरेटिव AI उछाल को शक्ति दे रही है।
Javier Canales Luna
Javier Canales Luna

अपना निःशुल्क खाता बनाएँ

अभ्यास और ट्रैक अपनी प्रगति को।

Google के साथ जारी रखेंजारी रखकर, आप हमारी उपयोग की शर्तें, हमारी गोपनीयता नीति को स्वीकार करते हैं और यह भी कि आपका डेटा USA में संग्रहीत है।

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; ये मॉडल उस AI क्रांति के कुछ सितारे हैं जिसे हम ChatGPT के जारी होने से देख रहे हैं। इन मॉडलों में क्या समानता है? आपने सही समझा: ये सभी फाउंडेशन मॉडल हैं।

फाउंडेशन मॉडल AI में हालिया विकास हैं। ये मॉडल ऐसे एल्गोरिदम से तैयार किए जाते हैं जो आउटपुट की सामान्यता और बहुमुखी प्रतिभा के लिए अनुकूलित होते हैं। ये बड़े पैमाने के न्यूरल नेटवर्क पर आधारित होते हैं, जिन्हें अक्सर विभिन्न डेटा स्रोतों और भारी मात्रा के डेटा पर प्रशिक्षित किया जाता है ताकि वे अनेक डाउनस्ट्रीम कार्य कर सकें—यहां तक कि वे कार्य भी जिनके लिए उन्हें विशेष रूप से विकसित और प्रशिक्षित नहीं किया गया था।

फाउंडेशन मॉडलों की बढ़ती लोकप्रियता संकीर्ण AI बनाम आर्टिफ़िशियल जनरल इंटेलिजेंस (AGI), जिसे स्ट्रॉन्ग AI भी कहा जाता है, पर चल रही पारंपरिक बहस को फिर से उकसा रही है। संकीर्ण AI उन AI प्रणालियों को संदर्भित करता है जो विशिष्ट कार्यों के लिए डिज़ाइन की जाती हैं और अपनी निर्धारित सीमाओं से बाहर के कार्य करने में सक्षम नहीं होतीं। इसके विपरीत, AGI एक काल्पनिक AI प्रणाली है जो मनुष्य की तरह कई तरह के कार्यों में समझ, सीखने और ज्ञान का उपयोग कर सकती है।

हालाँकि फाउंडेशन मॉडल अभी मनुष्यों की तरह सोचने में सक्षम नहीं हैं, वे ऐसे क्रांतिकारी परिणाम दे रहे हैं जो हमें AGI की दहलीज के और करीब ले आते हैं। यही कारण है कि डेटा पेशेवरों और आम उपयोगकर्ताओं—दोनों—को इन मॉडलों से परिचित होना चाहिए।

यदि आप इस विषय में नए हैं, तो हमारा AI Essentials Skill Track अगली पीढ़ी के AI मॉडलों का एक गहन अवलोकन देगा। जिनके पास मौजूदा कौशल हैं, उनके लिए हमारे जनरेटिव AI प्रोजेक्ट्स पर लेख से आप अपने ज्ञान को परख सकते हैं।

आइए फाउंडेशन मॉडलों पर करीब से नज़र डालें!

फाउंडेशन मॉडल क्या हैं? प्रमुख अवधारणाएँ समझना

फाउंडेशन मॉडल अपेक्षाकृत नया शब्द है, जो जनरेटिव AI, ट्रांसफ़ॉर्मर और लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे अन्य लोकप्रिय अवधारणाओं से ओवरलैप कर सकता है।

फिर भी AI की शब्दावली पर बहस जारी है। यहाँ कुछ परिभाषाएँ दी गई हैं जो आपको तीव्र गति से विकसित होते AI क्षेत्र में राह दिखाएँगी:

  • जनरेटिव AI। यह एक व्यापक शब्द है जो उन AI प्रणालियों का वर्णन करता है जिनका प्राथमिक कार्य सामग्री उत्पन्न करना है, उन अन्य AI प्रणालियों के विपरीत जो वर्गीकरण और पूर्वानुमान जैसे कार्यों के लिए डिज़ाइन की गई हैं।
  • ट्रांसफ़ॉर्मर। ट्रांसफ़ॉर्मर्स ने डीप लर्निंग के क्षेत्र में क्रांति ला दी है। वे अनुक्रमिक डेटा को अधिक प्रभावी ढंग से संभालने के लिए एक नवीन आर्किटेक्चर प्रदान करते हैं। टेक्स्ट प्रोसेसिंग में ये विशेष रूप से उपयुक्त हैं, इसलिए वे प्राकृतिक भाषा संसाधन (NLP) और प्राकृतिक भाषा जनरेशन (NLG) के क्षेत्र में आधारशिला बन गए हैं। हालाँकि, ट्रांसफ़ॉर्मर्स का उपयोग छवियों जैसे अन्य डेटा प्रकारों के साथ भी किया गया है और उतने ही सफल परिणाम मिले हैं।
  • लार्ज लैंग्वेज मॉडल। LLMs वे AI प्रणालियाँ हैं जो मानवीय भाषा का मॉडलिंग और प्रोसेसिंग करती हैं। ट्रांसफ़ॉर्मर्स LLMs की आधारभूत तकनीक हैं। इन्हें “लार्ज” इसलिए कहा जाता है क्योंकि इनमें सैकड़ों मिलियन या अरबों पैरामीटर्स होते हैं, जिन्हें विशाल टेक्स्ट कॉर्पस पर प्री-ट्रेन किया जाता है।
  • फाउंडेशन मॉडल। यह एक व्यापक शब्द है जो ऐसे AI मॉडलों को परिभाषित करता है जो विविध और सामान्य प्रकार के आउटपुट बनाने के लिए डिज़ाइन किए जाते हैं। वे टेक्स्ट, वीडियो, इमेज या ऑडियो जनरेशन सहित कई तरह के कार्यों और अनुप्रयोगों में सक्षम होते हैं। इन मॉडलों की एक खासियत यह है कि इन्हें स्टैंडअलोन सिस्टम के रूप में या अन्य अनुप्रयोगों के लिए ‘नींव’ के रूप में इस्तेमाल किया जा सकता है। उदाहरण के लिए, GPT नामक LLM, ChatGPT का फाउंडेशन मॉडल है।

फाउंडेशन मॉडल कैसे काम करते हैं?

फाउंडेशन मॉडलों की आधारभूत तकनीक—चाहे वे किसी भी कार्य के लिए डिज़ाइन किए गए हों और प्रशिक्षण में किसी भी प्रकार के डेटा का उपयोग करें—ट्रांसफ़ॉर्मर है।

2017 में Google शोधकर्ताओं द्वारा विकसित, ट्रांसफ़ॉर्मर्स ने पारंपरिक रिकरेंट न्यूरल नेटवर्क (RNNs) और कन्वोल्यूशनल न्यूरल नेटवर्क (CNNs) के विकल्प के रूप में टेक्स्ट जैसे अनुक्रमिक डेटा को संभालने का तरीका दिया।

ट्रांसफ़ॉर्मर्स किसी अनुक्रम में अगले शब्द का अनुमान लगाकर एक सुसंगत प्रतिक्रिया बनाते हैं। यह प्रक्रिया अटेंशन नामक तंत्र से होती है, जो प्रतिक्रिया उत्पन्न करते समय अलग-अलग शब्दों के प्रभाव को तौलता है।

ट्रांसफ़ॉर्मर्स का प्रशिक्षण दो चरणों में होता है: प्री-ट्रेनिंग और फाइन-ट्यूनिंग।

प्री-ट्रेनिंग

इस चरण में, ट्रांसफ़ॉर्मर्स को कच्चे (टेक्स्ट) डेटा की बड़ी मात्रा पर प्रशिक्षित किया जाता है, जिसमें इंटरनेट प्राथमिक डेटा स्रोत होता है।

प्रशिक्षण सेल्फ-सुपरवाइज्ड लर्निंग के ज़रिए किया जाता है—यह एक नवीन प्रशिक्षण तरीका है जिसमें डेटा को लेबल करने के लिए मानव हस्तक्षेप की आवश्यकता नहीं होती।

प्री-ट्रेनिंग का लक्ष्य भाषा के सांख्यिकीय पैटर्न सीखना है। चूँकि ट्रांसफ़ॉर्मर्स के प्रदर्शन को बेहतर करने की मुख्य रणनीति मॉडल के आकार (अर्थात पैरामीटर्स) और प्री-ट्रेनिंग में उपयोग किए गए डेटा की मात्रा बढ़ाना है, इसलिए यह चरण प्रायः समय-साध्य और महँगा होता है।

फाइन-ट्यूनिंग

प्री-ट्रेनिंग ट्रांसफ़ॉर्मर को भाषा की बुनियादी समझ देती है, लेकिन यह विशेष व्यावहारिक कार्य करने के लिए पर्याप्त नहीं है। इसलिए मॉडल एक फाइन-ट्यूनिंग चरण से गुजरता है, जहाँ उसे एक संकीर्ण, डोमेन-विशिष्ट डेटासेट पर प्रशिक्षित किया जाता है जिसे कुछ दिशानिर्देशों का पालन करते हुए मानव समीक्षकों की मदद से तैयार किया गया होता है।

मोडैलिटी

फाउंडेशन मॉडलों की एक और महत्वपूर्ण विशेषता मोडैलिटी है। इनपुट के रूप में वे किस प्रकार का डेटा ले सकते हैं, इसके आधार पर वे यूनिमोडल या मल्टीमोडल हो सकते हैं। यूनिमोडल केवल एक प्रकार का डेटा ले सकता है और उसी प्रकार का आउटपुट बनाता है, जबकि मल्टीमोडल कई प्रकार के इनपुट ले सकता है और कई प्रकार के आउटपुट जनरेट कर सकता है (उदाहरण के लिए, GPT-4 छवि और पाठ दोनों इनपुट स्वीकार कर सकता है और टेक्स्ट आउटपुट उत्पन्न करता है।

ट्रांसफ़ॉर्मर्स कैसे काम करते हैं, इसे समझना कठिन हो सकता है और यह इस लेख के दायरे से बाहर है। अधिक विस्तृत विवरण के लिए हमारा लेख What is ChatGPT देखें, जहाँ हमने सीधे ChatGPT से प्रश्न पूछे हैं, और अधिक तकनीकी दृष्टि के लिए Transformers and Hugging Face के बारे में जानें।

यदि आप जानना चाहते हैं कि LLMs कैसे काम करते हैं, तो हमारा Large Language Models (LLMs) Concepts Course एक बेहतरीन शुरुआती बिंदु है।

फाउंडेशन मॉडलों के अनुप्रयोग

फाउंडेशन मॉडलों को स्टैंडअलोन सिस्टम के रूप में या अनगिनत डाउनस्ट्रीम AI प्रणालियों और अनुप्रयोगों के आधार के रूप में उपयोग किया जा सकता है। जहाँ आधुनिक फाउंडेशन सिस्टम का अधिकांश भाग टेक्स्ट या कोड जनरेट करने और NLP कार्य करने के लिए डिज़ाइन किया जाता है, वहीं ऐसे सिस्टमों की संख्या बढ़ रही है जो छवियों या संगीत जैसी अन्य प्रकार की आउटपुट भी उत्पन्न कर सकते हैं।

नीचे कुछ सबसे लोकप्रिय फाउंडेशन मॉडलों की एक तालिका दी गई है।

फाउंडेशन मॉडल

डाउनस्ट्रीम AI सिस्टम

अनुप्रयोग

LaMDA (Google)

Bard

प्रायोगिक, संवादात्मक, AI चैट सेवा।

GPT-3.5 (OpenAI)

ChatGPT

आपको मनुष्यों जैसी बातचीत करने की सुविधा देता है।

GPT-4 (OpenAI)

DataLab AI Assistant

DataLab उपयोगकर्ताओं को बेहतर और स्मार्ट तरीके से कोड करने में सक्षम बनाता है।

Codex (OpenAI)

GitHub Copilot

रियल टाइम में कोड और पूरी फ़ंक्शंस सुझाता है।

AudioLM (Google)

MusicLM

टेक्स्ट विवरणों के आधार पर संगीत बनाएँ।

BLOOM (Hugging Face)

कोई डाउनस्ट्रीम एप्लिकेशन नहीं। सीधे उपयोग किया जा सकता है

एकाधिक NLP कार्य। 46 विभिन्न भाषाओं और 13 प्रोग्रामिंग भाषाओं में प्रशिक्षित।

LLaMA (Meta)

कोई डाउनस्ट्रीम एप्लिकेशन नहीं। सीधे उपयोग किया जा सकता है

शोधकर्ताओं को AI के इस उपक्षेत्र में अपने कार्य को आगे बढ़ाने में मदद करता है।

DALL-E 2 (OpenAI)

कोई डाउनस्ट्रीम एप्लिकेशन नहीं। सीधे उपयोग किया जा सकता है

प्राकृतिक भाषा के वर्णन से यथार्थपरक छवियाँ और कला बनाएं।

फाउंडेशन मॉडलों से जुड़े चुनौतियाँ और चिंताएँ

फाउंडेशन मॉडल AI के अग्रभाग में हैं और अनगिनत अनुप्रयोगों को शक्ति देने की क्षमता रखते हैं। हालाँकि, इनके संभावित जोखिमों और चुनौतियों पर विचार करना महत्वपूर्ण है।

यहाँ जोखिमों की एक अपूर्ण सूची दी गई है जिसे फाउंडेशन मॉडलों को व्यापक रूप से अपनाने के साथ जोड़कर देखना चाहिए:

  • पारदर्शिता की कमी। एल्गोरिथमिक अस्पष्टता फाउंडेशन मॉडलों से जुड़ी मुख्य चिंताओं में से एक है, जिन्हें अक्सर ‘ब्लैक बॉक्स’ मॉडल कहा जाता है—अर्थात, इतने जटिल मॉडल कि उनके तर्क को ट्रैक करना असंभव हो। AI प्रदाता अक्सर व्यावसायिक गोपनीयता के आधार पर अपने मॉडलों के बारे में जानकारी देने से हिचकते हैं। हालाँकि, पारदर्शिता बढ़ाना फाउंडेशन मॉडलों की लागत और प्रभाव जानने के साथ-साथ उनकी सुरक्षा और प्रभावशीलता का आकलन करने के लिए आवश्यक है।
  • पक्षपात और भेदभाव। पक्षपाती फाउंडेशन मॉडल ऐसे अनुचित निर्णयों का कारण बन सकते हैं जो अक्सर अल्पसंख्यक समूहों के खिलाफ भेदभाव को बढ़ाते हैं। IBM Research इस पक्षपात को कम करने के तरीके तलाश रहा है।
  • गोपनीयता मुद्दे। फाउंडेशन मॉडल विशाल मात्रा के डेटा पर प्रशिक्षित किए जाते हैं, जिनमें अक्सर व्यक्तिगत डेटा शामिल होता है। इससे डेटा गोपनीयता और सुरक्षा से जुड़े मुद्दे और जोखिम उत्पन्न हो सकते हैं।
  • नैतिक विचार। फाउंडेशन मॉडल कभी-कभी ऐसे निर्णयों का कारण बन सकते हैं जिनका हमारे जीवन पर गंभीर असर पड़ता है और जो हमारे मूलभूत अधिकारों पर महत्वपूर्ण प्रभाव डालते हैं। हमने जनरेटिव AI की नैतिकता पर एक अलग पोस्ट में चर्चा की है।

फाउंडेशन मॉडलों का भविष्य

फाउंडेशन मॉडल मौजूदा जनरेटिव AI उछाल को ईंधन दे रहे हैं। संभावित अनुप्रयोग इतने व्यापक हैं कि हर क्षेत्र और उद्योग, जिसमें डेटा साइंस भी शामिल है, आने वाले समय में AI को अपनाने से प्रभावित होने की संभावना है।

हालाँकि हम अभी आर्टिफ़िशियल जनरल इंटेलिजेंस हासिल करने से बहुत दूर हैं, फाउंडेशन मॉडलों का विकास AI दौड़ में एक महत्वपूर्ण मील का पत्थर है। कंपनियों, नियामकों और समग्र समाज को AI की वर्तमान स्थिति के बारे में जागरूक होना चाहिए—पारदर्शिता, निष्पक्षता और जवाबदेही सुनिश्चित करने की पूर्वशर्त के रूप में।

DataCamp सभी के लिए AI विकास के साथ अद्यतन रहने हेतु व्यापक और सुलभ संसाधन प्रदान करने के लिए कड़ी मेहनत कर रहा है। इन्हें देखें:

Javier Canales Luna

लेखक

Javier Canales Luna

मैं एक स्वतंत्र डेटा विश्लेषक हूँ और दुनिया भर की कंपनियों व संगठनों के साथ डेटा साइंस परियोजनाओं पर सहयोग करता/करती हूँ। मैं 2+ वर्षों के अनुभव वाला/वाली डेटा साइंस प्रशिक्षक भी हूँ। मैं नियमित रूप से अंग्रेज़ी और स्पेनिश में डेटा साइंस से संबंधित लेख लिखता/लिखती हूँ, जिनमें से कुछ DataCamp, Towards Data Science और Analytics Vidhya जैसी स्थापित वेबसाइटों पर प्रकाशित हुए हैं। राजनीतिक विज्ञान और क़ानून की पृष्ठभूमि वाले/वाली डेटा वैज्ञानिक के रूप में, मेरा लक्ष्य लोक नीति, क़ानून और प्रौद्योगिकी के संगम पर काम करना है—विचारों की शक्ति का उपयोग करके ऐसे अभिनव समाधान और कथाएँ विकसित करना जो हमें तात्कालिक चुनौतियों, विशेषकर जलवायु संकट, से निपटने में मदद कर सकें। मैं स्वयं-अध्येता, सतत सीखने वाला/वाली और बहुविषयक दृष्टिकोण का प्रबल समर्थक/समर्थक हूँ। नई चीज़ें सीखने में कभी देर नहीं होती।

विषय