RAFT क्या है? विशेषीकृत डोमेन्स के लिए LLMs को अनुकूलित करने हेतु RAG और फाइन-ट्यूनिंग का संयोजन

जैसे-जैसे प्राकृतिक भाषा संसाधन (NLP) तेजी से बढ़ रहा है, बड़े भाषा मॉडल (LLMs) अत्यंत शक्तिशाली उपकरण बन गए हैं, जो बढ़ती संख्या में कार्यों को संभालने में सक्षम हैं। हालांकि, एक लगातार बनी रहने वाली चुनौती इन सामान्य मॉडलों को अत्यधिक विशेषीकृत क्षेत्रों, जैसे चिकित्सा साहित्य या सॉफ़्टवेयर डाक्यूमेंटेशन, के अनुरूप ढालना रही है।

यहीं पर Retrieval-Augmented Fine-Tuning (RAFT) काम आता है—एक नई तकनीक जो डोमेन-विशिष्ट NLP को बदल सकती है। RAFT, Retrieval-Augmented Generation (RAG) की ताकत—जो LLMs को बाहरी डेटा स्रोतों से जोड़ती है—और फाइन-ट्यूनिंग को मिलाता है, जिससे मॉडल न केवल डोमेन-विशिष्ट ज्ञान सीखते हैं बल्कि कार्य निष्पादन के लिए बाहरी संदर्भ को सटीक रूप से पुनः प्राप्त करना और समझना भी सीखते हैं।

इस लेख में, हम RAFT के आंतरिक कामकाज की पड़ताल करेंगे, इसके फायदे देखेंगे, और समझेंगे कि यह अत्याधुनिक तकनीक डोमेन-विशिष्ट NLP कार्यों के प्रति हमारे दृष्टिकोण में कैसे क्रांति ला सकती है। शुरुआत करने के लिए, RAG पर कुछ संसाधन देखें, जैसे हमारा RAG परिचय और RAG के व्यावहारिक अनुप्रयोग।

Retrieval Augmented Fine-Tuning (RAFT) क्या है

Retrieval Augmented Fine-Tuning (RAFT) भाषा मॉडलों के लिए एक क्रांतिकारी दृष्टिकोण है जो RAG और फाइन-ट्यूनिंग के लाभों को जोड़ता है। यह तकनीक मॉडलों की डोमेन-विशिष्ट ज्ञान को समझने और इस्तेमाल करने की क्षमता को बढ़ाते हुए, गलत पुनर्प्राप्तियों के प्रति मज़बूती सुनिश्चित करके उन्हें विशिष्ट डोमेन्स के लिए अनुकूलित करती है।

RAFT विशेष रूप से LLMs को विशेषीकृत डोमेन्स में ढालने की चुनौतियों से निपटने के लिए डिज़ाइन किया गया है। इन संदर्भों में, सामान्य ज्ञान पर तर्क करना कम महत्वपूर्ण हो जाता है, और प्राथमिक ध्यान पूर्व-निर्धारित डोमेन-विशिष्ट दस्तावेजों के सेट के सापेक्ष सटीकता को अधिकतम करने पर केंद्रित हो जाता है।

RAG बनाम फाइन-ट्यूनिंग को समझना

RAG क्या है?

Retrieval-Augmented Generation (RAG) एक तकनीक है जो भाषा मॉडलों को एक रिट्रीवल मॉड्यूल के एकीकरण से बेहतर बनाती है, जो बाहरी नॉलेज बेस से प्रासंगिक जानकारी प्राप्त करता है।

यह रिट्रीवल मॉड्यूल इनपुट क्वेरी के आधार पर प्रासंगिक दस्तावेज़ लाता है। भाषा मॉडल तब इस अतिरिक्त संदर्भ का उपयोग अंतिम आउटपुट बनाने के लिए करता है।

'रिट्रीव-एंड-रीड' प्रतिमान के तहत काम करते हुए, RAG ने भाषा मॉडलिंग और ओपन-डोमेन प्रश्नोत्तर सहित विभिन्न NLP कार्यों में अत्यधिक प्रभावशीलता दिखाई है।

हालांकि, इन भाषा मॉडलों को सटीक डोमेन-विशिष्ट दस्तावेजों को पुनः प्राप्त करने के लिए प्रशिक्षित नहीं किया गया है और इनके पास केवल प्री-ट्रेनिंग से सामान्य डोमेन ज्ञान होता है।

मूल शोध पत्र में उल्लेखित अनुसार, मौजूदा इन-कॉन्टेक्स्ट रिट्रीवल विधियाँ ऐसे हैं मानो आप ओपन-बुक परीक्षा दे रहे हों, लेकिन यह न जानते हुए कि प्रश्न का उत्तर देने के लिए कौन से दस्तावेज़ सबसे अधिक प्रासंगिक हैं।

RAG के बारे में अधिक जानने के लिए देखें कैसे GPT और Milvus के साथ RAG का उपयोग करके प्रश्नोत्तर किया जा सकता है।

फाइन-ट्यूनिंग क्या है?

फाइन-ट्यूनिंग, पूर्व-प्रशिक्षित LLMs को डाउनस्ट्रीम कार्यों के अनुसार ढालने की व्यापक रूप से अपनाई गई विधि है। इस प्रक्रिया में मॉडल को कार्य-विशिष्ट डेटा पर आगे प्रशिक्षित करना शामिल है, जिससे वह पैटर्न सीख सके और वांछित आउटपुट प्रारूप के अनुरूप हो सके।

फाइन-ट्यूनिंग ने सारांशण, प्रश्नोत्तर और संवाद निर्माण जैसे कई NLP अनुप्रयोगों में सफलता दिखाई है। हालांकि, पारंपरिक फाइन-ट्यूनिंग विधियाँ बाहरी डोमेन-विशिष्ट ज्ञान का लाभ उठाने या इन्फ़रेंस के दौरान अपूर्ण रिट्रीवल्स को सँभालने में संघर्ष कर सकती हैं।

पहले वाली ही उपमा का उपयोग करें, तो फाइन-ट्यूनिंग दस्तावेज़ों को रटने और परीक्षा के दौरान उन्हें देखे बिना प्रश्नों का उत्तर देने जैसी है। इस दृष्टिकोण की समस्या यह है कि फाइन-ट्यूनिंग महंगी हो सकती है, और फाइन-ट्यून किया गया ज्ञान पुराना पड़ सकता है। साथ ही, ये फाइन-ट्यूनिंग विधियाँ RAG-आधारित तरीकों जितनी प्रतिक्रियाशील नहीं होतीं।

फाइन-ट्यूनिंग के बारे में अधिक जानने के लिए यहाँ LLMs की फाइन-ट्यूनिंग का परिचयात्मक मार्गदर्शक है।

दोनों क्यों नहीं? RAFT के साथ RAG और फाइन-ट्यूनिंग को मिलाना

RAFT के पीछे की सहज समझ

RAFT मौजूदा दृष्टिकोणों की सीमाओं को पहचानता है और RAG व फाइन-ट्यूनिंग की ताकतों को मिलाने का लक्ष्य रखता है। फाइन-ट्यूनिंग प्रक्रिया के दौरान डोमेन-विशिष्ट दस्तावेज़ों को शामिल करके, RAFT मॉडल को लक्ष्य डोमेन के लिए विशिष्ट पैटर्न सीखने में सक्षम बनाता है और साथ ही बाहरी संदर्भ को प्रभावी ढंग से समझने और उपयोग करने की इसकी क्षमता को बढ़ाता है।

उच्च स्तर पर, RAFT में प्रशिक्षण डेटा प्रश्नों, दस्तावेज़ों (प्रासंगिक और अप्रासंगिक दोनों), और प्रासंगिक दस्तावेज़ों से उत्पन्न चेन-ऑफ-थॉट-शैली के उत्तरों से बना होता है। मॉडल को इन प्रदान किए गए दस्तावेज़ों के आधार पर प्रश्नों का उत्तर देने के लिए प्रशिक्षित किया जाता है, जिसमें ऐसे डिस्टैक्टर दस्तावेज़ भी शामिल होते हैं जिनमें प्रासंगिक जानकारी नहीं होती। यह दृष्टिकोण मॉडल को प्रासंगिक जानकारी की पहचान और प्राथमिकता देना सिखाता है, जबकि अप्रासंगिक सामग्री को नजरअंदाज करना भी।

RAFT के प्रमुख घटक

आइए देखें कि Retrieval-Augmented Fine-Tuning यांत्रिक रूप से कैसे काम करता है। RAFT इन-डोमेन RAG आंसरिंग मॉडलों को प्रशिक्षित करने के लिए फाइन-ट्यूनिंग डेटा तैयार करने की एक नई विधि प्रस्तावित करता है। RAFT में, प्रशिक्षण डेटासेट का प्रत्येक डेटा पॉइंट निम्न से बना होता है:

1. एक प्रश्न (Q)
2. दस्तावेज़ों का एक सेट (Dk), जिन्हें दो प्रकारों में विभाजित किया गया है:
1. “ओरेकल” दस्तावेज़ — ऐसे दस्तावेज़ जो प्रश्न का उत्तर समाहित करते हैं। प्रत्येक प्रश्न के लिए एकाधिक ओरेकल दस्तावेज़ हो सकते हैं।
2. “डिस्टैक्टर” दस्तावेज़ — ऐसे दस्तावेज़ जो प्रश्न का उत्तर देने के लिए प्रासंगिक जानकारी नहीं रखते।
3. चेन-ऑफ-थॉट शैली का उत्तर (A*): ओरेकल दस्तावेज़ों से उत्पन्न उत्तर, जिसमें विस्तृत तर्क प्रक्रिया शामिल होती है।

RAFT फाइन-ट्यूनिंग प्रशिक्षण डेटासेट में, प्रत्येक प्रश्न को दस्तावेज़ों के एक सेट के साथ जोड़ा जाता है—कुछ में उत्तर होते हैं और कुछ में नहीं—साथ ही चेन-ऑफ-थॉट शैली के उत्तर के साथ। यह संरचना उत्तर निकालते समय उपयोगी और अप्रासंगिक जानकारी में अंतर करने के लिए मॉडल को प्रशिक्षित करने में विशेष रूप से सहायक है।

मॉडल के सीखने को और बेहतर करने के लिए, RAFT प्रशिक्षण डेटासेट में प्रश्नों के प्रकारों का मिश्रण शामिल होता है:

• ओरेकल और डिस्टैक्टर दस्तावेज़ दोनों वाले प्रश्न: प्रश्नों का एक प्रतिशत 𝑃, ओरेकल और डिस्टैक्टर दस्तावेज़ दोनों शामिल करेगा। यह मॉडल को प्रासंगिक जानकारी की पहचान और प्राथमिकता देना सिखाता है।
• केवल डिस्टैक्टर दस्तावेज़ों वाले प्रश्न: शेष 1−𝑃 प्रतिशत प्रश्नों में केवल डिस्टैक्टर दस्तावेज़ होंगे। यह पारंपरिक फाइन-ट्यूनिंग का अनुकरण करता है, जिससे मॉडल बाहरी दस्तावेज़ों पर निर्भर हुए बिना प्रश्नों को सँभालना सीखता है।

अंततः, चेन-ऑफ-थॉट शैली के उत्तरों में ओरेकल दस्तावेज़ों के अंश और विस्तृत तर्क प्रक्रिया शामिल होती है। यह दृष्टिकोण मॉडल की उत्तर देने की सटीकता को बढ़ाता है, क्योंकि यह उसे मूल संदर्भ के प्रासंगिक अंशों का उपयोग करके एक तर्क श्रृंखला बनाना सिखाता है।

छवि स्रोत: RAFT: Adapting Language Model to Domain Specific RAG

फाइन-ट्यूनिंग प्रक्रिया

जब प्रशिक्षण डेटा तैयार हो जाए, तो फाइन-ट्यूनिंग प्रक्रिया में शामिल है:

• मॉडल का प्रशिक्षण: सुपरवाइज़्ड लर्निंग का उपयोग करते हुए, मॉडल को दिए गए संदर्भ—जिसमें प्रश्न और दस्तावेज़ों के सेट शामिल हैं—से चेन-ऑफ-थॉट शैली के उत्तर उत्पन्न करने के लिए प्रशिक्षित किया जाता है।
• उद्देश्य: लक्ष्य यह है कि मॉडल ओरेकल दस्तावेज़ों से प्रासंगिक जानकारी की पहचान और प्राथमिकता देना सीखे, जबकि डिस्टैक्टर दस्तावेज़ों को नज़रअंदाज़ करे।

इन्फ़रेंस

इन्फ़रेंस चरण के दौरान, हमारे फाइन-ट्यून किए गए मॉडल को एक प्रश्न और RAG पाइपलाइन द्वारा पुनः प्राप्त किए गए टॉप-K दस्तावेज़ प्रस्तुत किए जाएंगे। ध्यान दें कि रिट्रीवर मॉड्यूल RAFT से स्वतंत्र रूप से कार्य करता है।

RAFT से प्राप्त परिणाम

यह दिखाने के लिए कि RAFT इन-डोमेन दस्तावेज़ों से प्रासंगिक जानकारी निकालने और प्रश्नों का उत्तर देने में उत्कृष्ट है, मूल शोध पत्र ने RAFT दृष्टिकोण की तुलना RAG के साथ एक सामान्य-उद्देश्य मॉडल और डोमेन-विशिष्ट फाइन-ट्यून किए गए मॉडलों से की। विशेष रूप से, उन्होंने RAFT विधि का उपयोग करके Llama-2 को फाइन-ट्यून करके RAFT 7B मॉडल बनाया, और इसकी तुलना निम्न से की:

1. 0-शॉट प्रॉम्प्टिंग के साथ Llama-2
2. RAG के साथ Llama-2
3. डोमेन-विशिष्ट फाइन-ट्यूनिंग (DSF) Llama-2 (एक मानक सुपरवाइज़्ड फाइन-ट्यूनिंग प्रक्रिया)
4. DSF + RAG (RAG के साथ डोमेन-विशिष्ट फाइन-ट्यून किया गया Llama-2)
5. GPT-3.5 + RAG

इन मॉडलों का तीन प्रकार के डेटासेट पर मूल्यांकन किया गया ताकि विभिन्न डोमेन्स में RAFT के प्रदर्शन का आकलन किया जा सके:

1. सामान्य ज्ञान डेटासेट — Natural Questions, Trivia QA, और HotpotQA सहित, जो सामान्य ज्ञान प्रश्नोत्तर पर केंद्रित हैं।
2. सॉफ़्टवेयर डाक्यूमेंटेशन (APIs) — HuggingFace, Torch Hub, और TensorFlow Hub सहित, जो डाक्यूमेंटेशन के आधार पर सही, निष्पादन योग्य API कॉल्स बनाने पर केंद्रित हैं।
3. डोमेन-विशिष्ट डेटासेट — PubMedQA सहित, जो बायोमेडिकल और जैविक अनुसंधान प्रश्नों पर केंद्रित हैं।

कुल मिलाकर, परिणाम बताते हैं कि PubMed, HotpotQA और अन्य API डेटासेट्स में RAFT ने RAG के साथ और बिना—दोनों स्थितियों में—सुपरवाइज़्ड फाइन-ट्यूनिंग पद्धति से लगातार बेहतर प्रदर्शन किया।

डोमेन-विशिष्ट फाइन-ट्यूनिंग (DSF) से तुलना करने पर, RAFT ने DSF को उल्लेखनीय रूप से पीछे छोड़ा। रोचक बात यह है कि RAG के साथ DSF ने बेहतर प्रदर्शन नहीं किया, बल्कि वास्तव में कमजोर रहा।

यह दर्शाता है कि DSF दी गई सामग्री से प्रासंगिक जानकारी प्रभावी ढंग से निकालने की क्षमता में कमी रखता है। RAFT का उपयोग करके, हम मॉडल को दस्तावेज़ों को सटीक रूप से संसाधित करने और उपयुक्त उत्तर देने की शैली प्रदान करने—दोनों के लिए—प्रशिक्षित करते हैं।

RAFT दृष्टिकोण ने RAG के साथ GPT-3.5—जो एक बहुत बड़ा भाषा मॉडल है—से भी बेहतर प्रदर्शन किया, जो RAFT की प्रभावशीलता को रेखांकित करता है।

छवि स्रोत: RAFT: Adapting Language Model to Domain Specific RAG

एब्लेशन अध्ययन

मुख्य प्रयोगों के अलावा, मूल शोध पत्र ने RAFT के प्रदर्शन पर विभिन्न घटकों के प्रभाव को समझने के लिए कई एब्लेशन अध्ययन भी किए:

1. चेन-ऑफ-थॉट का प्रभाव — परिणाम दिखाते हैं कि अधिकांश उदाहरणों में, चेन-ऑफ-थॉट (CoT) के साथ RAFT ने उसके बिना RAFT से बेहतर प्रदर्शन किया।
2. ओरेकल दस्तावेज़ों का अनुपात — प्रशिक्षण डेटा में शामिल करने हेतु ओरेकल दस्तावेज़ों का इष्टतम अनुपात क्या है? एब्लेशन अध्ययन से पता चलता है कि ओरेकल दस्तावेज़ शामिल करने वाली प्रशिक्षण इकाइयों का इष्टतम प्रतिशत डेटासेट्स के अनुसार भिन्न होता है, जबकि 80% ने डेटासेट्स में लगातार मजबूत प्रदर्शन दिया।
3. डिस्टैक्टर दस्तावेज़ों की संख्या — एब्लेशन अध्ययन में पाया गया कि एक ओरेकल दस्तावेज़ और चार डिस्टैक्टर दस्तावेज़ों का प्रशिक्षण विन्यास इष्टतम है—यह मॉडल को प्रासंगिक जानकारी को प्राथमिकता देने और चुनने के लिए प्रशिक्षित करने तथा उसे अप्रासंगिक दस्तावेज़ों से अभिभूत न करने के बीच अच्छा संतुलन बनाता है।

RAFT पर प्रयोग कैसे करें

RAFT को लागू करने के लिए, शोधकर्ता और व्यावसायिक विशेषज्ञ शोध पत्र में उल्लिखित चरणों का पालन कर सकते हैं। इसमें प्रासंगिक दस्तावेज़ों से चेन-ऑफ-थॉट-शैली के उत्तर उत्पन्न करना, प्रशिक्षण के दौरान डिस्टैक्टर दस्तावेज़ों को शामिल करना, और सुपरवाइज़्ड लर्निंग तकनीकों का उपयोग करके मॉडल को फाइन-ट्यून करना शामिल है। लेखकों ने कोड को ओपन-सोर्स किया है और RAFT पर आगे के प्रयोग और अपनाने को सुगम बनाने के लिए एक डेमो भी प्रदान किया है।

RAG और फाइन-ट्यूनिंग के बारे में और जानें

RAFT, डोमेन-विशिष्ट भाषा मॉडलिंग के क्षेत्र में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, जो LLMs को विशेषीकृत डोमेन्स के लिए अनुकूलित करने का एक शक्तिशाली समाधान प्रदान करता है। RAG और फाइन-ट्यूनिंग की ताकतों को मिलाकर, RAFT भाषा मॉडलों को डोमेन-विशिष्ट ज्ञान का प्रभावी ढंग से लाभ उठाने में सक्षम बनाता है, जबकि रिट्रीवल अशुद्धियों के प्रति मज़बूती बनाए रखता है।

जो लोग RAG और फाइन-ट्यूनिंग की दुनिया में और गहराई से जाना चाहते हैं, उनके लिए हम निम्न संसाधन देखने की सलाह देते हैं:

• Langchain के साथ LLM एप्लिकेशन कैसे बनाएं
• Langchain के साथ LLM एप्लिकेशन विकसित करना

जैसे-जैसे डोमेन-विशिष्ट भाषा मॉडलों की मांग बढ़ती जा रही है, RAFT जैसी तकनीकें विभिन्न उद्योगों और डोमेन्स में अधिक सटीक और विश्वसनीय NLP अनुप्रयोगों को सक्षम करने में महत्वपूर्ण भूमिका निभाएँगी।