लो-रैंक अडैप्टेशन (LoRA) में महारत: कुशल अनुकूलन के लिए बड़े भाषा मॉडलों को सशक्त बनाना

LoRA: बड़े भाषा मॉडलों का लो-रैंक अडैप्टेशन

मशीन लर्निंग और प्राकृतिक भाषा संसाधन (NLP) के क्षेत्र में बड़े भाषा मॉडल (LLMs) जैसे GPT, LLaMa, Claude 2 आदि के आगमन से उल्लेखनीय प्रगति हुई है। इन मॉडलों ने टेक्स्ट जेनरेशन से लेकर भाषा समझ तक अनेक अनुप्रयोगों में असाधारण क्षमताएँ दिखाई हैं।

हालाँकि, इनके व्यावहारिक परिनियोजन और फाइन-ट्यूनिंग में आकार और जटिलता के कारण महत्वपूर्ण चुनौतियाँ आती हैं।

यहीं लो-रैंक अडैप्टेशन (LoRA) काम आता है, जो इन चुनौतियों का प्रभावी समाधान प्रदान करता है।

इस ट्यूटोरियल का उद्देश्य यह समझ बनाना है कि LoRA क्या है और आप इससे कैसे लाभ उठा सकते हैं—सैद्धांतिक और व्यावहारिक, दोनों दृष्टि से।

पृष्ठभूमि

LoRA की शुरुआत 2021 की शुरुआत में GPT-3 के जारी होने के बाद हुई। Microsoft ने OpenAI के साथ मिलकर GPT-3 जैसे बड़े मॉडलों को व्यावसायिक रूप से व्यवहार्य बनाने की चुनौती का सामना किया।

उन्होंने पाया कि केवल वन-शॉट प्रॉम्प्टिंग उत्पादन में इष्टतम प्रदर्शन हासिल करने के लिए पर्याप्त नहीं है, विशेष रूप से प्राकृतिक भाषा से कोड में अनुवाद जैसे जटिल कार्यों के लिए। इससे ऐसे फाइन-ट्यूनिंग तरीकों की खोज हुई जो किफायती भी हों और कुशल भी।

LoRA का आविष्कार इस आवश्यकता पर आधारित है कि बड़े भाषा मॉडलों का तेज, कुशल और किफायती फाइन-ट्यूनिंग संभव हो ताकि रन-टाइम पर डोमेन-विशिष्टता, कार्य-स्विचिंग और उपयोगकर्ता-स्विचिंग सक्षम हो सके।

LoRA शोध-पत्र अक्टूबर 2021 में Microsoft के शोधकर्ताओं की एक टीम द्वारा प्रकाशित किया गया था।

हमें LoRA की आवश्यकता क्यों है?

आइए पहले समस्या को समझें, फिर देखें कि LoRA क्या है और यह इसे कैसे हल करता है।

GPT-4, Claude 2, LLaMA 70b आदि जैसे बड़े भाषा मॉडल बेहतरीन हैं, पर वे बहुत जनरल और बहुत बड़े हैं। स्वास्थ्य सेवा या बैंकिंग जैसे विशिष्ट डोमेन के लिए, या टेक्स्ट को कोड में बदलने जैसे विशिष्ट कार्यों के लिए, इन बड़े मॉडलों को अपनाने हेतु हमें फाइन-ट्यूनिंग की आवश्यकता होती है।

फाइन-ट्यूनिंग का अर्थ है किसी पूर्व-प्रशिक्षित मॉडल को एक विशिष्ट, छोटे डेटा सेट पर प्रशिक्षित करना ताकि वह किसी विशेष कार्य या डोमेन पर विशेषज्ञता हासिल कर ले। जैसे-जैसे मॉडल बड़े होते जाते हैं (उदाहरण के लिए, GPT-3 में 175 अरब पैरामीटर हैं), पूर्ण फाइन-ट्यूनिंग—जहाँ मॉडल के सभी पैरामीटर फिर से प्रशिक्षित होते हैं—समय, लागत और संसाधनों के कारण कम व्यावहारिक हो जाती है।

LoRA बड़े मॉडलों की फाइन-ट्यूनिंग के लिए प्रयुक्त एक तकनीक है।

LoRA कैसे काम करता है

उच्च-स्तर पर, LoRA इस प्रकार काम करता है:

यह मूल मॉडल को यथावत रखता है और मॉडल की हर लेयर में छोटे, परिवर्तनीय हिस्से जोड़ता है। इससे मॉडल के ट्रेन करने योग्य पैरामीटर में भारी कमी आती है और प्रशिक्षण प्रक्रिया के लिए आवश्यक GPU मेमोरी घटती है—जो बड़े मॉडलों की फाइन-ट्यूनिंग या प्रशिक्षण में एक और बड़ी चुनौती है।

उदाहरण के लिए, GPT-3 के पूर्ण फाइन-ट्यूनिंग में हमें 175 अरब पैरामीटर प्रशिक्षित करने होंगे। LoRA के उपयोग से, GPT-3 के ट्रेन करने योग्य पैरामीटर लगभग 10,000 गुना कम हो जाते हैं और GPU मेमोरी की आवश्यकता लगभग तीन गुना घट जाती है।

सार रूप में, LoRA इन समस्याओं को हल करता है:

1. गति - कम ट्रेन करने योग्य पैरामीटर का अर्थ है तेज प्रशिक्षण
2. कंप्यूट संसाधन - कम ट्रेन करने योग्य पैरामीटर का मतलब प्रशिक्षण प्रक्रिया हेतु कम कंप्यूट संसाधन, जिससे बड़े मॉडलों का फाइन-ट्यूनिंग वित्तीय रूप से व्यावहारिक बनता है।
3. मेमोरी दक्षता - कम ट्रेन करने योग्य पैरामीटर का अर्थ है कि हम उन्हें मेमोरी में कैश कर सकते हैं, जिससे डिस्क रीड की आवश्यकता नहीं रहती—जो मेमोरी से पढ़ने की तुलना में अक्षम होती है।

लोअर-रैंक मैट्रिसेज़

LoRA के विवरण में जाने से पहले, लोअर-रैंक मैट्रिसेज़ की अवधारणा समझते हैं।

लोअर-रैंक मैट्रिसेज़ गणित, विशेषकर रैखिक बीजगणित की एक अवधारणा हैं। सरल शब्दों में, किसी मैट्रिक्स का रैंक उस डेटा के "सूचना-सामग्री" या "आयाम" का माप है जिसे मैट्रिक्स दर्शाता है। इसे इस तरह समझें:

• मैट्रिक्स:
  मैट्रिक्स संख्याओं की आयताकार सारणी है। उदाहरण के लिए, 3x3 मैट्रिक्स में 3 पंक्तियाँ और 3 स्तंभ होते हैं।

• मैट्रिक्स का रैंक
  मैट्रिक्स का रैंक उसकी रैखिक रूप से स्वतंत्र पंक्तियों या स्तंभों की संख्या से निर्धारित होता है। रैखिक रूप से स्वतंत्र का अर्थ है कि कोई भी पंक्ति (या स्तंभ) अन्य पंक्तियों (या स्तंभों) के संयोजन से निर्मित नहीं की जा सकती।
  यदि सभी पंक्तियाँ (या स्तंभ) स्वतंत्र हैं, तो मैट्रिक्स का फुल रैंक है।
  यदि कुछ पंक्तियाँ (या स्तंभ) अन्य के संयोजन से बनती हैं, तो रैंक कम होता है।

• लोअर रैंक मैट्रिसेज़:
  किसी मैट्रिक्स का रैंक यदि उसके आकार के अनुसार अधिकतम संभव मान से कम है, तो वह लोअर रैंक मैट्रिक्स कहलाता है। उदाहरण के लिए, 3x3 मैट्रिक्स में यदि रैंक 3 से कम है तो वह लोअर रैंक मैट्रिक्स है।

उदाहरण:

एक 3 x 3 मैट्रिक्स पर विचार करें:

यहाँ दूसरी पंक्ति पहली पंक्ति का 2 गुना है, और तीसरी पंक्ति पहली पंक्ति का 3 गुना है। इसका मतलब है कि पंक्तियाँ रैखिक रूप से स्वतंत्र नहीं हैं। इस मैट्रिक्स का रैंक 1 है (क्योंकि केवल पहली पंक्ति स्वतंत्र है), जो 3x3 मैट्रिक्स के अधिकतम रैंक 3 से कम है। अतः यह लोअर-रैंक मैट्रिक्स है।

लोअर-रैंक मैट्रिसेज़ का उपयोग डेटा संपीड़न जैसे अनेक अनुप्रयोगों में महत्वपूर्ण है, जहाँ मैट्रिक्स का रैंक घटाकर यथासंभव अधिक सूचना संरक्षित रखते हुए डेटा को संपीड़ित किया जाता है।

मैट्रिक्स में रैंक पंक्तियों और स्तंभों दोनों पर समान रूप से लागू होता है। प्रमुख बात यह समझनी है कि रैंक चाहे पंक्तियों के आधार पर निकालें या स्तंभों के आधार पर—दोनों ही बराबर होता है। यह रैखिक बीजगणित की एक मौलिक विशेषता, रैंक-नलिटी प्रमेय, के कारण है।

सरल शब्दों में, यह प्रमेय कहता है कि किसी मैट्रिक्स के रो-स्पेस (पंक्तियों से फैला हुआ स्पेस) और कॉलम-स्पेस (स्तंभों से फैला हुआ स्पेस) के आयाम समान होते हैं। यही समान आयाम मैट्रिक्स का रैंक कहलाता है।

तो ऊपर दिए गए 3 x 3 मैट्रिक्स के उदाहरण में रैंक 1 है, जिसका मतलब है कि केवल एक रैखिक रूप से स्वतंत्र पंक्ति और केवल एक रैखिक रूप से स्वतंत्र स्तंभ मौजूद है।

LoRA क्या है?

बहुत साधारण शब्दों में, LoRA लोअर-रैंक मैट्रिसेज़ की अवधारणा का उपयोग करके मॉडल प्रशिक्षण प्रक्रिया को अत्यंत कुशल और तेज बनाता है।

बड़े मॉडलों में बहुत सारे पैरामीटर होते हैं। उदाहरण के लिए, GPT-3 में 175 अरब पैरामीटर हैं। ये पैरामीटर बस मैट्रिसेज़ में संग्रहीत संख्याएँ हैं। इन्हें स्टोर करने के लिए बहुत अधिक स्टोरेज चाहिए।

पूर्ण फाइन-ट्यूनिंग का अर्थ है कि सभी पैरामीटर प्रशिक्षित होंगे, और GPT जैसे मॉडल आकार के लिए यह अत्यधिक कंप्यूट संसाधन माँगता है—जिसकी लागत आसानी से लाखों डॉलर तक जा सकती है।

पारंपरिक फाइन-ट्यूनिंग में जहाँ पूरे मॉडल को समायोजित करना पड़ता है, LoRA केवल पैरामीटर के एक छोटे उपसमुच्चय (लोअर-रैंक मैट्रिसेज़) को संशोधित करता है, जिससे गणनात्मक और मेमोरी ओवरहेड घटता है।

LoRA इस समझ पर आधारित है कि बड़े मॉडल स्वभावतः निम्न-आयामी संरचना रखते हैं। लो-रैंक मैट्रिसेज़ का लाभ उठाते हुए, LoRA इन मॉडलों को प्रभावी ढंग से अनुकूलित करता है। इस विधि का मूल विचार है कि मॉडल में होने वाले महत्वपूर्ण परिवर्तन कम पैरामीटर से दर्शाए जा सकते हैं, जिससे अनुकूलन प्रक्रिया अधिक कुशल हो जाती है।

स्रोत: फाइन-ट्यूनिंग LLMs: LoRA या फुल-पैरामीटर? Llama 2 के साथ गहन विश्लेषण

तो यह काम कैसे करता है?

पहले, हम बड़े वेट मैट्रिसेज़ को ऊपर समझाए गए लोअर-रैंक मैट्रिक्स तकनीक से छोटे मैट्रिसेज़ में विघटित करते हैं। इससे ट्रेन करने योग्य पैरामीटरों की संख्या नाटकीय रूप से घटती है। GPT-3 जैसे मॉडल के लिए, ट्रेन करने योग्य पैरामीटर 10000 गुना कम हो जाते हैं। यानी 175 अरब पैरामीटर प्रशिक्षित करने के बजाय, LoRA लागू करने पर केवल 1.75 करोड़ पैरामीटर प्रशिक्षित करने होते हैं।

हम पूर्व-प्रशिक्षित मॉडल के किसी पैरामीटर को नहीं बदलते। इसके बजाय, केवल लोअर-रैंक मैट्रिसेज़ को प्रशिक्षित करते हैं, जो कम पैरामीटर होने के कारण अपेक्षाकृत बहुत जल्दी प्रशिक्षित हो जाते हैं।

वेट्स एडिटिव होते हैं। यानी इन्फरेंस के समय हम लोअर-रैंक मैट्रिसेज़ के वेट्स को पूर्व-प्रशिक्षित वेट्स में बिना किसी अतिरिक्त विलंबता के जोड़ देते हैं। लोअर-रैंक मैट्रिसेज़ आकार में बहुत छोटे होते हैं, इसलिए अलग-अलग कार्यों और उपयोगकर्ताओं के लिए इन्हें लोड और अनलोड करना बेहद आसान है।

LoRA के लाभ

फाइन-ट्यूनिंग के लिए LoRA का उपयोग करने से कई फायदे होते हैं:

1. प्रशिक्षण और परिनियोजन में दक्षता

LoRA गणनात्मक बोझ कम करता है और मॉडलों का तेज अनुकूलन संभव बनाता है। कम ट्रेन करने योग्य पैरामीटर की आवश्यकता के कारण, कम शक्तिशाली हार्डवेयर पर भी बड़े मॉडलों का फाइन-ट्यूनिंग संभव हो पाता है।

2. मॉडल की गुणवत्ता और गति बनाए रखना

पैरामीटर घटने के बावजूद, LoRA मूल मॉडल की गुणवत्ता और इन्फरेंस गति बनाए रखता है।

3. चेकपॉइंट आकार में कमी

LoRA मॉडल चेकपॉइंट के आकार को नाटकीय रूप से घटा देता है। उदाहरण के लिए, GPT-3 पर चेकपॉइंट आकार 1 TB से घटकर केवल 25 MB रह गया।

4. इन्फरेंस विलंबता नहीं

LoRA इन्फरेंस के दौरान कोई अतिरिक्त विलंबता नहीं लाता। जबकि प्रशिक्षण में लो-रैंक मैट्रिसेज़ का उपयोग होता है, इन्फरेंस के लिए वे मूल पैरामीटरों में मर्ज हो जाते हैं, जिससे कोई धीमापन नहीं आता। इससे रन-टाइम पर बिना अतिरिक्त इन्फरेंस विलंबता के तेज मॉडल-स्विचिंग संभव होती है।

5. बहुपयोगिता

LoRA किसी भी ऐसे मॉडल पर लागू हो सकता है जो मैट्रिक्स गुणा का उपयोग करता हो (जैसे सपोर्ट वेक्टर मशीन), इसलिए यह अनेक अन्य उपयोगों में व्यापक रूप से लागू होने योग्य तकनीक है। वास्तव में, LoRA का व्यापक उपयोग Stable Diffusion मॉडलों में बड़े इमेज मॉडलों में शैली समाहित करने के लिए होता है।

Stable Diffusion में LoRA

LoRA तकनीक का व्यापक उपयोग Stable Diffusion जैसे इमेज मॉडलों में भी होता है।

विचार भाषा मॉडलों जैसा ही है। Stable Diffusion जैसे बड़े मॉडलों का पूर्ण फाइन-ट्यूनिंग करने के बजाय, हम छोटे डेटा सेट्स पर केवल लोअर-रैंक मैट्रिसेज़ को प्रशिक्षित करते हैं।

भाषा मॉडलों के मामले में लक्ष्य डोमेन-विशिष्टता होता है। इमेज मॉडलों में, सबसे स्पष्ट उपयोग मामला छवियाँ बनाते समय किसी शैली या एक सुसंगत कैरेक्टर को अपनाना है।

इन लोअर-रैंक मैट्रिसेज़ को एडेप्टर्स कहा जाता है; ये आकार में बहुत छोटे होते हैं, और इंटरनेट पर इनके हजारों विकल्प उपलब्ध हैं जिन्हें आप अपने बेस Stable Diffusion मॉडल पर लगाकर शैली-विशिष्ट छवियाँ बना सकते हैं।

LoRA Stable Diffusion मॉडलों के कुछ सामान्य उपयोग हैं:

• शैली विशेषज्ञता - एनीमे शैली, ऑयल पेंटिंग शैली, आदि
• कैरेक्टर विशेषज्ञता - Mario या SpongeBob की छवियाँ विश्वसनीय रूप से बनाना
• गुणवत्ता सुधार - अधिक विवरण, बेहतर चेहरें, आदि

आप कई LoRA को मिलाकर ऐसे आउटपुट प्राप्त कर सकते हैं जो एकाधिक विशेषज्ञताओं को दर्शाएँ।

Stable Diffusion मॉडलों के लिए अलग-अलग एडेप्टर्स (छवि स्रोत)

यदि आप व्यक्तिगत तस्वीरों पर Stable Diffusion XL को सफलतापूर्वक फाइन-ट्यून करना सीखना चाहते हैं, तो Datacamp पर Fine-tuning Stable Diffusion XL with DreamBooth and LoRA ब्लॉग देखें।

LoRA को प्रीफ़िक्स-ट्यूनिंग के साथ जोड़ना

प्रीफ़िक्स ट्यूनिंग एक हल्की-फुल्की पद्धति है जहाँ "प्रीफ़िक्स" कहलाने वाले सतत वैक्टरों का अनुकूलन किया जाता है और उन्हें प्रत्येक Transformer लेयर के इनपुट में जोड़ा जाता है। मॉडल को प्रीफ़िक्स-हटाए गए तरीके से प्रशिक्षित किया जाता है, जहाँ ध्यान केवल इन वैक्टरों पर होता है।

प्रीफ़िक्स ट्यूनिंग के लाभ:

• प्रत्येक कार्य के लिए केवल छोटे प्रीफ़िक्स वैक्टर संग्रहीत करने पड़ते हैं, पूरी फाइन-ट्यून की गई कॉपियाँ नहीं।
• कार्य-स्विचिंग और वैयक्तिकरण आसान होता है।
• विशेषकर कम-डेटा परिदृश्यों में, पूर्ण फाइन-ट्यूनिंग की तुलना में अच्छा प्रदर्शन करता है।
• गणनात्मक रूप से सस्ता क्योंकि प्रशिक्षण के दौरान केवल प्रीफ़िक्स अपडेट होते हैं।

LoRA और प्रीफ़िक्स ट्यूनिंग को PEFT (Parameter Efficient Fine-Tuning) फ्रेमवर्क के भीतर जोड़ा जा सकता है:

• LoRA समग्र पैरामीटर घटाता है, जबकि प्रीफ़िक्स ट्यूनिंग कार्य-विशिष्ट नियंत्रण देती है
• मिलकर, वे न्यूनतम डेटा और कंप्यूट के साथ विशेषीकृत फाइन-ट्यूनिंग सक्षम करते हैं
• सीमित इन-डोमेन डेटा का उपयोग करके बड़े LLMs के डोमेन अडैप्टेशन के लिए उपयुक्त
• यह मॉड्यूलर फाइन-ट्यूनिंग सीमित संसाधनों वाले उपयोगकर्ताओं के लिए बड़े LLMs की पूर्ण क्षमता खोलती है।

Python में Loralib लाइब्रेरी का उपयोग करके LoRA का उदाहरण

LoRA को लागू करने के लिए, आप Microsoft की Loralib लाइब्रेरी का उपयोग कर सकते हैं। लाइब्रेरी इंस्टॉल करने के लिए:

pip install loralib
संचालित द्वारा

LoRA अपनाने पर भी आप सामान्यतः अपने न्यूरल नेटवर्क को जैसा प्रशिक्षित करते हैं, उसमें बहुत बदलाव नहीं होता।

# ===== Before =====
# layer = nn.Linear(in_features, out_features)

# ===== After ======
import loralib as lora
# Add a pair of low-rank adaptation matrices with rank r=16
layer = lora.Linear(in_features, out_features, r=16)
संचालित द्वारा

ट्रेनिंग लूप शुरू होने से पहले, आपको बस यह जोड़ना है:

import loralib as lora

model = YourNeuralNetwork()

# This sets requires_grad to False for all parameters
lora.mark_only_lora_as_trainable(model)

# Training loop
for batch in dataloader:
   ...
संचालित द्वारा

चेकपॉइंट सेव करते समय, आप केवल LoRA पैरामीटर वाला state_dic जनरेट कर सकते हैं।

# ===== Before =====
# torch.save(model.state_dict(), checkpoint_path)

# ===== After =====
torch.save(lora.lora_state_dict(model), checkpoint_path)
संचालित द्वारा

यदि आप न्यूरल नेटवर्क्स को पर्याप्त रूप से नहीं समझते, तो चिंता न करें। PyTorch का उपयोग करके बड़े भाषा मॉडलों को प्रशिक्षित करने की प्रक्रिया में महारत पाने के लिए How to Train a LLM with PyTorch ब्लॉग देखें—प्रारंभिक सेटअप से अंतिम कार्यान्वयन तक।

श्रेय: यह कोड उदाहरण Microsoft/LoRA GitHub से पुनरुत्पादित किया गया है।

निष्कर्ष

LoRA बड़े मॉडलों के आकार और जटिलता से उपजने वाली भारी चुनौतियों का समाधान करने में एक अपरिहार्य तकनीक के रूप में उभरता है।

लोअर-रैंक मैट्रिसेज़ का लाभ उठाकर, LoRA मॉडल अनुकूलन के लिए अधिक कुशल और किफायती दृष्टिकोण प्रदान करता है, ट्रेन करने योग्य पैरामीटरों और GPU मेमोरी आवश्यकताओं को उल्लेखनीय रूप से घटाते हुए, तेज प्रशिक्षण और मेमोरी दक्षता सक्षम करता है।

LoRA का उपयोग भाषा मॉडलों से परे भी है—यह Stable Diffusion जैसे इमेज मॉडलों में शैली विशेषज्ञता और कैरेक्टर-स्थिरता सक्षम करते हुए उपयोगी साबित होता है।

यदि आप जिज्ञासु हैं और जानना चाहते हैं कि आप इन तकनीकों से क्या-क्या बना सकते हैं, तो हमारा 5 Projects You Can Build with Generative AI Models गाइड देखें।