Meta AI के LLaMA का परिचय

LLaMA, एक क्रांतिकारी ओपन-सोर्स फ्रेमवर्क, बड़े भाषा मॉडल अनुसंधान को अधिक सुलभ बनाने का लक्ष्य रखता है।

अपडेट किया गया 25 सित॰ 2026 · 8 मि॰ पढ़ें

AI के साथ खोजें

हम एक असाधारण समय में जी रहे हैं, जहाँ समर्पित समुदायों द्वारा संचालित ओपन-सोर्स प्रोजेक्ट्स बड़ी कंपनियों के महंगे स्वामित्व वाले समाधानों की क्षमताओं को टक्कर दे रहे हैं। इन उल्लेखनीय प्रगतियों में, हमें Vicuna, Koala, Alpaca, और StableLM जैसे छोटे लेकिन अत्यधिक कुशल भाषा मॉडल मिलते हैं, जो बहुत कम कंप्यूट संसाधनों में ChatGPT के बराबर परिणाम देते हैं। इन सबको जो जोड़ता है, वह है कि इनकी नींव Meta AI के LLaMA मॉडलों पर टिकी है।

अन्य लोकप्रिय ओपन-सोर्स भाषा तकनीक विकास के बारे में जानने के लिए 12 GPT-4 Open-Source Alternatives पढ़ें।

इस पोस्ट में, हम Meta AI के LLaMA मॉडलों के बारे में जानेंगे, उनकी कार्यप्रणाली की पड़ताल करेंगे, उन्हें transformers लाइब्रेरी के माध्यम से एक्सेस करेंगे, उनके प्रदर्शन की तुलना करेंगे, और चुनौतियों व सीमाओं पर चर्चा करेंगे। इस लेख के मूल लेखन के बाद से हमने LLaMA 2 और LLaMA 3 दोनों के लॉन्च देखे हैं, और आप हमारे अलग-अलग लेखों में इनके बारे में अधिक विवरण पा सकते हैं।

LLaMA क्या है?

LLaMA (Large Language Model Meta AI) 7B से 65B पैरामीटर्स तक के अत्याधुनिक फाउंडेशन भाषा मॉडलों का संग्रह है। ये मॉडल आकार में छोटे होते हुए भी उत्कृष्ट प्रदर्शन देते हैं, जिससे नए तरीकों के साथ प्रयोग करने, दूसरों के कार्य को सत्यापित करने और नवाचारी उपयोग मामलों की खोज के लिए आवश्यक कंप्यूटिंग शक्ति और संसाधनों में उल्लेखनीय कमी आती है।

ये फाउंडेशन मॉडल बड़े बिना-लेबल वाले डेटासेट्स पर प्रशिक्षित किए गए हैं, जिससे वे विविध कार्यों पर फाइन-ट्यूनिंग के लिए उपयुक्त बनते हैं। मॉडल को निम्नलिखित स्रोतों पर प्रशिक्षित किया गया था:

67.0% CommonCrawl
15.0% C4
4.5% GitHub
4.5% Wikipedia
4.5% Books
2.5% ArXiv
2.0% StackExchange

विविध डेटासेट्स ने मॉडलों को ऐसी अत्याधुनिक क्षमता दिलाई है जो शीर्ष प्रदर्शन करने वाले मॉडलों—विशेषकर Chinchilla-70B और PaLM-540B—को टक्कर देती है।

OpenAI के मॉडलों के विकास—GPT-1, GPT-2, GPT-3, और वर्तमान GPT-4—की समग्र समझ पाने के लिए पढ़ें: What is GPT-4 and Why Does it Matter?

Meta का LLaMA कैसे काम करता है?

LLaMA, एक ऑटो-रेग्रेसिव भाषा मॉडल, ट्रांसफॉर्मर आर्किटेक्चर पर आधारित है। अन्य प्रमुख भाषा मॉडलों की तरह, LLaMA इनपुट के रूप में शब्दों का अनुक्रम लेता है और अगले शब्द की भविष्यवाणी करता है, इस प्रकार पुनरावृत्त रूप से टेक्स्ट जनरेट करता है।

LLaMA की विशेषता इसका सार्वजनिक रूप से उपलब्ध व्यापक पाठ डेटा पर प्रशिक्षण है, जिसमें बुल्गारियन, कैटलन, चेक, डैनिश, जर्मन, अंग्रेज़ी, स्पैनिश, फ्रेंच, क्रोएशियन, हंगेरियन, इटालियन, डच, पोलिश, पुर्तगाली, रोमानियन, रूसी, स्लोवेनियन, सर्बियन, स्वीडिश और यूक्रेनी जैसी अनेक भाषाएँ शामिल हैं। 2024 तक, LLaMA 2 पेश किया जा चुका है, जिसमें बेहतर आर्किटेक्चर और प्रशिक्षण पद्धतियाँ शामिल हैं, जो इसकी बहुभाषी क्षमता और दक्षता को और बढ़ाती हैं।

LLaMA मॉडल कई आकारों में उपलब्ध हैं: 7B, 13B, 33B, और 65B पैरामीटर्स, और आप इन्हें Hugging Face पर (Transformers के साथ काम करने हेतु कन्वर्ट किए गए LLaMA मॉडल) या आधिकारिक रिपॉजिटरी facebookresearch/llama पर एक्सेस कर सकते हैं।

LLaMA मॉडलों के साथ शुरुआत कैसे करें

आधिकारिक इन्फरेंस कोड facebookresearch/llama रिपॉजिटरी में उपलब्ध है, लेकिन चीजों को सरल बनाने के लिए, हम Hugging Face की `transformers` लाइब्रेरी मॉड्यूल LLaMA का उपयोग करेंगे ताकि मॉडल लोड कर सकें और टेक्स्ट जनरेट कर सकें।

1. मॉड्यूल चलाने के लिए सभी आवश्यक Python लाइब्रेरी इंस्टॉल करें।

नोट: हम LLaMA इन्फरेंस चलाने के लिए Google Colab का उपयोग कर रहे हैं।

%%capture
%pip install transformers SentencePiece accelerate

2. LLaMA टोकन और मॉडल वेट्स लोड करना।

नोट: “decapoda-research/llama-7b-hf” आधिकारिक मॉडल वेट्स नहीं हैं। Decapoda Research ने मूल मॉडल वेट्स को Transformers के साथ काम करने हेतु कन्वर्ट किया है।

import transformers, torch
from transformers import LlamaTokenizer, LlamaForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-7b-hf")
model = LlamaForCausalLM.from_pretrained(
        "decapoda-research/llama-7b-hf",
        load_in_8bit=False,
        torch_dtype=torch.float16,
        device_map="auto",
    )

3. प्रश्न लिखना।

4. टेक्स्ट को टोकन में बदलना।

5. मॉडल जनरेशन कॉन्फ़िगरेशन बनाना।

6. टोकन और जनरेशन कॉन्फ़िगरेशन का उपयोग करके आउटपुट टेक्स्ट जनरेट करना।

7. प्रतिक्रिया को डिकोड करके प्रिंट करना।

instruction = "How old is the universe?"
inputs = tokenizer(
    f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction: {instruction}
### Response:""",
    return_tensors="pt",
)
input_ids = inputs["input_ids"].to("cuda")

generation_config = transformers.GenerationConfig(
    do_sample=True,
    temperature=0.1,
    top_p=0.75,
    top_k=80,
    repetition_penalty=1.5,
    max_new_tokens=128,
)

with torch.no_grad():
    generation_output = model.generate(
        input_ids=input_ids,
        attention_mask=torch.ones_like(input_ids),
        generation_config=generation_config,
    )
output_text = tokenizer.decode(
    generation_output[0].cuda(), skip_special_tokens=True
).strip()
print(output_text)

आउटपुट:

मॉडल न केवल ब्रह्मांड की उम्र का सटीक अनुमान 13 अरब वर्ष बताता है, बल्कि इसकी गणना के पीछे की तर्क-प्रक्रिया भी प्रस्तुत करता है।

Below is an instruction that describes a task. Write a response that 
appropriately completes the request.
### Instruction: How old is the universe?
### Response: The age of our Universe can be calculated by measuring 
how fast it expands and then using this information to calculate its
size at different points in time, which allows us determine when 
things happened relative to each other (evolutionary biology). This 
method has been used for many years now with great success; however 
there are still some uncertainties about what exactly we're seeing 
because light takes so long travel from distant galaxies back here on
Earth! So while scientists have determined roughly 13 billion 
year-old as being correct they don't know if their calculations were 
off or not due to these limitations mentioned above

साथ ही, transformers का उपयोग विभिन्न कार्यों और डेटासेट्स पर फाइन-ट्यूनिंग के लिए किया जा सकता है, जिससे सटीकता और प्रदर्शन दोनों में उल्लेखनीय सुधार संभव है।

यदि आप ओपन-सोर्स डेवलपमेंट के व्यावहारिक पक्ष में रुचि रखते हैं, तो प्रेरणा के लिए 5 Projects Build with Generative Models लेख देखें।

LLaMA अन्य AI मॉडलों से कैसे भिन्न है?

पेपर में LLaMA मॉडलों का व्यापक मूल्यांकन प्रस्तुत किया गया है, जिसमें उनकी तुलना GPT-3, GPT-NeoX, Gopher, Chinchilla, और PaLM जैसे अन्य अत्याधुनिक भाषा मॉडलों से की गई है। बेंचमार्क परीक्षणों में कॉमन सेंस रीजनिंग, ट्रिविया, रीडिंग कॉम्प्रिहेंशन, प्रश्नोत्तरी, गणितीय तर्क, कोड जनरेशन और सामान्य डोमेन ज्ञान शामिल हैं।

कॉमन सेंस रीजनिंग। LLaMA-65B मॉडल ने PIQA, SIQA और OpenBookQA रीजनिंग बेंचमार्क्स में SOTA मॉडल आर्किटेक्चर्स को पीछे छोड़ा है। यहाँ तक कि छोटा 33B मॉडल भी ARC, आसान और चुनौतीपूर्ण दोनों में, सभी से बेहतर रहा है।
क्लोज़्ड-बुक प्रश्नोत्तरी और ट्रिविया। यह परीक्षण LLM की यथार्थवादी, मानव प्रश्नों की व्याख्या और उत्तर देने की क्षमता को मापता है। LLaMA मॉडल ने Natural Questions और TriviaQA बेंचमार्क्स में GPT3, Gopher, Chinchilla, और PaLM की तुलना में लगातार बेहतर प्रदर्शन किया है।
रीडिंग कॉम्प्रिहेंशन। इसमें RACE-middle और RACE-high बेंचमार्क परीक्षणों का उपयोग होता है। LLaMA मॉडलों ने GPT-3 से बेहतर प्रदर्शन किया है और PaLM 540B के समान प्रदर्शन दिखाया है।
गणितीय तर्क। LLaMA को किसी भी गणितीय डेटा पर फाइन-ट्यून नहीं किया गया था, और Minerva की तुलना में इसका प्रदर्शन काफ़ी कमजोर रहा।
कोड जनरेशन। इसमें HumanEval और MBPP टेस्ट बेंचमार्क्स का उपयोग होता है। LLaMA ने HumanEval@100, MBP@1, और MBP@80 में LAMDA और PaLM दोनों को पीछे छोड़ा है।

डोमेन ज्ञान। LLaMA मॉडलों का प्रदर्शन विशाल PaLM 540B पैरामीटर मॉडल की तुलना में कमजोर रहा। अधिक पैरामीटर्स के कारण PaLM का डोमेन ज्ञान व्यापक है।

LLaMA की चुनौतियाँ और सीमाएँ

अन्य बड़े भाषा मॉडलों की तरह, LLaMA भी भ्रम (hallucination) की समस्या से ग्रस्त है। यह तथ्यात्मक रूप से गलत जानकारी जनरेट कर सकता है।

इसके अतिरिक्त:

चूँकि हमारे डेटासेट का अधिकांश भाग अंग्रेज़ी पाठ पर आधारित है, यह ध्यान देना महत्वपूर्ण है कि अंग्रेज़ी के अलावा अन्य भाषाओं पर मॉडल का प्रदर्शन तुलनात्मक रूप से कम हो सकता है।
LLaMA मॉडलों का प्राथमिक उद्देश्य अनुसंधान अनुप्रयोग हैं (गैर-व्यावसायिक लाइसेंस)। इन मॉडलों का रिलीज़ शोधकर्ताओं को पक्षपात, जोखिम, विषाक्त या हानिकारक सामग्री के सृजन, और भ्रम जैसी समस्याओं के मूल्यांकन और समाधान में सहायक बनाने के लिए है।
LLaMA एक बेस मॉडल है, और जोखिम मूल्यांकन तथा न्यूनीकरण के बिना इसे अनुप्रयोग विकसित करने के लिए उपयोग नहीं किया जाना चाहिए।
यह गणितीय तर्क और डोमेन ज्ञान में अच्छा नहीं है।

क्लोज़्ड-सोर्स विकास की समझ के लिए पढ़ें The Latest On OpenAI, Google AI, and What it Means For Data Science। यह ब्लॉग भाषा, विज़न, और मल्टीमॉडल तकनीकों में हो रहे विघटनकारी नवाचारों और उनके माध्यम से हमारी उत्पादकता और प्रभावशीलता में आई बढ़ोतरी पर चर्चा करता है।

LLaMA 2 और LLaMA 3 के बाद के रिलीज़ के साथ, नई चुनौतियाँ और सीमाएँ सामने आई हैं। संदर्भ लंबाई की सीमाओं जैसे क्षेत्रों में सुधार हुए हैं और फाइन-ट्यूनिंग जैसी विधियों के साथ, गहन डोमेन-विशिष्ट ज्ञान वाली कार्यों में संघर्ष को पार करना संभव होता जा रहा है। हमेशा की तरह, समुदाय इन पहलुओं पर सक्रिय रूप से काम कर रहा है ताकि इन मॉडलों की मजबूती और उपयोगिता को बढ़ाया जा सके।

निष्कर्ष

LLaMA मॉडलों ने ओपन-सोर्स AI विकास में एक क्रांतिकारी लहर पैदा की है। छोटा फाउंडेशन मॉडल LLaMA-13B जहाँ GPT-3 की क्षमताओं को पीछे छोड़ता है, वहीं LLaMA-65B ने Chinchilla-70B और PaLM-540B जैसे अत्याधुनिक मॉडलों के तुलनीय प्रदर्शन का प्रदर्शन किया है। इन प्रगतियों ने यह संभावना उजागर की है कि सार्वजनिक रूप से उपलब्ध डेटा पर प्रशिक्षण के माध्यम से, न्यूनतम कंप्यूटिंग संसाधनों के साथ भी अत्याधुनिक परिणाम प्राप्त किए जा सकते हैं।

इसके अलावा, पेपर इस बात पर प्रकाश डालता है कि निर्देशों का उपयोग करके LLaMA मॉडलों को फाइन-ट्यून करने से प्रदर्शन में सुधार संभव है। विशेष रूप से, Vicuna और Stanford Alpaca मॉडल, जिन्हें LLaMA से निर्देश-अनुसरण प्रदर्शनों पर फाइन-ट्यून किया गया है, ने ChatGPT और Bard के समान परिणाम दिखाए हैं।

यदि आप अपने डेटा साइंस प्रोजेक्ट्स के लिए बड़े भाषा मॉडलों का लाभ उठाने के इच्छुक हैं, तो देखें A Guide to Using ChatGPT For Data Science Projects। आप प्रॉम्प्ट इंजीनियरिंग में अपनी कौशल भी निखार सकते हैं, इसके लिए ChatGPT Cheat Sheets for Data Science की समीक्षा करें।

Author

Abid Ali Awan

एक प्रमाणित डेटा साइंटिस्ट के रूप में, मैं अत्याधुनिक तकनीक का उपयोग करके नवाचारी मशीन लर्निंग अनुप्रयोग बनाने के लिए उत्साहित रहता/रहती हूँ। स्पीच रिकॉग्निशन, डेटा विश्लेषण और रिपोर्टिंग, MLOps, संवादात्मक AI और NLP में मजबूत पृष्ठभूमि के साथ, मैंने ऐसे बुद्धिमान सिस्टम विकसित करने में अपनी विशेषज्ञता निखारी है जो वास्तविक प्रभाव डाल सकें। तकनीकी दक्षता के अलावा, मैं जटिल अवधारणाओं को स्पष्ट और संक्षिप्त भाषा में प्रस्तुत करने में भी निपुण हूँ। परिणामस्वरूप, मैं डेटा साइंस पर एक मांग में रहने वाला/वाली ब्लॉगर बन गया/गई हूँ, और डेटा प्रोफेशनलों के बढ़ते समुदाय के साथ अपने अनुभव और विचार साझा करता/करती हूँ। वर्तमान में, मैं कंटेंट निर्माण और संपादन पर केंद्रित हूँ, बड़े भाषा मॉडलों के साथ काम करते हुए ऐसा प्रभावशाली और आकर्षक कंटेंट विकसित कर रहा/रही हूँ जो व्यवसायों और व्यक्तियों दोनों को अपने डेटा का अधिकतम लाभ उठाने में मदद कर सके।

विषय

कृत्रिम बुद्धिमत्ता