Llama 3.2 गाइड: यह कैसे काम करता है, उपयोग के मामले और अधिक

Meta के उदाहरणों के अनुसार, मॉडल दस्तावेज़ों में एम्बेड किए गए चार्ट्स का विश्लेषण कर प्रमुख रुझानों का सार प्रस्तुत कर सकते हैं। ये मानचित्रों की व्याख्या कर सकते हैं, ट्रेल के किस हिस्से की चढ़ाई सबसे खड़ी है यह तय कर सकते हैं, या दो बिंदुओं के बीच की दूरी की गणना कर सकते हैं।

Llama विज़न मॉडल्स के उपयोग के मामले

टेक्स्ट और इमेज-आधारित तर्क का यह एकीकरण कई संभावित अनुप्रयोगों को सक्षम करता है, जैसे:

• दस्तावेज़ समझ: ये मॉडल इमेज, ग्राफ, और चार्ट्स वाले दस्तावेज़ों से जानकारी निकालकर उसका सार बता सकते हैं। उदाहरण के लिए, कोई व्यवसाय विज़ुअल रूप में प्रस्तुत बिक्री डेटा की स्वतः व्याख्या के लिए Llama 3.2 का उपयोग कर सकता है।
• विज़ुअल प्रश्नोत्तर: टेक्स्ट और इमेज—दोनों को समझकर, Llama 3.2 मॉडल विज़ुअल सामग्री के आधार पर प्रश्नों के उत्तर दे सकते हैं, जैसे किसी दृश्य में वस्तु की पहचान करना या इमेज की सामग्री का सार बताना।
• इमेज कैप्शनिंग: ये मॉडल इमेज के लिए कैप्शन जनरेट कर सकते हैं, जो डिजिटल मीडिया या एक्सेसिबिलिटी जैसे क्षेत्रों में उपयोगी है, जहाँ इमेज की सामग्री को समझना महत्वपूर्ण होता है।

ओपन और अनुकूलन योग्य

Llama 3.2 के विज़न मॉडल्स खुले और अनुकूलन योग्य हैं। डेवलपर्स Meta के फाइन-ट्यून कर सकते हैं—इन मॉडलों के प्री-ट्रेंड और अलाइन्ड दोनों संस्करणों को—Meta के Torchtune फ्रेमवर्क का उपयोग करके।

इसके अलावा, इन मॉडलों को Torchchat के जरिए स्थानीय रूप से डिप्लॉय किया जा सकता है, जिससे क्लाउड इन्फ्रास्ट्रक्चर पर निर्भरता कम होती है और उन डेवलपर्स के लिए समाधान उपलब्ध होता है जो AI सिस्टम्स डिप्लॉय करना चाहते हैं—ऑन-प्रेम या संसाधन-सीमित वातावरण में।

विज़न मॉडल्स Meta AI—Meta के बुद्धिमान सहायक—के माध्यम से परीक्षण के लिए भी उपलब्ध हैं।

Llama 3.2 विज़न मॉडल्स कैसे काम करते हैं

Llama 3.2 विज़न मॉडल्स को टेक्स्ट और इमेज—दोनों समझने में सक्षम बनाने के लिए, Meta ने एक प्री-ट्रेंड इमेज एन्कोडर को विशेष एडेप्टर्स की मदद से मौजूदा लैंग्वेज मॉडल में एकीकृत किया। ये एडेप्टर्स इमेज डेटा को मॉडल के टेक्स्ट प्रोसेसिंग हिस्सों से जोड़ते हैं, जिससे यह दोनों प्रकार के इनपुट संभाल सकता है।

ट्रेनिंग प्रक्रिया Llama 3.1 लैंग्वेज मॉडल से शुरू हुई। पहले, टीम ने इसे बड़े इमेज-टेक्स्ट पेयर्ड डेटासेट्स पर प्रशिक्षित किया ताकि मॉडल दोनों के बीच संबंध सीख सके। फिर, साफ-सुथरे और अधिक विशिष्ट डेटा से इसे परिष्कृत किया गया ताकि दृश्य सामग्री को समझने और उस पर तर्क करने की क्षमता बेहतर हो।

अंतिम चरणों में, Meta ने फाइन-ट्यूनिंग और सिंथेटिक डेटा जनरेशन जैसी तकनीकों का उपयोग किया ताकि मॉडल सहायक उत्तर दे और सुरक्षित तरीके से व्यवहार करे।

बेंचमार्क्स: ताकत और सीमाएँ

Llama 3.2 विज़न मॉडल्स चार्ट और डायग्राम समझ में चमकते हैं। AI2 Diagram (92.3) और DocVQA (90.1) जैसे बेंचमार्क्स में, Llama 3.2 ने Claude 3 Haiku को पीछे छोड़ा है। यह उन्हें दस्तावेज़-स्तरीय समझ, विज़ुअल प्रश्नोत्तर, और चार्ट्स से डेटा निष्कर्षण जैसे कार्यों के लिए उत्कृष्ट विकल्प बनाता है।

बहुभाषी कार्यों (MGSM) में भी Llama 3.2 अच्छा प्रदर्शन करता है, 86.9 के स्कोर के साथ GPT-4o-mini के क़रीब पहुँचता है, जो बहुभाषी परिवेश में काम करने वाले डेवलपर्स के लिए इसे एक ठोस विकल्प बनाता है।

स्रोत: Meta AI

जहाँ Llama 3.2 विज़न-आधारित कार्यों में अच्छा करता है, वहीं अन्य क्षेत्रों में चुनौतियाँ हैं। MMMU-Pro Vision, जो दृश्य डेटा पर गणितीय तर्क का परीक्षण करता है, में GPT-4o-mini ने 36.5 के स्कोर के साथ Llama 3.2 (33.8) से बेहतर प्रदर्शन किया।

इसी तरह, MATH बेंचमार्क में GPT-4o-mini का प्रदर्शन (70.2) Llama 3.2 (51.9) से काफी आगे है, जो दर्शाता है कि गणितीय तर्क संबंधी कार्यों में Llama के लिए अभी सुधार की गुंजाइश है।

Llama 3.2 1B & 3B हल्के मॉडल्स

Llama 3.2 में एक और महत्वपूर्ण प्रगति एज और मोबाइल डिवाइसों के लिए बनाए गए हल्के मॉडल्स का आगमन है। 1 बिलियन और 3 बिलियन पैरामीटर्स वाले ये मॉडल छोटे हार्डवेयर पर चलने के लिए अनुकूलित हैं, जबकि प्रदर्शन पर उचित समझौता बनाए रखते हैं।

ऑन-डिवाइस AI: रीयल-टाइम और निजी

ये मॉडल मोबाइल डिवाइसों पर चलने के लिए डिज़ाइन किए गए हैं, जो क्लाउड को डेटा भेजे बिना तेज, स्थानीय प्रोसेसिंग प्रदान करते हैं। एज डिवाइसों पर मॉडल स्थानीय रूप से चलाने से दो प्रमुख लाभ मिलते हैं:

• तेज़ प्रतिक्रिया समय: चूँकि मॉडल ऑन-डिवाइस चलते हैं, वे लगभग त्वरित रूप से अनुरोध प्रोसेस कर प्रतिक्रियाएँ जनरेट कर सकते हैं। यह विशेष रूप से रीयल-टाइम इंटरैक्शन के लिए उपयोगी है, जहाँ गति महत्वपूर्ण होती है।
• बेहतर गोपनीयता: स्थानीय प्रोसेसिंग के साथ, उपयोगकर्ता डेटा को डिवाइस से बाहर जाने की ज़रूरत नहीं पड़ती। इससे व्यक्तिगत संदेशों या कैलेंडर इवेंट्स जैसी संवेदनशील जानकारी सुरक्षित रहती है और क्लाउड में भेजे जाने के बजाय उपयोगकर्ता के नियंत्रण में रहती है।

Llama 3.2 के हल्के मॉडल Arm प्रोसेसर्स के लिए अनुकूलित हैं और Qualcomm तथा MediaTek हार्डवेयर पर सक्षम हैं, जो आज कई मोबाइल और एज डिवाइसों को शक्ति देते हैं।

Llama 3.2 1B & 3B के अनुप्रयोग

हल्के मॉडल विभिन्न व्यावहारिक, ऑन-डिवाइस अनुप्रयोगों के लिए बनाए गए हैं, जैसे:

1. सार-संक्षेपण: उपयोगकर्ता ईमेल्स या मीटिंग नोट्स जैसे बड़े टेक्स्ट का सार सीधे अपने डिवाइस पर बना सकते हैं, क्लाउड सेवाओं पर निर्भर हुए बिना।

2. AI पर्सनल असिस्टेंट: मॉडल प्राकृतिक भाषा के निर्देशों को समझकर कार्य कर सकते हैं, जैसे टू-डू सूचियाँ बनाना या मीटिंग शेड्यूल करना।

3. टेक्स्ट री-राइटिंग: ये मॉडल चलते-फिरते टेक्स्ट को निखारने या बदलने में सक्षम हैं, जिससे वे स्वचालित संपादन या पुनर्प्रस्तुति जैसे टूल्स के लिए उपयोगी बनते हैं।

Llama 3.2 हल्के मॉडल कैसे काम करते हैं

Llama 3.2 के हल्के मॉडल्स (1B और 3B) को मोबाइल और एज डिवाइसों पर कुशलता से फिट होने के लिए बनाया गया है, जबकि मजबूत प्रदर्शन बनाए रखा गया है। इसे साध्य करने के लिए, Meta ने दो प्रमुख तकनीकों का उपयोग किया: प्रूनिंग और डिस्टिलेशन।

स्रोत: Meta AI

प्रूनिंग: मॉडल को छोटा बनाना

प्रूनिंग मूल Llama मॉडलों का आकार घटाने में मदद करता है—नेटवर्क के कम महत्वपूर्ण भागों को हटाकर—जबकि यथासंभव अधिक ज्ञान बनाए रखता है। Llama 3.2 के 1B और 3B मॉडलों के मामले में, यह प्रक्रिया बड़े Llama 3.1 8B प्री-ट्रेंड मॉडल से शुरू हुई।

सिस्टमैटिक प्रूनिंग के जरिए, Meta AI टीम छोटे और अधिक कुशल मॉडल संस्करण बना सकी—बिना प्रदर्शन में महत्वपूर्ण कमी के। यह ऊपर दिए गए डायग्राम में दर्शाया गया है, जहाँ 8B प्री-ट्रेंड मॉडल (बैंगनी बॉक्स) को प्रून और परिष्कृत कर छोटे Llama 3.2 1B/3B मॉडलों के बेस में बदला गया है।

डिस्टिलेशन: छोटे मॉडलों को सिखाना

डिस्टिलेशन बड़े, अधिक शक्तिशाली मॉडल ("टीचर") से छोटे मॉडल ("स्टूडेंट") में ज्ञान स्थानांतरित करने की प्रक्रिया है। Llama 3.2 में, बड़े Llama 3.1 8B और Llama 3.1 70B मॉडलों के लॉजिट्स (प्रिडिक्शंस) का उपयोग छोटे मॉडलों को सिखाने के लिए किया गया।

इस तरह, छोटे 1B और 3B मॉडल कम आकार के बावजूद कार्यों को अधिक प्रभावी ढंग से करना सीख सके। ऊपर का डायग्राम दिखाता है कि प्री-ट्रेनिंग के दौरान 1B और 3B मॉडलों को गाइड करने के लिए बड़े मॉडलों के लॉजिट्स डेटा का कैसे उपयोग किया गया।

अंतिम परिष्करण

प्रूनिंग और डिस्टिलेशन के बाद, 1B और 3B मॉडल्स ने पूर्ववर्ती Llama मॉडलों की तरह पोस्ट-ट्रेनिंग चरणों को पूरा किया। इसमें सुपरवाइज्ड फाइन-ट्यूनिंग, रिजेक्शन सैंपलिंग, और डायरेक्ट प्रेफरेंस ऑप्टिमाइज़ेशन जैसी तकनीकें शामिल थीं ताकि मॉडलों के आउटपुट उपयोगकर्ता अपेक्षाओं के अनुरूप हों।

सिंथेटिक डेटा भी जनरेट किया गया ताकि मॉडल सार-संक्षेपण, री-राइटिंग और निर्देश पालन जैसे विस्तृत कार्यों को संभाल सकें।

जैसा कि डायग्राम में दिखाया गया है, अंतिम Llama 3.2 1B/3B इन्स्ट्रक्ट मॉडल्स प्रूनिंग, डिस्टिलेशन और व्यापक पोस्ट-ट्रेनिंग का परिणाम हैं।

बेंचमार्क्स: ताकत और सीमाएँ

Llama 3.2 3B कुछ श्रेणियों में खास तौर पर उभरता है, विशेषकर तर्क-संबंधी कार्यों में। उदाहरण के लिए, ARC Challenge में यह 78.6 स्कोर करता है, Gemma (76.7) को पछाड़ते हुए और Phi-3.5-mini (87.4) से थोड़ा पीछे। इसी तरह, Hellawag बेंचमार्क में यह 69.8 हासिल करता है, Gemma को मात देता है और Phi के साथ प्रतिस्पर्धी बना रहता है।

BFCL V2 जैसे टूल-यूज़ कार्यों में भी Llama 3.2 3B 67.0 के स्कोर के साथ चमकता है, दोनों प्रतिस्पर्धियों से आगे। यह दिखाता है कि 3B मॉडल निर्देश-पालन और टूल-संबंधित कार्यों को प्रभावी ढंग से संभालता है।

स्रोत: Meta AI

Llama Stack डिस्ट्रीब्यूशन

Llama 3.2 के विमोचन के साथ, Meta Llama Stack भी पेश कर रहा है। डेवलपर्स के लिए, Llama Stack का उपयोग करने का मतलब है कि उन्हें बड़े मॉडलों की सेटअप या डिप्लॉयमेंट की जटिलताओं की चिंता नहीं करनी होगी। वे अपने एप्लिकेशंस बनाने पर ध्यान दे सकते हैं और भरोसा कर सकते हैं कि Llama Stack भारी-भरकम काम संभाल लेगा।

Llama Stack की प्रमुख विशेषताएँ ये हैं:

• मानकीकृत APIs: डेवलपर्स इनके ज़रिए Llama मॉडलों के साथ इंटरैक्ट कर सकते हैं—सब कुछ शून्य से बनाने की ज़रूरत नहीं।
• हर जगह काम करता है: Llama Stack अलग-अलग प्लेटफॉर्म्स पर काम करने के लिए डिज़ाइन किया गया है:
• सिंगल-नोड: एक ही कंप्यूटर पर Llama मॉडलों को चलाना।
• ऑन-प्रिमाइसेज: अपने सर्वर्स या प्राइवेट क्लाउड में मॉडल्स का उपयोग।
• क्लाउड: AWS या Google Cloud जैसे क्लाउड प्रदाताओं के माध्यम से Llama मॉडलों को डिप्लॉय करना।
• मोबाइल और एज डिवाइस: क्लाउड पर निर्भर हुए बिना, फ़ोन या छोटे डिवाइसों पर Llama मॉडलों को चलाना संभव बनाना।
• प्री-बिल्ट समाधान: Llama Stack "टर्नकी" समाधान प्रदान करता है—दस्तावेज़ विश्लेषण या प्रश्नोत्तर जैसे सामान्य कार्यों के लिए रेडी-मेड सेटअप्स। ये डेवलपर्स का समय और प्रयास बचा सकते हैं।
• एकीकृत सुरक्षा: स्टैक में बिल्ट-इन सेफ्टी फीचर्स भी शामिल हैं, ताकि डिप्लॉयमेंट के दौरान AI जिम्मेदार और नैतिक ढंग से व्यवहार करे।

स्रोत: Meta AI

Llama 3.2 सुरक्षा

Meta, जिम्मेदार AI पर अपना फोकस Llama 3.2 के साथ जारी रखता है। Llama Guard 3 को अपडेट कर उसका विज़न-सक्षम संस्करण जोड़ा गया है, जो Llama 3.2 की नई मल्टिमोडल क्षमताओं का समर्थन करता है। यह सुनिश्चित करता है कि नई इमेज अंडरस्टैंडिंग सुविधाओं का उपयोग करने वाले एप्लिकेशन एथिकल गाइडलाइन्स के अनुरूप सुरक्षित रहें।

इसके अतिरिक्त, Llama Guard 3 1B को अधिक संसाधन-सीमित वातावरण में डिप्लॉयमेंट के लिए अनुकूलित किया गया है, जिससे यह पिछले संस्करणों की तुलना में छोटा और अधिक कुशल हो गया है।

Llama 3.2 मॉडल्स तक कैसे पहुँचें और डाउनलोड करें

Llama 3.2 मॉडलों तक पहुँचना और उन्हें डाउनलोड करना काफ़ी सीधा है। Meta ने इन मॉडलों को कई प्लेटफॉर्म्स पर उपलब्ध कराया है—अपनी वेबसाइट और Hugging Face सहित, जो AI मॉडल होस्टिंग और शेयरिंग के लिए लोकप्रिय प्लेटफॉर्म है।

आप सीधे आधिकारिक Llama वेबसाइट से Llama 3.2 मॉडल्स डाउनलोड कर सकते हैं। Meta डेवलपर्स के लिए छोटे, हल्के मॉडल (1B और 3B) और बड़े विज़न-सक्षम मॉडल (11B और 90B) दोनों उपलब्ध कराता है।

Hugging Face एक और प्लेटफॉर्म है जहाँ Llama 3.2 मॉडल उपलब्ध हैं। यह आसान एक्सेस प्रदान करता है और AI समुदाय के डेवलपर्स द्वारा सामान्यतः उपयोग किया जाता है।

Llama 3.2 मॉडल हमारे व्यापक पार्टनर इकोसिस्टम—AMD, AWS, Databricks, Dell, Google Cloud, Groq, IBM, Intel, Microsoft Azure, NVIDIA, Oracle Cloud, Snowflake, आदि—पर तत्काल विकास हेतु उपलब्ध हैं।

निष्कर्ष

Meta का Llama 3.2 विमोचन श्रृंखला के पहले मल्टिमोडल मॉडल्स पेश करता है, दो प्रमुख क्षेत्रों पर ध्यान केंद्रित करते हुए: विज़न-सक्षम मॉडल्स और एज व मोबाइल डिवाइसों के लिए हल्के मॉडल्स।

11B और 90B मल्टिमोडल मॉडल अब टेक्स्ट और इमेज—दोनों का प्रोसेसिंग संभाल सकते हैं, जबकि 1B और 3B मॉडल छोटे डिवाइसों पर कुशल स्थानीय उपयोग के लिए अनुकूलित हैं।

इस लेख में, मैंने आवश्यक बातें रखीं—ये मॉडल कैसे काम करते हैं, उनके व्यावहारिक अनुप्रयोग, और आप इन्हें कैसे एक्सेस कर सकते हैं।