Pixtral Large: उदाहरणों सहित एक मार्गदर्शिका

Pixtral Large क्या है?

Pixtral Large में 123B मल्टीमॉडल डिकोडर और 1B पैरामीटर विज़न एन्कोडर (कुल 124B पैरामीटर्स) हैं, जो इसे मल्टीमॉडल इनपुट्स को प्रभावी ढंग से संभालने में सक्षम बनाता है। इसने कई विविध परिदृश्यों में बेजोड़ क्षमताएं प्रदर्शित की हैं, जैसे:

• बहुभाषी OCR: रसीदों को सटीकता से प्रोसेस करना और सन्दर्भ के साथ गणना करना (उदाहरण के लिए हमारे रेस्टोरेंट बिलों का विश्लेषण)।
• चार्ट समझ: असामान्यताओं और रुझानों की पहचान करना, जैसे ट्रेनिंग लॉस कर्व्स में समस्याओं की पहचान करना।
• सामान्य विश्लेषण: स्क्रीनशॉट्स से अंतर्दृष्टियाँ निकालना, संदर्भपरक क्वेरीज़ का प्रभावी उत्तर देना, आदि।

Pixtral Large ने कई बेंचमार्क्स पर अच्छे परिणाम दिखाए हैं—यहाँ वे हैं जिन्होंने मेरा ध्यान खींचा:

• MathVista: दृश्य डेटा पर गणितीय तर्क में 69.4% शुद्धता।
• ChartQA और DocVQA: जटिल चार्ट्स और दस्तावेज़ों पर तर्क करने में GPT-4o और Gemini-1.5 Pro जैसे शीर्ष प्रतिद्वंद्वियों को पीछे छोड़ा।
• MM-MT-Bench: वास्तविक दुनिया के मल्टीमॉडल कार्यों में Claude-3.5 Sonnet, Gemini-1.5 Pro, और GPT-4o से बेहतर प्रदर्शन किया।

स्रोत: Mistral AI

Pixtral Large 124B बनाम Pixtral 12B

Pixtral Large 124B और Pixtral 12B कुछ आर्किटेक्चरल नींव साझा करते हैं लेकिन समान नहीं हैं। जहाँ Pixtral Large, Pixtral 12B द्वारा रखी गई नींव पर आधारित है, वहीँ इसकी आर्किटेक्चर, कॉन्टेक्स्ट विंडो आकार और मल्टीमॉडल एकीकरण में महत्वपूर्ण विशेषताएँ हैं, जो विभिन्न कार्यों में श्रेष्ठ प्रदर्शन की ओर ले जाती हैं। यहाँ दोनों मॉडलों के बीच कुछ अंतर दिए गए हैं।

• आकार में महत्वपूर्ण अंतर Pixtral Large को अधिक जटिल कार्यों और बड़े डेटा सेट को संभालने में सक्षम बनाता है।
• बड़ा कॉन्टेक्स्ट विंडो Pixtral Large को लंबी टेक्स्ट अनुक्रमों और अधिक जटिल छवियों को प्रोसेस और समझने में सक्षम बनाता है।
• दोनों मॉडल मल्टीमॉडल कार्यों के लिए डिज़ाइन किए गए हैं, जो टेक्स्ट और इमेज डेटा को एकीकृत करते हैं। हालाँकि, Pixtral Large विभिन्न मॉडैलिटीज़ के बीच जानकारी को बेहतर ढंग से मिलाने के लिए विशेष क्रॉस-अटेंशन लेयर्स पेश करता है, जिससे इमेज समझ और दस्तावेज़ प्रोसेसिंग जैसे कार्यों में प्रदर्शन बढ़ता है।
• Pixtral 12B की तुलना में Pixtral Large को अधिक कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, जिसमें 200GB से अधिक डेटा और एक शक्तिशाली GPU शामिल है। यह बड़े मॉडल की बढ़ी हुई जटिलता और क्षमता को रेखांकित करता है।

Pixtral आर्किटेक्चर। स्रोत: Pixtral 12B तकनीकी रिपोर्ट.

यदि आप मॉडल आर्किटेक्चर को और गहराई से खंगालना चाहते हैं, तो Pixtral 12B की तकनीकी रिपोर्ट देखें। Pixtral Large की तकनीकी रिपोर्ट फिलहाल उपलब्ध नहीं है।

Le Chat पर Pixtral Large का उपयोग कैसे करें

Le Chat एक चैट-आधारित इंटरफ़ेस प्रदान करता है, बिलकुल लोकप्रिय ChatGPT की तरह।

हालाँकि हम विशेष रूप से Pixtral Large मॉडल का चयन नहीं कर सकते, घोषणा लेख यह स्पष्ट करता है कि “स्टेट-ऑफ-द-आर्ट डॉक्यूमेंट और इमेज अंडरस्टैंडिंग” नए मल्टीमॉडल Pixtral Large द्वारा संचालित है।

मैंने पहले Transformer-Lite पर एक शोधपत्र पर Pixtral Large आज़माया, जिसमें काफी टेक्स्ट और ग्राफ़ हैं। मैंने मॉडल से दस्तावेज़ का सार बताने को कहा:

मैं परिणाम से काफ़ी संतुष्ट था। अगला, मैंने Pixtral से स्मार्टफोन ब्रांड्स के वितरण वाले इस पाई चार्ट को समझाने को कहा, पर मैंने जानबूझकर अपना प्रॉम्प्ट अस्पष्ट रखा और यह नहीं बताया कि पाई चार्ट किस बारे में है।

मॉडल ने पाई चार्ट को समझा और संख्याओं की सही पहचान की। उत्तर सुव्यवस्थित था और सटीक व्याख्या भी दी—कि जबकि Samsung और Apple बाजार में अग्रणी हैं, एक महत्वपूर्ण हिस्सा अन्य विभिन्न ब्रांड्स द्वारा घिरा हुआ है।

La Plateforme पर Pixtral Large की API का उपयोग कैसे करें

अधिकांश रोज़मर्रा के उपयोग मामलों के लिए Le Chat एक अच्छा विकल्प है, पर यदि हम Pixtral Large का प्रोग्रामेटिक उपयोग करना चाहते हैं, तो हमें इसकी API से कनेक्ट होना होगा। पहले मैं आपको La Plateforme के जरिए API से कनेक्ट करना दिखाऊँगा, और फिर अपने स्वयं के ड्रॉइंग्स पर Pixtral Large का परीक्षण करूँगा।

La Plateforme से कनेक्ट करें

API के जरिए Pixtral Large का उपयोग करने के लिए, हम निम्न चरण अपना सकते हैं:

1. La Plateforme में लॉग इन करें।

2. Quickstart → API Requests पर क्लिक करें

3. फ्री अकाउंट विकल्प चुनें। Experiment for free पर क्लिक करें, जो हमें एक नए पेज पर ले जाएगा, जहाँ मोबाइल नंबर पर OTP से अकाउंट वेरिफाइ कर नया अकाउंट सेटअप करना होगा।

4. अकाउंट सेटअप होने के बाद, बाएँ तरफ API टैब से API keys चुनें। 

5. इसके बाद Create new key पर क्लिक करें। वैकल्पिक विवरण भर सकते हैं और Create key पर क्लिक करें।

API key अब उपयोग के लिए तैयार है। 

मेरी ड्रॉइंग पर API का उपयोग करके इमेज डिस्क्रिप्शन जनरेटर

अब API का उपयोग करके एक इमेज डिस्क्रिप्शन जनरेटर बनाते हैं। लक्ष्य है कि किसी भी इमेज को प्रॉम्प्ट में एक प्रश्न (जैसे, “दी गई इमेज का विस्तृत वर्णन करें”) के साथ मॉडल को भेजें और एक उत्तर प्राप्त करें।

मैं इसे अपनी एक ड्रॉइंग के लिए विवरण बनवाकर जाँचूँगा, जो नीचे दिखाई गई है। यह इमेज 24/7 कस्टमर सपोर्ट चैटबॉट एप्लिकेशन के लिए एक मोबाइल फ्रेमवर्क दर्शाती है।

शुरू करने से पहले, सुनिश्चित करें कि आपके पास निम्न सेटअप है:

1. GPU: इस सेटअप के लिए T4 GPU आवश्यक है। आप Google Colab का उपयोग कर सकते हैं, जो T4 GPU तक निःशुल्क पहुँच प्रदान करता है।
2. Mistral AI लाइब्रेरी: इसे इंस्टॉल करने के लिए निम्न कमांड चलाएँ:

!pip install -U mistralai

आइए शुरू करते हैं:

चरण 1: इम्पोर्ट्स

अगला, हम अपने इम्पोर्ट्स सेट करते हैं। इस ट्यूटोरियल के लिए हम निम्न लाइब्रेरीज़ का उपयोग करेंगे:

• इमेज प्रोसेसिंग के लिए Pillow (PIL)
• Base64 बाइनरी डेटा को base64 फॉर्मेट में एन्कोड/डिकोड करने के लिए
• io.BytesIO लाइब्रेरी इन-मेemory बाइट-स्ट्रीम इंटरफेस प्रदान करती है

import base64from io import BytesIOfrom PIL import Imagefrom mistralai import Mistral

चरण 2: Pixtral API क्लाइंट

अब API key का उपयोग करें। Google Colab में API key सेट करने के लिए Secrets टैब पर जाएँ। बाएँ साइडबार में key आइकन पर क्लिक करें, फिर अपनी API key पेस्ट करें और सीक्रेट को एक नाम दें। इसके बाद, कोड में उपयोग के लिए सीक्रेट को सक्षम करने हेतु बटन टॉगल करें। इससे हम अपने एप्लिकेशन में निम्न कोड का उपयोग कर पाएँगे।

from google.colab import userdatauserdata.get('secretName') # pass in your secretName here

सीक्रेट key सेट हो जाने के बाद, हम API_KEY नाम से एक वेरिएबल बनाते हैं और उसमें अपना सीक्रेट नाम पास करते हैं, जैसा कि नीचे के कोड में दिखाया गया है। इसके बाद हम API key को Mistral फ़ंक्शन में पास करके क्लाइंट सेट करते हैं।

from google.colab import userdataAPI_KEY = userdata.get('secretName')  # Replace with your actual secret nameclient = Mistral(api_key=API_KEY) 

नोट: हम चाहें तो API key सीधे पास कर सकते हैं, लेकिन सुरक्षा और गोपनीयता कारणों से यह अनुशंसित नहीं है। 

चरण 3: इमेज एन्कोडिंग

क्लाइंट सेट हो जाने के बाद, हम उस इमेज को प्रोसेस करना शुरू करते हैं जो Pixtral Large मॉडल के लिए इनपुट होगी।

# Helper function to encode an image to base64def encode_image(image_obj):    if isinstance(image_obj, Image.Image):  # Check if it's already a PIL Image        img = image_obj    else:  # Otherwise, try opening it as a path        img = Image.open(image_obj)    buffered = BytesIO()    img.save(buffered, format="PNG")    return base64.b64encode(buffered.getvalue()).decode("utf-8")

उपरोक्त फ़ंक्शन का मुख्य उद्देश्य है कि किसी इमेज को, चाहे फ़ाइल पाथ के रूप में हो या पहले से लोडेड PIL.Image.Image ऑब्जेक्ट के रूप में, लेकर उसका Base64 स्ट्रिंग प्रतिनिधित्व लौटाना। यह उपयोगी है:

• इमेज को सीधे किसी JSON ऑब्जेक्ट या API अनुरोध में एम्बेड करने के लिए।
• इमेज को अलग फ़ाइल के रूप में भेजने की आवश्यकता से बचने के लिए।

चरण 4: इमेज पर इन्फरेंस

इमेज होने पर, हम Pixtral Large API से उसका विवरण जनरेट करना चाहते हैं। वर्कफ़्लो में इमेज को एन्कोड करना, एक प्रॉम्प्ट बनाना, Pixtral API को अनुरोध भेजना, और वर्णनात्मक प्रतिक्रिया प्राप्त करना शामिल है। निम्न कोड इस प्रकार काम करता है:

1. इमेज को Base64 फॉर्मेट में एन्कोड कर प्रॉम्प्ट के साथ Pixtral API को एक संरचित संदेश में भेजा जाता है।
2. Pixtral Large मॉडल प्रॉम्प्ट और इमेज को प्रोसेस कर इमेज की सामग्री का विस्तृत टेक्स्टुअल विवरण जनरेट करता है।
3. रिस्पॉन्स को पार्स कर विवरण निकाला जाता है, जिसे उपयोगकर्ता को दिखाया जाता है।

नोट: सुनिश्चित करें कि client.chat.complete के अंतर्गत मॉडल "pixtral-large-latest" पर सेट हो, जो फिलहाल सार्वजनिक रूप से उपलब्ध एकमात्र Pixtral Large मॉडल है।

# Function to perform inference for image descriptiondef describe_image(image_path):    # Load and encode the image    image_base64 = encode_image(image_path)    # Prompt for the Pixtral model    prompt = "Please provide a detailed description of the given image."    # Prepare input for the Pixtral API    messages = [        {            "role": "user",            "content": [                {"type": "text", "text": prompt},                {"type": "image_url", "image_url": {"url": f"data:image/png;base64,{image_base64}"}}            ]        }    ]    # Perform inference    response = client.chat.complete(        model="pixtral-large-latest",        messages=messages,        max_tokens=300    )    # Return the model's output    return response.choices[0].message.content# Usageif __name__ == "__main__":    # Provide the path to your image file    image_path = "image.png"  # Replace with the path to your image    # Get the description of the image    description = describe_image(image_path)        # Print the result    print("Image Description:")    print(description)

Image Description:The image is a sketch of a mobile app prototype for automated customer support. The sketch depicts a smartphone screen with a customer support interface.At the top of the screen, there is a header that reads "24x7 Customer Support Powered By AI." Below the header, there is a chat window where a conversation between a user and an AI-powered support system is taking place.The conversation starts with the AI greeting the user: "Hi! How can I help you?" The user responds: "Hi, I am looking for assistance for featureX." The AI then provides a response: "Sure, here are a few steps:" followed by a placeholder for the steps, which are represented by horizontal lines.At the bottom of the screen, there is a text input box labeled "Type your message" and a button labeled "Ask AI." The button is highlighted in red, indicating it is an actionable element for the user to interact with.Overall, the sketch illustrates a user-friendly interface for automated customer support, utilizing AI to provide assistance and guidance to users.

यहाँ क्रिसमस ट्री का एक और उदाहरण है जिसे मैंने भी बनाया है, और नीचे दिए गए चित्र के बाद Pixtral Large की राय दी गई है।

Image Description:The image presents a charming scene of a Christmas tree, standing tall and proud. ..This description is based on the visible content of the image and does not include any speculative or imaginary elements.

निष्कर्ष

Pixtral Large मल्टीमॉडल AI में एक आगे का कदम प्रतीत होता है, बेहतर इमेज समझ और टेक्स्ट प्रोसेसिंग के साथ। इस गाइड में, हमने Le Chat और La Plateforme—दोनों के माध्यम से मॉडल की क्षमताओं का अन्वेषण किया, और आशा है यह गाइड आपके लिए उपयोगी होगा।