Qwen2.5-VL को लोकल रूप से कैसे उपयोग करें

मॉडल की उन्नत क्षमताओं में एक घंटे से अधिक लंबे वीडियो समझना, उनमें विशिष्ट घटनाओं की पहचान करना, और बाउंडिंग बॉक्स या बिंदुओं के माध्यम से छवियों में वस्तुओं का सटीक लोकलाइज़ेशन करना शामिल है। यह निर्देशांक और गुणों के लिए स्थिर JSON आउटपुट भी प्रदान करता है, जिससे संरचित डेटा की आवश्यकता वाले कार्यों में उच्च सटीकता सुनिश्चित होती है।

इसके अलावा, Qwen2.5-VL स्कैन किए गए दस्तावेज़ों—जैसे चालान, फॉर्म, और तालिकाएं—के लिए संरचित आउटपुट सपोर्ट करता है, जो वित्त और वाणिज्य जैसे उद्योगों के लिए अत्यंत उपयोगी है।

स्रोत: Qwen2.5 VL

फ्लैगशिप मॉडल Qwen2.5-VL-72B-Instruct विभिन्न बेंचमार्क पर असाधारण प्रदर्शन देता है, जो विविध डोमेन और कार्यों को संभालने में उसकी बहुमुखी प्रतिभा को दर्शाता है। यह Gemini 2 Flash, GPT-4o, और Claude 3.5 Sonnet जैसे अग्रणी मॉडलों से बेहतर प्रदर्शन करता है, जिससे यह शीर्ष-स्तरीय विज़न-लैंग्वेज मॉडल के रूप में स्थापित होता है।

आप DeepEval का उपयोग कर LLMs का प्रभावी मूल्यांकन ट्यूटोरियल का पालन करके Qwen मॉडल या किसी भी तरह के LLM का स्वयं आकलन कर सकते हैं. 

GPU वाले लैपटॉप पर Qwen2.5-VL का उपयोग

अब हम Qwen2.5-VL को लोकल रूप से चलाने के कुछ तरीके सीखेंगे। ये समाधान पहले से ही QwenLM/Qwen2.5-VL GitHub रिपोजिटरी में उपलब्ध हैं। हमें बस वातावरण सेट करना है, कुछ सामान्य त्रुटियों को ठीक करना है, और वेब एप्लिकेशन को लोकल रूप से चलाना है।

1. Qwen2.5-VL वेब ऐप को लोकल रूप से चलाना

1. Qwen2.5-VL GitHub रिपोजिटरी को क्लोन करके प्रोजेक्ट डायरेक्टरी में जाएँ:

git clone https://github.com/QwenLM/Qwen2.5-VL

cd Qwen2.5-VL

2. निम्नलिखित कमांड का उपयोग करके वेब एप्लिकेशन के लिए आवश्यक डिपेंडेंसीज़ इंस्टॉल करें:

pip install -r requirements_web_demo.txt

3. अपने GPU के साथ अनुकूलता सुनिश्चित करने के लिए CUDA सपोर्ट के साथ PyTorch, TorchVision, और TorchAudio के नवीनतम संस्करण इंस्टॉल करें। भले ही PyTorch पहले से इंस्टॉल हो, वेब एप्लिकेशन चलाते समय समस्याएँ आ सकती हैं, इसलिए अपडेट करना बेहतर है:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

4. कनेक्शन और UI-संबंधित त्रुटियों से बचने के लिए Gradio और Gradio Client को अपडेट करें, क्योंकि पुराने संस्करण समस्याएँ पैदा कर सकते हैं:

pip install -U gradio gradio_client 

5. अब, छोटे 3B मॉडल चेकपॉइंट का उपयोग करते हुए वेब डेमो एप्लिकेशन चलाएँ। यह सीमित GPU मेमोरी (जैसे, 8GB VRAM) वाले लैपटॉप के लिए अनुशंसित है। 7B मॉडल काम कर सकता है, लेकिन प्रतिक्रिया जनरेशन धीमी होने की संभावना है:

python web_demo_mm.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" 

जैसा कि हम देख सकते हैं, यह पहले मॉडल डाउनलोड करता है, फिर प्रोसेसर और मॉडल लोड करता है, और अब वेब ऐप लोकल URL http://127.0.0.1:7860 पर चल रहा है।

वेब ऐप पूरी तरह से चल रहा है. 

6. आप टेक्स्ट और कई आकृतियों वाली छवि अपलोड करके मॉडल से उसे समझाने के लिए कह सकते हैं। छोटा 3B मॉडल भी प्रभावशाली प्रदर्शन दिखाता है और छवि में सूक्ष्म विवरणों की पहचान करता है।

7. आप बिना छवि दिए भी मॉडल से बातचीत कर सकते हैं। यह एक मानक बड़े भाषा मॉडल की तरह टेक्स्ट-आधारित उत्तर जनरेट करेगा. 

यदि आप अपना टास्क मैनेजर खोलकर परफॉर्मेंस मॉनिटर करें, तो आप देखेंगे कि GPU उपयोग लगभग 6% है, जो सुचारु संचालन का संकेत देता है।

2. एक प्रायोगिक Qwen2.5-VL वेब ऐप को लोकल रूप से चलाना

GitHub रिपोजिटरी में एक प्रायोगिक स्ट्रीमिंग वीडियो चैट डेमो भी शामिल है, जो web_demo_streaming डायरेक्टरी में स्थित है। यह डेमो आपके वेबकैम का उपयोग करके मॉडल के साथ इंटरैक्ट करने की सुविधा देता है।

स्ट्रीमिंग वीडियो चैट डेमो चलाने के लिए, स्ट्रीमिंग डेमो डायरेक्टरी में जाएँ और 3B मॉडल चेकपॉइंट के साथ एप्लिकेशन चलाएँ।

cd web_demo_streaming/
python app.py --checkpoint-path "Qwen/Qwen2.5-VL-3B-Instruct" 

यदि आपके पास अधिक शक्तिशाली GPU है, तो यह वेब ऐप बिना किसी रुकावट के चलेगा। बस अपने वेबकैम को एक्सेस की अनुमति दें और सवाल पूछना शुरू करें।

लोकल रूप से डिप्लॉय किए गए मॉडल का उपयोग करना और उसके इर्द-गिर्द एक सही UI एप्लिकेशन बनाना सीखें। आप यह Developing LLM Applications with LangChain कोर्स पूरा करके कर सकते हैं।

3. Docker Desktop के साथ Qwen2.5-VL को लोकल रूप से चलाना

Qwen2.5-VL को लोकल रूप से उपयोग करने का सबसे स्थिर तरीका इसे Docker के माध्यम से चलाना है। Qwen टीम आवश्यक सभी वातावरणों के साथ प्री-बिल्ट Docker इमेज प्रदान करती है।

1. आधिकारिक वेबसाइट से Docker Desktop डाउनलोड और इंस्टॉल करें।

2. डिप्लॉयमेंट को सरल बनाने के लिए प्री-बिल्ट Docker इमेज qwenllm/qwenvl का उपयोग करें। आवश्यक ड्राइवर इंस्टॉल करें और डेमो लॉन्च करने के लिए मॉडल फाइलें डाउनलोड करें।

docker run --gpus all --ipc=host --network=host --rm --name qwen2 -it qwenllm/qwenvl:2-cu121 bash

आप Qwen 2.5 Coder नामक एक कोड जनरेशन मॉडल के बारे में हमारे Qwen 2.5 Coder: उदाहरणों सहित एक गाइड को पढ़कर जान सकते हैं।

Qwen2.5-VL ऑनलाइन चैटबॉट का उपयोग

यदि आप फ्लैगशिप मॉडल Qwen2.5-VL 72B Instuct का अनुभव करना चाहते हैं, तो Qwen Chat वेबसाइट पर जाएँ, एक अकाउंट बनाएँ और ChatGPT की तरह ही मॉडल का उपयोग शुरू करें। आपको छवि लोड करने से पहले मॉडल चुनने की आवश्यकता हो सकती है।

छवि लोड करें और उससे संबंधित प्रश्न पूछना शुरू करें।

रेस्पॉन्स जनरेशन तेज़ और सटीक है, और थोड़े प्रयास से आप अत्याधुनिक AI मॉडल का अनुभव कर सकते हैं। 

Alibaba Cloud आपको API के ज़रिए विभिन्न AI मॉडलों तक पहुँचने के लिए सभी आवश्यक टूल प्रदान करता है, जो OpenAI प्लेटफ़ॉर्म की तरह ही फाइन-ट्यून किए जा सकते हैं। इसके बारे में अधिक जानने के लिए Qwen (Alibaba Cloud) ट्यूटोरियल: परिचय और फाइन-ट्यूनिंग पढ़ें।

निष्कर्ष

Qwen2.5-VL AI के भविष्य की एक झलक है, जो साबित करता है कि उन्नत AI मॉडलों में नवाचार केवल अमेरिका या पश्चिमी दुनिया तक सीमित नहीं है। यह मॉडल असाधारण सटीकता दर्शाता है और विभिन्न वर्कफ़्लोज़ में सहज एकीकरण प्रदान करता है, जिससे उपयोगकर्ता कार्यों के स्वचालन के लिए कस्टम AI टूल बना सकते हैं। 

उदाहरण के लिए, आप Qwen2.5-VL का उपयोग करके एक LinkedIn अकाउंट सेट कर सकते हैं, उसे सभी आवश्यक विवरणों से भर सकते हैं, और यहाँ तक कि आपकी ओर से लेख भी पोस्ट कर सकते हैं — वह भी न्यूनतम प्रयास के साथ।

इस ट्यूटोरियल में, हमने Qwen 2.5-VL के बारे में सीखा, जो एक विज़न मॉडल है और किसी छवि में सबसे छोटे विवरणों को भी संभालने में सक्षम है। हमने यह भी सीखा कि इसे GPU वाले लैपटॉप पर लोकल रूप से कैसे चलाया जाए। अंत में, हमने Qwen अकाउंट बनाया और ChatGPT की तरह ऑनलाइन फ्लैगशिप मॉडल का उपयोग किया।

पढ़ें अलीबाबा का Qwen 2.5-Max, एक मॉडल जो GPT-4o, Claude 3.5 Sonnet, और DeepSeek V3 से प्रतिस्पर्धा करता है।