पहली इमेज को देखकर ही हम बिना ज़्यादा मेहनत के कुछ बड़े आर्टिफैक्ट्स पकड़ सकते हैं:
- छत पर अप्राकृतिक विकृति दिखती है, जिसमें डुप्लिकेट और असंरेखित लाइट फिक्स्चर खिंचे हुए या तैरते हुए लगते हैं।
- कुछ डेस्क अजीब आकार के हैं, जिनमें असंगत कोण और अप्राकृतिक ओवरलैप हैं। कुछ कुर्सियाँ आंशिक रूप से पिघली हुई या फ़्लोर से चिपकी हुई लगती हैं।
- दाएँ तरफ़ का बूथ स्ट्रक्चर अप्राकृतिक, पिघला-सा प्रतीत होता है, जिसके अंदर की कुर्सी विकृत और असंबद्ध दिखती है।
आप वही प्रॉम्प्ट और नीचे दिए गए पैरामीटर्स व सीड का उपयोग करके Hugging Face पर इस परिणाम को दोहरा पाएँगे:
विभिन्न पैरामीटर्स और सीड्स के साथ प्रयोग करने के बावजूद, मैं Janus-Pro-7B से बेहतर आउटपुट नहीं पा सका। फिर भी, यह सिर्फ़ एक उदाहरण है और किसी भी मॉडल के बारे में व्यापक निष्कर्ष निकालने के लिए पर्याप्त साक्ष्य नहीं देता।
Janus-Pro बेंचमार्क्स
Janus-Pro का प्रदर्शन मल्टीमॉडल समझ और टेक्स्ट-टू-इमेज जनरेशन—दोनों में—मापने के लिए कई बेंचमार्क्स पर परखा गया है। नतीजे इसके पूर्ववर्ती Janus पर सुधार दिखाते हैं और इसे अपनी श्रेणी के शीर्ष प्रदर्शन करने वाले मॉडलों में रखते हैं।
स्रोत: Janus-Pro का GitHub पेज.
ऊपर दी गई इमेज के बाएँ चार्ट में दिखाया गया है कि Janus-Pro चार मल्टीमॉडल समझ बेंचमार्क्स—जहाँ DeepSeek टीम ने POPE, MME-Perception, GQA, और MMMU की सटीकता का औसत लिया—पर कैसा प्रदर्शन करता है। मुख्य निष्कर्ष यह है कि Janus-Pro-7B अपने छोटे समकक्ष Janus-Pro-1B से बेहतर है और LLaVA-v1.5-7B तथा VILA-U जैसे अन्य मल्टीमॉडल मॉडलों से भी आगे है।
दाएँ चार्ट में टेक्स्ट-टू-इमेज जनरेशन के लिए निर्देश-अनुसरण बेंचमार्क्स, विशेष रूप से GenEval और DPG-Bench—पर Janus-Pro-7B की तुलना अन्य प्रमुख मॉडलों से की गई है:
- GenEval, जो यह आँकता है कि कोई मॉडल टेक्स्ट प्रॉम्प्ट्स का पालन करते हुए इमेज कितनी अच्छी तरह जनरेट करता है, पर Janus-Pro-7B का स्कोर 80.0% है, जो DALL-E 3 (67%) और SD3-Medium (74%) से बेहतर है।
- DPG-Bench, जो विस्तृत प्रॉम्प्ट निष्पादन की सटीकता परखता है, पर Janus-Pro-7B का स्कोर 84.2% है, जो सभी अन्य मॉडलों से आगे है।
Janus-Pro तक कैसे पहुँचें
आप बिना जटिल सेटअप के कुछ तरीकों से Janus-Pro आज़मा सकते हैं।
Hugging Face पर ऑनलाइन डेमो
Janus-Pro को टेस्ट करने का सबसे तेज़ तरीका इसका Hugging Face Spaces डेमो है, जहाँ आप ब्राउज़र में ही प्रॉम्प्ट्स देकर सीधे टेक्स्ट या इमेज जनरेट कर सकते हैं। इसमें कोई इंस्टॉलेशन या सेटअप नहीं चाहिए।
Gradio के साथ स्थानीय GUI
यदि आप उपयोगकर्ता-अनुकूल इंटरफ़ेस के साथ स्थानीय सेटअप पसंद करते हैं, तो DeepSeek Gradio-आधारित डेमो प्रदान करता है। इससे आप अपनी मशीन पर वेब-आधारित GUI के ज़रिए Janus-Pro के साथ इंटरैक्ट कर सकते हैं। इसे उपयोग करने के लिए Janus के आधिकारिक GitHub रिपॉज़िटरी के निर्देशों का पालन करें।
निष्कर्ष
Janus-Pro मल्टीमॉडल AI क्षेत्र में DeepSeek की नवीनतम पेशकश है, जो DALL-E 3 जैसे मॉडलों का एक ओपन-सोर्स विकल्प देती है। यह बेहतर प्रशिक्षण, बड़े डेटासेट्स, और टेक्स्ट व इमेज को अधिक प्रभावी ढंग से संभालने के लिए डिकपल्ड आर्किटेक्चर के साथ अपने पूर्ववर्ती पर सुधार करता है।
DALL-E 3 के साथ की गई मेरी आमने-सामने तुलना में, Janus-Pro ने टेक्स्ट-टू-इमेज जनरेशन में कुछ कमजोरियाँ दिखाईं—ध्यान देने योग्य आर्टिफैक्ट्स और असंगतियाँ पैदा हुईं। हालाँकि, यह मल्टीमॉडल समझ कार्यों में अच्छा प्रदर्शन करता है। फिर भी, यह सीमित परीक्षण है और मॉडल की समग्र क्षमताओं पर सामान्य निष्कर्ष निकालने के लिए पर्याप्त साक्ष्य नहीं देता।
FAQs
Janus-Pro को लोकल रूप से चलाने के लिए किस हार्डवेयर की आवश्यकता है?
Janus-Pro को 1B जैसे छोटे मॉडल के लिए कंज्यूमर-ग्रेड GPUs पर चलाया जा सकता है। बड़े 7B मॉडल के लिए, पर्याप्त VRAM वाले हाई-एंड GPU, जैसे NVIDIA A100 या समान, की सिफारिश की जाती है।
क्या Janus-Pro रियल-टाइम एप्लिकेशन्स के लिए उपयुक्त है?
हालाँकि Janus-Pro शक्तिशाली है, इसका प्रदर्शन उस हार्डवेयर पर निर्भर करता है जिस पर यह चल रहा है। रियल-टाइम एप्लिकेशन्स, खासकर 7B मॉडल के लिए, पर्याप्त कंप्यूट संसाधन माँग सकती हैं।
क्या Janus-Pro अंग्रेज़ी के अलावा अन्य भाषाओं का समर्थन करता है?
हाँ, Janus-Pro में बहुभाषी क्षमताओं को बढ़ाने वाले डेटासेट्स शामिल हैं, जिनमें चीनी वार्तालाप डेटा आदि शामिल हैं, जिससे यह कई भाषाओं में कार्यों के लिए उपयुक्त बनता है।
क्या Janus-Pro हाई-रेज़ोल्यूशन इमेज बना सकता है?
वर्तमान में, Janus-Pro 384×384 पिक्सेल के रेज़ोल्यूशन पर इमेज जनरेट करता है।
क्या Janus-Pro को विशिष्ट एप्लिकेशन्स के लिए फाइन-ट्यून किया जा सकता है?
हाँ, एक ओपन-सोर्स मॉडल होने के नाते, Janus-Pro को डोमेन-विशिष्ट डेटासेट्स का उपयोग करके कस्टम एप्लिकेशन्स के लिए फाइन-ट्यून किया जा सकता है।
मैं एक संपादक और लेखक हूँ जो AI ब्लॉग, ट्यूटोरियल, और समाचार कवर करता/करती हूँ, यह सुनिश्चित करते हुए कि सब कुछ ठोस कंटेंट रणनीति और SEO के सर्वोत्तम तरीकों के अनुरूप हो। मैंने Python, सांख्यिकी, प्रायिकता, और डेटा विज़ुअलाइज़ेशन पर डेटा साइंस पाठ्यक्रम लिखे हैं। मेरा एक पुरस्कृत उपन्यास भी प्रकाशित हो चुका है, और खाली समय में मैं पटकथा लेखन और फ़िल्म निर्देशन में समय बिताता/बिताती हूँ।
DeepSeek-R1 की रिलीज़ ने AI इंडस्ट्री को हिला दिया, जिसके चलते NVIDIA और प्रमुख अमेरिकी AI कंपनियों के शेयरों में तीरी गिरावट आई।
अब DeepSeek ने अपना नवीनतम मल्टीमॉडल मॉडल Janus-Pro पेश किया है, जिसे टेक्स्ट और इमेज जनरेशन के लिए डिज़ाइन किया गया है। R1 की तरह, Janus Pro भी ओपन-सोर्स है और बेंचमार्क्स पर मजबूत प्रदर्शन देता है। सीधे शब्दों में कहें तो, यह मल्टीमॉडल AI क्षेत्र में OpenAI के DALL-E 3 और Stability AI के Stable Diffusion का एक गंभीर प्रतिद्वंद्वी है।
इस ब्लॉग में, मैं Janus Pro के बारे में बताऊंगा—यह क्या है, मल्टीमॉडल AI का क्या अर्थ है, यह कैसे काम करता है, और इसे कैसे एक्सेस करें। मैं कुछ प्रम्प्ट्स पर इसकी तुलना DALL-E 3 से भी करूंगा।
Janus-Pro क्या है?
Janus-Pro DeepSeek का नवीनतम मल्टीमॉडल AI मॉडल है, जिसे टेक्स्ट और इमेज दोनों से जुड़ी कार्यों को संभालने के लिए डिज़ाइन किया गया है। यह मूल Janus मॉडल की तुलना में कई सुधार लाता है, जिनमें बेहतर प्रशिक्षण रणनीतियाँ, बड़े डेटासेट, और स्केल किए गए मॉडल आकार (1B और 7B पैरामीटर संस्करण) शामिल हैं।
Janus बनाम Janus Pro-7b. स्रोत: Janus-Pro का रिलीज़ पेपर.
ऐसे AI मॉडल्स के विपरीत जो केवल एक प्रकार के इनपुट में विशेषज्ञ होते हैं, Janus-Pro जैसे मल्टीमॉडल AI मॉडल इन दो माध्यमों को समझने और जोड़ने के लिए बनाए जाते हैं। उदाहरण के लिए, आप कोई इमेज अपलोड कर सकते हैं और उसके बारे में टेक्स्ट-आधारित प्रश्न पूछ सकते हैं—जैसे दृश्य में वस्तुओं की पहचान करना, इमेज के भीतर का टेक्स्ट पढ़ना, या उसके संदर्भ का विश्लेषण करना।
Janus-Pro के साथ टेक्स्ट पहचान। स्रोत: Janus-Pro का रिलीज़ पेपर.
Janus-Pro टेक्स्ट प्रॉम्प्ट्स से उच्च-गुणवत्ता वाली इमेज बना सकता है—जैसे विस्तृत आर्टवर्क, प्रोडक्ट डिज़ाइन, या विशेष निर्देशों के आधार पर यथार्थपरक विज़ुअलाइज़ेशन। यह दृश्य इनपुट का विश्लेषण भी कर सकता है, जैसे फोटो में वस्तुओं की पहचान करना, इमेज के भीतर टेक्स्ट पढ़ना और समझना, या चार्ट/डायग्राम के बारे में प्रश्नों के उत्तर देना।
Janus-Pro के साथ टेक्स्ट-टू-इमेज जनरेशन। स्रोत: Janus-Pro का रिलीज़ पेपर.
Janus-Pro दो आकारों में आता है—1B और 7B पैरामीटर्स—जो आपके हार्डवेयर के अनुसार लचीलापन देते हैं।
Janus-Pro कैसे काम करता है?
Janus-Pro को टेक्स्ट और इमेज दोनों को समझने और जनरेट करने के लिए डिज़ाइन किया गया है, और यह अपने पूर्ववर्ती पर कुछ चतुर सुधारों के ज़रिए ऐसा करता है। आइए इसके मुख्य घटकों को सरल तरीके से समझते हैं।
डिकपल्ड विज़ुअल एन्कोडिंग
Janus-Pro की प्रमुख खूबियों में से एक यह है कि यह दृश्यों की व्याख्या और उन्हें बनाने—दोनों के लिए एक ही सिस्टम का उपयोग नहीं करता। इसके बजाय, यह इन प्रक्रियाओं को अलग करता है (डिकपल्ड विज़ुअल एन्कोडिंग)।
उदाहरण के लिए, जब आप कोई इमेज अपलोड करते हैं और उसके बारे में प्रश्न पूछते हैं, तो Janus-Pro इमेज को “पढ़ने” और मुख्य बातों को समझने के लिए एक विशेष सिस्टम का इस्तेमाल करता है। दूसरी ओर, जब आप टेक्स्ट विवरण से इमेज बनाने के लिए कहते हैं, तो यह एक अलग सिस्टम अपनाता है जो विज़ुअल जनरेशन पर केंद्रित होता है। यह अलगाव मॉडल को दोनों काम बेहतर तरीके से करने देता है—उन समझौतों से बचाते हुए जो तब होते हैं जब एक ही सिस्टम से सब कुछ करवाया जाए।
सुधारित प्रशिक्षण प्रक्रिया
Janus-Pro का प्रशिक्षण तीन चरणों में बाँटा गया है, जिनमें से प्रत्येक इसकी क्षमताओं को निखारने के लिए बनाया गया है:
बड़े डेटा और मॉडल स्केलिंग
Janus-Pro अपनी क्षमताओं को वास्तविक दुनिया के और सिंथेटिक डेटा—दोनों का बराबर हिस्सा लेकर स्केल करता है। यह मिश्रण न केवल उच्च-गुणवत्ता वाले परिणाम सुनिश्चित करता है बल्कि इमेज जनरेशन जैसे कार्यों के दौरान स्थिरता भी बढ़ाता है।
Janus-Pro बनाम DALL-E 3
इस अनुभाग में, मैं मल्टीमॉडल समझ और टेक्स्ट-टू-इमेज जनरेशन में Janus-Pro-7B और DALL-E 3 की तुलना करूंगा। यह तुलना इन मॉडलों की व्यावहारिक झलक देने के लिए है, लेकिन यह व्यवस्थित बेंचमार्क मापों की गहराई का विकल्प नहीं है।
मल्टीमॉडल समझ
मैंने नीचे दी हुई इमेज अपलोड की और दोनों—Janus-Pro-7B और DALL-E 3—से पूछा:
“एक वाक्य में, इस इमेज से मुख्य निष्कर्ष क्या है?”
स्रोत: Janus-Pro का GitHub पेज.
यहाँ जवाब हैं:
Janus-Pro: इस इमेज का मुख्य निष्कर्ष यह है कि Janus मॉडल मल्टीमॉडल समझ कार्यों पर सबसे अधिक औसत प्रदर्शन हासिल करता है, साथ ही टेक्स्ट-टू-इमेज जनरेशन के लिए निर्देश-अनुसरण बेंचमार्क्स पर उच्च सटीकता भी दर्शाता है।
DALL-E 3: Janus-Pro मॉडल्स, विशेष रूप से Janus-Pro-7B, समझ और निर्देश-अनुसरण—दोनों बेंचमार्क्स में अन्य मल्टीमॉडल मॉडलों से बेहतर प्रदर्शन करते हैं, जो टेक्स्ट और इमेज कार्यों में उनकी मजबूत क्षमताओं को दर्शाता है।
दोनों मॉडल ग्राफ़ का अच्छा सार प्रस्तुत करते हैं, लेकिन Janus-Pro गलत तरीके से “Janus मॉडल” कहता है, और Janus-Pro से भेद नहीं कर पाता। वहीं, DALL-E 3 विशेष रूप से “Janus-Pro मॉडल्स, खासकर Janus-Pro-7B” की पहचान करता है, जो बेहतर संदर्भगत समझ दिखाता है।
यह सिर्फ एक अलग-थलग उदाहरण है, इसलिए हम कोई सामान्य निष्कर्ष नहीं निकाल सकते।
टेक्स्ट-टू-इमेज जनरेशन
मैंने यह प्रॉम्प्ट आज़माया क्योंकि इसका वास्तविक उपयोग हो सकता है:
“एक आधुनिक ऑफिस स्पेस डिज़ाइन जिसमें सहयोगी वर्कस्टेशन्स, निजी मीटिंग पॉड्स, और प्राकृतिक रोशनी हो, जिसे 3D-स्टाइल रेंडरिंग के रूप में प्रस्तुत किया गया हो”
DALL-E 3 ने नीचे दी गई इमेज जनरेट की, जो प्रॉम्प्ट के सभी तत्वों पर खरी उतरती है: आधुनिक ऑफिस स्पेस, सहयोगी वर्कस्टेशन्स, निजी मीटिंग पॉड्स, प्राकृतिक रोशनी, और 3D-स्टाइल रेंडरिंग। हालांकि, ध्यान से देखने पर कई आर्टिफैक्ट्स दिखते हैं, जैसे:
मैंने Hugging Face पर Janus-Pro-7B को प्रॉम्प्ट दिया। मॉडल ने पाँच इमेज जनरेट कीं, और सभी काफ़ी खराब दिखीं: