Gemini 2.5 Pro: फीचर्स, टेस्ट, एक्सेस, बेंचमार्क्स, और अधिक

सिर्फ एक प्रॉम्प्ट पर यह काफी बढ़िया है! जनरेशन तेज था (30 सेकंड से कम), और मुझे यह भी अच्छा लगा कि इस कोड को कैसे चलाना है इसकी विस्तृत निर्देश दिए—इसने इसे चलाने के दो तरीके सुझाए:

मुझे यह पसंद नहीं आया कि कोड चलाते ही गेम तुरंत शुरू हो गया, तो मैं इसे बदलना चाहता था:

I don't like that the game starts immediately after I run the code. Add a starting screen where the user can be the one who starts the game (keep instructions on the screen)संचालित द्वारा

आइए नतीजा देखते हैं:

बिल्कुल वैसा ही जैसा मैं चाहता था! अभी भी कई चीजें हैं जिन्हें मैं बदलूंगा, लेकिन मेरे प्रयास (दो प्रॉम्प्ट) और मेरे लक्ष्य (सिर्फ एक प्रोटोटाइप बनाना) के सापेक्ष परिणाम बहुत अच्छा है।

मल्टीमोडल इनपुट (वीडियो और टेक्स्ट)

अगला, मैं Gemini 2.5 Pro की मल्टीमोडल क्षमताओं को परखना चाहता था। मैंने ऊपर वाले गेम का वीडियो अपलोड किया और Google AI Studio पर Gemini 2.5 Pro को यह प्रॉम्प्ट दिया (मैं Gemini ऐप में वीडियो इनपुट नहीं जोड़ सका):

Analyze the game in the video, criticize both the game and the code I will give you below, and indicate what changes I could make to this game to make it better.
Code:
(truncated fo readability)संचालित द्वारा

आउटपुट काफी अच्छा था! पठनीयता के लिए, मैं यहाँ केवल गेम की आलोचना दिखाऊंगा, जो परोक्ष रूप से वीडियो और कोड की अच्छी समझ दिखाती है:

बड़े दस्तावेज़ प्रोसेस करना

अंत में, मैं Gemini 2.5 Pro को एक अपेक्षाकृत बड़े दस्तावेज़ पर परखना चाहता था, और मैंने Stanford का Artificial Intelligence Index Report 2024 इस्तेमाल किया। 502-पेज के दस्तावेज़ (129,517 टोकन) को अपलोड करने के बाद, मैंने Gemini 2.5 Pro से पूछा:

Pick two charts in this report that appear to show opposing or contradictory trends. Describe what each chart says, why the contradiction matters, and propose at least one explanation that reconciles the difference. Mention the page of the charts so I can double-check. If there's no such contradiction, don't try to artificially find one.संचालित द्वारा

किसी कारणवश, यह Gemini ऐप पर PDF दस्तावेज़ के भीतर चार्ट्स का सीधे विश्लेषण नहीं कर सका। मैं Google AI Studio पर स्विच हुआ, और यह काम कर गया। Gemini 2.5 Pro ने AI निवेश से जुड़े दो ग्राफ़ ढूंढ लिए जो विरोधाभासी रुझान दिखाते हैं: निजी AI निवेश घट रहा है जबकि निजी जेनरेटिव AI निवेश बढ़ रहा है।

इसने चार्ट्स को पेज नंबर (जैसा मैंने कहा था), फ़िगर नंबर, और शीर्षकों के साथ सही-सही लोकेट किया (मैं सुझाव दूंगा कि आप PDF खुद देख कर डबल-चेक करें और चार्ट्स देखें)।

इसने विरोधाभासी रुझान का बहुत अच्छा सार दिया: जब इसकी सबसे चर्चित और दृश्यमान उप-श्रेणी—जेनरेटिव AI—में निवेश आसमान छू रहा है, तब कुल निजी AI निवेश कैसे घट रहा है? 

और बताया कि हम यह स्पष्ट रूप से विरोधाभासी रुझान क्यों देख रहे हैं:

Gemini 2.5 Pro बेंचमार्क्स

Google ने Gemini 2.5 Pro की तुलना आज उपलब्ध कुछ शीर्ष मॉडलों से की है, जिनमें Claude 3.7 Sonnet, OpenAI का o3-mini, DeepSeek R1, और Grok 3 शामिल हैं। जबकि परफॉर्मेंस कार्य के हिसाब से बदलती है, Gemini 2.5 Pro आम तौर पर रीजनिंग, कोडिंग, गणित, और लंबे संदर्भ वाले टास्क्स में अच्छा प्रदर्शन करता है।

Source: Google

रीजनिंग और सामान्य ज्ञान

Gemini 2.5 Pro उन बेंचमार्क्स पर मजबूत प्रदर्शन दिखाता है जो मल्टी-स्टेप रीजनिंग और वास्तविक दुनिया के ज्ञान को परखते हैं:

• Humanity’s Last Exam (कोई टूल नहीं): Gemini 2.5 Pro 18.8% स्कोर करता है, o3-mini (14%) से आगे और Claude 3.7 (8.9%) तथा DeepSeek-R1 (8.6%) से काफी ऊपर। यह टेस्ट 100+ विषयों के विशेषज्ञ-स्तरीय परीक्षाओं की नकल करता है।
• GPQA Diamond: STEM और मानविकी में एक तथ्यात्मक QA बेंचमार्क। Gemini 2.5 Pro एकल प्रयास/pass@1 पर 84.0% के साथ आगे रहता है, इसके बाद Grok 3 Beta 80.2% पर है।

गणित और लॉजिक

ये वे बेंचमार्क्स हैं जहाँ Gemini की रीजनिंग आर्किटेक्चर चमकती दिखती है:

• AIME 2024: एकल प्रयास/pass@1 पर Gemini 2.5 Pro 92.0% के साथ आगे है।
• AIME 2025: 2025 सेट पर Gemini 2.5 Pro 86.7% तक गिरता है, और एकल प्रयास/pass@1 के लिए मामूली बढ़त बनाए रखता है, इसके बाद o3-mini (86.5%) है।

कोडिंग

कोड जनरेशन, डीबगिंग, और मल्टी-फ़ाइल रीजनिंग को परखने वाले बेंचमार्क्स पर, Gemini अच्छा करता है लेकिन हावी नहीं होता:

• LiveCodeBench v5 (कोड जनरेशन): Gemini 2.5 Pro 70.4% स्कोर करता है, o3-mini (74.1%) और Grok 3 Beta (70.6%) से पीछे।
• Aider Polyglot (पूरी फ़ाइल): Gemini 74.0% तक पहुँचता है, जो ठोस है, खासकर यह देखते हुए कि यह कई भाषाओं को हैंडल करता है। यह बेंचमार्क कोड एडिटिंग मापता है।
• SWE-bench verified (एजेंटिक कोडिंग): Gemini 63.8% स्कोर करता है, जिससे यह o3-mini और DeepSeek R1 से आगे रहता है, लेकिन Claude 3.7 Sonnet (70.3%) से पीछे।

लंबा संदर्भ और मल्टीमोडल टास्क्स

यहीं पर Gemini 2.5 Pro सबसे स्पष्ट रूप से अलग दिखता है:

• MRCR (लंबे संदर्भ की रीडिंग समझ): 128,000 संदर्भ लंबाई पर Gemini 2.5 Pro 91.5% हिट करता है, और o3-mini (36.3%) तथा GPT-4.5 (48.8%) से बहुत आगे है।
• MMMU (मल्टीमोडल समझ): Gemini 2.5 Pro 81.7% स्कोर के साथ बेंचमार्क में आगे है।

Gemini 2.5 Pro को कैसे एक्सेस करें

आप Gemini 2.5 Pro को कई तरीकों से आज़मा सकते हैं, यह इस पर निर्भर करता है कि आप एक सामान्य उपयोगकर्ता हैं या कुछ अधिक तकनीकी चीज़ बना रहे हैं।

Gemini ऐप

Gemini 2.5 Pro तक पहुँचने का सबसे आसान तरीका Gemini ऐप (मोबाइल या वेब) के जरिए है।

यदि आप Gemini Advanced सब्सक्राइबर हैं, तो मॉडल ड्रॉपडाउन मेन्यू में आपको Gemini 2.5 Pro दिखेगा।

Google AI Studio

यदि आप इनपुट्स, टूल उपयोग, या मल्टीमोडल प्रॉम्प्ट्स पर अधिक नियंत्रण चाहते हैं, तो मैं Google AI Studio उपयोग करने की सलाह देता हूँ।

यह वातावरण आपको Gemini 2.5 Pro तक मुफ्त पहुँच देता है (फिलहाल) और टेक्स्ट, इमेज, वीडियो, और ऑडियो इनपुट सपोर्ट करता है। यह फाइलें अपलोड करने या टूल उपयोग टेस्ट करने के लिए Gemini ऐप से बेहतर काम करता है, खासकर जब बड़े दस्तावेज़ों या कस्टम वर्कफ़्लो से निपटना हो।

अकाउंट बनाने के बाद, आप मॉडल ड्रॉपडाउन मेन्यू से Gemini 2.5 Pro चुन सकते हैं।

Gemini 2.5 Pro API

प्रोग्रामेटिक एक्सेस के लिए, आप Gemini API का उपयोग कर सकते हैं, जो Gemini 2.5 Pro को सपोर्ट करता है।

यदि आप मॉडल को किसी एप्लीकेशन या वर्कफ़्लो में इंटीग्रेट कर रहे हैं, तो यह आपको अधिक लचीलापन देता है। आप टूल उपयोग सक्षम करके मॉडल को सीधे कॉल कर सकते हैं, संरचित प्रतिक्रियाएँ प्राप्त कर सकते हैं, या लंबे दस्तावेज़ों को स्वचालित तरीके से प्रोसेस कर सकते हैं।

अधिक तकनीकी जानकारी आपको यहाँ मिल सकती है।

Vertex AI पर Gemini 2.5 Pro

Google का कहना है कि Gemini 2.5 Pro जल्द ही Google Cloud के हिस्से Vertex AI में भी उपलब्ध होगा। Gemini API का सीधे उपयोग करने और Vertex AI के जरिए एक्सेस करने में मुख्य अंतर इन्फ्रास्ट्रक्चर, स्केल, और इंटीग्रेशन में है।

यदि आप सिर्फ परीक्षण कर रहे हैं या आंतरिक टूल बना रहे हैं, तो AI Studio या API पर्याप्त होना चाहिए। यदि आप सख्त परफॉर्मेंस या सुरक्षा आवश्यकताओं के साथ किसी चीज़ को प्रोडक्शन में डिप्लॉय कर रहे हैं, तो Gemini 2.5 Pro के लिए सपोर्ट लॉन्च होने पर Vertex AI बेहतर फिट होगा।

निष्कर्ष

नई मॉडल रिलीज़ से प्रभावित होना अब कठिन होता जा रहा है। ज्यादातर लॉन्च एक जैसे होते हैं: कुछ चुने हुए उदाहरण, कुछ आकर्षक बेंचमार्क, और हर चीज़ में सर्वश्रेष्ठ होने के दावे। लेकिन Gemini 2.5 Pro ने सच में कुछ ऐसे पल दिए जब मैंने रुककर सोचा, “ठीक है, यह सच में उपयोगी है।”

1 मिलियन टोकन की संदर्भ विंडो उन कार्यों को संभालने का तरीका बदल देती है जिनके लिए पहले अतिरिक्त मेहनत करनी पड़ती थी—खासकर लंबे दस्तावेज़, उलझे हुए कोडबेस, या मल्टी-स्टेप रीजनिंग से जुड़ी चीज़ों में। मुझे इनपुट्स को टुकड़ों में बाँटना या RAG पाइपलाइन सेट करना नहीं पड़ा। मैंने बस फ़ाइल अपलोड की, अपना सवाल पूछा, और स्रोत पर आधारित सुसंगत जवाब मिला।

यदि 2 मिलियन टोकन की संदर्भ विंडो जल्द आ जाती है, तो वही इसे वास्तविक दुनिया के काम के लिए सबसे व्यावहारिक मॉडलों में से एक बना सकती है।