Grok 4: टेस्ट, फीचर्स, बेंचमार्क, एक्सेस, और अधिक

Grok 4 का परीक्षण

मैं नए मॉडलों का अक्सर परीक्षण करता हूँ, इसलिए तुलना के लिए कुछ मानक टास्क दोहराता रहता हूँ। यहाँ भी वही करूँगा, फोकस रहेगा गणित और कोडिंग पर। यह Grok का व्यापक मूल्यांकन नहीं है—सिर्फ यह समझने का एक तरीका है कि एक सामान्य चैट सेटअप में यह कैसे बर्ताव करता है।

गणित

मैं एक सरल गणना से शुरू करना चाहता हूँ: 9.11 - 9.9। यह आपको तुच्छ लगे, लेकिन यह अक्सर भाषा मॉडलों को उलझा देता है—उदाहरण के लिए, Claude Sonnet 4 ने इसे गलत किया था। बेशक, मैं कैलकुलेटर का इस्तेमाल कर सकता था, लेकिन लक्ष्य यह देखना है कि मॉडल इस समस्या को कैसे अटैक करता है—क्या ज़रूरत पड़ने पर यह टूल्स का सहारा लेता है या सीधे चेन-ऑफ़-थॉट से हल कर लेता है।

देखते हैं Grok 4 ने क्या जवाब दिया:

पहले ही प्रयास में सही जवाब आया। इसने अपने चेन-ऑफ़-थॉट से उत्तर निकाला और कोड टूल से उसे कन्फर्म भी किया (जो बढ़िया है!).

हालाँकि, इसे जवाब देने में 31 सेकंड लगे, और इतना साधारण प्रॉम्प्ट होते हुए भी आउटपुट बहुत लंबा था।

अगला, मैं Grok 4 को एक अधिक जटिल गणित समस्या पर टेस्ट करना चाहता था, जो आम तौर पर मॉडल के कॉन्टेक्स्ट विंडो को धक्का दे सकती है:

प्रॉम्प्ट: 0 से 9 तक के सभी अंकों का ठीक एक बार इस्तेमाल करते हुए तीन संख्याएँ x, y, z बनाएँ, ताकि x + y = z हो।

Grok 4 ने समस्या को समझदारी से अटैक किया। पहले, उसने महसूस किया कि 0–9 अंकों के 3,628,800 सभी परिम्यूटेशंस वह कुछ सेकंड में Python से जनरेट कर सकता है। फिर उसने ऐसा सेटअप आज़माया जिसमें दो 3-अंकीय संख्याएँ मिलकर 4-अंकीय संख्या बनाती हैं, और ऐसा कोड लिखा जिसने वास्तव में 96 वैध समाधान दिए!

from itertools import permutations

digits = range(10)

solutions = []

for p in permutations(digits):
    x_digits = p[0:3]
    if x_digits[0] == 0: continue
    y_digits = p[3:6]
    if y_digits[0] == 0: continue
    z_digits = p[6:10]
    if z_digits[0] == 0: continue
    x = int(''.join(map(str, x_digits)))
    y = int(''.join(map(str, y_digits)))
    z = int(''.join(map(str, z_digits)))
    if x + y == z:
        solutions.append((x, y, z))

print(solutions)

फिर, इसने अन्य संयोजनों (जैसे 4-अंकीय + 2-अंकीय = 4-अंकीय) को भी इसी तरीके से आज़माया। अंत में, इसने वेब पर इस पहेली के बारे में और जानकारी ढूँढी और अपने उत्तर की पुष्टि की। कुल मिलाकर इसे यह उत्तर देने में 157 सेकंड लगे:

कोडिंग 

कोडिंग टास्क के लिए, मैं देखना चाहता था कि यह Gemini 2.5 Pro और Claude Opus 4 की तुलना में कैसा है, इस टास्क पर:

प्रॉम्प्ट: मेरे लिए एक कैप्टिवेटिंग एंडलेस रनर गेम बनाएँ। स्क्रीन पर प्रमुख निर्देश हों। p5.js सीन, कोई HTML नहीं। मुझे पिक्सेलेटेड डायनासोर और रोचक बैकग्राउंड पसंद हैं।

यह रहा नतीजा:

मुख्य कमी यह है कि गेम तुरंत शुरू हो जाता है, यूज़र को स्वयं शुरू करने का मौका दिए बिना। पिक्सेलेटेड डायनासोर भी थोड़ा कच्चा लगता है। यह कहा जा सकता है कि ऑन-स्क्रीन निर्देश स्पष्ट हैं, और बेसिक फ़ंक्शनलिटी ठीक काम करती है। मैंने यह फीडबैक Grok को दिया, और यह रहा दूसरा वर्ज़न:

काफ़ी अच्छा!

लॉन्ग-कॉन्टेक्स्ट मल्टीमॉडल

आखिर में, मैं देखना चाहता था कि Grok 4 लॉन्ग-कॉन्टेक्स्ट मल्टीमॉडल टास्क को कितना अच्छी तरह संभालता है। मैंने यूरोपीय आयोग की Generative AI Outlook Report (43,087 टोकन) की PDF अपलोड की और Grok से कहा:

प्रॉम्प्ट: पूरी रिपोर्ट का विश्लेषण करें और तीन सबसे सूचनाप्रद ग्राफ़ पहचानें। प्रत्येक का सारांश दें और बताएँ कि वे PDF के किस पेज पर हैं।

पहले जवाब देखें, फिर उसे अनपैक करेंगे:

एक बात जो मैंने नोटिस की, वह यह कि यह हैरानीजनक रूप से जल्दी रुक गया—सिर्फ 25 सेकंड में। इसने पेज 19, 20 और 44 (गलत) के ग्राफ़ सुझाए, और लगता है कि 167-पेज की बाकी डॉक्यूमेंट को तब नज़रअंदाज़ कर दिया जब इसे कोई संतोषजनक-सा उत्तर मिल गया। चेन-ऑफ़-थॉट अधूरा लगता है और काफ़ी उथले एप्रोच की ओर इशारा करता है:

अब, नतीजों पर आते हैं:

• इसने सभी पेज नंबर गलत बताए।
• यह ग्राफ़ के प्रकार स्पष्ट रूप से पहचान नहीं सका—जैसे कहना “यह लाइन या बार ग्राफ़ है।”
• इसके जवाब पहले 50 पेज की ओर पक्षपाती थे और संभवतः रिपोर्ट के बाद के महत्वपूर्ण हिस्सों को स्किप कर गए।
• इसने एक सैंकी डायग्राम (चित्र 6) को “पाई या बार ग्राफ़” के रूप में गलत वर्गीकृत किया।
• इसने चित्र 6 को चित्र 7 समझ लिया और अंत में चित्र 7 का विश्लेषण कर दिया।

जैसा कि एलन मस्क ने लाइवस्ट्रीम में बताया, Grok 4 की इमेज समझ और जनरेशन अभी बहुत उन्नत नहीं है। अगर आप सतत और भरोसेमंद नतीजे चाहते हैं, तो कहना उचित होगा कि फिलहाल Grok 4 व्यावहारिक रूप से एक टेक्स्ट-ओनली मॉडल है।

Grok 4 बेंचमार्क

Grok 4 की मुख्य पहचान इसके विभिन्न बेंचमार्क—अकादमिक परीक्षाओं से लेकर बिज़नेस सिमुलेशन तक—पर प्रदर्शन से आती है। xAI के अनुसार, यह मॉडल पिछले वर्ज़न की तुलना में काफ़ी बेहतर है, मुख्यतः अधिक कंप्यूट की बदौलत—ट्रेनिंग और इंफ़ेरेंस दोनों में—न कि किसी नई आर्किटेक्चरल ब्रेकथ्रू के कारण।

Humanity’s Last Exam (HLE)

Grok 4 के प्रदर्शन के पीछे का मूल पैटर्न है स्केलिंग। यह अधिक ट्रेनिंग कंप्यूट से और, दिलचस्प रूप से, अधिक टेस्ट-टाइम कंप्यूट से भी लाभ उठाता है। सरल शब्दों में: जितने अधिक संसाधन आप लगाएंगे, उतना बेहतर यह प्रदर्शन करेगा। यह खासकर Humanity’s Last Exam (HLE) टास्क पर स्पष्ट दिखता है।

स्रोत: xAI

बिना टूल्स के Grok 4 करीब 26.9% एक्यूरेसी पर ठहर जाता है। टूल्स (जैसे कोड एक्ज़िक्यूशन) के साथ यह 41.0% तक पहुँचता है। और जब इसे मल्टी-एजेंट “Heavy” कॉन्फ़िगरेशन में चलाया जाता है, तो यह 50.7% तक चढ़ जाता है—यह बड़ी छलांग है, जो बेहतरीन टूल-फ्री मॉडल स्कोर के दोगुने से भी अधिक है।

अकादमिक और STEM बेंचमार्क

Grok 4 पारंपरिक STEM-केंद्रित मूल्यांकनों में भी अच्छा करता है, जिनका इस्तेमाल उच्च-प्रदर्शन LLMs की तुलना के लिए व्यापक रूप से होता है। मुख्य बिंदु:

ये ठोस नतीजे हैं। अधिकांश श्रेणियों में Grok 4, Claude Opus, Gemini 2.5 Pro और GPT-4 (o3) से बेहतर कर रहा है, हालाँकि कुछ उपयोगकर्ताओं ने इशारा किया है कि तुलना में प्रतिस्पर्धी मॉडलों के बेसलाइन स्कोर चेरी-पिक किए गए हो सकते हैं।

स्रोत: xAI

ARC-AGI (उन्नत रीजनिंग)

सबसे कठिन और अपारदर्शी बेंचमार्क में से एक ARC-AGI है, जो मॉडल की अमूर्त रीजनिंग टास्क में जनरलाइज़ करने की क्षमता परखता है। ARC-AGI v1 पर Grok 4 का स्कोर 66.6% है, जो सभी ज्ञात समकक्षों से आगे है। ARC-AGI v2 पर यह 15.9% स्कोर करता है, जबकि Claude 4 Opus का 8.6% है।

ये टेस्ट पूरी तरह सार्वजनिक नहीं हैं, इसलिए सामान्य सावधानियाँ लागू होती हैं। लेकिन अगर आंकड़े टिकते हैं, तो Grok 4 बहु-चरण, लॉजिक-हैवी रीजनिंग टास्क में मजबूत प्रदर्शन दिखा रहा है।

Vending-Bench (बिज़नेस सिमुलेशन)

xAI ने Grok 4 को वास्तविक दुनिया के सिमुलेशन Vending-Bench में भी टेस्ट किया। विचार यह परखना है कि क्या कोई मॉडल समय के साथ एक छोटे व्यवसाय को मैनेज कर सकता है: इन्वेंट्री रीस्टॉक करना, कीमतें समायोजित करना, सप्लायर्स से संपर्क करना, आदि। यह काफ़ी नया और हैरानीजनक रूप से मज़ेदार बेंचमार्क है। हमने पहले अपने साप्ताहिक न्यूज़लेटर The Median में Claude Sonnet 3.7 केस स्टडी के ज़रिए इसकी कार्यप्रणाली विस्तार से कवर की थी।

नतीजे (पाँच रन का औसत):

राजस्व और स्केल—दोनों में Grok 4 ने अपने सबसे क़रीबी प्रतिद्वंदी के प्रदर्शन को दोगुने से अधिक किया। इसने 300 राउंड की सिमुलेशन में लगातार प्रदर्शन बनाए रखा—ऐसी चीज़ जिसमें कई मॉडल लंबी-अवधि की योजना के सामने जूझते हैं।

स्रोत: xAI

संक्षेप में: जहाँ-जहाँ xAI ने टेस्ट किया, वहाँ Grok 4 अच्छा करता है। लेकिन हमेशा की तरह, लीडरबोर्ड से आगे देखें। बेंचमार्क आशाजनक हैं, पर वे पूरी कहानी नहीं बताते—खासकर अगर आपका उपयोग मामला विज़न, कोड जनरेशन, या गड़बड़ वास्तविक परिवेश में रीयल-टाइम इंटरैक्शन पर निर्भर करता है।

Grok 4 तक पहुँच कैसे पाएँ

Grok 4 अब तीन मुख्य माध्यमों से उपलब्ध है: X ऐप, xAI API, और grok.com प्लेटफ़ॉर्म। चाहे आप मॉडल से चैट करना चाहें, इसके साथ बिल्ड करना चाहें, या इसके रीजनिंग को औपचारिक तौर पर टेस्ट करना चाहें—यहाँ शुरुआत कैसे करें।

चैट एक्सेस (X के ज़रिए)

Grok 4 को आज़माने का सबसे आसान तरीका X ऐप (पूर्व में Twitter) है। इससे आपको चैट इंटरफ़ेस में Grok तक पहुँच मिलती है, ठीक ChatGPT या Claude की तरह।

इस्तेमाल करने के लिए:

• सब्सक्राइब करें X Premium+, सबसे उच्च-स्तरीय प्लान पर।
• X ऐप खोलें (या जाएँ x.com)।
• Grok आइकन पर टैप करें (मोबाइल पर नीचे नेव, डेस्कटॉप पर साइडबार)।
• चैट शुरू करें। Grok 4 डिफ़ॉल्ट मॉडल है, लेकिन आप वर्ज़न बदल सकते हैं।

Grok.com के ज़रिए डायरेक्ट एक्सेस

आप सीधे grok.com पर जाकर भी Grok 4 का उपयोग कर सकते हैं, जो X प्लेटफ़ॉर्म से बाहर एक क्लीन, स्टैंडअलोन इंटरफ़ेस देता है। यह उन उपयोगकर्ताओं के लिए है जो डिस्ट्रैक्शन-फ्री सेटअप पसंद करते हैं।

• जाएँ https://grok.com
• साइन अप करें और लॉग इन करें।
• चैट इंटरफ़ेस में Grok 4 तक पहुँचें, टूल्स, कोड और लंबा कॉन्टेक्स्ट सपोर्ट के साथ

Grok 4 API

अगर आप Grok को अपनी ऐप या वर्कफ़्लो में इंटीग्रेट करना चाहते हैं, तो आप xAI API का उपयोग कर सकते हैं।

कदम:

1. जाएँ https://x.ai/api और डेवलपर एक्सेस का अनुरोध करें।
2. स्वीकृत होने पर, आपको API की और डॉक्यूमेंटेशन तक पहुँच मिल जाएगी।
3. विस्तार से जानकारी के लिए डॉक्यूमेंटेशन ज़रूर पढ़ें।

Grok 4 के बाद क्या

Grok 4 के रिलीज़ के साथ, xAI ने 2025 के बाकी साल के लिए एक स्पष्ट (और महत्वाकांक्षी) रोडमैप रखा है। लाइवस्ट्रीम में दिखाए गए टाइमलाइन के अनुसार, अगले तीन महीनों में चार प्रमुख रिलीज़ लाइन में हैं: अगस्त में एक कोडिंग मॉडल, सितंबर में एक मल्टीमॉडल एजेंट, और अक्टूबर में एक वीडियो जनरेशन मॉडल।

स्रोत: xAI

अगस्त: विशेषीकृत कोडिंग मॉडल

पहला फॉलो-अप अगस्त में अपेक्षित एक कोडिंग-फोकस्ड मॉडल है। Grok 4 के विपरीत, जो एक जनरलिस्ट है, यह एक विशेषीकृत मॉडल होगा जो कोड को और अधिक स्पीड व एक्यूरेसी से हैंडल करने के लिए डिज़ाइन किया गया है। xAI ने इसे “फास्ट और स्मार्ट” बताया है—खासतौर पर सॉफ़्टवेयर डेवलपमेंट वर्कफ़्लो में लेटेंसी और रीजनिंग, दोनों को बेहतर करने के लिए प्रशिक्षित।

सितंबर: मल्टीमॉडल एजेंट

सितंबर में योजना एक सच्चा मल्टीमॉडल एजेंट रिलीज़ करने की है। अभी, तकनीकी रूप से Grok 4 इमेज और वीडियो इनपुट सपोर्ट करता है, लेकिन इसकी समझ सीमित है—लाइवस्ट्रीम में टीम ने इसे “जमे हुए काँच के आर-पार झाँकने जैसा” बताया।

आने वाला वर्ज़न इसे सुधारने का उद्देश्य रखता है—इमेज, वीडियो और ऑडियो में मॉडल को मजबूत परसेप्शन देना। यह टेक्स्ट से आगे के उपयोग मामलों के लिए महत्वपूर्ण होगा: जैसे रोबोटिक्स, गेम खेलना, वीडियो QA, या विज़ुअल इंस्ट्रक्शन-फ़ॉलोइंग।

अक्टूबर: वीडियो जनरेशन मॉडल

मौजूदा टाइमलाइन में अंतिम रिलीज़ अक्टूबर में एक वीडियो जनरेशन मॉडल है। xAI कहता है कि वे इसे 100,000 से अधिक GPUs पर ट्रेन करेंगे। उनके बयान के अनुसार, यह सिस्टम उच्च-गुणवत्ता, इंटरैक्टिव और एडिटेबल वीडियो कंटेंट बनाने का लक्ष्य रखेगा।

निष्कर्ष

Grok 4 xAI के लिए एक गंभीर कदम आगे है। यह कई उच्च-कठिनाई बेंचमार्क पर प्रतिस्पर्धियों से बेहतर करता है, संरचित गणित और विज्ञान मूल्यांकन में अच्छा टिकता है, और एक मल्टी-एजेंट सिस्टम (Grok 4 Heavy) पेश करता है जो शोध सेटिंग्स और लंबी-अवधि की सोच के लिए आशाजनक है।

यह कहा गया, यह आपका दिन-प्रतिदिन का जनरल-पर्पज़ असिस्टेंट नहीं है। यह Grok 3 से धीमा है, इसकी इमेज और वीडियो समझ अभी शुरुआती चरण में है, और रोज़मर्रा की उपयोगिता में कुछ पॉलिश की कमी है। सीमित कॉन्टेक्स्ट विंडो के कारण आपको सावधानी से प्रॉम्प्ट करना और इनपुट ट्रिम करना होगा। और अगर आप सबसे अच्छा प्रदर्शन चाहते हैं—Grok 4 Heavy के ज़रिए—तो इसके लिए प्रीमियम देना पड़ेगा।

डेवलपर्स और शोधकर्ताओं के लिए, इसे एक्सप्लोर करना सार्थक है। कैज़ुअल उपयोगकर्ताओं के लिए, Grok 3 या अन्य मुख्यधारा के मॉडलों की स्पीड और रेस्पॉन्सिवनेस बेहतर बैठती है। रोडमैप महत्वाकांक्षी है—अक्टूबर तक कोडिंग मॉडल, मल्टीमॉडल एजेंट, और वीडियो जेनरेटर। xAI इसे समय पर डिलीवर कर पाता है या नहीं—यह अलग बात है। लेकिन Grok 4 के साथ, कम से कम उन्होंने यह साबित किया है कि वे रेस में हैं।