Last chance! 50% off DataCamp Premium
Sale ends in
OpenAI ने अभी-अभी Deep Research जारी किया है—यह आने वाले o3 मॉडल के एक संस्करण पर आधारित AI एजेंट है। इसे वेब ब्राउज़ करने, कई स्रोतों का विश्लेषण करने और बड़ी मात्रा में जानकारी को समेकित करने के लिए बनाया गया है।
आप सोच रहे होंगे: क्या ChatGPT पहले से ही यह नहीं करता?
सामान्य ChatGPT सत्र, जो जल्दी उत्तर देता है, के विपरीत Deep Research बहु-चरणीय जांच कर सकता है, कई स्रोतों का संदर्भ दे सकता है और संरचित रिपोर्ट बना सकता है।
उदाहरण के लिए, यदि आपने कभी कार खरीदने के लिए शोध किया है—समीक्षाएँ तुलना करना, लागत तौलना, आदि—तो आप जानते हैं कि विश्वसनीय जानकारी ढूँढ़ने में समय और बहुत सारा इंटरनेट ब्राउज़िंग लगती है। Deep Research इसी तरह के काम के लिए बनाया गया है।
मैंने Deep Research का परीक्षण किया है, और मैं एक साथ प्रभावित भी हुआ और निराश भी। इसमें बड़ी संभावनाएँ हैं, लेकिन यह गलत तथ्य और निष्कर्ष भी प्रस्तुत करता है। इस ब्लॉग में, मैं आपका मानव एजेंट बनकर Deep Research के बारे में वह सब कुछ संक्षेप में बताऊँगा जो आपको जानना चाहिए। मैं आपको व्यावहारिक उदाहरणों से ले चलूँगा, प्रॉम्प्टिंग टिप्स साझा करूँगा, और दिखाऊँगा कि Deep Research कहाँ उत्कृष्ट है—और कहाँ आपको अतिरिक्त सावधानी बरतने की जरूरत है।
OpenAI का Deep Research क्या है?
OpenAI का Deep Research एक AI-संचालित एजेंट है, जिसे इंटरनेट पर गहन, बहु-चरणीय शोध करने के लिए डिज़ाइन किया गया है। मानक ChatGPT ब्राउज़िंग क्षमताओं से अलग, जो त्वरित उत्तर देती हैं, Deep Research स्वायत्त रूप से सैकड़ों ऑनलाइन स्रोतों से जानकारी ढूँढ़ता, विश्लेषित करता और समेकित करता है।
Deep Research उन सभी के लिए बनाया गया है जिन्हें व्यापक और भरोसेमंद शोध चाहिए, जिनमें शामिल हैं:
- वित्त, विज्ञान, नीति और इंजीनियरिंग के पेशेवर जिन्हें अच्छे संदर्भों वाली, संरचित रिपोर्ट चाहिए
- व्यवसाय रणनीतिकार जो प्रतिस्पर्धी विश्लेषण या रुझान पूर्वानुमान करते हैं
- शोधकर्ता और छात्र जो कई स्रोतों से जानकारी एकत्र करते हैं
- खरीदार और उपभोक्ता जो उच्च-दांव वाली खरीदारी के निर्णय लेते हैं (जैसे, कारें, उपकरण, रियल एस्टेट)
- लेखक, पत्रकार, और विश्लेषक जिन्हें तथ्य-जाँची हुई, बहु-स्रोत अंतर्दृष्टि चाहिए
मूल रूप से, यदि किसी कार्य में कई स्रोतों को ब्राउज़ करना, डेटा का क्रॉस-रेफरेंस करना और जानकारी को उपयोगी प्रारूप में समेकित करना शामिल है, तो Deep Research उसी काम का टूल है।
Deep Research कैसे काम करता है?
आगामी o3 मॉडल के एक संस्करण द्वारा संचालित, Deep Research OpenAI के तर्क-आधारित मॉडलों में प्रगति पर आधारित है, लेकिन इसे विशेष रूप से वेब ब्राउज़िंग और वास्तविक दुनिया के डेटा विश्लेषण के लिए अनुकूलित किया गया है।
इसे हासिल करने के लिए, OpenAI ने Deep Research को वास्तविक दुनिया के ब्राउज़िंग और रीजनिंग कार्यों पर रीइन्फोर्समेंट लर्निंग से प्रशिक्षित किया। इससे मॉडल को एक आवर्तक, चरण-दर-चरण शोध प्रक्रिया का पालन करने में मदद मिलती है, जिससे जटिल विषयों को संरचित रिपोर्ट में समेटने की उसकी क्षमता बेहतर होती है।
Deep Research बेंचमार्क
Humanity’s Last Exam
Humanity’s Last Exam हाल ही में जारी किया गया एक बेंचमार्क है, जिसे 100 से अधिक विषयों—भाषाविज्ञान और रॉकेट विज्ञान से लेकर पारिस्थितिकी और गणित तक—में विशेषज्ञ-स्तरीय बहुविकल्पीय और लघु-उत्तर प्रश्नों पर AI को परखने के लिए डिज़ाइन किया गया है। यह मूल्यांकन किसी AI की विभिन्न विधाओं में तर्क करने और आवश्यकता पड़ने पर विशिष्ट ज्ञान खोजने की क्षमता को मापता है—जो शोध-उन्मुख मॉडलों के लिए एक महत्वपूर्ण कौशल है।
Deep Research ने 26.6% की रिकॉर्ड सटीकता हासिल की, जो पिछले मॉडलों, जिनमें OpenAI का अपना o1 (9.1%), DeepSeek-R1 (9.4%), और Claude 3.5 Sonnet (4.3%) शामिल हैं, से कहीं आगे है। विशेष रूप से, OpenAI के o1 की तुलना में सबसे अधिक सुधार रसायन विज्ञान, मानविकी और सामाजिक विज्ञान, तथा गणित में देखा गया, जहाँ Deep Research ने जटिल प्रश्नों को विभाजित करने और प्रामाणिक जानकारी प्राप्त करने की अपनी क्षमता दिखाई।
|
मॉडल |
सटीकता (%) |
|
GPT-4o |
3.3 |
|
Claude 3.5 Sonnet |
4.3 |
|
Gemini Thinking |
6.2 |
|
OpenAI o1 |
9.1 |
|
DeepSeek-R1* |
9.4 |
|
OpenAI o3-mini (high)* |
13.0 |
|
OpenAI Deep Research (ब्राउज़िंग + Python टूल्स के साथ) |
26.6 |
* ये मॉडल परीक्षा के केवल टेक्स्ट-आधारित उपसमूह पर परखे गए क्योंकि वे मल्टीमोडल नहीं हैं। स्रोत: OpenAI
GAIA
GAIA (General AI Agent बेंचमार्क) यह आकलन करता है कि AI सिस्टम वास्तविक दुनिया के प्रश्नों को कितनी अच्छी तरह संभालते हैं, जिनमें तर्क, वेब ब्राउज़िंग, मल्टीमोडल प्रवाह और टूल-उपयोग दक्षता का संयोजन आवश्यक होता है।
Deep Research ने नया स्टेट-ऑफ-द-आर्ट (SOTA) रिकॉर्ड बनाया, और बाहरी GAIA लीडरबोर्ड में सभी कठिनाई स्तरों पर मज़बूत प्रदर्शन के साथ बढ़त बनाई। मॉडल ने विशेष रूप से स्तर 3 कार्यों में उच्च सटीकता दिखाई, जिनमें जटिल, बहु-चरणीय शोध और समेकन की आवश्यकता होती है।
|
GAIA मूल्यांकन |
स्तर 1 |
स्तर 2 |
स्तर 3 |
औसत |
|
पिछला SOTA |
67.92% |
67.44% |
42.31% |
63.64% |
|
Deep Research (pass@1) |
74.29% |
69.06% |
47.6% |
67.36% |
|
Deep Research (cons@64) |
78.66% |
73.21% |
58.03% |
72.57% |
स्रोत: OpenAI
Deep Research का उच्च pass@1 स्कोर दर्शाता है कि GAIA प्रश्न का उसका पहला प्रयास भी पिछले मॉडलों से अधिक सटीक है। cons@64 स्कोर (जो कई उत्तर प्रयासों के साथ प्रदर्शन को मापता है) यह भी रेखांकित करता है कि नया इनपुट मिलने पर यह अपने उत्तरों को स्व-सुधार और परिष्कृत करने में सक्षम है।
आंतरिक मूल्यांकन
OpenAI ने आंतरिक मूल्यांकन भी किए, जिनमें डोमेन विशेषज्ञों ने विशेषज्ञ-स्तरीय कार्यों पर Deep Research को रेट किया। मुझे ये आंतरिक मूल्यांकन काफी रोचक लगे!
नीचे दिया गया ग्राफ़ दिखाता है कि जैसे-जैसे टूल कॉल्स की संख्या बढ़ती है, मॉडल की पास दर भी बढ़ती है। यह इस बात को उजागर करता है कि इसे आवर्तक रूप से ब्राउज़ करने और जानकारी का विश्लेषण करने देना कितना महत्वपूर्ण है—उसे अधिक सोचने का समय देना बेहतर परिणाम देता है।
स्रोत: OpenAI
आइए एक और ग्राफ़ देखें—नीचे देखें। Deep Research अनुमानित आर्थिक मूल्य वाले कम कार्यों पर सबसे अच्छा प्रदर्शन करता है, जबकि कार्य के संभावित वित्तीय प्रभाव के बढ़ने के साथ सटीकता घटती है। यह संकेत देता है कि अधिक आर्थिक रूप से महत्वपूर्ण कार्य आमतौर पर अधिक जटिल होते हैं या ऐसे स्वामित्व वाले ज्ञान पर निर्भर करते हैं जो ऑनलाइन व्यापक रूप से उपलब्ध नहीं है।
स्रोत: OpenAI
नीचे दिया गया ग्राफ़ पास दरों को उस अनुमानित समय के साथ रखता है, जो किसी मानव को प्रत्येक कार्य पूरा करने में लगता। मॉडल उन कार्यों पर सबसे अच्छा करता है, जिनमें किसी व्यक्ति को 1–3 घंटे लगेंगे, लेकिन समय के साथ प्रदर्शन लगातार नहीं घटता—यह दर्शाता है कि AI जिसे कठिन पाता है, वह हमेशा इस बात से मेल नहीं खाता कि मनुष्यों को क्या समय-साध्य लगता है।
स्रोत: OpenAI
Deep Research कैसे उपयोग करें: व्यावहारिक उदाहरण
इस लेख के प्रकाशन के समय, Deep Research केवल Pro उपयोगकर्ताओं के लिए उपलब्ध है, प्रति माह 100 क्वेरी की सीमा के साथ, लेकिन OpenAI जल्द ही Plus, Team, और Enterprise उपयोगकर्ताओं तक एक्सेस बढ़ाने की योजना बना रहा है।
मेरी राय में, Deep Research अभी शुरुआती चरण में है। जबकि इसमें बड़ी संभावनाएँ हैं, नीचे दिया गया पहला उदाहरण इसकी कई समस्याओं को उजागर करता है। हालाँकि, दूसरा उदाहरण इसकी अपार क्षमता दिखाता है।
उदाहरण 1: AI इकोसिस्टम
मुझे विभिन्न कंपनियों के AI इकोसिस्टम का पूरा अवलोकन प्राप्त करने में हमेशा कठिनाई होती है। उदाहरण के लिए Google—उनके पास Gemini 2.0 Flash, Imagen 3, Veo 2, Project Mariner, Project Astra… और क्या छूट रहा है? अंततः एक स्पष्ट अवलोकन पाने के लिए, मैंने OpenAI के Deep Research को यह अनुरोध दिया।
ध्यान दें कि मॉडल ने सीधे शोध शुरू नहीं किया, बल्कि पहले स्पष्टीकरण माँगा। मेरे सभी परीक्षणों में, चाहे मेरा पहला प्रॉम्प्ट कितना भी विशिष्ट हो, मॉडल हमेशा अपने शोध को संकीर्ण करने की कोशिश करता रहा है। यह उपयोगी है, मेरी राय में, क्योंकि मुझे अक्सर लगता है कि मेरा प्रॉम्प्ट स्पष्ट और विशिष्ट है, लेकिन आमतौर पर उसे कुछ परिष्कार से लाभ होता है।
मैंने मॉडल के प्रश्नों का उत्तर दिया, और फिर शोध शुरू हुआ। ब्राउज़र के दाईं ओर एक पैनल खुला, जो एजेंट की गतिविधि और स्रोतों को वास्तविक समय में दिखा रहा था:
इसे 11 मिनट लगे, और मॉडल ने 25 स्रोतों से परामर्श किया। ध्यान दें कि एक स्रोत एक मूल वेबसाइट होती है, और मॉडल उस वेबसाइट से कई पन्ने ब्राउज़ कर सकता है—25 स्रोतों और प्रति स्रोत औसतन चार पन्नों के हिसाब से, आप मान सकते हैं कि मॉडल ने लगभग 100 वेब पेज ब्राउज़ किए होंगे।
कुल मिलाकर, मैं परिणाम से निराश था—आप Deep Research का उत्तर यहाँ पढ़ सकते हैं। लेकिन पहले मैं बताता हूँ कि इसमें मुझे क्या पसंद आया:
- भले ही मैंने संरचना निर्दिष्ट नहीं की थी, उत्तर अच्छी तरह व्यवस्थित था, स्पष्ट अनुभागों, बोल्डिंग, फ़ॉन्ट आकार और बुलेट पॉइंट्स के उचित उपयोग के साथ।
- स्रोत अच्छी तरह से रखे गए हैं—ठीक उसी जानकारी के बाद आते हैं, जिसका वे संदर्भ देते हैं—और यह प्रणाली तथ्य-जाँच को आसान बनाती है।
- रिपोर्ट में विवरण और लंबाई का अच्छा संतुलन था—यह उथली नहीं थी, पर इसे पढ़ने में एक घंटा भी नहीं लगा। यदि मुझे अधिक जानकारी चाहिए, तो मैं हमेशा और विवरण मांग सकता हूँ।
हालाँकि, उत्तर में कई समस्याएँ थीं, और मैं प्रमुख मुद्दों पर ध्यान दूँगा:
- अशुद्धियाँ: इसने DeepSeek-V3 को DeepSeek-R1 के साथ गड़बड़ा दिया (याद रखें कि आप उत्तर स्वयं यहाँ पढ़ सकते हैं)।
- पुरानी जानकारी: जबकि मैंने विशेष रूप से अद्यतन रिपोर्ट मांगी थी, Deep Research ने दावा किया कि Meta का नवीनतम मॉडल Llama 2 और Anthropic का नवीनतम Claude 2 है, तथा Sonnet और Haiku नामक किसी “कोडनेम” की अफवाहों का ज़िक्र किया। पहले तो यह मुझे मज़ेदार लगा, लेकिन फिर मैंने सोचा कि कितने लोग इन उत्तरों को सतही तौर पर सच मान लेंगे।
- कम प्रॉम्प्ट-अनुपालन: मैंने स्पष्ट रूप से Deep Research से GPT-4 को बाहर रखने और नवीनतम मॉडलों पर ध्यान देने को कहा था, फिर भी उसने उस निर्देश का पालन नहीं किया।
- अपूर्ण उत्तर: OpenAI अनुभाग में o1 जैसे प्रमुख मॉडलों का उल्लेख नहीं था, और Google अनुभाग में Veo को पूरी तरह छोड़ दिया गया।
ये समस्याएँ OpenAI के Deep Research पर भरोसा करना मुश्किल बनाती हैं। मैंने जान-बूझकर इसे ऐसे विषय पर परखा, जिसके बारे में मैं जानकार हूँ, ताकि मैं उत्तर की तथ्य-जाँच कर सकूँ—पर यदि मुझे किसी ऐसे विषय पर Deep Research पर निर्भर होना पड़े, जिसके बारे में मुझे कुछ नहीं पता?
उदाहरण 2: एवरग्रीन विषय
शायद समस्या यह है कि Deep Research अभी सबसे अद्यतन जानकारी की पहचान करने में उतना अच्छा नहीं है। इसलिए, मैंने इसे एक अधिक एवरग्रीन विषय पर परखने का निर्णय लिया—जो हालिया विकास पर उतना निर्भर नहीं करता।
मैं 2013 में बनी कार चलाता हूँ और कभी-कभी उसे बदलने के बारे में सोचता हूँ। लेकिन मैं हमेशा एक ही सवाल पर अटक जाता हूँ: मुझे नई कार लेनी चाहिए या पुरानी? नई कार का मूल्य तेजी से घटता है, लेकिन पुरानी में मरम्मत की लागत अधिक हो सकती है। मैं जानना चाहता हूँ कि विशेषज्ञ इस बारे में क्या सोचते हैं, इसलिए यह Deep Research से विभिन्न अध्ययनों और रायों को ब्राउज़ कर रिपोर्ट संकलित करने का बढ़िया अवसर था।
आगे बढ़ने से पहले, मैं आपको एक टिप देता हूँ: Deep Research को प्रॉम्प्ट करने से पहले, अपने प्रॉम्प्ट को अपने पसंदीदा LLM से अनुकूलित कराएँ। “You are a prompt engineer. Help me optimize this prompt: (your prompt here)” से शुरू करें। यहाँ वह अनुकूलित प्रॉम्प्ट है जो मैंने Deep Research के लिए इस्तेमाल किया:
पहले की तरह, Deep Research ने शुरू करने से पहले स्पष्टीकरण माँगे और फिर छह मिनट में शोध पूरा किया, 12 स्रोतों के कई वेब पन्नों से परामर्श करते हुए। आप पूरी रिपोर्ट यहाँ पढ़ सकते हैं।
इस बार, रिपोर्ट अच्छी थी—बहुत अच्छी!
मैंने कभी कल्पना नहीं की थी कि आप इस समस्या के बारे में इतने कोणों से सोच सकते हैं। जानकारी की व्यापकता प्रभावशाली थी, और मेरे अनुमान से, Deep Research ने मुझे 10+ घंटे की ब्राउज़िंग और शोध से बचाया। इसने शैक्षणिक अध्ययन, उद्योग रिपोर्ट, बाज़ार रुझान विश्लेषण, बीमा लागत तुलना आदि शामिल किए।
मैं इस क्षेत्र का विशेषज्ञ नहीं हूँ, इसलिए मैं रिपोर्ट की सटीकता का पूर्ण आकलन नहीं कर सकता। हालाँकि, उपभोक्ता के दृष्टिकोण से, बहुत सी जानकारी तार्किक लगी और सचमुच उपयोगी थी। मैंने उद्धृत स्रोतों के साथ कुछ विवरणों की तथ्य-जाँच भी की और कोई समस्या नहीं पाई।
पहले उदाहरण की तरह, गहराई का संतुलन अच्छा था, और आउटपुट संरचना उत्कृष्ट। मुझे नीचे दी गई तालिका विशेष रूप से पसंद आई—बस उन मूल्य-ह्रास मूल्यों को देखिए, और आप समझ जाएँगे कि मैं अपनी 12 साल पुरानी हाइब्रिड को अभी कुछ समय और क्यों रखूँगा।
निष्कर्ष
OpenAI का Deep Research बड़ी संभावनाएँ दिखाता है और हमारा काफी शोध समय बचा सकता है। हालाँकि, अद्यतन जानकारी के मामले में यह अभी भी अविश्वसनीय है, और कभी-कभी गलत तथ्य या त्रुटिपूर्ण निष्कर्ष प्रस्तुत कर देता है।
मेरा अब भी मानना है कि Deep Research अभी शुरुआती चरण में है, और OpenAI टीम ने अपने घोषणा लेख में इसे खुलकर स्वीकार भी किया है।
सच कहूँ तो, मैं Deep Research पर वापस आता रहूँगा, और आशा करता हूँ कि यह लगातार बेहतर होता जाए।
