लर्निंग पाथ
एआई बिज़नेस फ़ंडामेंटल्स
12 घंटा
रीज़निंग मॉडल्स तेजी से महत्वपूर्ण और आम होते जा रहे हैं, और वजह स्पष्ट है। नीचे दिए ग्राफ़ पर नज़र डालें तो आप देखेंगे कि Anthropic Economic Index के अनुसार 37.2% यूज़र्स कोडिंग और गणित के सवालों के लिए Claude पर निर्भर करते हैं। यह हमें एक बात बताता है—मज़बूत रीज़निंग मॉडल्स वास्तविक व्यावसायिक मूल्य ला सकते हैं, खासकर तब जब एंटरप्राइज़ सेटिंग्स में AI अपनाने की दर अभी भी कम है।
स्रोत: Antrophic Economic Index
इसी के साथ, Claude 3.7 सिर्फ़ एक रीज़निंग मॉडल नहीं है—यह एक हाइब्रिड है। हम Thinking Mode (संरचित रीज़निंग कार्यों के लिए) और मानक चैट मोड के बीच स्विच कर सकते हैं, जो सामान्य बातचीत, लेखन और सार-संक्षेप के लिए है।
Claude 3.7 Sonnet बनाम Claude 3.5 Sonnet
संस्करण संख्या से बढ़कर, Claude 3.7 Sonnet एक बहुत बड़ा अपग्रेड है। बेंचमार्क डेटा पुष्टि करता है कि यह रीज़निंग, कोडिंग और वास्तविक कार्य निष्पादन में Claude 3.5 Sonnet से बेहतर प्रदर्शन करता है।
सॉफ़्टवेयर इंजीनियरिंग प्रदर्शन
सॉफ़्टवेयर इंजीनियरिंग में Claude 3.7 Sonnet स्पष्ट बढ़त दिखाता है, SWE-bench Verified में 62.3% शुद्धता स्कोर के साथ—जो Claude 3.5 Sonnet के 49.0% से बड़ा उछाल है। जब एक कस्टम स्कैफ़ोल्ड (एक संरचित प्रॉम्प्ट या अतिरिक्त संदर्भ जो मॉडल की प्रतिक्रिया को अधिक सटीक समाधान की ओर मार्गदर्शित करता है) का उपयोग किया जाता है, तो शुद्धता 70.3% तक बढ़ जाती है, जिससे यह इस श्रेणी का सर्वश्रेष्ठ मॉडल बन जाता है।
स्रोत: Anthropic
मॉडल संस्करणों के बीच लगभग 13% शुद्धता सुधार कोई मामूली सुधार नहीं है। यह दर्शाता है कि Claude 3.7 Sonnet को प्रोग्रामिंग-संबंधित कार्यों की बेहतर समझ और निष्पादन के लिए अनुकूलित किया गया है। जो उपयोगकर्ता सॉफ़्टवेयर इंजीनियरिंग, डिबगिंग या ऑटोमेशन के लिए Claude पर निर्भर हैं, उनके लिए यह अपग्रेड ठोस अंतर लाता है।
एजेंटिक टूल उपयोग
एजेंटिक टूल उपयोग में प्रदर्शन एक और क्षेत्र है जहां Claude 3.7 Sonnet अपने पूर्ववर्ती से आगे निकलता है। रिटेल-संबंधित कार्यों में यह 81.2% शुद्धता प्राप्त करता है, जो Claude 3.5 Sonnet के 71.5% से अधिक है। एयरलाइन-संबंधित कार्यों में इसका स्कोर 58.4% है, जो पिछले संस्करण की तुलना में लगभग दस अंक का सुधार है।
स्रोत: Anthropic
समग्र बेंचमार्क
सभी बेंचमार्क्स में, सबसे बड़े लाभ एक्सटेंडेड थिंकिंग मोड से आते हैं, जो Claude 3.7 को जटिल रीज़निंग कार्यों में कहीं अधिक उच्च स्तर पर प्रदर्शन करने देता है। जो उपयोगकर्ता संरचित वर्कफ़्लो, कोडिंग या समस्या-समाधान के लिए AI पर निर्भर हैं, वे एक्सटेंडेड थिंकिंग के साथ Claude 3.5 और Claude 3.7 के बीच स्पष्ट अंतर देखेंगे।
स्रोत: Anthropic
इस प्रगति का अधिकांश हिस्सा Claude की एक्सटेंडेड थिंकिंग से आता है, तो आइए इसके बारे में अधिक जानें।
Claude की एक्सटेंडेड थिंकिंग
सक्रिय होने पर, एक्सटेंडेड थिंकिंग मोड उत्तर अंतिम रूप देने से पहले Claude द्वारा लिए जाने वाले रीज़निंग चरणों की संख्या बढ़ा देता है। डेवलपर्स थिंकिंग बजट सेट करके इस प्रक्रिया को फाइन-ट्यून कर सकते हैं, जो परिभाषित करता है कि समस्या पर काम करते समय मॉडल कितने टोकन उपयोग कर सकता है। नीचे दिए AIME 2024 प्रदर्शन ग्राफ़ में दिखाया गया है कि जैसे-जैसे अधिक टोकन आवंटित होते हैं, शुद्धता एक लघुगणकीय प्रवृत्ति का अनुसरण करते हुए बढ़ती है।
स्रोत: Anthropic
यह तरीका मानव संज्ञानात्मक प्रयास का प्रतिबिंब है: सरल कार्यों के लिए त्वरित उत्तर पर्याप्त होते हैं, लेकिन जटिल कार्यों में गहराई से विश्लेषण बेहतर परिणाम देता है। अब Claude ज़रूरत पड़ने पर ठहरकर, पुनर्मूल्यांकन कर, अपनी तर्क-प्रक्रिया को परिष्कृत कर सकता है, बजाय तुरंत उत्तर देने के।
एक्सटेंडेड थिंकिंग मोड की सबसे रोचक बातों में से एक यह है कि Claude की रीज़निंग प्रक्रिया उपयोगकर्ता के लिए दृश्यमान है। हालांकि, यह सुविधा कुछ चुनौतियां भी लाती है। जहां यह AI तर्क पर अंतर्दृष्टि देता है, वहीं प्रदर्शित सोच प्रक्रिया हमेशा इस बात से पूरी तरह मेल नहीं खा सकती कि मॉडल वास्तव में निर्णय कैसे लेता है। “फेथफुलनेस प्रॉब्लम”—क्या AI द्वारा बताई गई उसकी सोच सच में उसके आंतरिक मेकैनिज़्म का प्रतिनिधित्व करती है—अब भी एक खुला शोध प्रश्न है।
दीर्घकालिक, आवर्ती रीज़निंग में संलग्न होने की Claude 3.7 Sonnet की क्षमता का परीक्षण OSWorld और Pokémon Red गेमप्ले जैसी मूल्यांकनों में किया गया है। उदाहरण के लिए, Pokémon Red में Claude 3.7 Sonnet पिछले संस्करणों की तुलना में कहीं अधिक इन-गेम प्रगति प्राप्त करता है—कई माइलस्टोन्स पार कर लेता है, जबकि पहले के मॉडल गेम की शुरुआत में ही अटक जाते हैं।
स्रोत: Anthropic
Claude 3.7 Sonnet बेंचमार्क
हमने देखा कि Claude 3.7 Sonnet अपने पहले के संस्करण के मुकाबले कैसा प्रदर्शन करता है, लेकिन यह OpenAI के o3-mini, DeepSeek-R1, या Grok 3 से कैसे तुलना करता है?
अपडेटेड बेंचमार्क्स को देखते हुए, Claude 3.7 Sonnet ने खुद को शीर्ष प्रदर्शन करने वाले मॉडलों में रखा है—खासकर रीज़निंग-प्रधान कार्यों, कोडिंग और एजेंटिक टूल उपयोग में।
रीज़निंग और गणित
ग्रेजुएट-स्तर की रीज़निंग (GPQA Diamond) में Claude 3.7 Sonnet मानक मोड में 68.0% और एक्सटेंडेड थिंकिंग मोड में 84.8% स्कोर करता है, जिससे यह इस श्रेणी के सबसे मज़बूत मॉडलों में से एक बनता है। यह OpenAI के o1 (78.0%) और DeepSeek-R1 (71.5%) को काफ़ी पीछे छोड़ देता है, और Grok 3 Beta (84.6%) से केवल मामूली अंतर से आगे/पीछे रहता है।
|
बेंचमार्क |
Claude 3.7 Sonnet (स्टैंडर्ड) |
Claude 3.7 Sonnet (एक्सटेंडेड थिंकिंग) |
OpenAI o1 |
OpenAI o3-mini (हाई) |
DeepSeek R1 |
Grok 3 Beta |
|
GPQA Diamond (ग्रेजुएट-स्तर रीज़निंग) |
68.0% |
84.8% |
78.0% |
79.7% |
71.5% |
84.6% |
|
AIME 2024 (हाई स्कूल गणित प्रतियोगिता) |
23.3% |
80.0% |
83.3% |
87.3% |
79.8% |
93.3% |
|
गणित समस्या-समाधान (MATH 500) |
82.2% |
96.2% |
96.4% |
97.9% |
97.3% |
- |
AIME 2024 बेंचमार्क, जो हाई स्कूल गणित प्रतियोगिता समस्याओं का परीक्षण करता है, समान प्रवृत्ति दिखाता है। एक्सटेंडेड थिंकिंग सक्षम होने पर Claude 3.7 Sonnet पिछले संस्करणों से बहुत आगे बढ़ते हुए 80.0% स्कोर करता है। जबकि यह DeepSeek-R1 (79.8%) को मामूली अंतर से पछाड़ता है, यह अब भी OpenAI के o3-mini (87.3%) और Grok 3 Beta (93.3%) से पीछे है।
गणित समस्या-समाधान (MATH 500) में, Claude 3.7 Sonnet 96.2% प्राप्त करता है, जो OpenAI के o3-mini (97.9%) और DeepSeek R1 (97.3%) के क़रीब है।
कोडिंग और एजेंटिक टूल उपयोग
कोडिंग बेंचमार्क्स में Claude 3.7 Sonnet सबसे अधिक प्रगति करता है। SWE-bench Verified (जो सॉफ़्टवेयर इंजीनियरिंग कार्यों पर AI मॉडलों का मूल्यांकन करता है) पर Claude 3.7 Sonnet 62.3% स्कोर करता है, जो कस्टम स्कैफ़ोल्ड के साथ 70.3% तक बढ़ जाता है। यह इसे OpenAI के o1 (48.9%) और o3-mini (49.3%), साथ ही DeepSeek R1 (49.2%)—जिसे कोडिंग को ध्यान में रखकर डिज़ाइन किया गया था—से कहीं आगे रखता है। यह पुष्टि करता है कि Claude 3.7 अब प्रोग्रामिंग-संबंधित कार्यों के लिए सबसे अच्छे AI मोdels में से एक है।
|
बेंचमार्क |
Claude 3.7 Sonnet (स्टैंडर्ड) |
Claude 3.7 Sonnet (कस्टम स्कैफ़ोल्ड) |
OpenAI o1 |
OpenAI o3-mini (हाई) |
DeepSeek R1 |
|
SWE-bench Verified (कोडिंग) |
62.3% |
70.3% |
48.9% |
49.3% |
49.2% |
|
TAU-bench रिटेल (टूल उपयोग) |
81.2% |
- |
73.5% |
- |
- |
|
TAU-bench एयरलाइन (टूल उपयोग) |
58.4% |
- |
54.2% |
- |
- |
कोडिंग से आगे, Claude 3.7 Sonnet एजेंटिक टूल उपयोग में अग्रणी है, जिससे यह ऑटोमेशन और वर्कफ़्लो निष्पादन के लिए एक मज़बूत विकल्प बनता है। TAU-bench (जो संरचित परिवेशों में बाहरी टूल्स के साथ AI की इंटरैक्शन क्षमता का परीक्षण करता है) पर Claude 3.7 रिटेल-संबंधित कार्यों में 81.2% स्कोर करता है, जो OpenAI o1 (73.5%) से अधिक है। एयरलाइन-संबंधित कार्यों में, Claude 3.7 58.4% तक पहुंचता है, फिर से OpenAI o1 (54.2%) से बेहतर।
यह संकेत देता है कि Claude 3.7 व्यावसायिक अनुप्रयोगों और संरचित वर्कफ़्लोज़ के लिए उपयुक्त है, जिससे यह एंटरप्राइज़ उपयोगकर्ताओं के लिए एक अच्छा विकल्प बनता है जो निर्णय-निर्माण और संचालन प्रक्रियाओं में AI को एकीकृत करना चाहते हैं।
Claude 3.7 Sonnet तक कैसे पहुंचें
Claude 3.7 Sonnet कई चैनलों के माध्यम से उपलब्ध है, जिनमें Anthropic का वेब इंटरफ़ेस, विभिन्न ऐप्स में Claude का इंटीग्रेशन, और डेवलपर्स के लिए API एक्सेस शामिल हैं। हालांकि मॉडल बड़ा अपग्रेड है, इसकी उपलब्धता में कुछ सीमाएं हैं—खासकर यदि आप Thinking Mode का उपयोग करना चाहते हैं, जो वर्तमान में पेड टियर के पीछे लॉक है।
वेब और ऐप एक्सेस
सामान्य उपयोगकर्ताओं के लिए, Claude 3.7 Sonnet Anthropic की आधिकारिक वेबसाइट (claude.ai) और Claude ऐप के माध्यम से सुलभ है। यह फ्री टियर में उपलब्ध है, लेकिन कुछ पाबंदियों के साथ:
- फ्री उपयोगकर्ता लेखन, सार-संक्षेप, और सामान्य प्रश्नोत्तर जैसे बुनियादी कार्यों के लिए Claude 3.7 Sonnet का उपयोग कर सकते हैं, लेकिन Thinking Mode निष्क्रिय रहता है।
- Claude Pro उपयोगकर्ता ($20/माह का पेड प्लान) Thinking Mode का पूर्ण एक्सेस पाते हैं, साथ ही उच्च संदेश सीमाएं और पीक समय में प्राथमिकता एक्सेस भी।
Extended पर क्लिक कर आपको मॉडल ड्रॉपडाउन मेनू से Thinking Mode सक्षम करना होगा:
Claude 3.7 Sonnet API एक्सेस
डेवलपर्स Anthropic के API के माध्यम से Claude 3.7 Sonnet को अपनी एप्लिकेशंस में इंटीग्रेट कर सकते हैं, जो Anthropic के डेवलपर पोर्टल के ज़रिये उपलब्ध है। API टोकन उपयोग के आधार पर पे-एज़-यू-गो प्राइसिंग मॉडल सपोर्ट करता है।
यहाँ Anthropic की API पेशकशों का एक अवलोकन है:
|
फ़ीचर |
Claude 3.7 Sonnet |
Claude 3.5 Sonnet |
Claude 3.5 Haiku |
Claude 3 Opus |
Claude 3 Haiku |
|
विवरण |
हमारा सबसे बुद्धिमान मॉडल |
हमारा पिछला सबसे बुद्धिमान मॉडल |
हमारा सबसे तेज़ मॉडल |
जटिल कार्यों के लिए शक्तिशाली मॉडल |
लगभग तात्कालिक प्रतिक्रिया के लिए सबसे तेज़ और कॉम्पैक्ट मॉडल |
|
मज़बूतियाँ |
टॉगल योग्य एक्सटेंडेड थिंकिंग के साथ सर्वोच्च बुद्धिमत्ता और क्षमता |
उच्च स्तर की बुद्धिमत्ता और क्षमता |
बिजली-सी तेज़ी पर बुद्धिमत्ता |
शीर्ष-स्तरीय बुद्धिमत्ता, प्रवाह और समझ |
तेज़ और सटीक लक्षित प्रदर्शन |
|
बहुभाषी |
Yes |
Yes |
Yes |
Yes |
Yes |
|
विज़न |
Yes |
Yes |
Yes |
Yes |
Yes |
|
Yes |
No |
No |
No |
No |
|
|
API मॉडल नाम |
claude-3-7-sonnet-20250219 |
उन्नत संस्करण: claude-3-5-sonnet-20241022 पिछला संस्करण: claude-3-5-sonnet-20240620 |
claude-3-5-haiku-20241022 |
claude-3-opus-20240229 |
claude-3-haiku-20240307 |
|
तुलनात्मक लेटेंसी |
Fast |
Fast |
Fastest |
Moderately fast |
Fastest |
|
कॉन्टेक्स्ट विंडो |
200K |
200K |
200K |
200K |
200K |
|
अधिकतम आउटपुट |
Normal: 8192 tokens Extended thinking:64000 tokens |
8192 tokens |
8192 tokens |
4096 tokens |
4096 tokens |
|
लागत (इनपुट / आउटपुट प्रति MTok) |
$3.00 / $15.00 |
$3.00 / $15.00 |
$0.80 / $4.00 |
$15.00 / $75.00 |
$0.25 / $1.25 |
|
ट्रेनिंग डेटा कट-ऑफ़ |
Oct 2024 |
Apr 2024 |
July 2024 |
Aug 2023 |
Aug 2023 |
स्रोत: Anthropic
हमेशा नवीनतम API प्राइसिंग ज़रूर जांचें।
निष्कर्ष
Anthropic ने Claude 3.7 Sonnet के साथ काफ़ी बड़ा कदम उठाया है—एक ऐसा मॉडल जो अंततः उसे रीज़निंग AI स्पेस में ले आता है। बेंचमार्क्स के आधार पर, यह OpenAI के o3-mini, DeepSeek-R1, और Grok 3 का वैध प्रतिद्वंदी दिखता है, कोडिंग, संरचित समस्या-समाधान, और एजेंटिक टूल उपयोग में मज़बूत प्रदर्शन के साथ।
जनरलिस्ट और रीज़निंग मोड्स के बीच स्विच करने की क्षमता इसे अधिक बहुमुखी बनाती है, लेकिन Thinking Mode को पेवॉल के पीछे रखना, खासकर जब मुफ़्त विकल्प उपलब्ध हैं, कुछ हद तक चूक जैसा लगता है। फिर भी, Claude 3.7 एक बड़ा कदम आगे है।
क्या आप अगला कदम उठाने के लिए तैयार हैं? हमारा Claude 3.7 Sonnet API वीडियो देखें, जहां हम आपको दिखाएंगे कि आप अपना खुद का मल्टीमॉडल रिसर्च असिस्टेंट कैसे बना सकते हैं।
Author
Josef Waples