हम प्रोग्रामरों के लिए, कोडिंग LLMs का शायद सबसे महत्वपूर्ण उपयोग है। सटीक कोड जनरेट करने, डिबग करने, और कोड को सही ढंग से “समझने” की क्षमता ही एक LLM को अनेक प्रोग्रामरों का प्रमुख सहायक बनाती है—इसके कई एंटरप्राइज़ फ़ायदों के साथ।
Mistral ने हाल ही में अपना नवीनतम मॉडल Codestral 25.01 जारी किया है, जिसे Codestral V2 भी कहा जाता है—जो उनके पहले Codestral मॉडल (2024) का अपग्रेड है। इस लेख में, मैं Codestral 25.01 की समीक्षा करूंगा, बेंचमार्क में इसके प्रदर्शन का आकलन करूंगा, इसके सेटअप की मार्गदर्शिका दूंगा, और इसे क्रियान्वयन में दिखाऊंगा।
Mistral का Codestral 25.01 क्या है?
Mistral की घोषणा से उद्धृत करते हुए, Codestral 25.01 “हल्का, तेज़, और 80 से अधिक प्रोग्रामिंग भाषाओं में दक्ष (...) कम-विलंबता, उच्च-आवृत्ति उपयोग मामलों के लिए अनुकूलित है और fill-in-the-middle (FIM), कोड सुधार, और टेस्ट जनरेशन जैसे कार्यों का समर्थन करता है।”
कई डेवलपर्स ने पिछले मॉडल Codestral का कोड-संबंधित कार्यों के लिए उपयोग किया है। Codestral 25.01 इसका उन्नत संस्करण है, जिसमें बेहतर टोकनाइज़र और अधिक कुशल आर्किटेक्चर है, जो इसे दोगुनी गति से कोड जनरेट करने में सक्षम बनाता है।
Mistral ने अभी तक मॉडल को जारी नहीं किया है और न ही इसकी आर्किटेक्चर या साइज़ के बारे में कोई विवरण दिया है। हालांकि, हमें पता है कि इसमें 100 अरब से कम पैरामीटर्स हैं और यह 256K कॉन्टेक्स्ट लंबाई का समर्थन करता है।
इस लेख के लिखे जाने के समय, Codestral 25.01 Claude 3.5 Sonnet शृंखला से Chatbot Arena (पूर्व में LMSYS) में केवल कुछ अंकों से नीचे है और Codestral V1 से थोड़ा ही ऊपर है।
स्रोत: Chatbot Arena
LLMs की कोडिंग क्षमताओं का मूल्यांकन करने पर केंद्रित एक और लीडरबोर्ड Aider का Polyglot है। इस बेंचमार्क में, मॉडलों को लोकप्रिय प्रोग्रामिंग भाषाओं में 225 कोडिंग अभ्यास पूरे करने के लिए प्रेरित किया जाता है। Codestral 25.01 ने 11% स्कोर किया, जबकि Qwen2.5-Coder-32B-Instruct ने 16% हासिल किए।
स्रोत: Aider लीडरबोर्ड
अंत में, आइए Mistral द्वारा प्रकाशित आधिकारिक बेंचमार्क देखें। जारी किए गए बेंचमार्क स्कोर Codestral V1, Codellama 70B, या DeepSeek Coder 33B की तुलना में स्पष्ट रूप से बेहतर हैं। Codestral 25.01 के स्कोर की तुलना हालिया Qwen2.5-Coder-32B-Instruct से करना अधिक सूचनात्मक हो सकता है (आप Qwen के स्कोर यहाँ पढ़ सकते हैं)।
Python के लिए अवलोकन:
|
Model
|
Context length
|
HumanEval
|
MBPP
|
CruxEval
|
LiveCodeBench
|
RepoBench
|
|
Codestral-2501
|
256k
|
86.6%
|
80.2%
|
55.5%
|
37.9%
|
38.0%
|
|
Codestral-2405 22B
|
32k
|
81.1%
|
78.2%
|
51.3%
|
31.5%
|
34.0%
|
|
Codellama 70B instruct
|
4k
|
67.1%
|
70.8%
|
47.3%
|
20.0%
|
11.4%
|
|
DeepSeek Coder 33B instruct
|
16k
|
77.4%
|
80.2%
|
49.5%
|
27.0%
|
28.4%
|
|
DeepSeek Coder V2 lite
|
128k
|
83.5%
|
83.2%
|
49.7%
|
28.1%
|
20.0%
|
एकाधिक भाषाओं के लिए बेंचमार्क:
|
Model
|
HumanEval Python
|
HumanEval C++
|
HumanEval Java
|
HumanEval Javascript
|
HumanEval Bash
|
HumanEval Typescript
|
HumanEval C#
|
HumanEval (औसत)
|
|
Codestral-2501
|
86.6%
|
78.9%
|
72.8%
|
82.6%
|
43.0%
|
82.4%
|
53.2%
|
71.4%
|
|
Codestral-2405 22B
|
81.1%
|
68.9%
|
78.5%
|
71.4%
|
40.5%
|
74.8%
|
43.7%
|
65.6%
|
|
Codellama 70B instruct
|
67.1%
|
56.5%
|
60.8%
|
62.7%
|
32.3%
|
61.0%
|
46.8%
|
55.3%
|
|
DeepSeek Coder 33B instruct
|
77.4%
|
65.8%
|
73.4%
|
73.3%
|
39.2%
|
77.4%
|
49.4%
|
65.1%
|
|
DeepSeek Coder V2 lite
|
83.5%
|
68.3%
|
65.2%
|
80.8%
|
34.2%
|
82.4%
|
46.8%
|
65.9%
|
VS Code पर Codestral 25.01 कैसे सेटअप करें
दुर्भाग्यवश, यह मॉडल ओपन-वेट नहीं है, और आप इसे लोकल नहीं चला सकते। अच्छी खबर यह है कि आप इसे API के माध्यम से या VsCode और PyCharm में एक कोड असिस्टेंट के रूप में मुफ्त में एक्सेस कर सकते हैं।
सबसे पहले हमें एक API कुंजी चाहिए। Le Plateforme पर जाएँ और Codestral पर नेविगेट करें। यहाँ आप अपनी API कुंजी जनरेट कर सकते हैं, जिससे आप अपने IDE में Codestral 25.01 का उपयोग कर सकेंगे।
मैं VS Code में Continue एक्सटेंशन के जरिए Codestral का उपयोग करूंगा। आप इसे एक्सटेंशन मार्केटप्लेस में खोजकर मुफ्त में इंस्टॉल कर सकते हैं।
एक्सटेंशन इंस्टॉल करने के बाद, VsCode के निचले दाएँ कोने में Continue बटन पर क्लिक करें, Configure autocomplete options चुनें, और Codestral के अंतर्गत अपनी API कुंजी पेस्ट करें। अब आप Codestral को अपने ऑटोकम्प्लीट मॉडल के रूप में उपयोग कर सकते हैं।
IDE में Codestral का उपयोग करने का एक और तरीका है मॉडल से चैट करना। चैट विंडो खोलने के लिए CTRL+L दबाएँ। आप चैट मॉडल के रूप में कई मॉडलों का चयन कर सकते हैं, लेकिन API कुंजी दिए बिना वे सीमित रहते हैं। Codestral का मुफ्त एक्सेस पाने के लिए, चैट सेक्शन में मॉडल पर क्लिक करें और Add Chat model चुनें। प्रदाता के रूप में Mistral और मॉडल के रूप में Codestral चुनें, और अपनी API कुंजी पेस्ट करें।
Codestral 25.01 का परीक्षण
अब, यह जाँचने के लिए कि सब कुछ सुचारू रूप से चल रहा है, मैंने Codestral से Python में एक सरल XO गेम लिखने को कहा, जिसे मॉडल ने एक बार में सही ढंग से निष्पादित किया।
चैट विंडो में Codestal का उपयोग
कोड LLM का सबसे आम और उपयोगी अनुप्रयोगों में से एक मौजूदा कोडबेस पर काम करना है। ये कोडबेस इतने बड़े और जटिल हो सकते हैं कि इन मॉडलों के साथ वास्तविक दुनिया की स्थिति का सिमुलेशन हो सके। यहाँ, मैं smolagents फ्रेमवर्क के साथ Codestral की क्षमता का परीक्षण करूंगा, जो एजेंट बनाने के लिए Hugging Face का रिपॉज़िटरी है (इस ट्यूटोरियल में Hugging Face के Smolagents पर और जानें)।
मैं रिपॉज़िटरी क्लोन करूंगा, फ़ोल्डर को मॉडल के लिए संदर्भ के रूप में दूंगा, और Codestral से smolagents के साथ एक सरल डेमो लिखने में मदद माँगूंगा।
रिपॉज़िटरी क्लोन करने के बाद, मैंने पूरा कोडबेस Codestral को दे दिया। आप चैट में “@” का उपयोग करके यह चुन सकते हैं कि किस डेटा, कोड या दस्तावेज़ को संदर्भ के रूप में मॉडल को देना है। पूरे कोडबेस को संदर्भ के रूप में देने के लिए, प्रॉम्प्ट होगा: “@Codebase यह कोडबेस किस बारे में है?”
शुरुआत में, जब मैंने Codestral से smolagents का एक सरल डेमो लिखने को कहा (जो रिपॉज़िटरी के README में चार लाइनों के कोड से स्पष्ट रूप से समझाया गया है), तो मॉडल एक सुसंगत उत्तर देने में असमर्थ था।
फिर मैंने मॉडल से रिपॉज़िटरी के बारे में समझाने के लिए कहा, जिस पर इसने अच्छा सारांश दिया।
मेरा अगला प्रॉम्प्ट था: “smolagents के साथ एक सरल एजेंट कैसे चलाया जा सकता है?” मॉडल ने README फ़ाइल के आधार पर अच्छा उत्तर दिया।
तीसरे चरण में, मैंने कहा “मेरे लिए एक एजेंट बनाओ,” जिस पर मॉडल ने दस्तावेज़ीकरण के निर्देशानुसार एक सरल एजेंट बना दिया। यह आश्चर्यजनक था कि मॉडल पहली बार में डेमो बनाने में असमर्थ था, लेकिन ऐसा लगता है कि पहले रिपॉज़िटरी के बारे में पूछने से मॉडल को ज्यादा संदर्भ मिल जाता है।
Codestral के साथ मौजूदा कोडबेस पर काम करना
इसके बाद, मैंने मॉडल को रिपॉज़िटरी के दस्तावेज़ के आधार पर PDF फ़ाइलें पढ़ने के लिए एक कस्टम एजेंटिक टूल बनाने के लिए प्रेरित किया। आश्चर्यजनक रूप से, सुझाए गए कोड में कई ऐसी गलतियाँ थीं जिन्हें आसानी से टाला जा सकता था।
जहाँ एक ओर प्रतिक्रियाएँ जनरेट करने की गति ध्यान देने योग्य है, और मॉडल उत्पादक ऑटोकम्प्लीट देता है, वहीं किसी एप्लिकेशन का गम्भीर विकास या मौजूदा कोडबेस पर काम करते समय, अच्छे परिणामों के लिए आपको कार्य को बहुत छोटे हिस्सों में तोड़ना होगा और विशेष संदर्भ उपलब्ध कराना होगा।
निष्कर्ष
हमने इस लेख की शुरुआत Codestral 25.01 का परिचय देकर की और बेंचमार्क में इसके प्रदर्शन की समीक्षा की, जो दर्शाता है कि यह एक सशक्त कोड LLM है। इसके बाद हमने दिखाया कि VsCode में Codestral 25.01 कैसे सेटअप करें और इसे व्यवहार में कैसे उपयोग करें।
हालाँकि Codestral का नया संस्करण सर्वोत्तम कोडिंग LLM न भी हो, यह बहुत सुविधाजनक है कि हम इसे IDEs में एक कोड असिस्टेंट के रूप में मुफ्त में उपयोग कर सकते हैं। समग्र अनुभव Cursor AI जैसा लगता है, लेकिन जो लोग Cursor इंस्टॉल करने में हिचकते हैं या अन्य मॉडलों के API क्रेडिट खरीदना नहीं चाहते, उनके लिए Codestral का मुफ्त अनुभव एक अच्छा विकल्प हो सकता है।
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
हम प्रोग्रामरों के लिए, कोडिंग LLMs का शायद सबसे महत्वपूर्ण उपयोग है। सटीक कोड जनरेट करने, डिबग करने, और कोड को सही ढंग से “समझने” की क्षमता ही एक LLM को अनेक प्रोग्रामरों का प्रमुख सहायक बनाती है—इसके कई एंटरप्राइज़ फ़ायदों के साथ।
Mistral ने हाल ही में अपना नवीनतम मॉडल Codestral 25.01 जारी किया है, जिसे Codestral V2 भी कहा जाता है—जो उनके पहले Codestral मॉडल (2024) का अपग्रेड है। इस लेख में, मैं Codestral 25.01 की समीक्षा करूंगा, बेंचमार्क में इसके प्रदर्शन का आकलन करूंगा, इसके सेटअप की मार्गदर्शिका दूंगा, और इसे क्रियान्वयन में दिखाऊंगा।
Mistral का Codestral 25.01 क्या है?
Mistral की घोषणा से उद्धृत करते हुए, Codestral 25.01 “हल्का, तेज़, और 80 से अधिक प्रोग्रामिंग भाषाओं में दक्ष (...) कम-विलंबता, उच्च-आवृत्ति उपयोग मामलों के लिए अनुकूलित है और fill-in-the-middle (FIM), कोड सुधार, और टेस्ट जनरेशन जैसे कार्यों का समर्थन करता है।”
कई डेवलपर्स ने पिछले मॉडल Codestral का कोड-संबंधित कार्यों के लिए उपयोग किया है। Codestral 25.01 इसका उन्नत संस्करण है, जिसमें बेहतर टोकनाइज़र और अधिक कुशल आर्किटेक्चर है, जो इसे दोगुनी गति से कोड जनरेट करने में सक्षम बनाता है।
Mistral ने अभी तक मॉडल को जारी नहीं किया है और न ही इसकी आर्किटेक्चर या साइज़ के बारे में कोई विवरण दिया है। हालांकि, हमें पता है कि इसमें 100 अरब से कम पैरामीटर्स हैं और यह 256K कॉन्टेक्स्ट लंबाई का समर्थन करता है।
इस लेख के लिखे जाने के समय, Codestral 25.01 Claude 3.5 Sonnet शृंखला से Chatbot Arena (पूर्व में LMSYS) में केवल कुछ अंकों से नीचे है और Codestral V1 से थोड़ा ही ऊपर है।
स्रोत: Chatbot Arena
LLMs की कोडिंग क्षमताओं का मूल्यांकन करने पर केंद्रित एक और लीडरबोर्ड Aider का Polyglot है। इस बेंचमार्क में, मॉडलों को लोकप्रिय प्रोग्रामिंग भाषाओं में 225 कोडिंग अभ्यास पूरे करने के लिए प्रेरित किया जाता है। Codestral 25.01 ने 11% स्कोर किया, जबकि Qwen2.5-Coder-32B-Instruct ने 16% हासिल किए।
स्रोत: Aider लीडरबोर्ड
अंत में, आइए Mistral द्वारा प्रकाशित आधिकारिक बेंचमार्क देखें। जारी किए गए बेंचमार्क स्कोर Codestral V1, Codellama 70B, या DeepSeek Coder 33B की तुलना में स्पष्ट रूप से बेहतर हैं। Codestral 25.01 के स्कोर की तुलना हालिया Qwen2.5-Coder-32B-Instruct से करना अधिक सूचनात्मक हो सकता है (आप Qwen के स्कोर यहाँ पढ़ सकते हैं)।
Python के लिए अवलोकन:
Model
Context length
HumanEval
MBPP
CruxEval
LiveCodeBench
RepoBench
Codestral-2501
256k
86.6%
80.2%
55.5%
37.9%
38.0%
Codestral-2405 22B
32k
81.1%
78.2%
51.3%
31.5%
34.0%
Codellama 70B instruct
4k
67.1%
70.8%
47.3%
20.0%
11.4%
DeepSeek Coder 33B instruct
16k
77.4%
80.2%
49.5%
27.0%
28.4%
DeepSeek Coder V2 lite
128k
83.5%
83.2%
49.7%
28.1%
20.0%
एकाधिक भाषाओं के लिए बेंचमार्क:
Model
HumanEval Python
HumanEval C++
HumanEval Java
HumanEval Javascript
HumanEval Bash
HumanEval Typescript
HumanEval C#
HumanEval (औसत)
Codestral-2501
86.6%
78.9%
72.8%
82.6%
43.0%
82.4%
53.2%
71.4%
Codestral-2405 22B
81.1%
68.9%
78.5%
71.4%
40.5%
74.8%
43.7%
65.6%
Codellama 70B instruct
67.1%
56.5%
60.8%
62.7%
32.3%
61.0%
46.8%
55.3%
DeepSeek Coder 33B instruct
77.4%
65.8%
73.4%
73.3%
39.2%
77.4%
49.4%
65.1%
DeepSeek Coder V2 lite
83.5%
68.3%
65.2%
80.8%
34.2%
82.4%
46.8%
65.9%
VS Code पर Codestral 25.01 कैसे सेटअप करें
दुर्भाग्यवश, यह मॉडल ओपन-वेट नहीं है, और आप इसे लोकल नहीं चला सकते। अच्छी खबर यह है कि आप इसे API के माध्यम से या VsCode और PyCharm में एक कोड असिस्टेंट के रूप में मुफ्त में एक्सेस कर सकते हैं।
सबसे पहले हमें एक API कुंजी चाहिए। Le Plateforme पर जाएँ और Codestral पर नेविगेट करें। यहाँ आप अपनी API कुंजी जनरेट कर सकते हैं, जिससे आप अपने IDE में Codestral 25.01 का उपयोग कर सकेंगे।
मैं VS Code में
Continueएक्सटेंशन के जरिए Codestral का उपयोग करूंगा। आप इसे एक्सटेंशन मार्केटप्लेस में खोजकर मुफ्त में इंस्टॉल कर सकते हैं।एक्सटेंशन इंस्टॉल करने के बाद, VsCode के निचले दाएँ कोने में Continue बटन पर क्लिक करें, Configure autocomplete options चुनें, और Codestral के अंतर्गत अपनी API कुंजी पेस्ट करें। अब आप Codestral को अपने ऑटोकम्प्लीट मॉडल के रूप में उपयोग कर सकते हैं।
IDE में Codestral का उपयोग करने का एक और तरीका है मॉडल से चैट करना। चैट विंडो खोलने के लिए CTRL+L दबाएँ। आप चैट मॉडल के रूप में कई मॉडलों का चयन कर सकते हैं, लेकिन API कुंजी दिए बिना वे सीमित रहते हैं। Codestral का मुफ्त एक्सेस पाने के लिए, चैट सेक्शन में मॉडल पर क्लिक करें और Add Chat model चुनें। प्रदाता के रूप में Mistral और मॉडल के रूप में Codestral चुनें, और अपनी API कुंजी पेस्ट करें।
Codestral 25.01 का परीक्षण
अब, यह जाँचने के लिए कि सब कुछ सुचारू रूप से चल रहा है, मैंने Codestral से Python में एक सरल XO गेम लिखने को कहा, जिसे मॉडल ने एक बार में सही ढंग से निष्पादित किया।
चैट विंडो में Codestal का उपयोग
कोड LLM का सबसे आम और उपयोगी अनुप्रयोगों में से एक मौजूदा कोडबेस पर काम करना है। ये कोडबेस इतने बड़े और जटिल हो सकते हैं कि इन मॉडलों के साथ वास्तविक दुनिया की स्थिति का सिमुलेशन हो सके। यहाँ, मैं
smolagentsफ्रेमवर्क के साथ Codestral की क्षमता का परीक्षण करूंगा, जो एजेंट बनाने के लिए Hugging Face का रिपॉज़िटरी है (इस ट्यूटोरियल में Hugging Face के Smolagents पर और जानें)।मैं रिपॉज़िटरी क्लोन करूंगा, फ़ोल्डर को मॉडल के लिए संदर्भ के रूप में दूंगा, और Codestral से
smolagentsके साथ एक सरल डेमो लिखने में मदद माँगूंगा।रिपॉज़िटरी क्लोन करने के बाद, मैंने पूरा कोडबेस Codestral को दे दिया। आप चैट में “@” का उपयोग करके यह चुन सकते हैं कि किस डेटा, कोड या दस्तावेज़ को संदर्भ के रूप में मॉडल को देना है। पूरे कोडबेस को संदर्भ के रूप में देने के लिए, प्रॉम्प्ट होगा: “@Codebase यह कोडबेस किस बारे में है?”
शुरुआत में, जब मैंने Codestral से smolagents का एक सरल डेमो लिखने को कहा (जो रिपॉज़िटरी के README में चार लाइनों के कोड से स्पष्ट रूप से समझाया गया है), तो मॉडल एक सुसंगत उत्तर देने में असमर्थ था।
फिर मैंने मॉडल से रिपॉज़िटरी के बारे में समझाने के लिए कहा, जिस पर इसने अच्छा सारांश दिया।
मेरा अगला प्रॉम्प्ट था: “smolagents के साथ एक सरल एजेंट कैसे चलाया जा सकता है?” मॉडल ने README फ़ाइल के आधार पर अच्छा उत्तर दिया।
तीसरे चरण में, मैंने कहा “मेरे लिए एक एजेंट बनाओ,” जिस पर मॉडल ने दस्तावेज़ीकरण के निर्देशानुसार एक सरल एजेंट बना दिया। यह आश्चर्यजनक था कि मॉडल पहली बार में डेमो बनाने में असमर्थ था, लेकिन ऐसा लगता है कि पहले रिपॉज़िटरी के बारे में पूछने से मॉडल को ज्यादा संदर्भ मिल जाता है।
Codestral के साथ मौजूदा कोडबेस पर काम करना
इसके बाद, मैंने मॉडल को रिपॉज़िटरी के दस्तावेज़ के आधार पर PDF फ़ाइलें पढ़ने के लिए एक कस्टम एजेंटिक टूल बनाने के लिए प्रेरित किया। आश्चर्यजनक रूप से, सुझाए गए कोड में कई ऐसी गलतियाँ थीं जिन्हें आसानी से टाला जा सकता था।
जहाँ एक ओर प्रतिक्रियाएँ जनरेट करने की गति ध्यान देने योग्य है, और मॉडल उत्पादक ऑटोकम्प्लीट देता है, वहीं किसी एप्लिकेशन का गम्भीर विकास या मौजूदा कोडबेस पर काम करते समय, अच्छे परिणामों के लिए आपको कार्य को बहुत छोटे हिस्सों में तोड़ना होगा और विशेष संदर्भ उपलब्ध कराना होगा।
निष्कर्ष
हमने इस लेख की शुरुआत Codestral 25.01 का परिचय देकर की और बेंचमार्क में इसके प्रदर्शन की समीक्षा की, जो दर्शाता है कि यह एक सशक्त कोड LLM है। इसके बाद हमने दिखाया कि VsCode में Codestral 25.01 कैसे सेटअप करें और इसे व्यवहार में कैसे उपयोग करें।
हालाँकि Codestral का नया संस्करण सर्वोत्तम कोडिंग LLM न भी हो, यह बहुत सुविधाजनक है कि हम इसे IDEs में एक कोड असिस्टेंट के रूप में मुफ्त में उपयोग कर सकते हैं। समग्र अनुभव Cursor AI जैसा लगता है, लेकिन जो लोग Cursor इंस्टॉल करने में हिचकते हैं या अन्य मॉडलों के API क्रेडिट खरीदना नहीं चाहते, उनके लिए Codestral का मुफ्त अनुभव एक अच्छा विकल्प हो सकता है।