Devstral क्विकस्टार्ट गाइड: Mistral AI का LLM लोकली चलाएँ

ऐसा लगता है कि नए AI मॉडल तेज़ी से आ रहे हैं, और Mistral AI ने Devstral—एक अत्याधुनिक ओपन-सोर्स कोडिंग मॉडल—लॉन्च करके उत्साह बढ़ा दिया है। Devstral एक एजेंटिक कोडिंग बड़ा भाषा मॉडल (LLM) है जिसे RTX 4090 GPU या 32GB RAM वाले Mac पर लोकली चलाया जा सकता है, जिससे लोकल डिप्लॉयमेंट और ऑन-डिवाइस उपयोग संभव हो जाता है। यह तेज़, सटीक, और उपयोग के लिए खुला है। 

इस ट्यूटोरियल में, हम Devstral के बारे में वह सब कुछ सीखेंगे जो आपको जानना चाहिए—इसके प्रमुख फीचर्स और इसे खास बनाने वाली बातें। हम Mistral Chat CLI जैसे टूल्स का उपयोग करके Devstral को लोकली चलाना भी सीखेंगे और Devstral की एजेंटिक क्षमताओं का परीक्षण करने के लिए OpenHands के साथ Mistral AI API को इंटीग्रेट करेंगे।

आप Mistral के अन्य टूल्स के बारे में अलग-अलग गाइड्स में और जान सकते हैं, जिनमें Mistral Medium 3, Mistral OCR API और Mistral Le Chat शामिल हैं। 

Mistral Devstral क्या है?

Devstral सॉफ्टवेयर इंजीनियरिंग कार्यों के लिए डिज़ाइन किया गया एक अत्याधुनिक एजेंटिक मॉडल है। इसे Mistral AI ने All Hands AI के सहयोग से विकसित किया है। यह वास्तविक दुनिया की कोडिंग चुनौतियों—जैसे बड़े कोडबेस का अन्वेषण, कई फ़ाइलों को संपादित करना, और GitHub रिपॉजिटरी पर मुद्दों को हल करना—में उत्कृष्ट प्रदर्शन करता है। 

SWE-Bench Verified बेंचमार्क पर Devstral का प्रदर्शन बेजोड़ है—यह 46.8% स्कोर हासिल करता है, जिससे यह इस बेंचमार्क पर #1 ओपन-सोर्स मॉडल बनता है, और पहले के अत्याधुनिक मॉडलों से 6% बेहतर प्रदर्शन करता है।

स्रोत: Devstral | Mistral AI

Mistral-Small-3.1 पर आधारित, Devstral में 128k का कॉन्टेक्स्ट विंडो है, जो इसे बड़े पैमाने पर कोड और डिपेंडेंसीज़ को प्रोसेस और समझने में सक्षम बनाता है। अपने बेस मॉडल के विपरीत, Devstral केवल टेक्स्ट-आधारित है, क्योंकि इसे कोडिंग कार्यों में विशेषज्ञ बनाने के लिए फाइन-ट्यूनिंग के दौरान विज़न एन्कोडर हटा दिया गया था। 

OpenHands जैसे टूल्स के साथ बिना रुकावट काम करने की इसकी क्षमता इसे Deepseek-V3-0324 (671B) और Qwen3 232B-A22B जैसे कहीं बड़े मॉडलों से भी बेहतर बनाती है।

Devstral की प्रमुख विशेषताएँ

यहाँ Devstral की कुछ उल्लेखनीय विशेषताएँ हैं जो इसे अन्य कोडिंग मॉडलों से अलग बनाती हैं।

1. एजेंटिक कोडिंग

Devstral को विशेष रूप से एजेंटिक कोडिंग कार्यों में उत्कृष्ट प्रदर्शन के लिए डिज़ाइन किया गया है, जिससे यह सॉफ्टवेयर इंजीनियरिंग एजेंट बनाने और डिप्लॉय करने के लिए आदर्श मॉडल बनता है। बड़े कोडबेस में जटिल, बहु-चरणीय कार्यों को हल करने की इसकी क्षमता डेवलपर्स को वास्तविक दुनिया की कोडिंग चुनौतियों का प्रभावी ढंग से सामना करने में सक्षम बनाती है।

2. हल्का डिज़ाइन

Devstral की प्रमुख खूबियों में से एक इसका हल्का आर्किटेक्चर है। केवल 24 बिलियन पैरामीटर्स के साथ, इसे एक ही Nvidia RTX 4090 GPU पर चलाया जा सकता है। यह फीचर इसे लोकल डिप्लॉयमेंट, ऑन-डिवाइस उपयोग, और गोपनीयता-संवेदी अनुप्रयोगों के लिए आदर्श बनाता है।

3. ओपन-सोर्स 

Apache 2.0 लाइसेंस के तहत जारी, Devstral व्यावसायिक उपयोग के लिए मुक्त रूप से उपलब्ध है। डेवलपर्स और संगठन इसे बिना किसी प्रतिबंध के डिप्लॉय, संशोधित, और यहाँ तक कि स्वामित्व वाले उत्पादों में इंटीग्रेट कर सकते हैं।

4. विस्तारित कॉन्टेक्स्ट विंडो

Devstral में प्रभावशाली 128k कॉन्टेक्स्ट विंडो है, जो इसे एक ही इंटरैक्शन में बड़े पैमाने पर कोड और निर्देशों को प्रोसेस और समझने देता है। यह बड़े कोडबेस के साथ काम करने और जटिल प्रोग्रामिंग समस्याओं को हल करने में विशेष रूप से प्रभावी है।

5. उन्नत टोकनाइज़र

Devstral Tekken टोकनाइज़र का उपयोग करता है, जिसकी 131k शब्दावली है, जो इसे कोड और टेक्स्ट इनपुट्स को सटीकता और दक्षता से संभालने में सक्षम बनाती है। यह टोकनाइज़र सॉफ्टवेयर इंजीनियरिंग कार्यों के अनुरूप सटीक, संदर्भ-सचेत प्रतिक्रियाएँ जनरेट करने की मॉडल की क्षमता को बढ़ाता है।

Devstral के साथ शुरुआत

Devstral, Hugging Face, Ollama, Kaggle, Unsloth, और LM Studio जैसे प्लेटफ़ॉर्म पर निशुल्क डाउनलोड के लिए उपलब्ध है। डेवलपर्स इसे API के माध्यम से भी एक्सेस कर सकते हैं, जिसका नाम devstral-small-2505 है, और प्रतिस्पर्धी मूल्य निर्धारण पर उपलब्ध है: प्रति मिलियन इनपुट टोकन $0.10 और प्रति मिलियन आउटपुट टोकन $0.30।

इस गाइड में, हम दो प्रमुख वर्कफ़्लोज़ कवर करेंगे:

1. Mistral inference का उपयोग करके Devstral को लोकली चलाना।
2. मशीन लर्निंग प्रोजेक्ट बनाने के लिए Devstral को OpenHands के साथ इंटीग्रेट करना।

Devstral को लोकली चलाना

Devstral को लोकली चलाने के लिए, हम GPU सपोर्ट वाली Runpod इंस्टेंस का उपयोग करेंगे, मॉडल को Hugging Face से डाउनलोड करेंगे, और mistral-chat CLI टूल के माध्यम से इसके साथ इंटरैक्ट करेंगे।

1. 100GB स्टोरेज और A100 SXM GPU के साथ पॉड सेट करें, और JupyterLab इंस्टेंस लॉन्च करें।

2. आवश्यक डिपेंडेंसीज़ इंस्टॉल करने के लिए Jupyter Notebook में निम्न कमांड चलाएँ:

%%capture
%pip install mistral_inference --upgrade
%pip install huggingface_hubसंचालित द्वारा

3. मॉडल फ़ाइलें, टोकनाइज़र, और पैरामीटर कॉन्फ़िगरेशन डाउनलोड करने के लिए Hugging Face Hub का उपयोग करें। 

from huggingface_hub import snapshot_download
from pathlib import Path

mistral_models_path = Path.home().joinpath('mistral_models', 'Devstral')
mistral_models_path.mkdir(parents=True, exist_ok=True)

snapshot_download(repo_id="mistralai/Devstral-Small-2505", allow_patterns=["params.json", "consolidated.safetensors", "tekken.json"], local_dir=mistral_models_path)संचालित द्वारा

4. JupyterLab में एक टर्मिनल खोलें और mistral-chat CLI शुरू करने के लिए निम्न कमांड चलाएँ:

mistral-chat $HOME/mistral_models/Devstral --instruct --max_tokens 300संचालित द्वारा

5. Devstral का परीक्षण करने के लिए निम्न प्रॉम्प्ट आज़माएँ:

“Python का उपयोग करके शुरू से एक REST API बनाएँ।”

मॉडल ने विस्तृत और सटीक प्रतिक्रिया जनरेट की—Flask का उपयोग करके REST API बनाने की चरण-दर-चरण गाइड।

Creating a REST API from scratch using Python involves several steps. We'll use the Flask framework, which is lightweight and easy to get started with. Below is a step-by-step guide to creating a simple REST API.
### Step 1: Install Flask
First, you need to install Flask. You can do this using pip:

```bash
pip install Flask
```

### Step 2: Create the Flask Application

Create a new Python file, for example, `app.py`, and set up the basic structure of your Flask application.

```python
from flask import Flask, request, jsonify

app = Flask(__name__)

# Sample data
items = [
    {"id": 1, "name": "Item 1", "description": "This is item 1"},
    {"id": 2, "name": "Item 2", "description": "This is item 2"}
]

@app.route('/items', methods=['GET'])
def get_items():
    return jsonify(items)

@app.route('/items/<int:item_id>', methods=['GET'])
def get_item(item_id):
    item = next((item for item in items if item["id"] == item_id), None)
    if item:
        return jsonify(item)
    return jsonify({"error": "Item not found"}), 404

@app.route('/items', methods=['POST'])
def create_item():
    new_item = request.get_json()
    new_item["id"] = len(items
=====================
संचालित द्वारा

OpenHands के साथ Devstral चलाना

आप Mistal AI API के माध्यम से Devstral मॉडल तक आसानी से पहुँच सकते हैं। इस प्रोजेक्ट में, हम Devstral API को OpenHands के साथ मिलाकर शुरू से अपना मशीन लर्निंग प्रोजेक्ट बनाएँगे। OpenHands एक ओपन-सोर्स प्लेटफ़ॉर्म है जो आपके कोडिंग प्रोजेक्ट को बनाने और पूरा करने के लिए आपके AI सॉफ्टवेयर इंजीनियर के रूप में काम करता है।

1. Mistral AI प्लेटफ़ॉर्म पर जाएँ और अपना API कुंजी जेनरेट करें।

2. अपने खाते में Debit/Credit कार्ड का उपयोग करके $5 जोड़ें। 

3. निम्न स्क्रिप्ट चलाएँ ताकि 

• API कुंजी को एन्वायरनमेंट वेरिएबल के रूप में सेट करें।
• OpenHands का Docker इमेज पुल करें।
• कॉन्फ़िगरेशन फ़ाइल बनाएँ।
• Docker कंटेनर में OpenHands एप्लिकेशन शुरू करें।

# Store the API key securely as an environment variable (avoid hardcoding in scripts)
export MISTRAL_API_KEY=<MY_KEY>

# Pull the runtime image for OpenHands
docker pull docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik

# Create a configuration directory and settings file for OpenHands
mkdir -p ~/.openhands-state
cat << EOF > ~/.openhands-state/settings.json
{
  "language": "en",
  "agent": "CodeActAgent",
  "max_iterations": null,
  "security_analyzer": null,
  "confirmation_mode": false,
  "llm_model": "mistral/devstral-small-2505",
  "llm_api_key": "${MISTRAL_API_KEY}",
  "remote_runtime_resource_factor": null,
  "github_token": null,
  "enable_default_condenser": true
}
EOF

# Run the OpenHands application in a Docker container with enhanced settings
docker run -it --rm --pull=always \
    -e SANDBOX_RUNTIME_CONTAINER_IMAGE=docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik \
    -e LOG_ALL_EVENTS=true \
    -e TZ=$(cat /etc/timezone 2>/dev/null || echo "UTC") \
    -v /var/run/docker.sock:/var/run/docker.sock \
    -v ~/.openhands-state:/.openhands-state \
    -p 3000:3000 \
    --add-host host.docker.internal:host-gateway \
    --name openhands-app \
    --memory="4g" \
    --cpus="2" \
    docker.all-hands.dev/all-hands-ai/openhands:0.39संचालित द्वारा

वेब एप्लिकेशन यहाँ उपलब्ध होगा: http://0.0.0.0:3000

0.39-nikolaik: Pulling from all-hands-ai/runtime
Digest: sha256:126448737c53f7b992a4cf0a7033e06d5289019b32f24ad90f5a8bbf35ce3ac7
Status: Image is up to date for docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik
docker.all-hands.dev/all-hands-ai/runtime:0.39-nikolaik
0.39: Pulling from all-hands-ai/openhands
Digest: sha256:326ddb052763475147f25fa0d6266cf247d82d36deb9ebb95834f10f08e4777d
Status: Image is up to date for docker.all-hands.dev/all-hands-ai/openhands:0.39
Starting OpenHands...
Running OpenHands as root
10:34:24 - openhands:INFO: server_config.py:50 - Using config class None
INFO:     Started server process [9]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:3000 (Press CTRL+C to quit)संचालित द्वारा

OpenHands में Devstral का परीक्षण

1. प्रोजेक्ट बनाना शुरू करने के लिए “Launch from Scratch” बटन पर क्लिक करें।

2.   आपको नए UI पर रीडायरेक्ट किया जाएगा, जिसमें चैट इंटरफ़ेस और डेवलपमेंट इंफरेंस के लिए अन्य टैब हैं।

3. चैट इंटरफ़ेस का उपयोग करके प्रॉम्प्ट दें। कुछ ही सेकंड में, Devstral प्रोजेक्ट के लिए डायरेक्टरी, फ़ाइलें, और कोड बनाना शुरू कर देगा।

4. जनरेट हुए कोड को देखने, संपादित करने और निष्पादित करने के लिए VS Code टैब पर स्विच करें।

5. Devstral इतना सक्षम है कि इसने एप्लिकेशन शुरू कर दिया, वेब एप्लिकेशन में परीक्षण किया, और वेब एजेंट का उपयोग करके वेब पेज भी ब्राउज़ किया।

प्रोजेक्ट पूरा होने पर, उसे अपनी टीम के साथ साझा करने के लिए GitHub पर पुश करें।

निष्कर्ष

Devstral ओपन-सोर्स समुदाय के लिए बेहतरीन खबर है। आप मॉडल को लोकली चलाने के लिए OpenHands को Ollama या VLLM के साथ उपयोग कर सकते हैं और फिर OpenHands UI के माध्यम से इसके साथ इंटरैक्ट कर सकते हैं। इसके अलावा, आप एक्सटेंशन्स का उपयोग करके Devstral को अपने कोड एडिटर में इंटीग्रेट कर सकते हैं, जो इसे बेहद प्रभावी विकल्प बनाता है।

इस ट्यूटोरियल में, हमने Devstral—एक एजेंटिक कोडिंग मॉडल—का अन्वेषण किया और इसे लोकली चलाकर तथा OpenHands का उपयोग करके इसकी क्षमताओं का परीक्षण किया। परिणाम प्रभावशाली रहे। Devstral तेज़ है, अत्यधिक सटीक है, और जटिल कार्यों को पूरा करने के लिए एजेंट्स को बुलाने में उत्कृष्ट है। वास्तविक दुनिया की सॉफ्टवेयर इंजीनियरिंग चुनौतियों को गति और सटीकता के साथ संभालने की इसकी क्षमता इसे डेवलपर्स के लिए एक बेहतरीन विकल्प बनाती है।

आप हमारे ब्लॉग लेख के माध्यम से Agentic AI के बारे में और जान सकते हैं, और हमारे कोर्स Designing Agentic Systems with LangChain के साथ हाथ-से-हाथ अनुभव प्राप्त कर सकते हैं।