Qwen3-Coder को लोकली कैसे चलाएँ

Qwen3-Coder एक उन्नत एजेंटिक कोड मॉडल है, जिसे डेवलपर्स को कोड जनरेशन और ऑटोमेशन के लिए बेहतर क्षमताएँ देने के उद्देश्य से डिज़ाइन किया गया है। यह कई आकारों में उपलब्ध है, और इसका प्रमुख रिलीज़ Qwen3-Coder-480B-A35B-Instruct है. 

यह 480-बिलियन-पैरामीटर वाला Mixture-of-Experts मॉडल 35 बिलियन सक्रिय पैरामीटर प्रदान करता है और ओपन-सोर्स कोड मॉडलों के लिए एक नया मानक स्थापित करता है। यह Agentic Coding, Agentic Browser Use और बुनियादी कोडिंग कार्यों में अत्याधुनिक प्रदर्शन देता है, और इसके परिणाम Claude Sonnet जैसे अग्रणी मॉडलों के तुलनीय हैं।

इस ट्यूटोरियल में, हम सीखेंगे कि Qwen3-Coder को लोकली कैसे चलाएँ, इसे Msty चैट ऐप्लिकेशनों के साथ कैसे उपयोग करें, VSCode Copilot के साथ कैसे इंटीग्रेट करें, उन्नत एजेंटिक कोड वर्कफ़्लोज़ के लिए Kilo Code एक्सटेंशन कैसे सेट अप करें, और अंत में, इसे लोकल ऐप्लिकेशन में एकीकृत करने के लिए Python फ़्रेमवर्क का उपयोग कैसे करें।

आप हमारे अलग-अलग गाइड भी देख सकते हैं— Qwen3 और Qwen Code CLI—और अधिक जानने के लिए। 

1. Ollama इंस्टॉल करना

हाल के महीनों में Ollama में महत्वपूर्ण सुधार हुए हैं, और अब यह ChatGPT जैसी उपयोगकर्ता-अनुकूल चैट ऐप्लिकेशन प्रदान करता है। नए ऐप के साथ, आप ग्राफिकल इंटरफ़ेस से ही AI मॉडल डाउनलोड और रन कर सकते हैं, जिससे लोकल AI पहले से कहीं अधिक सुलभ हो गया है।

Source: Ollama's new app

Windows और macOS के लिए: डाउनलोड पेज पर जाएँ और अपने ऑपरेटिंग सिस्टम के लिए इंस्टॉलर डाउनलोड करें। इंस्टॉलेशन प्रक्रिया सरल है; शुरू करने के लिए निर्देशों का पालन करें।

Source: Download Ollama

Linux के लिए: अपना टर्मिनल खोलें और निम्न कमांड चलाएँ। यह कमांड अपने-आप Ollama को आपके सिस्टम पर डाउनलोड और इंस्टॉल कर देगा।

curl -fsSL https://ollama.com/install.sh | sh  

यदि आपको GPU का पता न चलने के बारे में संदेश दिखता है, तो आपको कुछ सिस्टम यूटिलिटी इंस्टॉल करनी होंगी:

sudo apt update
sudo apt install -y pciutils lshw

NVIDIA GPU सपोर्ट के लिए, ड्राइवर और CUDA टूलकिट इंस्टॉल करें:

sudo apt install -y nvidia-driver-525 nvidia-cuda-toolkit

इंस्टॉल होने के बाद, आप Ollama ऐप लॉन्च कर सकते हैं और सीधे UI से मॉडल डाउनलोड करना या चैट करना शुरू कर सकते हैं। इससे Windows, macOS, या Linux पर लोकल AI मॉडलों के साथ प्रयोग करना आसान हो जाता है।

2. Qwen3-Coder चलाना 

Qwen3-Coder के साथ शुरू करने के लिए, Ollama वेबसाइट के Models टैब पर जाएँ और “qwen3-coder” खोजें।

Source: qwen3-coder

एक बार मिल जाने पर, इंस्टॉलेशन कमांड कॉपी करें और मॉडल को डाउनलोड और रन करने के लिए अपने टर्मिनल में चलाएँ:

ollama run qwen3-coder

आपकी इंटरनेट स्पीड के अनुसार, डाउनलोड में कुछ मिनट लग सकते हैं। पूरा होने पर, मॉडल सीधे आपके टर्मिनल से उपयोग के लिए तैयार होगा।

आप तुरंत चैट करना शुरू कर सकते हैं या इसे कोई ऐप बनाने में मदद करने के लिए कह सकते हैं।

हालाँकि अब Ollama में एक बिल्ट-इन चैट ऐप्लिकेशन शामिल है, आप Qwen3-Coder को उन्नत टूल्स और ऐप्लिकेशनों के साथ इंटीग्रेट करके और भी अधिक क्षमता अनलॉक कर सकते हैं। 

ऐसा करने के लिए, आपको मॉडल को एक API एंडपॉइंट के रूप में सर्व करना होगा:

ollama serve

यह कमांड http://localhost:11434/ पर एक OpenAI-संगत सर्वर शुरू करती है, जिससे Qwen3-Coder को आपके पसंदीदा डेवलपमेंट टूल्स और वर्कफ़्लोज़ से जोड़ना आसान हो जाता है।

3. Msty ऐप के साथ Qwen3-Coder इंटीग्रेट करना

Msty मेरा पसंदीदा ऐप है, जिसका उपयोग मैं लोकल और प्रोपाइटरी बड़े भाषा मॉडलों को टेस्ट करने के लिए करता हूँ। इसमें ऐसी कई विशेषताएँ हैं जो आपको पसंद आएँगी, और यह Ollama सर्वर के साथ इंटीग्रेशन के लिए बिल्कुल उपयुक्त है। आधिकारिक Msty वेबसाइट पर जाएँ और अपने प्लेटफ़ॉर्म के लिए ऐप इंस्टॉल करें।

इसके बाद,

1. ऐप खोलें और Settings मेनू पर जाएँ।
2. Remote Model Providers टैब पर नेविगेट करें।
3. एक नया प्रोवाइडर जोड़ें, टाइप के रूप में Ollama Remote चुनें, और एक नाम तथा सर्विस एंडपॉइंट दर्ज करें (आमतौर पर http://localhost:11434/)।

4. Fetch Models बटन पर क्लिक करें, सूची में से qwen3-coder:latest चुनें और Add दबाएँ।

5. चैट मेनू पर जाएँ, Qwen3-Coder मॉडल चुनें, और इसे कुछ भी बनाने के लिए कहना शुरू करें।

यह इंटीग्रेशन सरल और बहुमुखी है। Ollama serve चलाकर, आप Ollama मॉडलों को कई ऐप्स और टूल्स से जोड़ सकते हैं और और भी रचनात्मक संभावनाएँ अनलॉक कर सकते हैं।

4. Copilot में Qwen3-Coder का उपयोग

जैसा कि आप जानते हैं, Qwen3-Coder विशेष रूप से कोडिंग और एजेंटिक वर्कफ़्लोज़ के लिए डिज़ाइन किया गया है। यदि हम इसे अपने कोड एडिटर में इंटीग्रेट नहीं करते, तो इसकी क्षमता का उपयोग अधूरा रह जाएगा।

अब हम Qwen3-Coder को VS Code में GitHub Copilot में इंटीग्रेट करेंगे। नए VS Code इंस्टॉलेशन में पहले से Copilot एक्सटेंशन आता है। आपको बस नीचे दिए मॉडल चयन मेनू पर क्लिक करना है, फिर “Manage Models” लिंक चुनना है, और मॉडल प्रोवाइडर के रूप में Ollama चुनना है। इससे उपलब्ध मॉडल दिखेंगे। Qwen3-Coder मॉडल चुनें और GitHub Copilot चैट को सामान्य रूप से उपयोग करना शुरू करें।

हमने इसे एक स्क्रिप्ट बनाने के लिए कहा जो HTML को Markdown में बदल दे, और मात्र 10 सेकंड में इसने पूरा उत्तर जनरेट कर दिया। 

यह तेज़ है, लोकल है, और उपयोग में आसान है।

5. Kilo Code के साथ Qwen3-Coder सेट अप करना

Kilo-Org/kilocode VSCode एक्सटेंशन योजना बनाने, निर्माण करने और कोड को ठीक करने के लिए बेहतरीन ओपन-सोर्स AI कोडिंग असिस्टेंट्स में से एक के रूप में लोकप्रिय हो रहा है। 

हमारे लोकली चल रहे Qwen3-Coder मॉडल को इंटीग्रेट करने के लिए, पहले आवश्यक एक्सटेंशन्स इंस्टॉल करें, फिर सेटिंग्स पर जाएँ। API प्रोवाइडर को Ollama में बदलें, और यह डिफ़ॉल्ट URL से मॉडल को अपने-आप डिटेक्ट कर लेगा। 

इसके बाद, चैट पर लौटें और AI से एक साधारण AI सर्वर बनाने के लिए कहें। यह पहले प्रोजेक्ट की सभी फ़ाइलों की जाँच करेगा और फिर आपके प्रश्न के लिए सर्वोत्तम समाधान देगा।

6. Ollama Python SDK के साथ Qwen3-Coder का उपयोग

अपने Python ऐप्लिकेशनों में Qwen3-Coder को इंटीग्रेट करना ollama/ollama-python Python पैकेज के साथ सरल है। इससे आप शक्तिशाली AI मॉडल लोकली चला सकते हैं और उन्हें सीधे अपने वर्कफ़्लो में एम्बेड कर सकते हैं

शुरू करने के लिए, बस Ollama पैकेज इंस्टॉल करें:

pip install ollama

यहाँ आपके Python कोड में Qwen3-Coder का उपयोग करने का एक न्यूनतम उदाहरण है, जो OpenAI की API कॉल करने जैसा है:

from ollama import chat

def main():
    # Define a system + user prompt
    messages = [
        {"role": "system", "content": "You are a helpful coding assistant."},
        {
            "role": "user",
            "content": (
                "Please write a Python function `quicksort(arr)` "
                "that takes a list of integers and returns it sorted."
            ),
        },
    ]

    # Stream the response from Qwen3-Coder
    stream = chat(
        model="Qwen3-Coder",
        messages=messages,
        stream=True
    )

    # Print chunks as they arrive
    for chunk in stream:
        # chunk is a dict-like with ['message']['content']
        print(chunk["message"]["content"], end="", flush=True)

    # Finish with a newline
    print()

if __name__ == "__main__":
    main()

प्रतिक्रिया लगभग तुरंत स्ट्रीम होना शुरू हो जाती है। नीचे दिया गया क्विकसॉर्ट समाधान केवल 15 सेकंड में जनरेट हुआ:

Here's a Python implementation of the quicksort algorithm:

```python
def quicksort(arr):
    """
    Sorts a list of integers using the quicksort algorithm.
    
    Args:
        arr: List of integers to be sorted
        
    Returns:
        A new list containing the sorted integers
    """
    # Base case: arrays with 0 or 1 element are already sorted
    if len(arr) <= 1:
        return arr

    # Choose pivot (using the middle element)
    pivot = arr[len(arr) // 2]
    
    # Partition the array into three parts
    left = [x for x in arr if x < pivot]      # Elements less than pivot
    middle = [x for x in arr if x == pivot]   # Elements equal to pivot
    right = [x for x in arr if x > pivot]     # Elements greater than pivot

    # Recursively sort left and right parts, then combine
    return quicksort(left) + middle + quicksort(right)

# Example usage:
if __name__ == "__main__":
    # Test cases
    print(quicksort([64, 34, 25, 12, 22, 11, 90]))  # [11, 12, 22, 25, 34, 64, 90]
    print(quicksort([5, 2, 8, 1, 9]))               # [1, 2, 5, 8, 9]
    print(quicksort([1]))                           # [1]
    print(quicksort([]))                            # []
    print(quicksort([3, 3, 3, 3]))                  # [3, 3, 3, 3]
```

अंतिम विचार

यह गाइड दिखाता है कि लोकल AI कितना सुलभ हो चुका है। आज, आप पुराने लैपटॉप पर भी ओपन-सोर्स मॉडल चला सकते हैं और उन्हें अपने कोड एडिटर्स, चैट ऐप्लिकेशनों के साथ इंटीग्रेट कर सकते हैं, या Ollama Python SDK का उपयोग करके कस्टम लोकल AI ऐप्स बना सकते हैं। 

और भी विकल्प हैं, जैसे Qwen Code CLI का उपयोग करना (हमारे अलग गाइड में शामिल: Qwen Code CLI: A Guide With Examples | DataCamp), या लोकल सर्वर पर मॉडल सर्व करना और कई कंप्यूटरों से SSH के माध्यम से उन तक पहुँचना। संभावनाएँ तेजी से बढ़ रही हैं, जिससे लोकल AI पहले से कहीं अधिक व्यावहारिक और बहुमुखी बन रहा है।