Qwen3-Coder lokaal uitvoeren

Qwen3-Coder is een geavanceerd agentisch codemodel dat ontwikkelaars meer mogelijkheden geeft voor codegeneratie en automatisering. Het is beschikbaar in meerdere groottes, waarbij de vlaggenschiprelease de Qwen3-Coder-480B-A35B-Instruct is. 

Dit Mixture-of-Experts-model met 480 miljard parameters heeft 35 miljard actieve parameters en zet een nieuwe standaard voor open-source codemodellen. Het levert state-of-the-art prestaties in Agentic Coding, Agentic Browser Use en fundamentele coderingstaken, met resultaten die vergelijkbaar zijn met toonaangevende modellen zoals Claude Sonnet.

In deze tutorial leer je hoe je Qwen3-Coder lokaal uitvoert, het gebruikt met Msty-chatapps, het integreert met de VSCode Copilot, de Kilo Code-extensie instelt voor geavanceerde agentische codeworkflows en het tot slot met het Python-framework integreert in een lokale applicatie.

Bekijk ook onze aparte gidsen over Qwen3 en Qwen Code CLI om meer te leren. 

1. Ollama installeren

Ollama heeft de afgelopen maanden flinke verbeteringen doorgemaakt en biedt nu een gebruiksvriendelijke chatapp, vergelijkbaar met ChatGPT. Met de nieuwe app kun je eenvoudig AI-modellen downloaden en uitvoeren vanuit de grafische interface, waardoor lokale AI toegankelijker is dan ooit.

Bron: Ollama's nieuwe app

Voor Windows en macOS: Ga naar de downloadpagina en download de installer voor jouw besturingssysteem. Het installatieproces is eenvoudig; volg gewoon de stappen om te beginnen.

Bron: Ollama downloaden

Voor Linux: Open je terminal en voer de volgende opdracht uit. Deze opdracht downloadt en installeert Ollama automatisch op je systeem.

curl -fsSL https://ollama.com/install.sh | sh  

Als je een melding ziet dat de GPU niet is gedetecteerd, moet je een paar systeemhulpprogramma's installeren:

sudo apt update
sudo apt install -y pciutils lshw

Voor NVIDIA GPU-ondersteuning, installeer de driver en CUDA-toolkit:

sudo apt install -y nvidia-driver-525 nvidia-cuda-toolkit

Na installatie kun je de Ollama-app starten en modellen downloaden of direct vanuit de UI chatten. Zo kun je eenvoudig experimenteren met lokale AI-modellen, of je nu op Windows, macOS of Linux zit.

2. Qwen3-Coder uitvoeren 

Om te beginnen met Qwen3-Coder, ga je naar het tabblad Models op de Ollama website en zoek je naar “qwen3-coder”.

Bron: qwen3-coder

Zodra je het hebt gevonden, kopieer je de installatieopdracht en voer je deze uit in je terminal om het model te downloaden en te draaien:

ollama run qwen3-coder

Afhankelijk van je internetsnelheid kan het downloaden een paar minuten duren. Zodra dit is voltooid, is het model direct vanuit je terminal te gebruiken.

Je kunt meteen gaan chatten of het vragen om een app voor je te bouwen.

Hoewel Ollama nu een ingebouwde chatapp bevat, kun je nog meer uit Qwen3-Coder halen door het te integreren met geavanceerde tools en applicaties. 

Hiervoor moet je het model als een API-endpoint aanbieden:

ollama serve

Met deze opdracht start je een OpenAI-compatibele server op http://localhost:11434/, zodat je Qwen3-Coder eenvoudig kunt koppelen aan je favoriete ontwikkeltools en workflows.

3. Qwen3-Coder integreren met Msty-app

Msty is mijn favoriete app om lokale en propriëtaire large language models te testen. Het zit vol functies waar je blij van wordt, en sluit perfect aan op de Ollama-server. Bezoek de officiële Msty-website en installeer de app voor jouw platform.

Vervolgens

1. Open de app en ga naar het menu Settings.
2. Navigeer naar het tabblad Remote Model Providers.
3. Voeg een nieuwe provider toe, selecteer Ollama Remote als type, en voer een naam en het service-endpoint in (meestal http://localhost:11434/).

4. Klik op de knop Fetch Models, selecteer qwen3-coder:latest in de lijst en klik op Add.

5. Ga naar het chatmenu, selecteer het Qwen3-Coder-model en vraag het om van alles voor je te bouwen.

Deze integratie is simpel en veelzijdig. Door Ollama serve te draaien, kun je Ollama-modellen aan meerdere apps en tools koppelen en zo nog meer creatieve mogelijkheden ontsluiten.

4. Qwen3-Coder gebruiken in Copilot

Zoals je weet is Qwen3-Coder specifiek ontworpen voor programmeren en agentische workflows. Als we het niet in onze code-editor integreren, laten we potentie liggen.

We integreren Qwen3-Coder nu met GitHub Copilot in VS Code. De nieuwe VS Code-installatie wordt al geleverd met de Copilot-extensie. Klik onderaan op het modelselectiemenu, kies vervolgens de link “Manage Models”, en selecteer Ollama als modelprovider. Je ziet dan de beschikbare modellen. Selecteer eenvoudig het Qwen3-Coder-model en gebruik de GitHub Copilot-chat zoals je gewend bent.

We vroegen het om een script te maken dat HTML naar Markdown converteert, en het kostte slechts 10 seconden om het volledige antwoord te genereren. 

Het is snel, lokaal en gemakkelijk te gebruiken.

5. Qwen3-Coder instellen met Kilo Code

De Kilo-Org/kilocode-VSCode-extensie wint aan populariteit als een van de beste open-source AI-coding assistants voor plannen, bouwen en repareren van code. 

Om ons lokaal draaiende Qwen3-Coder-model te integreren, installeer je eerst de benodigde extensies en ga je daarna naar de instellingen. Verander de API-provider naar Ollama; het model wordt dan automatisch gedetecteerd via de standaard-URL. 

Ga daarna terug naar de chat en vraag de AI om een eenvoudige AI-server te bouwen. Het bekijkt eerst alle bestanden in het project en geeft je vervolgens de beste oplossing voor je vraag.

6. Qwen3-Coder gebruiken met de Ollama Python SDK

Qwen3-Coder integreren in je Python-applicaties is eenvoudig met het ollama/ollama-python-Pythonpakket. Hiermee kun je krachtige AI-modellen lokaal draaien en ze direct in je workflows inbedden

Om te beginnen installeer je gewoon het Ollama-pakket:

pip install ollama

Hier is een minimaal voorbeeld van hoe je Qwen3-Coder in je Python-code gebruikt, vergelijkbaar met het aanroepen van de API van OpenAI:

from ollama import chat

def main():
    # Define a system + user prompt
    messages = [
        {"role": "system", "content": "You are a helpful coding assistant."},
        {
            "role": "user",
            "content": (
                "Please write a Python function `quicksort(arr)` "
                "that takes a list of integers and returns it sorted."
            ),
        },
    ]

    # Stream the response from Qwen3-Coder
    stream = chat(
        model="Qwen3-Coder",
        messages=messages,
        stream=True
    )

    # Print chunks as they arrive
    for chunk in stream:
        # chunk is a dict-like with ['message']['content']
        print(chunk["message"]["content"], end="", flush=True)

    # Finish with a newline
    print()

if __name__ == "__main__":
    main()

Het antwoord begint vrijwel direct te streamen. De quicksort-oplossing hieronder kostte slechts 15 seconden om te genereren:

Here's a Python implementation of the quicksort algorithm:

```python
def quicksort(arr):
    """
    Sorts a list of integers using the quicksort algorithm.
    
    Args:
        arr: List of integers to be sorted
        
    Returns:
        A new list containing the sorted integers
    """
    # Base case: arrays with 0 or 1 element are already sorted
    if len(arr) <= 1:
        return arr

    # Choose pivot (using the middle element)
    pivot = arr[len(arr) // 2]
    
    # Partition the array into three parts
    left = [x for x in arr if x < pivot]      # Elements less than pivot
    middle = [x for x in arr if x == pivot]   # Elements equal to pivot
    right = [x for x in arr if x > pivot]     # Elements greater than pivot

    # Recursively sort left and right parts, then combine
    return quicksort(left) + middle + quicksort(right)

# Example usage:
if __name__ == "__main__":
    # Test cases
    print(quicksort([64, 34, 25, 12, 22, 11, 90]))  # [11, 12, 22, 25, 34, 64, 90]
    print(quicksort([5, 2, 8, 1, 9]))               # [1, 2, 5, 8, 9]
    print(quicksort([1]))                           # [1]
    print(quicksort([]))                            # []
    print(quicksort([3, 3, 3, 3]))                  # [3, 3, 3, 3]
```

Tot slot

Deze gids laat zien hoe toegankelijk lokale AI is geworden. Je kunt vandaag open-source modellen op een oude laptop draaien en ze integreren met je code-editors, chatapplicaties of zelfs aangepaste lokale AI-apps bouwen met de Ollama Python SDK. 

Er zijn ook andere opties, zoals het gebruik van Qwen Code CLI (behandeld in onze aparte gids: Qwen Code CLI: A Guide With Examples | DataCamp), of modellen op een lokale server aanbieden en er via SSH vanaf meerdere computers toegang toe krijgen. De mogelijkheden breiden zich snel uit, waardoor lokale AI praktischer en veelzijdiger is dan ooit.