Qwen3-Next’i Yerelde Nasıl Çalıştırırsınız

Açık kaynak yapay zekâ baş döndürücü bir hızla ilerliyor; neredeyse her gün yeni modeller çıkıyor, önceki sürümleri geride bırakırken daha hızlı, eğitimi daha kolay ve daha fazla “ajan‑hazır” hale geliyor. 

Bu uygulamalı eğitimde Qwen3‑Next’e yakından bakacak, onu yerelde çalıştıracak, basit bir yerel sunucu başlatacak ve daha sonra uygulamalarınıza entegre edebilmeniz için ortamı hazırlayacağız. En güzeli de, hem çıkarım hem de sunum için yalnızca Hugging Face Transformers çerçevesini kullanacağız.

Sonunda şunları yapabileceksiniz:

• Qwen3‑Next’te nelerin yeni olduğunu anlamak
• Qwen3‑Next’i Transformers ile yerelde çalıştırmak
• Belleği azaltmak için 4 bitlik bitsandbytes (bnb) varyantını kullanmak
• Qwen3‑Next’i transformers serve ile HTTP üzerinden sunmak
• Sunucu ile hem cURL hem de Python üzerinden etkileşime geçmek

Qwen3-Next’e Giriş

Qwen3-Next hem bağlam uzunluğunu hem de toplam parametreleri ölçeklemek üzere tasarlanmış yeni bir mimari. 80 milyar parametreli temel model, çıkarım sırasında yalnızca yaklaşık 3 milyar parametreyi etkinleştirirken, eğitim maliyetinin %10’undan daha azıyla Dense Qwen3-32B modeline denk veya onu az da olsa aşan bir performans elde ediyor. Ayrıca 32.000 tokenı aşan bağlam uzunluklarında 10 kattan fazla iş hacmi (throughput) sağlıyor. 

Art eğitim (post‑training) varyantları açısından, Instruct modeli 235 milyar parametreli amiral gemisi modelle rekabet ediyor ve 256.000 tokena kadar bağlam uzunluklarını destekliyor. Ayrıca Thinking varyantı, Qwen3-30B-A3B ve Qwen3-32B modellerinin yanı sıra Gemini-2.5-Flash-Thinking’in de üzerinde performans gösteriyor ve 235 milyarlık Thinking modele oldukça yaklaşıyor.

Kaynak: Qwen

Qwen3-Next’te neler yeni: 

• Hibrit dikkat (Gated DeltaNet + Gated Attention, 3:1): Uzun girdiler için hızlı ve hafif bellekli bir dikkat mekanizmasını, kesin geri çağırma için standart dikkatle harmanlar. Çıkış kapısı, daha büyük başlıklar (256) ve kısmi RoPE (%25), çok uzun dizilerde hem isabeti hem verimliliği sağlar.
• Ultra seyrek MoE (512 uzman; 10 yönlendirilen + 1 paylaşılan; ~3B/80B etkin): Her token için yalnızca modelin küçük bir kısmı çalışır; bu da hesaplama ve belleği azaltırken kaliteyi yüksek tutar. Küresel yük dengeleme, işi uzmanlar arasında dağıtarak israf olmadan istikrarlı performans artışları sağlar.
• Önce kararlılık odaklı eğitim: Çıkış kapılı dikkat, kontrolden çıkan aktivasyonları önler; ağırlık bozunumlu Sıfır Merkezli RMSNorm, normalizasyon ağırlıklarını makul tutar; normalize edilmiş MoE yönlendirici başlatma, erken eğitim kaosunu engeller. Net sonuç: daha az eğitim aksaklığı ve daha pürüzsüz ölçekleme.
• Doğal Çoklu Token Tahmini (MTP): Modelin aynı anda birden fazla sonraki tokenı güvenle önermesini sağlar, çözümleme hızını artırır. Çok adımlı eğitim, çıkarımda kullanım biçimine uyum sağlar; bu da kaliteyi düşürmeden spekülatif çözümlemede kabul oranını yükseltir.
• RL kararlılık iyileştirmeleri: Pekiştirmeli öğrenme ince ayarı, hibrit dikkatli, yüksek seyrek MoE düzeneğinde daha hızlı çalışır ve çökme eğilimi daha düşüktür—böylece daha iyi nihai performansa daha hızlı ulaşırsınız.

Qwen3‑Next’i yerel kullanım için indirmek ya da vLLM, SGLang veya Transformers Serve gibi çerçevelerle bir sunucu olarak dağıtmak üzere Hugging Face ve ModelScope üzerinden edinebilirsiniz. 

Qwen3-Next’i Yerelde Çalıştırma

Qwen3-Next’i yerelde çalıştırmak için, ana depodan transformers kütüphanesini; daha hızlı bir arka uç için de accelerate, bitsandbytes, flash-linear-attention ve causal-conv1d paketlerini kuracağız. 

Kurulumdan sonra lütfen Jupyter notebook çekirdeğini yeniden başlatın. 

%%capture

!pip install git+https://github.com/huggingface/transformers.git@main
!pip install accelerate bitsandbytes

!pip install git+https://github.com/fla-org/flash-linear-attention.git
!pip install git+https://github.com/Dao-AILab/causal-conv1d.gitAltyapı:

Sonraki adımda, uygun veri tipleri ve aygıt eşlemesiyle (device map) ayrıştırıcıları ve modeli indirip yükleyin. 

Bellek kullanımımızı dörtte bire indiren 4 bitlik bir kuantize modeli yükleyeceğiz. Bu, hem depolama alanı hem de çıkarım için gereken VRAM’in daha az olacağı anlamına gelir. 

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit"

# --- Load tokenizer ---
tokenizer = AutoTokenizer.from_pretrained(model_name)

# --- Load model ---
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    device_map="auto", 
    dtype="auto", 
)Altyapı:

Ardından bir istem (prompt) oluşturacak, bir ileti hazırlayacak ve Qwen3-Next modelinin tanıdığı gerekli biçimlendirmeyi sağlamak için bunu bir sohbet şablonundan geçireceğiz. 

# prepare the model input
prompt = "Write a short introduction to large language models, highlighting how learners can explore them through DataCamp's interactive courses and hands-on projects."
messages = [
    {"role": "user", "content": prompt},
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True,
)Altyapı:

Daha sonra metni tokenize edecek, modelden geçirecek ve yalnızca çıktı tokenlarını çıkaracağız. Ardından nihai yanıtı çözüp göstereceğiz. 

model_inputs = tokenizer([text], return_tensors="pt").to(model.device)

# conduct text completion
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512,
)
output_ids = generated_ids[0][len(model_inputs.input_ids[0]):].tolist() 

content = tokenizer.decode(output_ids, skip_special_tokens=True)

print("content:", content)Altyapı:

Çıktı kusursuz görünüyor:

content: Large language models (LLMs) are advanced AI systems trained on vast amounts of text data to understand, generate, and reason with human language. 
From answering questions and writing code to summarizing documents and engaging in conversation, LLMs are transforming how we interact with technology--and how we learn. 
At DataCamp, learners can explore the power of LLMs through interactive courses and hands-on projects that bridge theory with real-world application. 
Whether you're building your first chatbot, fine-tuning a model with Hugging Face, or evaluating AI-generated text, DataCamp's guided, code-based learning environment lets you experiment safely and effectively--no prior AI expertise required. 
Start your journey into the future of language AI today.Altyapı:

Aklınızda bulunsun: 

1. 4 bit boyut: 4 bit Qwen3-Next modeli yalnızca ağırlıklar için ~60 GB’tır; ek yük/kv-önbellekle birlikte rahat bir üretim için genellikle ~60–80 GB VRAM istersiniz. Yalnızca CPU ile mümkündür, ancak çok yavaştır.
2. Yükleme süresi: Daha yavaş disklerde (ör. HDD/ağ), ilk yükleme zaman alabilir. SSD/NVMe büyük fayda sağlar.
3. VRAM’de kalın: Yüklendiğinde model, siz serbest bırakana veya çekirdeği yeniden başlatana kadar GPU belleğinde kalır; dolayısıyla sonraki çıkarımlar çok daha hızlıdır.
4. GPU kullanımını doğrulayın: torch.cuda.is_available() değeri False ise CPU üzerindesiniz. CUDA/sürücü kurulumunuzu yeniden kontrol edin.

Qwen3-Next’i Sunma

Qwen3-Next’i yerelde, Qwen için model sayfasında gösterildiği gibi SGLang veya vLLM ile sunabilirsiniz. Ancak bu eğitimde, Ollama’ya benzer şekilde modeli sunmak ve Transformers’ın sağladığı bir sohbet arayüzü üzerinden erişmek için Transformers CLI’ı kullanmayı öğreneceğiz.

Önce, sunma yetenekleriyle birlikte Transformers kütüphanesini kurun:

pip install transformers[serving]Altyapı:

Ardından, terminalinizden Transformers sunucusunu başlatın. Bu, Ollama’ya benzer genel amaçlı bir sunucudur. 

transformers serveAltyapı:

Görüldüğü gibi, sunucu 8000 numaralı porttan erişilebilir olacaktır:

INFO:     Started server process [3502]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://localhost:8000 (Press CTRL+C to quit)Altyapı:

Sunucu ile etkileşime geçmenin en kolay yolu Transformers chat CLI’ını kullanmaktır. Bu, sunucuya bağlanmanızı sağlar ve terminalinizde sohbet benzeri bir arayüz sunar.

Yeni bir terminal penceresi açın ve Rich kütüphanesini kurun:

pip install richAltyapı:

Daha sonra, model yolunu belirterek sohbet arayüzünü başlatmak için aşağıdaki komutu çalıştırın:

transformers chat localhost:8000 \
  --model-name-or-path unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bitAltyapı:

Transformers chat, halihazırda indirilmiş hangi modeli seçeceğine otomatik olarak karar verip onu yükleyecektir. İlk başta modelin yüklenmesi biraz zaman alabilir, sonrasında sohbet etmeye başlayabilirsiniz.

Gördüğünüz gibi, sohbet arayüzünü kullanarak Qwen3-Next modeliyle yerelde etkileşim kuruyoruz.

Qwen3-Next Sunucusuyla Etkileşim

Sunucu ile etkileşim kurmanın birçok yolu var. Hugging Face Hub’dan AsyncInferenceClient’ı kullanabilir, bir CURL komutu gönderebilir, Python’un requests kütüphanesini kullanabilir veya OpenAI API üzerinden sunucuya erişebilirsiniz. 

Bu sunucu OpenAI ile uyumludur; yani onu VSCode’a, ajan temelli iş akışınıza entegre edebilir veya bir MCP sunucusu olarak kullanabilirsiniz.

Önce, sunucuda kaç modelin mevcut olduğunu görmek için yeni terminalde basit bir CURL komutu çalıştıracağız:

curl -s http://localhost:8000/v1/modelsAltyapı:

Ardından responses API’sini kullanacağız. Modele, istemlere (prompts) ve akışı kapalı olarak ayarladığımız bilgilerine yer vereceğiz:

curl -s http://localhost:8000/v1/responses \
  -H "Content-Type: application/json" \
  -d '{
    "model": "unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit",
    "input": "One line: what is Qwen3-Next?",
    "stream": false
  }'Altyapı:

Sonuç olarak, Qwen3-Next modeli hakkında bilgi içeren bir yanıt üretti. 

{"response":{"id":"resp_req_0","created_at":1758494863.6661901,"model":"unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit@main","object":"response","output":[{"id":"msg_req_0","content":[{"annotations":[],"text":"Qwen3-Next is the next-generation large language model in Alibaba's Qwen series, featuring enhanced performance, broader knowledge, and improved reasoning capabilities.","type":"output_text"}],"role":"assistant","status":"completed","type":"message","annotations":[]}],"parallel_tool_calls":false,"tool_choice":"auto","tools":[],"status":"completed","text":{"format":{"type":"text"}}},"sequence_number":40,"type":"response.completed"}Altyapı:

Benzer şekilde, bir Python dosyası oluşturup aşağıdaki kodu ekleyebilir ve çalıştırabilirsiniz. 

Kod, OpenAI istemcisini yerel sunucu URL’siyle başlatacaktır. Modele adını, girdileri verir ve yanıtları akış olarak üretiriz. 

from openai import OpenAI

# Connect to your local server
client = OpenAI(
    base_url="http://localhost:8000/v1",  # transformers serve endpoint
    api_key="not-needed"                  # required by SDK, but can be dummy
)

# Create a streaming response request
response = client.responses.create(
    model="unsloth/Qwen3-Next-80B-A3B-Instruct-bnb-4bit",  # use your loaded model
    instructions="You are a helpful assistant.",
    input="What is love?",
    stream=True,                      # enable SSE streaming
    metadata={"source": "local-test"} # optional metadata
)

# Iterate over server-sent events
for event in response:
    if event.type == "response.output_text.delta":
        # This event contains the incremental text
        print(event.delta, end="", flush=True)
    elif event.type == "response.completed":
        print("\n--- done ---")Altyapı:

Akış halinde düzgün sonuçlar aldık. Harika.

Love is one of the most profound, complex, and universal human experiences -- a powerful emotion that defies simple definition but shapes our lives in countless ways.

At its core, **love** is a deep affection, care, and connection toward another person -- or even a thing, idea, or cause. It can manifest in many forms:

### Types of Love (from ancient Greek philosophy):
- **Eros**: Passionate, romantic, or sexual love.
- **Philia**: Deep friendship and platonic affection.
- **Storge**: Familial love -- the natural affection between parents and children.
- **Agape**: Selfless, unconditional love -- often spiritual or altruistic.
- **Ludus**: Playful, flirtatious love.
- **Pragma**: Long-lasting, committed love built on patience and compromise.
- **Philautia**: Self-love -- healthy self-regard that enables us to love others.

### What Love Feels Like:
- **Emotionally**: Warmth, safety, joy, vulnerability, longing, and sometimes pain.
- **Behaviorally**: Acts of kindness, sacrifice, patience, listening, and presence.
- **Biologically**: Involves neurotransmitters like oxytocin, dopamine, and serotonin -- chemicals that bond us and create attachment.

### Love Is Also a Choice:
Beyond feelings, love is often a decision -- to show up, to forgive, to stay even when it's hard. It's not just a rush of butterflies; it's the quiet commitment to care for someone day after day.

### In Essence:
> **Love is seeing someone's soul -- and choosing to hold it gently.**

It's the reason people write poetry, compose music, risk everything for another, and find meaning in life. Love connects us -- to others, to ourselves, and to something greater than just our individual existence.

So what is love?  
It's complicated. It's messy. It's beautiful.  
And above all -- it's human. ❤️
--- done ---Altyapı:

Sonuç

Bu yazı yazıldığı sırada Qwen3-Next’in GGUF sürümü mevcut değildir; bu da onun Ollama veya Llama.cpp ile yerelde çalıştırılamayacağı anlamına gelir. Tam modelin etkili bir şekilde çalışması için dört A100 GPU gerekir; bu nedenle, modeli 80 GB VRAM’li tek bir A100 GPU üzerinde çalıştırmamıza olanak tanıyan bir kuantize sürümü tercih ettik. Modeli indirmek ve kurmak biraz zaman alsa da çıkarımın nasıl çalıştırılacağını başarıyla öğrendik.

Bu eğitimde, daha küçük olmasına rağmen hız ve doğruluk açısından diğer önde gelen kapalı kaynak modellerle rekabet eden Qwen3-Next modelini inceledik.

Modeli yerelde çalıştırdıktan sonra, curl komutu ve OpenAI Python SDK’sı ile eriştik. Yolculuğumuzdaki bir sonraki adım, modeli makinenize özel olarak optimize etmektir. Özellikle düşük seviye GPU’larda çıkarım hızını artırmak için 1,2 bit gibi daha küçük sürümleri keşfedebiliriz.

Alternatif olarak, kendi özel LLM sunucunuzu kurmak için bir GPU sunucusu kiralamayı düşünebilirsiniz; bu konuda Runpod iyi bir seçenektir.