Motif 3’ü DS4 ile Yerelde Nasıl Çalıştırır ve Bir Kodlama Aracısına Dönüştürürsünüz

Motif 3 nedir?

Motif-3, Motif Technologies’in Uzman Karışımı (MoE) yaklaşımını kullanan geniş ölçekli bir modeli olup toplam 314B parametreye sahiptir ve adıma (token) başına yalnızca 13,2B parametreyi etkinleştirir. 

Model, 384 yönlendirilen uzmana, 256K bağlam penceresine sahiptir ve yaklaşık 12,5 trilyon belirteç üzerinde; kod, matematik, STEM, çok dilli veri ve diğer alanları kapsayacak şekilde eğitilmiştir. 

Özellikle akıl yürütme, kodlama ve aracı (agent) iş yükleri için uygundur. Artificial Analysis Intelligence Index’te 47 puana ulaşır; bu da onu Qwen3.8-27B ile benzer bir kurulumda test ettiğimiz MiniMax-M3 arasına yerleştirir.

Kaynak: AI Model & API Providers Analysis | Artificial Analysis 

Mixed Quant GGUF nedir?

Bu kılavuzda, Motif-3’ün bağımsız biçimde oluşturulmuş kantize sürümü olan Baekpica/Motif-3-Mixed-Quant-GGUF kullanıyoruz. Tüm modelde tek bir hassasiyet düzeyi yerine karışık kantizasyon uygular; önemli bileşenlerde daha yüksek, devasa uzman katmanlarında ise çok daha düşük hassasiyet kullanır.

Örneğin, önemli dikkat ve her zaman etkin bileşenler Q8_0 kullanırken, yönlendirilen uzman ağırlıklarının büyük bölümü IQ2_XXS ve Q2_K kullanır. Model yine tüm 384 uzmanı ve 53 katmanın tamamını korur; herhangi bir kırpma veya kaldırma yapılmaz. Bu, modeli Q8_0 GGUF için yaklaşık 335 GB ile karşılaştırıldığında yaklaşık 94 GB’a düşürür; böylece 141 GB’lık bir H200 üzerinde, çalışma zamanı ve KV önbelleği için ek VRAM kalacak şekilde tamamen çalıştırılabilecek kadar küçük olur.

Arka plan için, LLM’ler için kantizasyon ve GGUF formatı kılavuzlarımızı okumanızı öneririm.

1. H200 GPU Sunucusu Kiralayın ve Kurun

Motif-3 Mixed Quant yaklaşık 94 GB’tır; bu nedenle modeli yüklemek ve çıkarım için pay bırakmak üzere yeterli VRAM’e sahip bir GPU’ya ihtiyacınız olacaktır. Hyperbolic, RunPod veya Vast.ai gibi bir GPU bulut sağlayıcısından 141 GB VRAM’e sahip tek bir NVIDIA H200 kiralamanızı öneririm.

Örneğiniz çalışır durumdayken, terminalinizden veya VS Code Remote SSH aracılığıyla bağlanın. Sağlayıcınız size IP adresini verecektir. Komut şu şekilde görünecektir:

ssh root@<SERVER_IP> -L 8080:localhost:8080

-L 8080:localhost:8080 seçeneği, Motif-3 API bağlantı noktasını yerel PC’nize de yönlendirir; böylece ileride http://127.0.0.1:8080 adresinden erişebilirsiniz.

Şimdi sunucuyu hazırlayın:

apt update
apt install -y git cmake build-essential python3-pip

pip install -U huggingface_hub

mkdir -p /workspace/motif3
cd /workspace/motif3

Son olarak H200’ün erişilebilir olduğunu kontrol edin:

nvidia-smi

Yaklaşık 141 GB VRAM’e sahip bir NVIDIA H200 görmelisiniz.

2. Motif-3 Mixed Quant GGUF’u İndirin

Sırada, Hugging Face’ten Baekpica/Motif-3-Mixed-Quant-GGUF modelini indirin. Yaklaşık 94 GB toplam boyuta sahip 11 GGUF dosyasına bölünmüş MQ87-88-FIT varyantını kullanıyoruz.

/workspace/motif3 dizininden şunu çalıştırın:

hf download Baekpica/Motif-3-Mixed-Quant-GGUF \
  --include "Motif-3-MQ87-88-FIT-*.gguf" \
  --include MQ87-88-FIT-SHA256SUMS \ 
  --local-dir model

Bağlantınıza bağlı olarak 94 GB’ın tamamını indirmek zaman alabilir. Tamamlandığında, tüm parçaların mevcut olduğunu kontrol edin:

ls -lh model

Birleştirmeden önce parçaları doğrulayın. Birleştirme işlemi 94 GB üzerinde tek seferliktir; bu yüzden hatalı bir indirmeyi şimdi yakalamaya değer:

cd model && sha256sum -c MQ87-88-FIT-SHA256SUMS && cd ..

3. GGUF Parçalarını Birleştirin

ds4 çalışma zamanı modeli tek bir GGUF dosyası olarak beklediğinden, önce indirdiğimiz 11 parçayı birleştirmemiz gerekir.

llama.cpp’yi klonlayın ve GGUF yardımcı aracını derleyin:

git clone --depth 1 https://github.com/ggml-org/llama.cpp.git

cmake -S llama.cpp -B llama.cpp/build -DLLAMA_CURL=OFF

cmake --build llama.cpp/build \
  --target llama-gguf-split \
  -j$(nproc)

Şimdi tüm 11 parçayı tek bir dosyada birleştirin:

./llama.cpp/build/bin/llama-gguf-split --merge \
  model/Motif-3-MQ87-88-FIT-00001-of-00011.gguf \
  motif3.gguf

Birleştirilen modeli kontrol edin:

ls -lh motif3.gguf

Büyük bir motif3.gguf dosyası görmelisiniz. 

4. Motif-3 Çalışma Zamanını Kurun

NVIDIA H200 üzerinde Motif-3’ü verimli biçimde yükleyip sunmak için ds4 çalışma zamanına ihtiyacımız var.

dfm dalını klonlayın:

git clone --branch dfm https://github.com/Baekpica/ds4.git
cd ds4

Bunu H200 (Hopper, sm_90) için CUDA desteğiyle derleyin. ds4’ün birincil hedefinin DGX Spark/GB10 olduğunu ve H200 desteğinin projenin asıl sunum yolundan ziyade ilk çalıştırma (bring-up) çalışmalarından geldiğini unutmayın:

make cuda CUDA_ARCH=sm_90 -j$(nproc)

İkili dosyaların başarıyla oluşturulduğunu kontrol edin:

ls -lh ds4*

ds4-server ve ds4_weight_server gibi ikilileri görmelisiniz.

5. Motif-3’ü GPU’ya Yükleyin

Ağırlık sunucusu, API sunucusunun çıkarım için kullanabilmesi amacıyla model ağırlıklarını GPU’da yükler ve yönetir.

Önce çalışma zamanı dosyaları ve KV önbelleği için dizinler oluşturun:

mkdir -p /workspace/motif3/run
mkdir -p /workspace/motif3/kv

Tam yüklemeye bağlanmadan önce modele sığacağınızı kontrol etmek için önce preflight’ı çalıştırın:

./ds4_weight_server \
  --base /workspace/motif3/motif3.gguf \
  --manifest /workspace/motif3/run/weights.manifest \
  --backend vmm \
  --scope base \
  --reserve-gb 24 \
  --no-repack-q8-aligned \
  --dry-run

Bu adım geçerse, aynı komutu --dry-run olmadan tekrar çalıştırın:

./ds4_weight_server \
  --base /workspace/motif3/motif3.gguf \
  --manifest /workspace/motif3/run/weights.manifest \
  --backend vmm \
  --scope base \
  --reserve-gb 24 \
  --no-repack-q8-aligned

Bu terminali çalışır durumda bırakın. Motif-3’ü çalıştırırken ağırlık sunucusunun etkin kalması gerekir.

6. Motif-3 API Sunucusunu Başlatın ve Test Edin

Şimdi, Motif-3’ü yerel bilgisayarınızdan erişebileceğiniz OpenAI ile uyumlu bir uç nokta üzerinden sunan ds4 API sunucusunu başlatacağız.

Başka bir terminal açın ve sunucuya bağlanın, ardından ds4 dizinine geçin:

cd /workspace/motif3/ds4

Gerekli ortam değişkenlerini ayarlayın:

export DS4_CUDA_WEIGHT_IPC_MANIFEST=/workspace/motif3/run/weights.manifest
export DS4_CUDA_WEIGHT_IPC_SCOPE=base
export DS4_SERVER_COALESCE_MAX=2
export DS4_SERVER_COALESCE_MAX_TOKENS=4096
export DS4_MOTIF3_PREFILL_CHUNK=4096

API sunucusunu 125K bağlam penceresiyle başlatın. H200 üzerinde çalışma zamanı 128K’ya kadar doğrulanmıştır; 256K yalnızca kısmi prefill’e ulaşır, dolayısıyla 125K test edilmiş sınırlar içinde kalır:

./ds4-server \
  -m /workspace/motif3/motif3.gguf \
  --cuda \
  -c 125000 \
  --host 0.0.0.0 \
  --port 8080 \
  --no-spec \
  --kv-disk-dir /workspace/motif3/kv \
  --kv-disk-space-mb 32768

Bu terminali çalışır durumda tutun.

SSH üzerinden daha önce 8080 bağlantı noktasını ilettiğimiz için, artık yerel PC’nizde bir terminal açıp API’yi kontrol edebilirsiniz:

curl http://127.0.0.1:8080/v1/models

motif-3 modelinin 125000 bağlam uzunluğu ile listelendiğini görmelisiniz.

Şimdi ilk isteminizi gönderin:

curl http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "motif-3",
    "messages": [
      {
        "role": "user",
        "content": "Explain mixture-of-experts models in simple terms."
      }
    ],
    "max_tokens": 256,
    "temperature": 0
  }'

Her şey düzgünse, Motif-3 yanıtı doğrudan H200’ünüzden üretecektir. Benim testimde model şu metriklere ulaştı:

• Üretim hızı: saniyede 23,7 token
• Prefill hızı: saniyede 189,3 token
• İlk token’a kadar süre (TTFT): yaklaşık 90 ms

Sunucuda GPU bellek kullanımını da kontrol edebilirsiniz:

nvidia-smi

Benim kurulumumda Motif-3, H200’ün bildirilen 141 GB GPU belleğinin yaklaşık 101 GB’ını kullandı ve çıkarım ile KV önbelleği için ek VRAM bıraktı.

7. Motif-3’ü Pi Kodlama Aracısına Bağlayın

Şimdi yerel Motif-3 API’sini Pi’ye bağlayacağız; böylece model dosya oluşturabilen, komut çalıştırabilen ve bir proje üzerinde yineleme yapabilen bir kodlama aracısı olarak çalışabilir.

Motif-3’ün hâlâ şu adreste erişilebilir olduğundan emin olun:

http://127.0.0.1:8080/v1

Pi’yi resmi yükleyiciyle kurun:

curl -fsSL https://pi.dev/install.sh | sh

Terminalinizi yeniden başlatın ve kurulumu doğrulayın:

pi --version

Pi, ~/.pi/agent/models.json üzerinden özel OpenAI uyumlu modelleri destekler. Yapılandırmayı oluşturun:

mkdir -p ~/.pi/agent

cat > ~/.pi/agent/models.json <<'EOF'
{
  "providers": {
    "motif-local": {
      "baseUrl": "http://127.0.0.1:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "motif-3",
          "name": "Motif-3",
          "reasoning": true,
          "input": ["text"],
          "contextWindow": 125000,
          "maxTokens": 125000
        }
      ]
    }
  }
}
EOF

8. Motif-3’ü Bir Kodlama Aracısı Olarak Test Edin

Artık Motif-3’e gerçek bir kodlama görevi verebilir ve bir uygulamayı özerk biçimde derleyip çalıştırıp iyileştirebildiğini görebiliriz.

Bir test projesi oluşturun ve Pi’yi başlatın:

mkdir -p ~/motif-test
cd ~/motif-test
pi

Motif-3 ile basit bir yapılacaklar uygulaması oluşturma

Modeli test edelim. Önce ondan basit bir yapılacaklar (to-do) uygulaması oluşturmasını isteyeceğiz.

Create a simple Python CLI to-do app that can add, list, complete, and delete tasks, save them locally to a JSON file, then run and test it.

Birkaç dakika içinde Motif-3 çalışan bir CLI uygulaması oluşturdu ve başarıyla test etti. İşlevsellik iyi çalıştı, ancak ilk arayüz oldukça basitti.

Daha sonra aracıdan uygulamayı daha etkileşimli ve renkli hâle getirmesini, yerleşimi iyileştirmesini ve terminal deneyimini zenginleştirmesini istedim. Motif-3, sıfırdan başlamak yerine mevcut projeyi değiştirdi ve geliştirilmiş sürüm kayda değer ölçüde daha cilalıydı.

Motif-3 ile bir web sitesi oluşturma

Son olarak, çalışan bir web sitesi üretmenin yalnızca zorluğun bir parçası olduğu, daha görsel bir web geliştirme görevinde Motif-3’ün nasıl performans gösterdiğini görmek istedim.

İlk uygulama çalıştı, ancak hoşuma gitmeyen birkaç arayüz detayı vardı. Modele tek bir büyük yeniden tasarım istemi vermek yerine, sorunları tek tek düzeltmesini isteyerek test ettikçe arayüzün bireysel kısımlarını iyileştirdim.

Bu şaşırtıcı derecede iyi çalıştı. Motif-3 mevcut projeyi inceleyebildi, hedefli değişiklikler yaptı ve uygulamayı işlevsel tutarken arayüzü tekrar tekrar iyileştirdi. 

Genel olarak hem kodlama performansından hem de Pi aracılığıyla mevcut bir proje üzerinde yineleme yapma becerisinden etkilendim.

Son Düşünceler

Genel olarak deneyimim biraz karışıktı. Motif-3 etkileyici, ancak çoğu kişi için çalıştırması daha kolay ve bellek açısından daha hafif daha iyi modeller var. 

Boyutu önemli ölçüde azaltsa da, karışık kantizasyonla bile modeli rahatça çalıştırmak için yaklaşık 100 GB veya daha fazla GPU ya da birleşik belleğe ihtiyacınız var. Bu nedenle, Qwen3.8-27B ve diğer kodlama odaklı modeller gibi çalıştırması çok daha kolay birçok daha küçük model mevcut.

Bununla birlikte, DeepSeek Flash sınıfına yakın bir şey istiyorsanız Motif-3 hâlâ gerçekten ilginç. H200 üzerinde hızlı, kodlama kalitesi iyi ve daha iyi ayarlamalarla muhtemelen daha fazla performans elde edilebilir. 

Yaşadığım ana sorun, bazen üretimin durduğu veya kesintiye uğradığı Pi kodlama aracısıyla ilgiliydi. Bazı çıktı sınırlarını artırdım ve bu yardımcı oldu, ancak sorunu tamamen çözmedi. Bu aynı zamanda DS4 çalışma zamanını ilk kez kullanışım; bu yüzden gelecekte daha fazla iyileştirme yapabilirim.

Yine de özellikle Kore’de geliştirilen bir model arıyorsanız veya Çin’de geliştirilen modellere bir alternatif istiyorsanız, şu anda en ilginç seçeneklerden biri. Ayrıca yalnızca birkaç büyük sağlayıcıya bağımlı olmak yerine daha fazla ülkenin kendi yapay zekâ modellerini ve ekosistemlerini inşa ettiğini görmek de sevindirici.