Unsloth Studio’yu Yerelde Çalıştırma: Adım Adım Kılavuz

Muhtemelen Unsloth’u zaten duymuşsunuzdur. Yeni açık modellerin nice’lenmiş sürümlerini hızla yayımlamalarıyla bilinirler; bu sayede modelleri yerel çıkarım kurulumlarında indirmek, yüklemek ve çalıştırmak daha kolay hale gelir. Ayrıca, en yeni açık modelleri baştan sona zahmete dönüşmeden çalıştırma ve ince ayar yapma konusunda pratik rehberleriyle güçlü bir itibar kazandılar. 

Yakın zamanda çıkan Unsloth Studio ise bu iş akışının çoğunu tek bir yere getiriyor: modelleri çalıştırmak ve eğitmek için yerel bir web arayüzü. GGUF ve Safetensors desteği, yan yana model karşılaştırma, çıkarım parametrelerinin otomatik ayarlanması, araç çağırma ve OpenAI uyumlu bir API sunuyor.

Bu eğitimde, Unsloth Studio için gereken ortamı nasıl hazırlayacağınızı, yerel kurulumunu nasıl yapacağınızı, arayüzü nasıl başlatacağınızı ve bir modeli doğrudan UI üzerinden nasıl test edeceğinizi adım adım anlatacağım. Ne dağınık manuel boru hatları, ne beş farklı araç arasında gidip gelme, ne de başlamak için fazladan çıkarım kodu yazma derdi var. 

Ayrıca Unsloth Studio ile İnce Ayar rehberimize ve daha fazla bilgi için orijinal Unsloth rehberimize de göz atabilirsiniz. 

Unsloth Studio Nedir?

Unsloth Studio, Unsloth’un yeni açık kaynak yerel web arayüzüdür; tek bir yerden açık modelleri çalıştırmayı, eğitmeyi ve dışa aktarmayı sağlar. Çıkarım, ince ayar ve test için ayrı araçlarla uğraşmak yerine, her şeyi kendi makinenizde çalıştırabileceğiniz tek bir kurulumda toplar. 

Unsloth Studio, GGUF ve Safetensors modellerini destekler; Mac, Windows ve Linux’ta çalışır ve betikleri el ile birleştirmek yerine görsel bir iş akışı isteyenler için yerel model denemelerini çok daha kolay hale getirmek üzere tasarlanmıştır.

Unsloth Studio’nun temel özellikleri

Bu aracı ilgi çekici kılan birkaç dikkat çekici özellik var, örneğin:

• Tek bir arayüzden modelleri arayın, indirin ve yerelde çalıştırın
• İki modeli yan yana karşılaştırın
• Kendi kendini iyileştiren araç çağırmayı ve yerleşik web aramasını kullanın
• Çıkarım ayarlarını otomatik olarak düzenleyin
• Sohbet şablonlarını kolayca düzenleyin
• OpenAI uyumlu API’lere erişin
• Kod yazmadan modelleri ince ayar yapın
• PDF, CSV, JSON, DOCX ve TXT gibi dosyalardan otomatik veri kümeleri oluşturun
• Modelleri GGUF ve 16 bit Safetensors gibi formatlara dışa aktarın

Unsloth Studio için önkoşullar

Kuruluma başlamadan önce, sisteminizde Unsloth Studio’yu yerelde çalıştırmak için gereken temel araçların bulunduğundan emin olun. Kurulum oldukça yönetilebilir, ancak yalnızca sohbet etmek yerine modelleri ince ayar yapmak istiyorsanız, GPU’ya hazır daha kapsamlı bir ortama ihtiyacınız olacak.

• Python: Sürüm 3.11–3.13
• Git: Depoyu klonlamak ve yönetmek için gerekli
• CMake: Kurulum sırasında yerel bileşenleri derlemek için gerekli
• macOS araçları: macOS’te Homebrew ve OpenSSL de gerekebilir
• NVIDIA GPU: Modelleri yerelde ince ayar yapmak istiyorsanız gerekli
• Güncel NVIDIA sürücüleri: Kurulum, CUDA veya eğitim sorunlarını önlemek için önerilir

Kısaca, temel yerel sohbeti CPU’da çalıştırmak daha kolaydır; ancak ince ayar için standart kurulum araçlarının yanı sıra doğru NVIDIA donanımı ve güncel sürücüler gerekir.

RunPod Ortamınızı Hazırlayın

Bu eğitim için bir RunPod A40 makinesi kullanacağız. Her şeyi dizüstümde çalıştırabilirdim, ancak yeterli depolama alanım yok ve büyük modeller ile bağımlılıkları rahatça indirmek için internetim çok yavaş. 

Bu yüzden uzun indirme süreleri, yavaş derlemeler ve yerel sistemimi gereksiz yere doldurma riskiyle uğraşmak yerine, bu iş akışı için kurulumu çok daha hızlı olan basit bir bulut seçeneği olarak RunPod’u kullanıyorum.

• Yeni bir A40 pod’u oluşturup en güncel PyTorch 2.8.0 şablonunu seçerek başlayın. 
• Dağıtmadan önce pod ayarlarını düzenleyin ve container diskini 50 GB, volume diskini ise 100 GB olarak ayarlayın; böylece kurulum ve model indirmeleri için yeterli alanınız olur. 
• Ayrıca HTTP 8888 numaralı bağlantı noktasını Jupyter Notebook için ve 8910 portunu Unsloth Studio için açmalısınız. 
• Hugging Face belirtecinizi ortam değişkeni olarak eklemek isteğe bağlıdır; ancak model indirmelerini hızlandırmaya ve kısıtlı modellere erişimi kolaylaştırmaya yardımcı olabilir.

Her şey doğru görünüyorsa değişiklikleri kaydedin, pod özetini gözden geçirin ve pod’u dağıtın.

Unsloth Studio’yu Kurun

Bir dakika kadar içinde, RunPod panosunda JupyterLab’e erişim bağlantısını göreceksiniz. Açın ve bir terminal başlatın. SSH kullanıp portları yerelde yönlendirebilir veya web terminalini de kullanabilirsiniz; ancak bu tür kurulumlar için JupyterLab terminalini çok daha pratik buluyorum. Erişimi hızlı, yönetimi basit ve hiçbir sorun olmadan aynı anda birden fazla terminal açık tutmanıza izin veriyor.

Önce pip’i yükseltin ve uv’yi kurun. 

pip install --upgrade pip && pip install uvAltyapı:

Ardından proje için yeni bir klasör oluşturup içine geçin.

mkdir Unsloth-Studio && cd Unsloth-StudioAltyapı:

Sonrasında uv kullanarak bir sanal ortam oluşturun.

uv venvAltyapı:

Bunun ardından sanal ortamın başarıyla oluşturulduğunu gösteren buna benzer bir çıktı görmelisiniz.

Using CPython 3.12.3 interpreter at: /usr/local/bin/python
Creating virtual environment at: .venv
Activate with: source .venv/bin/activateAltyapı:

Şimdi sanal ortamı etkinleştirin.

source .venv/bin/activateAltyapı:

Ortam etkinleştirildikten sonra, Unsloth’u uv ile kurun.

uv pip install unsloth --torch-backend=autoAltyapı:

Son olarak Studio kurulum komutunu çalıştırın. Bu adım, sizin yerinize daha ağır işleri halleder; Node.js ve npm kurar, llama.cpp derlemesini yapar ve bu çalışma için gereken ek Python paketlerini kurar.

unsloth studio setupAltyapı:

Kurulum tamamlandığında, Unsloth Studio’yu yerelde başlatmak için gereken komutu göreceksiniz.

Unsloth Studio’yu Yerelde Başlatın

Başta RunPod şablonunu düzenlerken 8910 portunu açtığımızı unutmayın. 

Şimdi Unsloth Studio’yu bu portta başlatacağız; böylece sadece makine içindeki localhost’u kullanmak yerine, doğrudan RunPod bağlantısı üzerinden erişebileceğiz.

Unsloth Studio web çıkarımını başlatmak için terminalde aşağıdaki komutu çalıştırın.

unsloth studio -H 0.0.0.0 -p 8910Altyapı:

Başladığında, A40 GPU’nun algılandığını, varsayılan yönetici kimlik bilgilerini ve zaten indirilmiş, kullanıma hazır varsayılan modeli göreceksiniz. Çoğu durumda, varsayılan olarak Qwen3.5 4B nice’lenmiş model bulunur; böylece önce başka bir model indirmeden Studio’yu hemen test etmeye başlayabilirsiniz.

Terminalde görünen localhost bağlantısına tıklamak yerine, RunPod panosuna geri dönüp Connect sekmesini açın. Buradan 8910 portu bağlantısına tıklayarak Unsloth Studio web arayüzünü açın.

İlk açtığınızda, Studio sizden yeni bir parola oluşturmanızı isteyecek. Bu örneği herkesin görebileceği o genel bağlantıdan erişime açık bırakmamak için bir parola belirleyin.

Bundan sonra, isterseniz atlayabileceğiniz bir başlangıç akışına yönlendirileceksiniz. Arayüz, düğmeler ve ana bölümler için hızlı bir tur isterseniz faydalı; ancak başlamak için şart değil.

İçeri girdiğinizde Unsloth Studio panosuna ulaşacaksınız. Arayüz dört ana sekmeden oluşur. 

Studio bölümünde ince ayar yaparsınız; Recipes ile PDF ve CSV gibi dosyalardan veri kümeleri oluşturursunuz; Export, ince ayarlı modelleri GGUF veya 16 bit Safetensors gibi formatlarda kaydetmenize yardımcı olur; Chat ise modelle doğrudan etkileşime geçtiğiniz yerdir.

Unsloth Studio Sohbet Arayüzünü Test Edin

Chat sekmesine tıklayın, ardından sol üst köşedeki Model seç düğmesine basın. Ekran görüntüsünde gösterildiği gibi Qwen3.5 4B modeli zaten indirilmiş. Üzerine tıklayın, ardından kurulu nice’lenmiş sürümü seçin ve kullanıma hazırsınız. Modelin GPU belleğine yüklenmesi birkaç saniye sürecektir.

Test etmek için bir matematik sorusu verdik ve yanıt şaşırtıcı derecede hızlı, akıcı ve tutarlıydı.

Ayrıca web aramasını etkinleştirip güncel konular hakkında soru sorabilirsiniz. Bu seçenek açıldığında, Unsloth Studio önce bir web araması yapar, ardından elde ettiği bilgileri modele aktararak daha temellendirilmiş bir yanıt üretmesini sağlar.

Gördüğünüz gibi borsa hakkında önde gelen yayınlardan ilk beş haber sonucunu döndürdü.

Ayrıca Hugging Face üzerinden istediğiniz modeli arayıp doğrudan arayüz içinden indirebilirsiniz. Bu örnekte Qwen3.5 9B 4 bit nice’lenmiş modelini indirdik.

Modelin üzerine tıkladığınızda indirme başlar. Model boyutuna ve internet hızınıza bağlı olarak bu işlem biraz zaman alabilir.

İndirme tamamlandıktan sonra yeni indirilen modeli yükleyebilirsiniz. Unsloth Studio birkaç saniye içinde önceki modelden yenisine geçerek daha yetenekli bir modele erişmenizi sağlar.

Daha sonra yeni modelden bir tembel hayvanın SVG sanatını üretmesini istedik.

İlk olarak isteği akıl yürütme ile ele aldı, ardından SVG kodunu üretti ve son olarak tembel hayvan çizimini doğrudan arayüzde görüntüledi.

Kesinlikle bir tembel hayvana benziyordu, ama pek etkileyici değildi. Daha büyük ve güçlü bir modelle, özellikle daha güçlü bir GPU ve yeterli RAM’e sahip bir sistemde sonuçlar genellikle çok daha iyi olur.

Unsloth Studio sohbet arayüzünde ayrıca çeşitli yapılandırma seçenekleri bulunur. Üretim parametrelerini ayarlayabilir, bir sistem komutu ekleyebilir, sohbet şablonunu değiştirebilir ve modelin davranışı üzerinde daha özgürce deney yapabilirsiniz.

Son Düşünceler

Genel olarak Unsloth Studio’yu kullanmaktan gerçekten keyif aldım. Kurulum beklediğim kadar pürüzsüz değildi ve yol boyunca kesinlikle birkaç can sıkıcı nokta vardı; ancak her şey nihayet çalışmaya başladığında deneyim benim için tamamen değişti. 

En büyük sorun unsloth studio setup adımıydı. Kağıt üzerinde basit görünüyor; ama gerçekte her şeyin kurulması neredeyse 15–20 dakika sürdü. Muhtemelen kurulumun bazı kısımlarını kendim çok daha kısa sürede yapabilirdim. 

Belgelerde bile 5–10 dakikaya daha yakın bir süre belirtiliyor; ama benim durumumda kesinlikle daha uzun sürdü.

İkinci can sıkıcı nokta ise depolama oldu. Başta orta düzeyde alanın yeteceğini düşünmüştüm; ancak tam kurulumun toplamda yaklaşık 100 GB tuttuğu ortaya çıktı; beklediğimden çok daha fazlaydı. Tüm bu alanın nereye gittiğinden tam emin değilim. 

Sanal ortam, indirilen bağımlılıklar, model dosyaları, derleme çıktıları ya da kurulum sırasında bazı araçların daha küresel seviyede yüklenmiş olması nedeniyle olabilir. Bu kısım çok da şeffaf değildi. 

Ama tüm bu sorunlara rağmen Unsloth Studio gerçekten açıldığında bayıldım. Arayüz cilalı, hızlı ve şaşırtıcı derecede kullanımı kolay hissettiriyor. 

Her şey tek bir yerde, iş akışı akıcı ve yerel model denemelerini çok daha erişilebilir kılıyor. Yani kurulum biraz sabrınızı test etse de, ürünün sunduğu gerçek deneyim buna değdiğini hissettiriyor.