Yerel Yapay Zekâ İş Akışları için Unsloth Desktop Nasıl Kullanılır

Unsloth Studio, her şeyi yerelde bir masaüstü uygulaması olarak çalıştırmanıza olanak tanıyan Unsloth Desktop ile büyük bir yükseltme aldı. Bu, paket kurmaya, farklı araçları yapılandırmaya veya terminalde sürekli komut çalıştırmaya zaman harcamak istemediğiniz durumlarda özellikle kullanışlıdır.

Unsloth Desktop temelde yerel yapay zekâ iş akışları için hepsi bir arada bir çözümdür. 

Aynı uygulama içinden LLM’leri çalıştırabilir ve ince ayar yapabilir, görsel modelleri test edebilir, görüntü ve video üretebilir, görüntü modelleri eğitebilir, sesle çalışabilir, yapay zekâ kodlama araçlarını kullanabilir, modelleri yönetebilir ve yerel bir API çalıştırabilirsiniz.

Bu kılavuzda, Linux’a Unsloth Desktop’ı nasıl kuracağınızı, yerel LLM’leri nasıl çalıştıracağınızı, OpenCode ile nasıl bağlayacağınızı ve yerel bir modeli kullanarak nasıl bir Python projesi oluşturacağınızı göstereceğim. 

Ayrıca diğer bazı özelliklerini de keşfedecek ve tek bir uygulamadan yerelde ne kadar çok şey yapabileceğinizi göreceğiz.

1. NVIDIA GPU’nuzu Kontrol Edin

Unsloth Desktop’ı kurmadan önce NVIDIA GPU’nuzun algılandığını ve CUDA’nın düzgün çalıştığını hızlıca kontrol etmek iyi bir fikirdir. 

Bu, yerelde model çalıştırmaya veya ince ayar yapmaya başladığınızda yaşanabilecek sorunları önlemeye yardımcı olacaktır.

Önce terminali açıp şunu çalıştırın:

nvidia-smi

Bu komut NVIDIA GPU’nuzu, sürücü sürümünü, kullanılabilir GPU belleğini ve CUDA uyumluluk bilgilerini göstermelidir.

Ardından, sisteminizde yüklü CUDA derleyicisini kontrol edin:

nvcc --version

Şuna benzer bir çıktı görmelisiniz:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Her iki komut da çalışıyor ve GPU’nuz doğru şekilde algılanıyorsa, sisteminiz Unsloth Desktop için hazır demektir.

2. Unsloth Desktop’ı İndirin ve Kurun

Sonraki adımda, resmi Unsloth web sitesine gidin ve Unsloth Desktop’ı indirin. 

İşletim sisteminiz için doğru paketi seçtiğinizden emin olun.

Kaynak: Linux için Unsloth Desktop’ı indirin 

İndirme tamamlandıktan sonra paketi diğer masaüstü uygulamalarında olduğu gibi kurun. 

Linux’ta dağıtımınıza bağlı olarak bu bir .deb paket olabilir.

Kurulum tamamlandığında Unsloth Desktop’ı başlatın. 

Uygulama, mevcut donanımınızı otomatik olarak algılamalı ve ana arayüze erişim sağlamalıdır.

Buradan modelleri keşfedip indirebilir, LLM’leri yerelde çalıştırabilir, modellere ince ayar yapabilir, görüntüler ve diğer modalitelerle çalışabilir, yerel modellerinizi yönetebilir ve Unsloth Desktop içindeki diğer araçlara erişebilirsiniz.

3. Unsloth Desktop’ta Bir LLM İndirin ve Çalıştırın

Unsloth Desktop’ta Model hub’ı açın ve çalıştırmak istediğiniz modeli arayın. 

Bu test için, en sevdiğim küçük modellerden birini kullandım:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Modeli indirdikten sonra yükleyebilir ve doğrudan Unsloth Desktop içinde sohbet etmeye başlayabilirsiniz. 

Sistemimde ortalama olarak saniyede yaklaşık 102 token elde ediyordum; bu değer bazı kodlama odaklı sorgularda saniyede yaklaşık 125 token’a çıktı. 

Ayrıca web erişimini etkinleştirip modelden en güncel borsa haberleri hakkında sorular sordum. 

Bu, modelin kendi bilgisinin ötesinde bilgiye ihtiyaç duyduğunuzda yerel sohbet deneyimini çok daha kullanışlı hale getiriyor. 

Sırada sadece soruları yanıtlamanın ötesinde bir şeyler inşa edip edemeyeceğini görmek istedim. 

Bir web sitesi oluşturmasını istedim; kodu üretti ve sohbetin yanında siteyi gösterdi; böylece değişikliklere devam ederken sonucu görmek kolay oldu. 

4. Bir Görsel Modeli Test Edin

Unsloth Desktop ayrıca görme-dil modellerini de destekler; bu sayede bir görüntüyü doğrudan sohbete yükleyip onunla ilgili sorular sorabilirsiniz.

Benim testimde, gerekli görsel kodlayıcı modeli indirdiğimde otomatik olarak kuruldu. 

Sadece bir görsel yükledim, onunla ilgili bir soru sordum ve model birkaç saniye içinde son derece isabetli bir yanıt döndürdü.

Görsel desteği özellikle kodlama ajanlarıyla çalışırken çok faydalıdır. 

Örneğin bir web sitesinin ekran görüntüsünü yükleyip düzeltilmesini istediğiniz bir sorunu işaret edebilir, yeniden oluşturmak istediğiniz bir tasarımı ajana gösterebilir veya kendi uygulamanızı geliştirirken mevcut bir arayüzü görsel referans olarak kullanabilirsiniz. 

5. Unsloth Desktop’ı OpenCode ile Kullanın

Daha küçük modeller test için ve bazı hafif ajan temelli kodlama işleri için harikadır. 

Ancak daha büyük projeleri kaldırabilecek ciddi bir yerel kodlama ajanı istiyorsanız, GPU’nuzun VRAM’ine sığabilecek daha güçlü bir modele ihtiyacınız olacak.

Benim durumumda 24 GB VRAM’li RTX 3090 kullanıyorum; bu nedenle Muse Glimmer 30B’nin Q4 sürümünü indirdim.

Unsloth Desktop’ta Models sekmesini açın, modeli arayın ve UD-Q4_K_XL sürümünü indirin. 

Birkaç dakika içinde model indirilip sisteminizde yüklenmiş olmalıdır.

Varsayılan olarak bağlam penceresi yaklaşık 4K’ya ayarlıydı; bu, birden çok dosya üzerinde çalışan bir kodlama ajanı için çok küçüktür. 

Unsloth Desktop’ta sağ paneli açın, bağlam uzunluğunu 64K olarak değiştirin, aşağı kaydırın ve modeli yeniden yükleyin. 

Model yeniden yüklendikten sonra, GPU bellek kullanımınızı kontrol etmek için Ayarlar → Sistem bölümüne gidin. 

Benim durumumda model yaklaşık 22 GB VRAM kullanıyordu ve KV önbellek için yaklaşık 2 GB boş kalıyordu. Bu, testlerim için yeterliydi; ancak kullanılabilir bellek, GPU’nuz ve iş yükünüze bağlı olacaktır. 

Sonra Ayarlar → Ajanlar bölümünü açın ve kodlama ajanı olarak OpenCode’u seçin. 

Unsloth Desktop, başlatmanız gereken komutu otomatik olarak oluşturacaktır. 

Önce terminal kullanarak bir proje dizini oluşturun:

mkdir unsloth-project
cd unsloth-project

Ardından OpenCode’u başlatın:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Komutta bağlam uzunluğunu eklediğinizden emin olun. 

Aksi halde OpenCode, varsayılan daha küçük bağlam penceresiyle başlayabilir.

Komut, gerekirse OpenCode’u kuracak ve ardından yerel Unsloth modeliniz kullanıma hazır şekilde terminal arayüzünü başlatacaktır. 

6. OpenCode ile Bir Proje Oluşturun

Artık her şey bağlandığına göre, yerel kodlama ajanına düzgün bir test yapmak istedim. 

Küçük bir kod parçacığı üretmesini istemek yerine, sıfırdan Python ile Mario tarzı bir oyun geliştirmesini istedim.

Şu istemi kullandım:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. 
Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode önce bir yapılacaklar listesi oluşturdu ve ardından projeyi adım adım ilerletmeye başladı. Dosyaları oluşturdu, oyun mantığını yazdı, bağımlılıkları yönetti ve sonunda oyunu başlatmak için gereken komutu verdi. 

Son oyun çalıştı; ancak hâlâ biraz hatalıydı. 

Muse Glimmer’ın Q4 sürümü bu daha büyük kodlama görevi için umduğum kadar iyi performans göstermedi; yeterli VRAM’iniz varsa daha iyi kodlama performansı için Q8 sürümünü denemenizi öneririm. 

Unsloth Desktop’ın Diğer Önemli Özellikleri

Şimdiye kadar Unsloth Desktop’ı çoğunlukla LLM çalıştırma ve kodlama ajanları için kullandık; ancak çok daha fazlasını yapabiliyor. 

Fikir, her görev için farklı bir araç kurmak yerine, yerel yapay zekâ iş akışlarınızın çoğunun aynı uygulamadan erişilebilir olmasıdır.

LLM ince ayarı

LLM’lere yerelde LoRA ve QLoRA gibi yöntemlerle ince ayar yapabilirsiniz. 

Kodsuz eğitim arayüzü, veri kümenizi seçmeyi, eğitim ayarlarını yapılandırmayı, çalıştırmayı başlatmayı ve tüm eğitim hattını kendiniz kurmadan nihai modeli dışa aktarmayı da kolaylaştırır.

Görüntü üretimi ve düzenleme

Desteklenen difüzyon modellerini indirip metin istemlerinden yerelde görüntü üretebilirsiniz. Ayrıca mevcut bir görüntüyü yükleyip istediğiniz değişiklikleri tarif ederek desteklenen modellerle görüntü düzenleme yapabilirsiniz.

Görüntü LoRA eğitimi

Görüntü üretiminin ötesine geçmek isterseniz, kendi veri kümeniz üzerinde görüntü LoRA’ları da eğitebilirsiniz. 

Bu, bir modele belirli bir konu, karakter, ürün veya görsel stili öğretmek ve ardından bu LoRA’yı gelecekteki üretimlerde kullanmak için faydalıdır.

Video üretimi

Unsloth Desktop, desteklenen difüzyon modellerini kullanarak yerel video üretim iş akışlarını da destekler. 

Bu, ayrı bir ortam kurmak yerine hem görüntü hem de video üretimini aynı uygulamadan denemeler yapabileceğiniz anlamına gelir.

Konuşma ve ses modelleri

Konuşmadan metne, metinden konuşmaya ve diğer desteklenen ses modelleriyle çalışabilirsiniz. 

Bu sayede sesi yazıya dökebilir, konuşma üretebilir ve farklı ses tabanlı yapay zekâ iş akışlarını yerelde deneyebilirsiniz.

Veri tarifleri

Veri tarifleri, PDF ve CSV gibi dosyaları inceleyebileceğiniz, düzenleyebileceğiniz ve eğitime hazırlayabileceğiniz veri kümelerine dönüştürmeye yardımcı olur. 

Bu, kendi veriniz olduğunda ancak veri kümesini sıfırdan elle oluşturmak istemediğiniz durumlarda özellikle kullanışlıdır.

Model depolama ve yönetimi

Daha fazla model indirip kendi modellerinizi eğitmeye başladıkça, her şeyin yönetimi hızla karmaşık hale gelebilir. 

Unsloth Desktop, indirilen modelleri, veri kümelerini, adaptörleri, eğitim çalıştırmalarını ve diğer yerel varlıkları yönetmek için tek bir yer sunar.

Modelleri dışa aktarma

Unsloth Studio, Safetensors/LoRA modellerini GGUF ve diğer formatlara dışa aktarmayı resmî olarak destekler. Dışa aktarılan modelleri çalıştırmak için llama.cpp açıkça desteklenir. 

Yerel API

Son olarak, Unsloth Desktop yerel modelinizi OpenAI uyumlu bir API aracılığıyla sunabilir. Böylece barındırılan bir model API’sine bağımlı olmadan yerelde çalışan modellerinizi diğer uygulamalara, kodlama araçlarına veya yapay zekâ projelerine bağlamak kolaylaşır.

Son Düşünceler

Unsloth Desktop gerçekten ilginç bir yöne ilerliyor. 

LLM’lerin, ince ayarın, görüntü ve video üretiminin, kodlama ajanlarının, veri kümelerinin ve yerel API’lerin tek bir masaüstü uygulamasında bulunması, özellikle her aracı elle yapılandırmak istemeyenler için yerel yapay zekâ ile çalışmayı çok daha kolaylaştırıyor.

Bununla birlikte, hâlâ biraz pürüzlü bir his veriyor. 

Daha eski GPU’larda veya güncel olmayan CUDA sürücülerine sahip sistemlerde, Linux veya Windows’ta bağımlılıkları giderme ve bazı şeyleri elle kurma ihtiyacı doğabilir.

Ben de görüntü üretimi, bağlam ayarları ve kodlama ajanlarıyla ilgili bazı sorunlarla karşılaştım. 

Örneğin, Unsloth Desktop’ta model bağlamını artırırsanız, kodlama ajanını başlatırken de açıkça aynı bağlam uzunluğunu ayarlamanız gerekebilir. Bazı web sitesi üretimi ve Canvas tarzı iş akışları da her zaman beklediğim gibi davranmadı.

Unsloth çok kısa sürede çok sayıda özellik ekledi; ancak her şey henüz tamamen stabil hissettirmiyor. Desktop daha optimize ve olgun hale geldikçe bu sorunların çoğunun iyileşmesini bekliyorum.

Şimdilik, ana hedefim yalnızca bir yapay zekâ kodlama ajanı veya başka bir uygulama için yerel bir LLM sunmaksa, hâlâ llama.cpp’yi tercih ediyorum. 

Model, bağlam, GPU offload, bellek kullanımı ve diğer düşük seviye ayarlar üzerinde çok daha fazla kontrol sağlıyor.

Unsloth Desktop kullanımı çok daha kolayken, yapılandırmayı ince ayar yapmak ve donanımımdan mümkün olan en yüksek performansı almak istediğimde yine de llama.cpp daha iyi bir seçenek.