Yerel Yapay Zeka İş Akışları için Unsloth Desktop Nasıl Kullanılır

Unsloth Studio, her şeyi yerel olarak bir masaüstü uygulaması şeklinde çalıştırmanıza olanak tanıyan Unsloth Desktop ile büyük bir yükseltme aldı. Bu, paket kurmaya, farklı araçları yapılandırmaya veya terminalde sürekli komut çalıştırmaya zaman harcamak istemiyorsanız özellikle kullanışlıdır.

Unsloth Desktop temelde yerel yapay zeka iş akışları için hepsi bir arada bir çözümdur. Aynı uygulama üzerinden LLM’leri çalıştırabilir ve ince ayar yapabilir, görsel modelleri test edebilir, görüntü ve video üretebilir, görüntü modelleri eğitebilir, sesle çalışabilir, yapay zeka kodlama araçlarını kullanabilir, modelleri yönetebilir ve yerel bir API çalıştırabilirsiniz.

Bu kılavuzda Linux’a Unsloth Desktop kuracak, yerel LLM’ler çalıştıracak, OpenCode ile entegre edecek ve yerel bir modeli kullanarak bir Python projesi oluşturacağız. Ayrıca diğer bazı özelliklerini keşfedecek ve tek bir uygulamayla yerelde ne kadar çok şey yapabileceğinizi göreceğiz.

1. NVIDIA GPU’nuzu Kontrol Edin

Unsloth Desktop’ı kurmadan önce, NVIDIA GPU’nuzun algılandığını ve CUDA’nın düzgün çalıştığını hızlıca kontrol etmek iyi bir fikirdir. Bu, modelleri yerelde çalıştırmaya veya ince ayar yapmaya başladığınızda yaşanabilecek sorunları önlemeye yardımcı olur.

Önce terminali açın ve şunu çalıştırın:

nvidia-smi

Bu komut, NVIDIA GPU’nuzu, sürücü sürümünü, kullanılabilir GPU belleğini ve CUDA uyumluluk bilgilerini göstermelidir.

Ardından, sisteminizde yüklü CUDA derleyicisini kontrol edin:

nvcc --version

Aşağıdakine benzer bir çıktı görmelisiniz:

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2025 NVIDIA Corporation
Built on Tue_May_27_02:21:03_PDT_2025
Cuda compilation tools, release 12.9, V12.9.86
Build cuda_12.9.r12.9/compiler.36037853_0

Her iki komut da çalışıyor ve GPU’nuz doğru şekilde algılanıyorsa, sisteminiz Unsloth Desktop için hazır demektir.

2. Unsloth Desktop’ı İndirin ve Kurun

Sonraki adımda resmi Unsloth web sitesine gidin ve Unsloth Desktop’ı indirin. İşletim sisteminiz için doğru paketi seçtiğinizden emin olun.

Kaynak: Linux için Unsloth Desktop’ı indirin 

İndirme tamamlandıktan sonra, paketi diğer masaüstü uygulamalarında olduğu gibi kurun. Linux’ta bu, dağıtımınıza bağlı olarak bir .deb paketi olabilir.

Kurulum tamamlandığında Unsloth Desktop’ı başlatın. Uygulama, kullanılabilir donanımınızı otomatik olarak algılamalı ve ana arayüze erişmenizi sağlamalıdır.

Buradan modelleri keşfedip indirebilir, LLM’leri yerelde çalıştırabilir, modelleri ince ayar yapabilir, görüntüler ve diğer modalitelerle çalışabilir, yerel modellerinizi yönetebilir ve Unsloth Desktop içindeki diğer araçlara erişebilirsiniz.

3. Unsloth Desktop’ta Bir LLM İndirin ve Çalıştırın

Unsloth Desktop’taki Model merkezini açın ve çalıştırmak istediğiniz modeli arayın. Bu test için favori küçük modellerimden birini kullandım:

empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF · Hugging Face

Modeli indirdikten sonra yükleyebilir ve Unsloth Desktop içinde doğrudan onunla sohbet etmeye başlayabilirsiniz. Sistemimde ortalama olarak saniyede yaklaşık 102 token alıyordum; kodlamayla ilgili bazı sorgularda bu değer saniyede yaklaşık 125 token’a çıktı. 

Ayrıca web erişimini etkinleştirdim ve modelden en son borsa haberleri hakkında sorular sordum. Modelin zaten bildiklerinin ötesinde bilgiye ihtiyaç duyduğunuzda bu, yerel sohbet deneyimini çok daha kullanışlı hale getiriyor. 

Sonraki adımda, yalnızca soruları yanıtlamak yerine bir şey inşa edip edemeyeceğini görmek istedim. Ondan bir web sitesi oluşturmasını istedim; kodu üretti ve sohbetin yanında siteyi gösterdi, böylece değişiklik yapmaya devam ederken sonucu görmek kolay oldu. 

4. Bir Görsel Modeli Test Edin

Unsloth Desktop, görsel-dil modellerini de destekler; bu sayede bir görüntüyü doğrudan sohbete yükleyip onunla ilgili sorular sorabilirsiniz.

Benim testimde, gerekli görsel kodlayıcı modeli indirdiğimde otomatik olarak kuruldu. Sadece bir görsel yükledim, onunla ilgili bir soru sordum ve model birkaç saniye içinde son derece isabetli bir yanıt verdi.

Görsel desteği, kodlama ajanlarıyla çalışırken özellikle faydalıdır. Örneğin, bir web sitesinin ekran görüntüsünü yükleyip düzeltilmesini istediğiniz bir sorunu işaret edebilir, yeniden oluşturmak istediğiniz bir tasarımı ajana gösterebilir veya kendi uygulamanızı geliştirirken mevcut bir arayüzü görsel referans olarak kullanabilirsiniz. 

5. Unsloth Desktop’ı OpenCode ile Kullanın

Daha küçük modeller, test ve hafif ajan temelli kodlama için harikadır. Ancak daha büyük projelerin üstesinden gelebilecek ciddi bir yerel kodlama ajanı istiyorsanız, GPU’nuzun VRAM’ine sığabilecek daha güçlü bir modele ihtiyacınız olacaktır.

Benim durumumda, 24 GB VRAM’li RTX 3090 kullanıyorum; bu nedenle Muse Glimmer 30B’nin Q4 sürümünü indirdim.

Unsloth Desktop’ta Modeller sekmesini açın, modeli arayın ve UD-Q4_K_XL sürümünü indirin. Birkaç dakika içinde model sisteminize indirilmiş ve yüklenmiş olmalıdır.

Varsayılan olarak bağlam penceresi yaklaşık 4K olarak ayarlanmıştı; bu, birden fazla dosyada çalışan bir kodlama ajanı için çok küçüktür. Unsloth Desktop’ta sağ paneli açın, bağlam uzunluğunu 64K olarak değiştirin, aşağı kaydırın ve modeli yeniden yükleyin. 

Model yeniden yüklendikten sonra, GPU bellek kullanımınızı kontrol etmek için Ayarlar → Sistem bölümüne gidin. Benim durumumda model yaklaşık 22 GB VRAM kullanıyordu ve KV önbelleği için yaklaşık 2 GB boş kalıyordu. Testlerim için bu yeterliydi; ancak kullanılabilir bellek, GPU’nuz ve iş yükünüze bağlı olacaktır. 

Ardından Ayarlar → Ajanlar’ı açın ve kodlama ajanı olarak OpenCode’u seçin. Unsloth Desktop, başlatmanız gereken komutu otomatik olarak oluşturacaktır. 

Önce terminali kullanarak bir proje dizini oluşturun:

mkdir unsloth-project
cd unsloth-project

Sonra OpenCode’u başlatın:

unsloth start opencode \
  --model unsloth/Muse-Glimmer-30B-GGUF:UD-Q4_K_XL \
  --context-length 64000

Komuta bağlam uzunluğunu dahil ettiğinizden emin olun. Aksi halde OpenCode varsayılan küçük bağlam penceresiyle başlayabilir.

Komut, gerekirse OpenCode’u kuracak ve ardından yerel Unsloth modeliniz kullanıma hazır şekilde terminal arayüzünü başlatacaktır. 

6. OpenCode ile Bir Proje Oluşturun

Artık her şey bağlandığına göre, yerel kodlama ajanına gerçek bir sınav vermek istedim. Ondan küçük bir kod parçası üretmesini istemek yerine, baştan sona Python ile Mario tarzı bir oyun oluşturmasını istedim.

Şu istemi kullandım:

Create a simple Mario-style 2D platform game in Python using Pygame. 
Add left/right movement, jumping, platforms, coins, enemies, a score counter, and a finish flag. 
Use simple built-in shapes instead of external assets. Create the files, install dependencies, test the game, and tell me how to run it.

OpenCode önce bir yapılacaklar listesi oluşturdu ve ardından projeyi adım adım yürütmeye başladı. Dosyaları oluşturdu, oyun mantığını yazdı, bağımlılıkları yönetti ve sonunda oyunu başlatmam için komutu verdi. 

Son oyun çalıştı, ancak hâlâ biraz hatalıydı. Muse Glimmer’ın Q4 sürümü bu daha büyük kodlama görevi için umduğum kadar iyi performans göstermedi; bu nedenle yeterli VRAM’iniz varsa daha iyi kodlama performansı için Q8 sürümünü denemenizi öneririm. 

7. Unsloth Desktop’ın Diğer Önemli Özellikleri

Şimdiye kadar Unsloth Desktop’ı ağırlıklı olarak LLM’ler ve kodlama ajanlarını çalıştırmak için kullandık; ancak çok daha fazlasını yapabilir. Amaç, her görev için farklı bir araç kurmak yerine, yerel yapay zeka iş akışlarınızın çoğunu aynı uygulamadan erişilebilir kılmaktır.

LLM İnce Ayarı

LLM’leri yerelde LoRA ve QLoRA gibi yöntemlerle ince ayar yapabilirsiniz. Kod yazmadan eğitim arayüzü, veri kümenizi seçmeyi, eğitim ayarlarını yapılandırmayı, çalıştırmayı başlatmayı ve tüm eğitim hattını kendiniz kurmadan nihai modeli dışa aktarmayı da kolaylaştırır.

Görüntü Üretimi ve Düzenleme

Desteklenen difüzyon modellerini indirip metin istemlerinden yerelde görüntüler üretebilirsiniz. Ayrıca mevcut bir görseli yükleyip istediğiniz değişiklikleri tarif ederek desteklenen modelleri görüntü düzenleme için kullanabilirsiniz.

Görüntü LoRA Eğitimi

Görüntü üretiminin ötesine geçmek istiyorsanız, kendi veri kümeniz üzerinde görüntü LoRA’ları da eğitebilirsiniz. Bu, bir modele belirli bir konu, karakter, ürün veya görsel stil öğretmek ve sonrasında bu LoRA’yı gelecekteki üretimlerde kullanmak için faydalıdır.

Video Üretimi

Unsloth Desktop, desteklenen difüzyon modellerini kullanarak yerel video üretim iş akışlarını da destekler. Bu, ayrı bir ortam kurmak yerine aynı uygulamadan hem görüntü hem video üretimiyle deney yapabileceğiniz anlamına gelir.

Konuşma ve Ses Modelleri

Konuşmadan metne, metinden konuşmaya ve diğer desteklenen ses modelleriyle çalışabilirsiniz. Bu sayede sesleri deşifre edebilir, konuşma üretebilir ve farklı ses odaklı yapay zeka iş akışlarını yerelde deneyimleyebilirsiniz.

Veri Tarifleri

Veri Tarifleri, PDF ve CSV gibi dosyaları inceleyebileceğiniz, düzenleyebileceğiniz ve eğitime hazırlayabileceğiniz veri kümelerine dönüştürmeye yardımcı olur. Bu, kendi verileriniz olduğunda ancak veri kümesini sıfırdan elle oluşturmak istemediğiniz durumlarda özellikle kullanışlıdır.

Model Depolama ve Yönetimi

Daha fazla model indirip kendi modellerinizi eğitmeye başladıkça, her şeyi yönetmek hızla karmaşık hale gelebilir. Unsloth Desktop, indirilen modelleri, veri kümelerini, adaptörleri, eğitim çalıştırmalarını ve diğer yerel varlıkları tek bir yerden yönetmenizi sağlar.

Modelleri Dışa Aktarma

Unsloth Studio, Safetensors/LoRA modellerini GGUF ve diğer formatlara dışa aktarmayı resmi olarak destekler. Dışa aktarılan modelleri çalıştırmak için llama.cpp açıkça desteklenir. 

Yerel API

Son olarak, Unsloth Desktop yerel modelinizi OpenAI uyumlu bir API üzerinden sunabilir. Bu, yerelde çalışan modellerinizi barındırılan bir model API’sine bağlı kalmadan diğer uygulamalara, kodlama araçlarına veya yapay zeka projelerine bağlamayı kolaylaştırır.

Son Düşünceler

Unsloth Desktop gerçekten ilginç bir yöne ilerliyor. LLM’lerin, ince ayarın, görüntü ve video üretiminin, kodlama ajanlarının, veri kümelerinin ve yerel API’lerin tek bir masaüstü uygulamasında bulunması, özellikle her aracı tek tek yapılandırmak istemeyenler için yerel yapay zekayla çalışmayı çok daha kolaylaştırıyor.

Bununla birlikte, hala bazı köşeleri biraz pürüzlü hissettiriyor. Eski GPU’larda veya güncel olmayan CUDA sürücülerine sahip sistemlerde, Linux veya Windows’ta yine de bağımlılıkları çözmeniz ve bazı şeyleri elle kurmanız gerekebilir. Görüntü üretimi, bağlam ayarları ve kodlama ajanlarıyla ilgili sorunlarla da karşılaştım. Örneğin, Unsloth Desktop’ta model bağlamını artırırsanız, kodlama ajanınızı başlatırken aynı bağlam uzunluğunu açıkça belirtmeniz de gerekebilir. Bazı web sitesi üretimi ve Canvas tarzı iş akışları da her zaman beklendiği gibi davranmadı.

Unsloth çok kısa sürede çok sayıda özellik ekledi, ancak her şey tamamen stabil hissettirmiyor. Desktop daha optimize ve olgun hale geldikçe bu sorunların çoğunun düzeleceğini düşünüyorum.

Şimdilik, ana hedefim yalnızca bir yapay zeka kodlama ajanı veya başka bir uygulama için yerel bir LLM sunmaksa, hâlâ llama.cpp’yi tercih ediyorum. Model, bağlam, GPU offloading, bellek kullanımı ve diğer düşük seviye ayarlar üzerinde bana çok daha fazla kontrol sağlıyor. Unsloth Desktop kullanımı çok daha kolayken, yapılandırmayı ince ayar yapmak ve donanımımdan mümkün olan en yüksek performansı almak istediğimde llama.cpp hâlâ daha iyi seçenek.