Bonsai AI Eğitimi: Eski Bir Dizüstünde Yerelde 1-Bit LLM Çalıştırın

Not: Bonsai 2 27B artık mevcut; Qwen3.8 27B üzerine kurulu

Dil modellerini yerelde çalıştırmak, eski donanımlarda bile her geçen gün kolaylaşıyor. Bonsai, küçük, hızlı ve verimli olacak şekilde tasarlanmış 1-bit bir model; bu da onu Windows dizüstü bilgisayarda yerel kullanım için iyi bir seçenek yapıyor.

Bu eğitimde, Bonsai'nin ne olduğunu ve 1-bit modellerin nasıl çalıştığını basit bir şekilde anlatacağım. Kurulumun tamamını adım adım göstereceğim. 

Buna Bonsai 8B GGUF modelini indirmek, llama.cpp'nin PrismML çatallamasını kurmak, modeli komut satırında test etmek, yerel sunucu olarak çalıştırmak ve her şeyin hem curl hem de yerleşik WebUI ile çalıştığını doğrulamak dahildir.

Ayrıca yerelde GLM-5.1 ve Qwen3.5-27B çalıştırma rehberlerimize de göz atmanızı öneririm.

Bonsai AI Modeli Nedir?

Bonsai, PrismML tarafından sunulan ve 1.7B, 4B ve 8B varyantlarını içeren, kullanıcılara cihazlarına ve performans ihtiyaçlarına göre farklı boyut seçenekleri veren kompakt 1-bit dil modelleri ailesidir. 

Bonsai serisi, llama.cpp ve ilgili çalışma zamanları genelinde destekle verimli yerel kestirim için tasarlanmıştır ve amiral gemisi Bonsai 8B GGUF modelinin, tipik bir FP16 8B modele kıyasla çok daha küçük olduğu, ancak yetenek olarak rekabetçi kaldığı belirtilmektedir.

1-Bit Modeller Nasıl Çalışır?

1-bit bir model, her ağırlığı standart tam kesinlikli değerler yerine tek bir bit olarak saklayarak çalışır. Bonsai’nin Q1_0 formatında 0 değeri negatif ölçeğe, 1 değeri pozitif ölçeğe eşlenir ve her 128 ağırlık için ortak bir FP16 ölçek kullanılır. 

Bu yaklaşım, bellek kullanımını önemli ölçüde azaltırken modeli kestirim için işlevsel ve verimli tutar. Bonsai, bu 1-bit tasarımı yerleştirmelerden (embeddings) dikkat projeksiyonlarına, MLP projeksiyonlarına ve LM başlığına kadar uçtan uca uygular.

Kaynak: prism-ml/Bonsai-8B-gguf · Hugging Face

Karşılaştırma testlerinde, Bonsai 8B çok daha küçük bir 1-bit modelin, 6B ile 9B aralığındaki tam kesinlikli modellerle rekabetçi kalabildiğini gösteriyor. Model kartı, altı değerlendirme kategorisinde ortalama 70,5 puan bildiriyor; bu da onu birkaç standart 8B modele yakın konumlandırıyor. Bu da Bonsai’yi sadece boyutu ve hızıyla değil, aynı zamanda sağlam performansını korumasıyla da öne çıkarıyor.

Bonsai Sistem Gereksinimleri ve Ön Koşullar

Bu eğitimde, Bonsai’yi 12. Nesil Intel işlemci ve NVIDIA RTX 3070 GPU’ya sahip eski bir Windows dizüstünde çalıştırıyorum. Bonsai 8B’nin en büyük avantajlarından biri, yaklaşık 2 GB VRAM veya sistem RAM’iyle çalışabilmesi; bu da onu eski dizüstüler ve düşük bellekli sistemler için pratik bir seçenek yapıyor. 

Daha iyi hız için, en güncel NVIDIA GPU sürücüsünü ve NVIDIA’nın resmi indirme sayfasından CUDA Toolkit’i kurmanızı öneririm. CUDA Toolkit, GPU hızlandırmalı uygulamalar için NVIDIA’nın resmi geliştirme ortamıdır.

Her şey kurulduktan sonra Komut İstemi veya Terminal’i açın ve şunu çalıştırın:

nvidia-smi

Bu komut, NVIDIA GPU’nuzu, sürücü sürümünü ve CUDA desteğini gösterir. GPU’nuz doğru şekilde listeleniyorsa, sisteminiz Bonsai’yi yerelde çalıştırmak için GPU hızlandırmasına hazır demektir.

1. Bonsai 8B GGUF Modelini İndirin

Önce, Bonsai 8B GGUF deposuna Hugging Face’te gidin ve GGUF model dosyasını doğrudan indirme düğmesini kullanarak indirin.

Ardından sisteminizde “Bonsai” adlı bir klasör oluşturun. İçinde “model” adında başka bir klasör oluşturun ve indirdiğiniz GGUF dosyasını bu klasörün içine koyun.

2. PrismML llama.cpp Derlemesini İndirin

Sonra, PrismML llama.cpp sürüm sayfasını açın ve CUDA sürümünüze uygun önceden derlenmiş Windows x64 derlemesini indirin. Bu eğitim için, Windows x64 (CUDA 13.1) dosyasını ve aynı sürüm sayfasından CUDA 13.1 DLL’lerini indirmeniz gerekir.

3. Bonsai Proje Klasörünü Hazırlayın

Her iki ZIP dosyasını da indirdikten sonra, daha önce oluşturduğunuz “Bonsai” klasörüne çıkarın.

Bu işlem tamamlandığında, klasörde Bonsai GGUF dosyasının bulunduğu model dizini ile modeli komut satırında ve yerel sunucu olarak çalıştırmak için gereken llama.cpp dosyaları yer almalıdır.

4. Modeli llama-cli ile Test Edin

Şimdi “Bonsai” klasörünüzü açın, boş bir alana sağ tıklayın ve Terminalde Aç’ı seçin. Bu, modeli llama.cpp dosyalarını ve “model” dizininizi içeren klasörden doğrudan çalıştırmanıza olanak tanır.

Ardından Bonsai’yi llama-cli ile test etmek için aşağıdaki komutu çalıştırın:

.\llama-cli -m model/Bonsai-8B.gguf -p "Explain quantum computing in simple terms." -n 256 --temp 0.5 --top-p 0.85 --top-k 20 -ngl 99

Bu komut, resmi Bonsai hızlı başlangıcında gösterilen önerilen istem ve üretim ayarlarını izler; buna temperature 0.5, top-p 0.85, top-k 20 ve katmanları GPU’ya aktarmak için -ngl 99 dahildir. 

Benim testimde model, bir saniyeden kısa sürede GPU belleğine yüklendi ve yanıt hem hızlı hem de isabetliydi.

Ayrıca saniyede yaklaşık 88,6 token elde ediyordum; bu, eski bir dizüstünde yerel bir modeli çalıştırmak için oldukça etkileyici.

5. Bonsai’yi Yerel Kestirim Sunucusu Olarak Çalıştırın

Modeli CLI’da test ettikten sonra, llama-server ile yerel kestirim sunucusu olarak çalıştırabilirsiniz:

.\llama-server -m model/Bonsai-8B.gguf -ngl 99 --host 127.0.0.1 --port 8033

Bu, resmi Bonsai model sayfasında gösterilenle aynı yerel sunucu kurulumunu izler; PrismML, modeli yerel bir HTTP uç noktası üzerinden sunmak için llama-server kullanır.

Benim testimde model, 5 saniyeden kısa sürede belleğe yüklendi.

Yükleme tamamlandığında, terminal sunucunun 127.0.0.1:8033 adresinde çalıştığını gösterir; bu da Bonsai’nin artık makinenizde yerel bir API uç noktası üzerinden erişilebilir olduğu anlamına gelir.

6. Sunucuyu curl ile Test Edin

Bonsai sunucusu çalıştığına göre, sıradaki adım yerel API’yi curl ile test etmek. llama-server uç noktası OpenAI ile uyumludur; bu nedenle /v1/chat/completions yoluna bir istek gönderip normal bir sohbet tamamlama yanıtı alabilirsiniz.

Terminalinizde aşağıdaki komutu çalıştırın:

curl -X POST "http://127.0.0.1:8033/v1/chat/completions" -H "Content-Type: application/json" --data-raw '{"model":"Bonsai-8B","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Write a short Python function to reverse a string."}],"temperature":0.7,"max_tokens":200,"stream":false}'

Her şey düzgün çalışıyorsa, sunucu üretilen çıktıyı içeren bir JSON yanıtı döndürecektir.

7. WebUI’ı Açın ve Test Edin

Sunucu çalışır durumdayken, tarayıcınızda http://127.0.0.1:8033/ adresini açın. llama.cpp sunucusu yerleşik bir web arayüzü içerir.

Bu, yerelde çalışan modelinizi test etmek için basit bir ChatGPT benzeri arayüz sunar. Benim durumumda arayüz hemen açıldı ve tarayıcıdan doğrudan Bonsai ile sohbet etmeye başlayabildim. 

Test 1: Kısa bir hikâye yaz

Önce bir hikâye yazmasını istedim ve birkaç saniye içinde, saniyede yaklaşık 85 token hızında bir yanıt döndürdü.

Test 2: Basit bir oyun kodla

Gerçek bir kodlama görevini ne kadar iyi idare ettiğini görmek için şu istemi verdim:

Write Python code to build a command-line number guessing game where the user guesses a randomly selected number, receives "too high" or "too low" hints after each guess, and sees the total number of attempts once they guess correctly.

Yine yanıt hızlıydı. Model, dosyanın nasıl kaydedileceği ve Python ile nasıl çalıştırılacağına dair basit talimatlarla birlikte kodu üretti.

Kodu bir Python dosyasına kopyaladım, terminalde çalıştırdım ve kutudan çıktığı gibi sorunsuz çalıştı.

Test 3: Basit bir web sitesi üret

Ayrıca ön uç üretimini nasıl idare ettiğini görmek için ikinci bir istemi de test ettim:

Create a simple, clean HTML personal profile website for Abid Ali Awan, a Data Scientist, with sections for a hero intro, about, skills, projects, and contact, using modern styling and placeholder content that can be customized later.

Yanıt yine hızlıydı. Üretilen kodu bir HTML dosyasına kopyaladım ve tarayıcıda açtım; sayfa doğru şekilde render edildi.

Bu kadar küçük bir model için sonuç gerçekten etkileyiciydi.

Son Düşünceler

Beni Bonsai’de en çok şaşırtan, hız, boyut ve zekânın birleşimiydi. Bu kadar küçük bir modelin eski bir Windows dizüstünde bu kadar hızlı ve kullanılabilir hissettireceğini beklemiyordum. 

Kurulumun tamamı da beklediğimden çok daha kolaydı. Yalnızca Hugging Face’ten GGUF dosyasını ve PrismML llama.cpp derleme dosyalarını indirdim, her şeyi tek bir klasöre koydum ve modeli yerelde test edip sunmak için terminalde komutları çalıştırdım. Baştan sona, sıfır kurulumdan modeli gerçekten kullanmaya geçmem iki dakikadan az sürdü. 

llama.cpp WebUI, özellikle yerel AI kurulumu veya hesaplama hakkında sınırlı bilgiye sahip biri için deneyimi daha da erişilebilir kıldı. Sunucu çalışır çalışmaz, ek bir araca ihtiyaç duymadan basit bir tarayıcı arayüzü üzerinden istemleri test edebildim, kod üretebildim ve yaratıcı yazma görevlerini deneyebildim.

Çıktıların kalitesini de beğendim. Bu boyuttaki bir model için Bonsai, hem kodlama hem de yaratıcı yazmayı şaşırtıcı derecede iyi idare etti. CLI’da hızlıydı, yerel sunucu üzerinden hızlıydı ve WebUI’da da hızlıydı. Bununla birlikte, bu kadar küçük bir modelin ajans temelli (agentic) kodlama veya daha derin akıl yürütme ve daha uzun bağlam yönetimi gerektiren karmaşık görevler için doğru seçim olduğunu düşünmüyorum.

Yine de bir modeli yerelde çalıştırmak istiyorsanız, 1-bit modellerin çok umut verici bir yön olduğunu düşünüyorum. Verimlilik ve zekâ arasında güçlü bir denge sunuyorlar ve yerel AI’ı günlük donanımlarda çok daha pratik hale getiriyorlar. Bir sonraki adımda, Qwen3.5-27B aralığına daha yakın, daha büyük bir 1-bit modeli denemeyi çok isterim; çünkü bu, hız, bellek kullanımı ve yetenek arasında daha da iyi bir denge sunabilir.