Bonsai 2 27B: 27B'lik Bir Yapay Zekayı Dizüstünüzde Yerel Olarak Çalıştırın

Bu yıl hakkında yazdığım model lansmanlarının çoğu aynı hedefin peşindeydi: daha büyük bir bağlam penceresi, daha yüksek SWE-bench puanı, bir trilyon daha fazla parametre.

PrismML ise tam tersine gidiyor.

17 Eylül 2026'da ekip, 5,9 GB'a sığan ve dizüstünde çalışabilen, Qwen3.8 27B'nin sıkıştırılmış bir sürümü olan Ternary Bonsai 2 27B'yi yayınladı.

Bilgiyi depolama biçimini yoğun şekilde sıkıştırarak, PrismML Bonsai 2 27B'yi orijinal Qwen sürümünden 9 katın üzerinde daha küçük hale getirdi. Yine de, orijinal performansının %98,2'sini ve 262 bin tokenlık bağlam penceresini koruyor; metin ve görselleri işliyor.

Bu yazıda, Bonsai 2 27B ile gelen tüm yenilikleri; yeni özellikleri, kıyaslamaları ve fiyatlandırma ile erişimi ele alacağım.

İlk Bonsai modelini kendiniz çalıştırmak isterseniz, adım adım anlatım için Bonsai 27B yerel kurulum eğitimimiz var.

Özet

• Bonsai 2 27B, Qwen3.8 27B'yi 5,9 GB'a sıkıştırırken toplam kıyaslama performansının %98,2'sini korur.
• Asıl hikâye, yeteneklerin nerede korunduğu: matematik ve kodlama başa baş kalırken, bilgi ve görsel taraf en fazla kaybı yaşar.
• CUDA ile NVIDIA GPU'larda ve MLX ile Apple cihazlarında yerel olarak çalışır; RTX 5090'da saniyede 143 tokena ulaşır.
• Apache 2.0 lisanslıdır; ağırlıklar Hugging Face'te mevcuttur ve üçüncü taraf sağlayıcılar şu anda ücretsiz barındırmaktadır.
• Cihaz içi kodlama ajanları veya özel doküman çalışmaları için değerli; ayrıntılı bilgi geri çağırmaya veya yüksek riskli OCR'a dayanıyorsanız başka yere bakın.

Bonsai 2 27B Nedir?

Bonsai 2 27B, PrismML'in, Qwen3.8 27B'nin dil modeli boyunca uçtan uca ternary niceleme uygulayarak oluşturduğu, amiral gemisi sıkıştırılmış çok modlu modelidir.

Tam hassasiyetli Qwen3.8 27B FP16'da 54 GB yer kaplarken (modelin sıkıştırılmamış, tam boy sürümü), Bonsai 2 27B yalnız metin için 5,9 GB'a iner; bu da bir tüketici GPU'suna veya bir MacBook'a sığacak kadar küçüktür.

PrismML'e göre sıkıştırma, −1, 0 ve +1 ile sınırlı ternary ağırlıklar ve bunlara eşlik eden FP16 grup bazlı ölçeklemeyi kullanır. Bu, PrismML'in hesabına göre ağırlık başına gerçek 1,72 bite tekabül eder; FP16 referansındaki 16 bitin yanında.

Model, temelindeki 262 bin tokenlık bağlam penceresini ve çok modlu metin+görsel girdisini korur.

Manşet sonucu, korunma oranıdır.

PrismML'in altı beceri kategorisinde 14 kıyaslama olarak tanımladığı bir pakette, H100 üzerinde EvalScope ve vLLM ile düşünme modunda değerlendirildiğinde, Bonsai 2 27B, FP16 taban çizgisinin 86,32'sine karşı 84,78 ortalama alır; yani %98,2.

2 bitin altındaki bir model için, bu fark geleneksel nicelemenin sunduğundan çok daha küçüktür.

Bonsai 2 27B'nin Öne Çıkan Özellikleri

Bonsai 2 27B ile yapabilecekleriniz, normalde giremeyeceği ortamlarda 27B sınıfı yeteneği çalıştırmaya iner.

İşte onu tanımlayan özellikler.

Bir dizüstünde 27B çok modlu modeli çalıştırın

Bonsai 2 27B, 5,9 GB'a sığar; bu da 27B sınıfı bir modeli veri merkezleri yerine tüketici donanımına yaklaştırır.

Düşük bit temsili yalnızca birkaç katmana değil, tüm dil modeli genelinde uygulanır; bu nedenle ayak izi küçülmesi kozmetik değil, gerçektir.

Uygulayıcılar için bu, "yerel"in anlamını değiştirir.

Cihaz içi işler için 8B modele düşmek yerine, 27B modelin akıl yürütme ve kodlama yeteneğine yakın bir şeyi çalıştırabilir ve yine de RAM'iniz artabilir.

Püf noktası, mimari olarak hâlâ bir 27B model olması; dolayısıyla çok düşük seviye donanımlarda bellek baskısı hissedilecektir.

Uzun doküman çalışmaları için 262 bin token bağlam

Model, tek bir isteme tam bir kod tabanını, uzun bir hukuk sözleşmesini veya bir yığın araştırma PDF'ini sığdırmaya yetecek 262 bin tokenlık bir bağlam penceresi taşır.

Bu, büyük miktarda bağlamı agresif parçalara ayırmak yerine yerleşik tutmak istediğiniz geri getirme destekli üretim kurulumlarında en çok önem taşır.

Topluluktan bir çekince: Bazı kullanıcılar, pencerenin uç noktasında, yaklaşık 200 bin tokenın ötesinde geri çağırma ve tutarlılıkta bozulma bildiriyor.

Sınıra yaklaşıyorsanız, üretimde güvenmeden önce kendi verilerinizde geri çağırmayı test edin.

Kodlama ajanları ve araç çağrımı

Bonsai 2 27B, küçük hataların çok adımda birikerek büyüdüğü ajan döngülerinde ayakta kalacak şekilde tasarlanmıştır.

PrismML, RTX 5090 üzerinde hem Cline ile kodlama ajanlarını yönlendirme hem de bilgisayar kullanımı iş akışlarını çalıştırma becerisini gösterdi.

Bu, sıkıştırmanın genelde dağıldığı alandır; çünkü tek bir bozulmuş adım tüm bir ajan çalıştırmasını raydan çıkarabilir.

Bonsai 2 27B, LiveCodeBench'te 90,07 ve BFCL v3'te 74,92 puan alır; FP16 sayılarına yakındır. Bu da yerel ajan çalışmalarını ümit olmaktan çıkarıp uygulanabilir kılar.

Çok modlu metin+görsel girdi

Model, metnin yanında görselleri de kabul eder; görsel soru yanıtlama, doküman anlama ve OCR kapsanır.

Bu, bir ekran görüntüsünden hata ayıklama veya taranmış bir dokümanı buluta göndermeden analiz etme gibi özel çok modlu iş akışlarını mümkün kılar.

Görsel taraf, sıkıştırma maliyetinin en net göründüğü yerdir.

MMMU-Pro'da Bonsai 2 27B, FP16 modelinin 81,73'üne karşı 75,49 puan alır; OCR Bench v2'de ise 60,99'a karşı 56,88'e düşer.

Yüksek riskli doküman işleme, karmaşık diyagramlar veya düşük çözünürlüklü metinler için, görsel tarafı en zayıf halka olarak ele alır ve sonuçları doğrulardım.

Bonsai 2 27B Kıyaslamalarda Nasıl Performans Gösteriyor?

Toplam hikâye FP16 için 86,32'ye karşı 84,78; ancak toplam değer, asıl önemli olanı olduğundan az yansıtır.

Geleneksel 4 bit altı yapılar, sürekli akıl yürütme gerektiren kıyaslamalarda seçici olarak çöker; Bonsai 2 27B ise bunları tutacak şekilde tasarlanmıştır.

PrismML'in karşılaştırması, aynı temel modelin geleneksel bir 2 bit yapısı olan Qwen3.8-27B IQ2_XXS'ye karşıdır; bu model toplamda 72,59 puan alır.

Bonsai 2 27B, boyutça üçte ikisinden daha küçükken onu 12 puanın üzerinde geride bırakır ve çok daha büyük bir 4 bit yapıya (UD-Q4_K_XL: 85,18) yalnızca 0,4 puan farkla yaklaşır; hem de onun ayak izminin üçte biriyle.

Akıl yürütme ve matematik

Matematik, Bonsai 2 27B'nin tam hassasiyetli modelden neredeyse ayırt edilemez olduğu alandır.

AIME26'da 95,83 ve MATH-500'de 98,80 puan alır; FP16 puanları sırasıyla 94,58 ve 99,80'dir.

Geleneksel nicelemeyle karşıtlık çarpıcıdır: IQ2_XXS, AIME26'da 57,50'ye düşer; bu 37 puanlık çöküş, kolay sorulardaki yüzeysel testlerde tamamen gözden kaçabilir.

Daha geniş bilgi ve akıl yürütmede tablo daha yumuşak.

Bonsai 2 27B, MMLU-Redux'ta FP16'nın 91,46'sına karşı 89,09 alır ve üçüncü taraf incelemeler, bileşik bilgi+akıl yürütme kategorisini FP16 için 85,6'ya karşı yaklaşık 79,9 olarak raporlar.

İnce taneli olgusal geri çağırma, ternary sıkıştırmanın en fazla maliyet çıkardığı yerdir.

Kodlama ve ajan odaklı iş akışları

Kodlama başa baş kalır ve bazı yerlerde temel modeli hafifçe aşar. Bonsai 2 27B, HumanEval+ üzerinde 95,12 ve LiveCodeBench'te 90,07 alır; FP16 puanları 93,29 ve 90,05'tir.

Bileşik kodlama ortalaması, FP16 için 89,07'ye karşı 89,42'dir; sıkıştırılmış model için küçük bir üstünlük.

Ajan odaklı araç çağrımında, BFCL v3 FP16 için 76,74'e karşı 74,92'de kalır; mütevazı bir fark.

Karşılaştırma için; Qwen3.8-Max'i incelediğimizde, çok daha büyük 2,4T model ajan tabanlı bilgisayar kullanımı için OSWorld-Verified'da 86,1 puan almıştı; dolayısıyla Bonsai 2 27B, ham ajan kapasitesinde bulut amiral gemileriyle yarışmıyor.

Yarıştığı konu, ajanın yerelde hiç çalışıp çalışamayacağı.

Talimat izleme

Talimat izleme, Bonsai 2 27B'nin tam hassasiyetli modeli düpedüz geçtiği az sayıda kategoriden biridir.

IFEval'de FP16 için 91,50'ye karşı 91,31, IFBench prompt-loose'ta ise FP16'nın 71,00'ine karşı 74,00 alır.

Verim ve enerji verimliliği

Hız, burada kıyaslama hikâyesinin bir parçasıdır; çünkü yerel ajan döngülerinin kullanılabilir olup olmadığını belirler.

Bonsai 2 27B, NVIDIA GeForce RTX 5090'da saniyede 143 tokene ve M5 Max'te saniyede 46,8 tokene ulaşır.

Enerji tarafında PrismML, RTX 4090'da token başına 0,581 mWh rapor eder; bunun, tam hassasiyette çalışan 8B bir modelden %40 daha verimli olduğunu iddia eder.

Kodlama asistanları için daha yüksek verim, daha hızlı düzenle-hata ayık döngüleri demektir; dizüstünde arka plan asistanları için token başına daha düşük enerji, bulutu sürekli çağırmadan daha uzun pil ömrü sağlar.

Bonsai 2 27B Fiyatlandırma ve Erişilebilirlik

Bonsai 2 27B, Apache 2.0 lisansı ile yayınlanmıştır; bu nedenle ağırlıklar indirilebilir ve ticari olarak kullanılabilir.

PrismML, modeli öncelikle kendi kendine barındırma için konumlandırır ve resmi dokümantasyon, token başına bir API yerine yerel sunuma odaklanır.

Ağırlıklar bugün Hugging Face'teki Bonsai 2 koleksiyonunda mevcuttur.

GGUF yapıları, ternary PTQ1_0 varyantı için yaklaşık 5,93–5,95 GB civarındadır; daha büyük çalışan bir MLX yapısı da vardır. Ternary Bonsai 2'nin bu nesilde yalnızca 27B olduğunu; 8B, 4B veya 1,7B eşlikçilerinin bulunmadığını not edin.

Bonsai 2 27B'ye Nasıl Erişilir

Bonsai 2 27B, Apache 2.0 altında açık ağırlıklıdır; yani tescilli bir API çağırmak yerine kendiniz çalıştırırsınız.

PrismML'in özel düşük bit çekirdeklerini kullanarak CUDA üzerinden NVIDIA GPU'larda ve MLX üzerinden Apple cihazlarında (Mac, iPhone, iPad) çalışır.

Başlıca yollar şunlardır:

• PrismML'in llama.cpp çatallamasıyla kendi kendine barındırma: Hugging Face koleksiyonundan GGUF ağırlıkları çekin ve servis edin; varsayılan yerel API tabanı http://localhost:8080/v1'dir.
• Apple Silicon üzerinde MLX ile kendi kendine barındırma: MLX yapısını http://localhost:8081/v1 yerel API tabanıyla servis edin; MLX varyantının GGUF'tan daha büyük olduğunu ve eski Mac'lerin RAM sınırlarına takılabileceğini unutmayın.
• Barındırılmış çıkarım: Together AI üzerinden Prism-ML/Ternary-Bonsai-27B olarak veya Puter üzerinden erişin; her ikisi de şu anda ücretsiz.

PrismML, OpenAI tarzı bir REST arayüzü sunar; bu nedenle sohbet-tamamlama uç noktası bekleyen mevcut araçlara kolayca oturur.

İlk model için tam bir yerel yürütme rehberi için genel Bonsai yerel kurulum rehberimize bakın.

Son Düşünceler

Bonsai 2 27B, ilginç sınırın ham yetenek değil, gigabayt başına zeka olduğuna dair bir iddia.

İlk neslin %95'inden %98'in üzerine korunma farkını kapatmak, "neredeyse kayıpsız" çerçevesini pazarlama olmaktan çıkarıp inandırıcı kılar; yoğunluk grafiği de onu aynı temelin geleneksel düşük bit yapılarının oldukça önüne yerleştirir.

Cihaz içi kodlama ajanları, özel doküman analizi veya hassas işleri yerelde tutan hibrit sistemler kuruyorsanız ben olsam bunu seçerdim.

Bilgi ağırlıklı SSS ve yüksek riskli OCR için ise daha ihtiyatlı olurum; çünkü sıkıştırma maliyeti gerçek ve ölçülebilir.