Nemotron 3: Mimari, Karşılaştırmalar ve Açık Model Kıyasları

Nemotron 3, çoklu ajanlı yapay zeka sistemlerinin ortaya çıkan kısıtlarına NVIDIA’nın yanıtıdır. Şunu demek istiyorum: Yapay zeka sistemleri çoklu ajan iş akışlarına yöneldikçe çıkarım maliyetleri artıyor, koordinasyon zorlaşıyor ve uzun süreli görevler bağlam sınırlarını zorluyor. 

Nemotron 3 ile her model aynı mimari temele dayanıyor ancak akıl yürütme derinliği, aktarım hızı ve verimlilik arasında farklı bir dengeyi hedefliyor.

Bu yazıda, Nemotron 3 ailesinin nasıl yapılandırıldığına, kaputun altında nelerin değiştiğine ve yaygın olarak kullanılan ajan sistemlerinde nasıl konumlandığına bakacağız.

Nemotron 3 Nedir?

Nemotron 3’ün arkasındaki temel fikir uzmanlaşmadır. Bazı ajanlar yönlendirme veya özetleme gibi rutin görevleri üstlenen hafif ve hızlı olmalıdır. Diğerleri ise daha derin analiz veya uzun ufuklu planlamadan sorumludur. Aynı nesil içinde birden fazla model sunarak Nemotron 3 bu iş bölümünü desteklerken şeffaf ve kendi kendine barındırılabilir kalır.

Nemotron 3 nano

Nemotron 3 Nano, ailenin verimliliğe en çok odaklanan modelidir. 30B parametreli bir modeldir ve hibrit uzman karışımı mimarisi kullanarak token başına en fazla 3B parametreyi etkinleştirir. Bu seçici etkinleştirme, Nano’nun boyutuna göre rekabetçi doğruluğu korurken yüksek aktarım hızı ve düşük çıkarım maliyetleri elde etmesini sağlar.

Nano; özetleme, getirme, sınıflandırma ve genel asistan iş akışları gibi görevler için tasarlanmıştır. Çoklu ajan sistemlerinde, sık veya ara adımları maliyet darboğazına dönüşmeden yüksek hacimde yürüten bir işçi olarak iyi çalışır.

Nemotron 3 Karşılaştırmaları. Görsel: NVIDIA Research

Nemotron 3 super

Nemotron 3 Super, gecikme kısıtları altında çalışırken daha güçlü akıl yürütme gerektiren senaryoları hedefler. yaklaşık 100B parametreye sahiptir, token başına en fazla 10B etkin parametre kullanır ve koordineli çoklu ajan iş yükleri için optimize edilmiştir.

Super, Nano ile Ultra arasında konumlanır. Nano’dan daha yüksek akıl yürütme yeteneği sunarken en büyük modelin tam hesaplama gereksinimlerine ihtiyaç duymaz; bu da onu birden çok girdiyi birleştirmesi veya adımlar arasında akıl yürütmesi gereken ajanlar için uygun kılar.

Nemotron 3 ultra

Nemotron 3 Ultra, serinin en yetenekli modelidir. Yaklaşık 500B parametre ve token başına en fazla 50B etkin parametreyle, karmaşık ajan tabanlı iş akışları için üst düzey bir akıl yürütme motoru görevi görür.

Ultra, derin analiz, uzun ufuklu planlama veya stratejik karar verme içeren görevler için tasarlanmıştır. Daha yüksek hesaplama gereksinimleri olsa da, yalnızca en zorlu görevlerin kendisine yönlendirildiği, daha küçük Nemotron modelleriyle birlikte çalışması amaçlanmıştır.

Nemotron 3’ün Mimarisindeki Yenilikler

Model serisi netleştiğine göre, bir sonraki soru NVIDIA’nın bu kadar farklı katmanlarda ölçek ve verimliliği nasıl dengelediğidir.

Tek bir mimari atılıma dayanmak yerine, Nemotron 3 büyük, çoklu ajanlı sistemleri pratik şekilde çalıştırmak için birkaç tamamlayıcı tasarım tercihlerini bir araya getirir.

Hibrit gizil uzman karışımı tasarımı

Nemotron 3’ün merkezinde hibrit gizil mixture-of-experts (MoE) mimarisi vardır. Her token için tüm parametreleri etkinleştirmek yerine, model her token’ı uzmanlaşmış daha küçük bir uzman ağları alt kümesinden geçirir.

Bu yaklaşım, çok daha büyük bir modelin kapasitesini korurken çıkarım maliyetini düşürür. Birçok ajanın aynı anda ara çıktı üretebildiği ajan tabanlı sistemlerde, seçici etkinleştirme ölçek arttıkça hesaplama gereksinimlerinin yönetilebilir kalmasına yardımcı olur.

Eğitimde 4-bit duyarlılık kullanımı

Nemotron 3 Super ve Ultra, Blackwell mimarisi üzerinde NVIDIA’nın 4-bit NVFP4 duyarlılık formatı kullanılarak eğitilmiştir. Daha düşük duyarlıklı eğitim, bellek kullanımını azaltır ve eğitimi hızlandırır; mevcut altyapıda daha büyük MoE modelleriyle çalışmayı mümkün kılar.

Önemlisi, bu durum daha yüksek duyarlıklı formatlara kıyasla anlamlı bir doğruluk kaybına yol açmadan yapılır; bu da Nemotron 3’ün ölçeklenebilirken uygulanabilir kalmasını kısmen açıklar.

Uzun diziler için genişletilmiş bağlam penceresi

Nemotron 3 Nano, bir milyona kadar token’lık bağlam pencerelerini destekler. Bu, modelin uzun belgeler, genişletilmiş günlükler veya çok adımlı görev geçmişleri boyunca bilgiyi tutmasına olanak tanır.

Planlama, getirme ve yürütme ajanları arasında görevlerin yönlendirildiği ajan iş akışları için daha uzun bağlam, agresif parçalara ayırma veya harici bellek sistemlerine duyulan ihtiyacı azaltır.

Nemotron 3’ün Öne Çıkan Özellikleri

Bu mimari kararlar soyut değildir. Nemotron 3’ün gerçek sistemlerde nasıl davrandığına doğrudan yansır.

Azaltılmış akıl yürütme token üretimi

NVIDIA, Nemotron 3 Nano’nun Nemotron 2 Nano’ya kıyasla yüzde 60’a kadar daha az akıl yürütme token’ı ürettiğini bildiriyor. Ara akıl yürütme adımlarının toplam token kullanımına hakim olabildiği çoklu ajan sistemlerinde bu azalma, maliyet ve ölçeklenebilirliği doğrudan etkiler.

Daha kısa akıl yürütme izleri, görev doğruluğundan ödün vermeden çıkarımı verimli tutmaya yardımcı olur.

Çok adımlı iş akışları için daha yüksek aktarım

MoE yönlendirme ve seçici parametre etkinleştirmenin birleşimi, iş akışları daha karmaşık hale geldikçe Nemotron 3’ün yüksek aktarım hızını korumasını sağlar. Bu da, gecikmeyi orantılı olarak artırmadan daha uzun görev zincirlerini veya daha fazla eşzamanlı ajanı desteklemeyi kolaylaştırır.

Uzun ufuklu akıl yürütme için 1m bağlam penceresi

Nano’da bir milyona kadar token desteğiyle Nemotron 3, genişletilmiş girdiler üzerinde uzun ufuklu akıl yürütmeyi mümkün kılar. Ajanlar, durumu tekrar tekrar özetlemek veya yeniden yüklemek zorunda kalmadan önceki adımlara veya büyük belgelere atıfta bulunabilir; bu da zaman içinde tutarlılığı artırır.

Birlikte ele alındığında, bu özellikler Nemotron 3’ün tek bir modelin ham performansından ziyade verimlilik ve koordinasyona neden vurgu yaptığını açıklar.

Nemotron 3 ve Nemotron 2: Neler Gelişti

Bu noktada, Nemotron 3’ün tasarım hedefleri net olmalı. Nemotron 2 ile karşılaştırmak, bu hedeflerin ölçülebilir iyileştirmelere dönüşüp dönüşmediğini doğrulamaya yardımcı olur.

Nemotron 3, uzman karışımı yönlendirmesini rafine eder, aktarımı artırır, akıl yürütme token üretimini azaltır ve bağlam uzunluğunu önemli ölçüde genişletir. NVIDIA, Nemotron 3 Nano’nun Nemotron 2 Nano’ya göre token aktarımında 4 kata kadar artış sağladığını ve akıl yürütme token’larında büyük bir azalma olduğunu bildiriyor.

Bir diğer fark kapsamdır. Nemotron 3, yalnızca modellerin ötesine geçerek pekiştirmeli öğrenme veri setleri, ajan güvenliği verileri ve NeMo Gym ile NeMo RL gibi açık araçlarla birlikte gelir. Nemotron 2 ağırlıklı olarak model sürümlerine odaklanırken, Nemotron 3 ajan geliştirme için daha eksiksiz bir yığın olarak konumlanmıştır.

Nemotron 3 ve Rakipler

Mimari ve karşılaştırmalar bağlamında, Nemotron 3’ün mevcut model manzarasında nereye oturduğu daha net hale geliyor. NVIDIA, Nemotron 3’ü öncü kapalı modellerin doğrudan ikamesi olarak konumlandırmıyor. Bunun yerine, gerçek dağıtımlarda ajan tabanlı yapay zeka sistemlerini verimli, öngörülebilir ve ölçeklenebilir hale getirme gibi farklı bir zorluğu hedefliyor.

Diğer büyük açık modellere kıyasla Nemotron 3, tek model kıyaslama puanlarını en üst düzeye çıkarmaya daha az, aktarım hızı, akıl yürütme token verimliliği, uzun bağlam işleme ve ajanlar arası koordinasyon gibi sistem düzeyi konulara daha fazla vurgu yapar. Bu çerçeveleme, Mistral’ın kendi serisini konumlandırma biçimine benzer; ancak çoklu ajan iş yüklerine daha güçlü bir odakla.

Nemotron 3’ün öne çıktığı alanlar (diğer modellere kıyasla)

Aşağıdaki tablo, Nemotron 3’ün diğer popüler açık ve kapalı modellere göre öne çıktığı temel boyutları özetler.

Nemotron 3 ve Mistral Large 3

Mistral Large 3 ve Nemotron 3 her ikisi de mixture-of-experts mimarilerine dayanır, ancak farklı sonuçlar için optimize edilirler.

Mistral Large 3, tek model yetkinliğini en üst düzeye çıkarmak üzere tasarlanmıştır; LMArena ve SWE tarzı değerlendirmeler gibi akıl yürütme, kodlama ve genel amaçlı kıyaslamalarda güçlü performans gösterir. Bir modelin baştan sona tüm bir görevi üstlenmesinin beklendiği durumlarda genellikle daha iyi tercihtir.

Buna karşılık Nemotron 3, sistem düzeyi verimlilik için optimize edilmiştir. Hibrit gizil MoE tasarımı, token başına daha az parametre etkinleştirir ve tepe akıl yürütme derinliğinden çok aktarım hızına öncelik verir. Bu da onu yönlendirme, özetleme ve birçok ajanın eşzamanlı çalıştığı ara akıl yürütme gibi koordinasyon ağırlıklı rollere daha uygun kılar.

Nemotron 3’e Nasıl Erişebilirim?

Tasarım hedefleri netleştikten sonra, pratik soru şu: Nemotron 3’ü bugün fiilen nasıl çalıştırabilirsiniz ve kurulumunuza göre hangi seçenekler mantıklı? NVIDIA, tamamen barındırılan API’lerden kendi kendine yönetilen dağıtımlara kadar çeşitli erişim yolları sunar.

Barındırılan çıkarım sağlayıcıları üzerinden API erişimi

Başlamak için en hızlı yol, barındırılan çıkarım sağlayıcılarıdır. Nemotron 3 Nano bugün Baseten, DeepInfra, Fireworks, FriendliAI, OpenRouter ve Together AI gibi platformlarda mevcuttur. Bu hizmetler, standart API arayüzleri sunarak donanım ayırmadan modelin davranışını, aktarım hızını ve uzun bağlam işleme yeteneğini test etmenize olanak tanır.

Bu seçenek, ajan iş akışlarının prototiplenmesi, performansın kıyaslanması veya Nemotron 3’ün mevcut uygulamalara minimum kurulumla entegre edilmesi için uygundur.

Açık ağırlıklar ve kendi kendine barındırma

Nemotron 3 modelleri ayrıca Hugging Face’te açık ağırlıklarla yayımlanmıştır; bu da dağıtım üzerinde tam kontrol sağlar. Bu yol, modelleri kendi bünyesinde barındırmak, onları alanınıza özel verilerle ince ayarlamak veya özel ajan hatlarına entegre etmek isteyen ekipler için tasarlanmıştır.

Açık ağırlıklarla şunları yapabilirsiniz:

• modelleri kendi altyapınızda çalıştırmak,
• gerektiğinde değiştirmek veya ince ayar yapmak,
• ve gecikme, gizlilik ve maliyeti uçtan uca yönetmek.

Bu yaklaşım, uzun ömürlü, üretim sınıfı ajan sistemleri için şeffaflık ve sahipliğe yapılan NVIDIA vurgusuyla uyumludur.

Nvidia nim ve dağıtım çerçeveleri

Daha yönetimli bir kendi kendine barındırma deneyimi isteyen ekipler için Nemotron 3 Nano aynı zamanda bir NVIDIA NIM mikro hizmeti olarak da mevcuttur. NIM, modeli NVIDIA hızlandırmalı altyapıda, ister kurum içinde ister bulutta güvenli ve ölçeklenebilir dağıtım için paketler.

Ekosistem olgunlaştıkça, Nemotron modellerinin yerel ve uç çıkarım için kullanılan yaygın dağıtım çerçeveleri ve çalışma zamanlarıyla da bütünleşmesi beklenmektedir. Bu seçenekler, sıfırdan bir dağıtım yığını kurmadan kontrol edilen ortamlarda Nemotron 3 ile denemeler yapmayı kolaylaştırır.

Model kullanılabilirliği zaman çizelgesi

Yayımlandığı anda:

• Nemotron 3 Nano bugün barındırılan API’ler, açık ağırlıklar ve NVIDIA NIM üzerinden kullanılabilir.
• Nemotron 3 Super ve Ultra’nın 2026’nın ilk yarısında kullanıma sunulması beklenmektedir.

Pratikte bu, geliştiricilerin hemen Nano ile denemelere başlayabileceği, daha büyük modellerin ise daha güçlü akıl yürütme kapasitesi gerektiren daha geç aşama dağıtımlar için konumlandırıldığı anlamına gelir.

Nemotron 3 Ne Kadar İyi?

Nemotron 3, hedeflenen kapsam içinde güçlüdür. Ana katkısı, tek model akıl yürütmenin sınırlarını zorlamak değil; ajan tabanlı sistemleri dağıtmayı ve ölçeklendirmeyi daha pratik hale getirmektir.

Mimari tercihler, özellikle çok sayıda işbirliği yapan ajana dayanan iş akışları için gerçek operasyonel faydalara dönüşür. Bununla birlikte, birincil gereksiniminiz derin, tek model akıl yürütme veya karmaşık araç odaklı planlama ise, öncü kapalı modeller genellikle daha tutarlıdır.

Doğru mercekten bakıldığında, Nemotron 3 bu modellerin yerini almaktan ziyade onları tamamlar.

Nemotron 3 Kullanım Alanları

Nemotron 3, verimlilik, şeffaflık ve ölçeklenebilirliğin önemli olduğu senaryolara en iyi şekilde uyar.

• Çoklu ajan sistemleri: yönlendirme, koordinasyon ve ara akıl yürütme
• Uzun belge işleme: büyük girdiler üzerinde özetleme, çıkarım ve analiz
• Kurumsal asistanlar: öngörülebilir performans ve kendi kendine barındırma gerektiren iç araçlar
• İş akışı otomasyonu: ölçekte sınıflandırma, getirme ve karar desteği
• Gizliliğe duyarlı dağıtımlar: kurum içi veya egemen yapay zeka ortamları

Modeller açık olduğu ve birlikte çalışacak şekilde tasarlandığı için, ekipler tek, yekpare bir sisteme güvenmek yerine farklı model boyutlarına farklı roller atayabilir.

Son Düşünceler

NVIDIA’nın verimlilik, açıklık ve sistem düzeyi tasarıma odaklanması, günümüzde birçok gerçek dünya yapay zeka uygulamasının nasıl geliştirildiğini yansıtır.

Artık, Nemotron 3 gibi modellerle etkili şekilde geliştirmek için hem LLM temellerini hem de sistem entegrasyonunu anlamak faydalıdır.

Büyük Dil Modelleri (LLM) Kavramları kursumuz kavramsal bir temel sunarken, Python ile API’ler Oluşturma beceri yolumuz, modelleri uygulamalara entegre etmenin pratik yönünü kapsar.

Daha geniş bir sistemin parçası olarak görüldüğünde Nemotron 3, bir model sürümünden ziyade bugün ajan tabanlı yapay zekanın nasıl dağıtıldığına dair bir temel gibi hissettirir.