Andrej Karpathy’nin AutoResearch Aracı Rehberi: Yapay Zekâ Aracılarıyla ML’yi Otomatize Etme

Andrej Karpathy'nin AutoResearch aracı, ML deneylerini bir döngü içinde çalıştıran ve yalnızca mevcut en iyi sonucu geçen değişiklikleri tutan açık kaynaklı bir araçtır. Araştırma yönlerini bir markdown dosyasında tanımlarsınız, bir yapay zekâ kodlama ajanını depoya yönlendirirsiniz ve bırakırsınız. Sabah olduğunda, doğrulanmış iyileştirmelerin bir git geçmişi ve ajanın denediği her şeyin bir günlüğü elinizde olur.

7 Mart 2026'da yayımlanan proje, birkaç gün içinde 21.000+ GitHub yıldızı ve Karpathy'nin duyurusunda 8,6 milyon görüntüleme topladı. Bu yazı, üç dosyalı mimarinin nasıl çalıştığını, gece boyu çalıştırmalarda ratchet döngüsünün ne yaptığını, AutoResearch'ün şimdiye kadar hangi sonuçları ürettiğini ve yaklaşımın nerede sınıra takıldığını ele alıyor.

AutoResearch nedir?

AutoResearch, bir yapay zekâ ajanının tek bir GPU üzerinde insan müdahalesi olmadan ML deneyleri yürütmesine olanak tanıyan açık kaynaklı bir Python aracıdır. Öner-eğit-değerlendir döngülerini tekrarlar ve yalnızca doğrulama kaybını iyileştiren değişiklikleri tutar. Proje MIT lisansı altında sunulur.

Bu bir hiperparametre ayarlaması değildir. Optuna veya Ray Tune gibi araçlar önceden tanımlanmış bir parametre uzayında arama yapar. AutoResearch, ajana keyfi kodu değiştirme özgürlüğü verir. Arama uzayı, LLM'in aklına gelebilecek her şeydir ve bu, onu mevcut herhangi bir araçtan farklı bir kategoriye koyar.

AutoML ve NAS (Sinir Mimarisi Araması) çerçeveleri, tanımlı arama uzaylarına bağlı kalarak mimariler veya hiperparametreler üzerinde yapılandırılmış algoritmalarla arama yapar; kesin ama sınırlandırılmıştır.

AlphaEvolve (Google DeepMind), algoritma keşfi için evrimsel bir yaklaşımla ve Gemini modelleriyle daha da ileri gider; ancak kapalı kaynaklıdır ve çoğu ekip için erişilebilir değildir. Genel amaçlı kodlama ajanları olan SWE-Agent, OpenHands ve Aider keyfi kod yazabilir; ancak ML araştırmasının gerektirdiği deney-değerlendir-tut/geri al döngüsü için tasarlanmamıştır.

AutoResearch, arama uzayını matematiksel garantiler için kısıtlamak yerine, iyi deneyler önermek için LLM'in genel bilgisine güveniyor.

Vibe coding’den araştırma danışmanına

Karpathy bunu, mühendislerin yapay zekâ ile çalışma biçimindeki doğal bir ilerleme olarak çerçeveliyor. Şubat 2026'da, "ajan odaklı mühendislik" terimini ortaya attı: "Zamanın %99'unda kodu doğrudan siz yazmıyorsunuz. Bunu yapan ajanları orkestre ediyor ve denetim görevi görüyorsunuz." AutoResearch bir sonraki adımı atıyor. İnsan artık orkestrasyon bile yapmıyor. Markdown dosyasında iyi araştırmanın nasıl göründüğünü tarif ediyor ve uzaklaşıyor.

İlerleme şu şekilde gidiyor: vibe coding (insan yönlendirir, yapay zekâ kod yazar, insan gözden geçirir) → ajan odaklı mühendislik (insan ajanları gerçek zamanlı orkestre eder) → tamamen bağımsız araştırma (insan yönü belirler, ajan kendi başına çalışır). 

Her adımda insanın rolü yazarlıktan yönetmenliğe ve Karpathy'nin çerçevesinde araştırma danışmanlığına doğru azalır.

Devam yazısında bir sonraki adımı şöyle tanımladı: "Amaç tek bir doktora öğrencisini taklit etmek değil, onlardan oluşan bir araştırma topluluğunu taklit etmek"; SETI@home tarzı dağıtık ajan işbirliğine atıf yapıyor.

Sistemin bu vizyonu nasıl uyguladığı üç dosyaya dayanıyor.

AutoResearch’ün Üç Dosyalı Mimarisi

AutoResearch'ün tasarımı, her birinin kimin dokunabileceğine dair katı kuralları olan üç dosya arasındaki bir sözleşmeye dayanır.

prepare.py

prepare.py veri hazırlama ve değerlendirmeyi yönetir. 8.192 tokenlık bir sözlüğe sahip bir BPE (Byte Pair Encoding) tokenizer oluşturur, eğitim korpusunu işler ve doğrulama metriğini tanımlar: val_bpb (doğrulama byte başına bit). 

Bu dosya değiştirilemez: ne insan ne de ajan bunu modifiye eder; bu da her deneyin aynı ölçüte göre değerlendirileceğini garanti eder.

train.py

train.py ajanın oyun alanıdır: GPT model mimarisini, Muon+AdamW optimize edicisini ve tam eğitim döngüsünü içeren 630 satırdan oluşur. Ajan burada her şeyi yeniden yazabilir (aktivasyon fonksiyonlarını değiştirmek, dikkat (attention) başlarını yeniden yapılandırmak, öğrenme oranı çizelgelerini değiştirmek, ağırlık başlatmayı modifiye etmek), yeter ki değiştirilmiş kod yine eğitilsin ve bir val_bpb skoru üretsin.

program.md

program.md düz markdown ile yazılır ve insan yazarın dokunduğu tek dosyadır. Ajana hangi araştırma yönlerinin izleneceğini, nelerden kaçınılacağını ve deneylere nasıl yaklaşılacağını söyler.

program.md neyi kontrol eder

Dosya çoğu kişinin beklediğinden daha özeldir. Ajana neyi geçmesi gerektiğini bildirmek için temel metrikleri sabitler (val_bpb: 0.997900, tepe VRAM (video belleği): 45 GB). 

Deneyleri çalıştırmak ve sonuçları çıkarmak için tam komutları belirtir. Başarısızlıkların nasıl ele alınacağını anlatır: yazım hatalarını düzelt ve yeniden çalıştır, kökten bozuk fikirleri atla, 10 dakikayı aşan her şeyi sonlandır. 

Ve tüm sistemi çalıştıran yönergeyi içerir: "ASLA DURMAYIN. Deney döngüsü başladığında, devam edip etmemeniz gerektiğini sormak için İNSANA ara vermeyin."

Her deneyi şekillendiren bir tasarım kısıtı daha vardır: "Diğer her şey eşitse, daha basit olan daha iyidir. Çirkin bir karmaşıklık ekleyen küçük bir iyileştirme buna değmez." Bu, ajanı aşırı mühendislikten uzaklaştırır ve bir insan değerlendiricinin onaylayacağı temiz değişikliklere yönlendirir.

İş bölümü nettir. İnsan program.md aracılığıyla araştırma yönünü belirler, ajan train.py dosyasını değiştirerek icra eder ve prepare.py, hiçbir tarafın dokunamadığı tarafsız hakem olarak görev yapar. Bu sözleşme yerindeyken, ajan deney döngüsünü durmadan kesintisiz çalıştırır.

AutoResearch Ratchet Döngüsü

AutoResearch'ün çekirdeği, insan girdisi olmadan çalışan bir deney döngüsüdür. program.md'de tanımlanan 9 adımlı döngüyü izleyerek tek bir yineleme şöyle işler:

1. Ajan, mevcut araştırma önceliklerini ve kısıtlarını anlamak için program.md dosyasını okur.
2. Mevcut train.py dosyasını ve results.tsv içindeki son sonuçları inceler.
3. Bir hipotez önerir: mimari değişikliği, optimize edici ayarı veya eğitim modifikasyonu.
4. Önerilen değişikliği uygulamak için train.py dosyasını değiştirir.
5. Değişikliği bir git dalına işler (commit).
6. Tam olarak 5 dakika eğitim çalıştırır (sabit duvar saati bütçesi).
7. Eğitim çökerse, hatayı kaydeder, commit'i geri alır ve tekrar dener.
8. Sonucu val_bpb ile değerlendirir ve sonucu results.tsv dosyasına kaydeder.
9. Eğer val_bpb iyileştiyse: commit kalır. İyileşmediyse: git reset HEAD~1 önceki sürüme döner.

Sonra yeniden 1. adımdan başlar.

Her deney aynı 5 dakikalık duvar saati bütçesini alır; bu, sonuçları doğrudan karşılaştırılabilir kılar. Daha hızlı eğiten bir değişiklik ile daha düşük değere yakınsayan bir değişiklik eşit koşullarda değerlendirilir. 

Deney başına 5 dakika ile sistem saatte yaklaşık 12 deneyi çalıştırır.

"Ratchet" adı git geçmişinden gelir. Başarılı her deney bir commit ekler; her başarısızlık geri alınır. Kod tabanı sadece ileri gidebilir, asla geri değil; doğrulanmış iyileştirmeleri tek tek biriktirir.

Araştırma belleği olarak Git

Yapı olarak evrimsel algoritmalara benzer; ancak AutoResearch bir popülasyon yerine tek bir soy sürdürür. Adaylar arasında çaprazlama ve mutasyon yerine, LLM hem mutasyon operatörü (değişiklik önerir) hem de seçilim baskısı (geçmiş sonuçlara göre neyi deneyeceğini seçer) olarak görev yapar. 

Kendi git geçmişini ve results.tsv dosyasını okuyarak umut vadedenin üzerine inşa eder.

results.tsv dosyası her deneyi takip eder: commit özeti, val_bpb skoru, GPU bellek kullanımı, geçti/kaldı durumu ve ajanın denediğine dair bir açıklama. 

Sabah gözden geçirmek için net bir iz kaydı elde edersiniz ve ajan da aynı günlüğü bir sonraki deneyeceğini kalibre etmek için kullanır. İlk deneyler genelde geniş kapsamlıdır (farklı optimize edici yapılandırmalarını denemek), sonraki deneyler ise verinin doğruladığı yöne odaklanır.

AutoResearch ile Başlarken

AutoResearch'ü çalıştırmak için NVIDIA GPU'lu bir makine (varsayılan yapılandırma 20+ GB VRAM'li modern GPU'ları hedefler), Python 3.10+, uv ve bir kodlama ajanı (Claude Code, Cursor veya benzeri) gerekir.

Depoyu klonlayın, bağımlılıkları yükleyin ve veri setini hazırlayın:

git clone https://github.com/karpathy/autoresearch.git
cd autoresearch
uv sync
uv run prepare.pyAltyapı:

Herhangi bir orkestrasyon betiği yok. run.py yok, boru hattı yok, çerçeve yok. 

README, "bu depoda basitçe Claude/Codex veya istediğiniz her neyse onu başlatın" diyor. 

Proje dizininde bir kodlama ajanı açarsınız, ona program.md dosyasını okumasını söylersiniz ve ajan deney döngüsünü kendi başına çalıştırır. 

Otomasyon katmanı LLM'dir. İlerlemeyi results.tsv dosyasını izleyerek veya git günlüğünde yeni commit'leri kontrol ederek takip edin.

Varsayılan yapılandırma, makul bir GPU ve sonuçların görülmesi için birkaç saat gerektiren FineWeb-Edu veri seti üzerinde bir GPT modeli eğitir. Daha küçük donanımda ilk deneme için, Karpathy TinyStories veri setine geçiş yapmayı ve sözlük boyutunu 256'ya, derinliği 4'e düşürerek modeli küçültmeyi önerir. 

Bu değişiklikler VRAM gereksinimlerini düşürür ve her deneyi kısaltarak birkaç saat içinde ratchet etkisini görmenizi sağlar.

İlk çalıştırmayı yapılandırma

Gece boyu bir çalıştırma başlatmadan önce varsayılan program.md dosyasını okuyun. Ajanın izlediği araştırma gündemini tanımlar; bunu düzenlemek deneyleri yönlendirmenin yoludur. 

Ajanın dikkat (attention) mekanizmalarına odaklanmasını istiyorsanız, bunu program.md içinde belirtin. 

Optimize ediciye dokunmamasını istiyorsanız, bu kısıtı ekleyin. Ajan orada yazılandan sapmaz.

İlk gece koşusunda, belki 15-20 iyileştirmenin tutulduğu 80-100 deney bekleyin. Bilmeniz gereken birkaç pratik nokta:

• API maliyetleri deney sayısıyla ölçeklenir. Tek gecelik bir koşu bireysel araştırmacılar için yönetilebilir; çok günlük koşular bütçe gerektirir.
• Bazı deneyler çökecektir. Döngü otomatik olarak toparlanır; bu yüzden gece koşusunu kesintiye uğratmazlar.
• Terminali izlemek yerine sabah results.tsv dosyasını kontrol edin. İyileşen val_bpb skorlarının basamaklı deseni, tek tek günlüklerden daha iyi bir hikâye anlatır.

AutoResearch Sonuçları ve Yaratıcılık Tavanı

AutoResearch, Karpathy'nin kendi deneylerinden topluluk canlandırmalarına ve üretim kullanımına kadar birden çok çalıştırmada test edildi.

Ajan, yöntemli bir insanın eninde sonunda bulacağı şeyleri buldu. QKnorm, dikkati keskinleştirmek için bir çarpan eksikti; Value Embeddings düzenlileştirmeden yararlanıyor ve bantlı dikkat ayarında, AdamW beta parametrelerinde ve ağırlık bozunumu çizelgelemesinde kazanımlar vardı. 

Bunlar rastgele hiperparametre taramaları değil, yapısal kod değişiklikleridir ve her birini elle test etmek günler sürerdi.

Shopify CEO'su Tobi Lutke, AutoResearch'ü şirket içi bir sorgu-genişletme modeli için uyarladı ve 0,8B parametreli bir modelde 37 deneyden %19 doğrulama skoru iyileştirmesi elde etti; sonuçları başladığı ertesi gün bildirdi.

Basamak grafiği gerçektir; ancak her basamak küçüktür. Ajan gerçek iyileştirmeler bulur: burada bir beta parametresini ayarlamak, orada düzenlileştirme eklemek gibi. Kimse onun yeni bir dikkat mekanizması icat ettiğini veya insan bir araştırmacının eninde sonunda ulaşamayacağı bir mimari fikir önerdiğini bildirmedi.

Yaratıcılık tavanı

GitHub Issue #22 yapısal sorunu özetliyor. Bir kullanıcı, ajanın en son işe yarayanın küçük varyasyonları arasında döngü yaptığını ve yerel bir arama kalıbına sıkıştığını gözlemledi. 

Ratchet, yalnızca val_bpb değerini anında iyileştiren değişiklikleri kabul eder; bu nedenle ajan, daha büyük bir kazanç için geri adım atamaz. 

İnsan araştırmacılar sık sık "daha iyi olmadan önce kötüleşecek" diye akıl yürütür. Ratchet'te bunun yeri yoktur.

Karpathy, Hacker News'te ilişkili bir sorunu kabul etti: ajan açık uçlu problemlerde "çekingen ve ürkek" hissi veriyor. 

Bunu, cesur denemeler yerine güvenli, muhafazakâr çıktıları ödüllendiren RLHF (İnsan Geri Bildiriminden Takviyeli Öğrenme) eğitimine bağlıyor. Ajan yaratıcı değişiklikler önerebilecek kapasitede; fakat temkinli oynamak üzere inşa edilmiş.

Sabit 5 dakikalık eğitim penceresi de başka bir kısıt getirir. 

Değerini hızlı gösteren değişiklikler bulunur; ancak yalnızca daha uzun çalıştırmalarda kendini ispat edecek değişiklikler görünmez kalır. Ayrıca 100 deneyi aynı doğrulama setine karşı çalıştırmak aşırı uyum riskini taşır: bazı iyileştirmeler genel kazanımlar yerine o değerlendirmeye özgü olabilir. Sistemin adalet garantisi olan prepare.py'nin değiştirilemezliği aynı zamanda kör noktasıdır.

Topluluk, tavanın çerçeveden mi yoksa alttaki modelden mi kaynaklandığını tartışıyor. Öneriler arasında meta-komut istemi optimizasyonu (ikinci bir ajan sonuçlara göre program.md'yi yeniden yazar), iyileştirmenin yanında yenilikçiliği de ödüllendiren çeşitlilik yönergeleri ve yerel optimumlardan kaçmak için önceki bir kontrol noktasından periyodik "sıfırlama" deneyleri yer alıyor.

Şu anda AutoResearch, ML araştırmasının yöntemli kısmını otomatikleştiren bir araçtır: yüzlerce küçük deneyi çalıştırıp değerlendirmek. Yaratıcı kısmın, yani yeni araştırma yönleri formüle etmenin yerini almaz; bu hâlâ insan işi. Bu iş bölümü, aracın iş akışınıza uyup uymadığının da en net göstergesidir.

AutoResearch Ne Zaman Kullanılmalı

Üç dosyalı sözleşme (değiştirilemez değerlendirici, ajan tarafından değiştirilebilir uygulama, insan tarafından yazılan yön) LLM eğitiminin ötesinde, otomatik bir puanlama fonksiyonu tanımlayabildiğiniz her alana aktarılabilir. 

Arama sıralaması optimizasyonu, ürün sınıflandırma, klinik adlandırılmış varlık tanıma, sahtecilik puanlama, niyet sınıflandırma: bu görevler doğru özellikleri paylaşır. Dakikalar içinde eğitilen küçük modeller, net puanlama fonksiyonları ve ölçeklediğinizde transfer olan iyileştirmeler.

Deneyler bir insanın yönetebileceğinden 100 kat hızlı çalıştığında ise, kısıt değerlendirme boru hattı olur. Statik kıyaslar hızla doyar. Bu deseni benimseyen ekiplerin, üretim verisiyle birlikte evrilen ve daha zor kenar vakaları içeren değerlendirme setlerine ihtiyacı vardır.

Karpathy, üretim nanochat çerçevesiyle 8x H100 GPU üzerinde AutoResearch'ün "daha büyük kuzenini" çalıştırıyor; bu da desenin oyuncak deneylerin ötesine ölçeklendiğini gösteriyor. Topluluk şimdiden macOS/Apple Silicon için çatalladı ve eski GPU'lar için entegrasyonlar önerdi. CPU vs GPU rehberi bu tür yinelemeli eğitim için GPU donanımının neden vazgeçilmez olduğunu anlatır.

Amacınız iyi anlaşılan bir eğitim hattından artımsal iyileştirmeler sıkmaksa, AutoResearch iyi bir uyumdur. Yaratıcılık tavanı, gerçek yenilik gerektiren problemlerde hâlâ insan araştırmacılara ihtiyaç duyacağınız anlamına gelir ve araç en iyi, araştırmanın çoğunluğunu oluşturan yöntemli yinelemede çalışır.

Sonuç

İyi bir program.md yazmak, araştırmayı bizzat yapmış olmayı gerektirir. Hangi yönlerin denemeye değer olduğunu, probleminiz için "daha iyi"nin ne anlama geldiğini ve artımsal kazançların ne zaman tükendiğini bilmeniz gerekir. Ajan icrayı üstlenir; ancak araştırma gündeminin arkasındaki yargı insanda kalır. Eğer bir sonraki nesil mühendisler, ajanlar artık bunu hallediyor diye bu şekillendirici çalışmayı atlarlarsa, alan bolca hesaplama gücüne sahip olur ama onu doğru yöne çevirecek deneyime sahip kimse olmaz.