Weight-Space Programming: Wie LLMs Netzwerkgewichte lesen und bearbeiten

Weight-Space Programming ist ein Verfahren, bei dem ein universelles Large Language Model (LLM) die rohen Gewichte eines neuronalen Netzes liest und sie ausgehend von einem Ziel in natürlicher Sprache direkt bearbeitet oder neu schreibt – ganz ohne Gradientenabstieg und ohne Trainingsschleife. In einem Blogpost vom 2. November 2026 berichten vier Forschende des MIT CSAIL, dass GPT-6 Astra das bereits kann: Es editierte 0,016 % der Gewichte von Qwen3.5-0.8B und hob den MATH-500-Score des Modells von 7,9 % auf 48,1 %.

Die Autor:innen sind Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab, Erstautor des ursprünglichen DSPy-Papers. Die Ergebnisse sind früh und stammen von einem einzelnen LLM, aber das Team hat alle Prompts, Antworten und Auswertungen vollständig veröffentlicht.

In diesem Artikel zeige ich, was Weight-Space Programming ist, was die Experimente ergaben, wo die Methode an Grenzen stößt und was das für deine Arbeit bedeutet. Wenn du eine Auffrischung zum Modell brauchst, das die Edits vornimmt, lies unseren Guide zu GPT-6 Astra.

Was ist Weight-Space Programming?

Weight-Space Programming bedeutet, ein LLM direkt die Gewichte eines neuronalen Netzes lesen, korrigieren oder schreiben zu lassen – entlang einer Spezifikation in natürlicher Sprache, teils ganz ohne Feedback aus der Umgebung. Das LLM leitet her, was jeder Netzteil berechnet oder berechnen soll, und setzt die Zahlen entsprechend.

Das unterscheidet sich deutlich davon, wie Gewichte normalerweise entstehen. Heute kommen Gewichte durch Gradientenabstieg mit Optimierern wie Adam oder Muon zustande, durch Netze, die die Gewichte anderer Netze erzeugen, oder durch Compiler, die formale Programme in Netze übersetzen. Im MIT-Setup schreibt GPT-6 Astra keine Trainingsschleife. Es denkt über Gewichte nach, wie eine Ingenieurin über Code nachdenkt.

LLMs optimieren bereits Prompts, Programme und Trainingscode. Die These der Autor:innen: Diese verständnisgetriebene Optimierung erreicht nun die Gewichte selbst.

Was die MIT-Forschenden gezeigt haben

Die 8 Experimente fallen in drei Gruppen: Gewichte lesen, reparieren und von Grund auf schreiben. Meist kommen kleine Netze zum Einsatz, deren Gewichte als Text in Astras Kontextfenster passen; bei größeren gibt es eine Python-Sandbox und teils ein Budget an Forward-Pässen.

Gewichte eines Netzes lesen

Das Team trainierte vier Policies mit Proximal Policy Optimization (PPO), dem Standard-Verstärkungslernverfahren für Spielagenten, auf Gitterversionen von Breakout, Pong, Pac-Man und Freeway – alle mit derselben Architektur mit 17.253 Gewichten. Ohne die Liste der Spiele zu kennen, nannte Astra für alle 4 Netze das richtige Spiel und las Hinweise wie die erste Schicht des Breakout-Agenten, deren Gewichte entlang der unteren Reihe liegen, wo sich das Paddle befindet.

Es folgten zwei schwierigere Varianten:

• Diffusionsmodelle: Aus den Gewichten von 3 kleinen DDPMs, ohne erlaubten Forward-Pass, identifizierte Astra, welches Kreise, Quadrate oder Dreiecke generiert. Es skizzierte Umrisse, obwohl die Modelle gefüllte Formen erzeugen – ein Hinweis darauf, dass es die Geometrie der Gewichte las statt das Netz zu simulieren.
• Sprachmodelle: Nur mit den 4 mittleren Transformer-Blöcken von zeichenbasierten Modellen mit 7,2 Millionen Parametern nannte Astra für alle 3 in beiden Versuchen die Trainingssprache (Python, japanisches Romaji oder Englisch). Es fand außerdem alle Copying Heads, auch Induction Heads genannt, und benannte keinen anderen Head fälschlich so. Unser Guide zu Multi-Head Attention erklärt, was diese Heads tun.

Eine fehlerhafte Policy reparieren

Eine per PPO 1 Milliarde Schritte lang auf ein Auto-und-Rampe-Level in der Kinetix-Umgebung trainierte Policy fuhr stets direkt auf die Rampe zu und blieb stehen. Mit den 171.664 Gewichten, der Szene und einer aufgezeichneten Episode erklärte Astra den Fehler und schrieb in einer einzigen Antwort ohne Tools eine Korrektur. Der Edit änderte 3,5 % der Gewichte und hob die Erfolgsrate über 1.024 Episoden von 0 % auf 100 %.

Die Korrektur ist lesbar: ein kleiner Zusatzpfad, der das Auto zunächst zurücksetzt und sich abschaltet, sobald es den Streifen passiert hat.

Netze von Grund auf schreiben

Für drei MinAtar-Spiele erhielt Astra die Regeln, den Quellcode und ein Nullnetz und schrieb dann in einer Antwort alle Gewichte als Text – ohne Daten, Gradienten oder Tools. Alle drei Netze schlugen PPO-Agenten, die 100 Millionen Schritte trainiert wurden.

Breakout ist der Ausreißer, weil Astra es als Programm konstruierte: Die erste Schicht berechnet, wo der Ball landet, die zweite bewegt das Paddle dorthin. Ein 9x9-Go-Netz mit 1.480.274 Gewichten, in einer Python-Sandbox geschrieben, schlug ein gleich großes PPO-Netz, das auf 20 Millionen Partien trainiert wurde, sobald Astra 50 Forward-Pässe zum Gegencheck hatte.

Denk-Schleifen in Qwen3.5-0.8B beheben

Das praktischste Ergebnis zielt auf einen bekannten Fehlertyp. Qwens eigene Model Card warnt, dass Qwen3.5-0.8B zu Denk-Schleifen neigt, und in den MIT-Tests liefen 93,0 % seiner MATH-500-Antworten bis an das Tokenlimit von 32.768. In einem Python-Kernel mit 50 Forward-Pässen auf Übungsaufgaben aus GSM8K und MATH verfolgte Astra die Schleifen bis zu einer Richtung, die von den MLPs der Layer 15 und 19 geschrieben wurde, und zog sie in jeweils 64 Output-Spalten ab.

Der Anteil der Antworten, die das Tokenlimit erreichten, fiel auf 33,1 %, und weil Schleifen nicht nur Mathe betreffen, verbesserte sich auch das Befolgen von Anweisungen. Das Budget war entscheidend: Mit 10 oder 25 Forward-Pässen verschwanden die Schleifen kaum. Ahsen Khaliq von Hugging Face rekonstruierte den editierten Checkpoint aus den Logs und lief MATH-500 mit denselben Settings erneut, Ergebnis: 51,0 %.

Wo Weight-Space Programming an Grenzen stößt

Weight-Space Programming stößt überall dort an Grenzen, wo das Problem nicht ein einzelner, lokalisierbarer Fehler in den Gewichten ist. Die Autor:innen berichten zwei klare Fehlschläge – beide lehrreich.

• Schmeichelei war in den Gewichten unsichtbar. Bei einem ehrlichen und einem schmeichlerischen Fine-Tune von Gemma 3 270M konnte Astra sie allein anhand der Gewichte in keinem der vier Versuche unterscheiden. Sobald es die Aufmerksamkeitsmuster sah, erkannte es in allen drei Paaren das schmeichlerische Modell.
• Gemma 3 270M wurde in Mathe nicht besser. Gemma gerät selten in Schleifen, es gab also keinen einzelnen Fehler zu entfernen, und Astras bester Edit hob MATH-500 nur von 6,8 % auf 7,7 %. Wie die Autor:innen es formulieren: Edits können ein Hindernis entfernen, das eine Fähigkeit verdeckt, aber sie können keine Fähigkeit hinzufügen, die dem Modell fehlt.

Die weiteren Einschränkungen: Jedes Experiment nutzt ein LLM, das größte Netz hat 0,8 Milliarden Gewichte, und es handelt sich um einen Blogpost mit frühen Ergebnissen, kein peer-reviewtes Paper. Ein Benchmark für die Aufgabe ist laut Autor:innen noch in Arbeit.

Was das für Data- und KI-Praktiker:innen bedeutet

Für die Praxis ist Weight-Space Programming heute ein Forschungssignal, aber noch kein Tool. Zwei Aspekte lohnen sich jetzt schon zu verfolgen.

Erstens die Interpretierbarkeit. Attributionsmethoden wie SHAP erklären Modelle über Eingaben, und mechanistische Interpretierbarkeit braucht spezialisierte Werkzeuge. Astra fand Induction Heads mit einer bekannten Matrix-Multiplikationsmethode, die die Forschenden ihm nie genannt hatten. Hält das bei größeren Modellen, wird „Frag ein Spitzenmodell, was dieser Layer macht“ zum ersten Schritt vor der schweren Tooling-Phase.

Zweitens die gezielte Reparatur. Hat ein kleines Modell einen eng abgegrenzten Fehler wie Qwens Schleifen, ist die übliche Lösung, es per Fine-Tuning auf neuen Daten anzupassen. Ein Edit an 131.072 Gewichten lässt den Rest des Modells unberührt – was laut Autor:innen das katastrophale Vergessen durch Fine-Tuning vermeiden kann. Ich würde das als Hypothese behandeln: Das Gemma-Ergebnis zeigt, dass der Edit nur funktioniert, wenn es einen einzelnen Verursacher gibt. Die weitergehende Wunschliste – von der Prüfung auf Backdoors ohne Laufzeit bis zum Unlernen von Fähigkeiten ohne Daten – ist noch nicht gezeigt.

So probierst du Weight-Space Programming selbst aus

Am direktesten testest du Weight-Space Programming, indem du eines der Experimente nachspielst: Die Logs enthalten die exakten Prompts an Astra, und GPT-6 Astra ist als gpt-6-astra in der OpenAI API, in Amazon Bedrock und in den kostenpflichtigen ChatGPT-Plänen verfügbar. Experiment 1, das Spiel anhand der Policy-Gewichte zu benennen, ist der einfachste Einstieg:

1. Hol dir die Logs. Klone das lm_understand-logs-Repository. Jeder Experiment-Ordner hat eine README, die jede Zahl im Post der passenden Datei zuordnet.

2. Wähle ein Tool-freies Experiment. In den Experimenten 1, 2, 4 und 5 hatte Astra keine Tools, ein einziger Prompt reproduziert also den Lauf. In Experiment 1 enthält jeder Run-Ordner eine prompt.txt mit Netzbeschreibung, Frage und allen 17.253 Gewichten als Text.

3. Sende es wie die Autor:innen. Sie riefen gpt-6-astra über die Codex-CLI (codex exec, Prompt auf stdin) mit allen integrierten Tools deaktiviert auf – bei hohem Reasoning-Aufwand für Experiment 1. Die restliche Konfiguration steht in harness/codex_config.toml, deren Defaults aber gpt-6-luna bei medium-Aufwand sind. Setze Modell und Reasoning-Aufwand also bei jedem Call, so wie die Autor:innen.

4. Vergleiche die Antworten. Jeder Run-Ordner enthält außerdem Astras answer.md, und eval/ hält Scoring und Lösungsschlüssel bereit.

Ein Lauf nutzte rund 73.700 Input-Tokens und unter 2.000 Output-Tokens. Bei 10 $ bzw. 50 $ pro Million Tokens in der API kostet ein Replay also unter 1 $. Die Python-Sandbox-Experimente (3, 6, 7 und 8) benötigen harness/sandbox.py und deutlich mehr Turns – plane das Budget entsprechend.

Wenn du nichts ausführen möchtest, findest du das editierte Qwen3.5-0.8B auf Hugging Face unter Apache-2.0, mit den Hashes der 2 geänderten Tensoren auf der Model Card. Die Hugging Face Space lässt dich eine Aufgabe eintippen und zusehen, wie das Basismodell in Schleifen gerät, während das editierte sie löst.

Abschließende Gedanken

Weight-Space Programming zeigt, dass ein Spitzen-LLM durch reines Denken Gewichte neuronaler Netze lesen und bearbeiten kann – zumindest bei kleinen Netzen und einzelnen, lokalisierten Fehlern. Der Qwen-Fix ist das Ergebnis, das Aufmerksamkeit bekommt und verdient – auch, weil Hugging Face ihn binnen eines Tages reproduziert hat.

Bei den großen Thesen bin ich vorsichtiger. Ein Modell, kleine Netze und kein Benchmark sind eine dünne Basis für die Aussage, „unsere Netzwerkgewichte werden bald nativ von LLMs optimiert“. Dennoch: Die Fehlschläge werden so sorgfältig berichtet wie die Erfolge – das lässt mich die Erfolge ernster nehmen.

Wenn du die Transformer-Interna verstehen willst, auf die diese Edits zielen, empfehle ich unseren Lernpfad Developing Large Language Models.