वेट-स्पेस प्रोग्रामिंग वह तरीका है जिसमें एक जनरल-पर्पस बड़े भाषा मॉडल (LLM) किसी न्यूरल नेटवर्क के कच्चे वेट्स पढ़ता है और उन्हें किसी साधारण-भाषा लक्ष्य के आधार पर सीधे एडिट या लिखता है—बिना ग्रेडिएंट डिसेंट और बिना ट्रेनिंग लूप के। 2 नवंबर, 2026 को प्रकाशित एक ब्लॉग पोस्ट में, MIT CSAIL के चार शोधकर्ताओं ने रिपोर्ट किया कि GPT-6 Astra यह पहले से कर सकता है: इसने Qwen3.5-0.8B के 0.016% वेट्स एडिट किए और मॉडल का MATH-500 स्कोर 7.9% से 48.1% तक बढ़ा दिया।
लेखक हैं Rikiya Takehi, Jayden Teoh, Alex Zhang, और Omar Khattab, जो मूल DSPy पेपर के प्रथम लेखक हैं। नतीजे शुरुआती हैं और एक ही LLM से आए हैं, पर टीम ने इनके पीछे के हर प्रॉम्प्ट, उत्तर और मूल्यांकन को प्रकाशित किया है।
इस लेख में, मैं बताऊंगा कि वेट-स्पेस प्रोग्रामिंग क्या है, प्रयोगों ने क्या दिखाया, यह तरीका कहाँ टूटता है, और आपके काम के लिए इसका क्या अर्थ है। यदि आपको एडिटिंग करने वाले मॉडल का रिफ्रेशर चाहिए, तो हमारा GPT-6 Astra गाइड देखें।
वेट-स्पेस प्रोग्रामिंग क्या है?
वेट-स्पेस प्रोग्रामिंग वह अभ्यास है जिसमें किसी LLM से कहा जाता है कि वह किसी प्राकृतिक-भाषा स्पेक के इर्द-गिर्द किसी न्यूरल नेटवर्क के वेट्स को सीधे पढ़े, सुधारे या लिखे, कभी-कभी बिना किसी पर्यावरण फीडबैक के। LLM यह निकालता है कि नेटवर्क का हर हिस्सा क्या गणना करता है—या क्या करनी चाहिए—और उसी अनुसार संख्याएँ सेट करता है।
यह वेट्स पैदा करने के सामान्य तरीके से अलग रास्ता है। आज वेट्स ग्रेडिएंट डिसेंट से आते हैं—Adam या Muon जैसे ऑप्टिमाइज़र के साथ—ऐसे नेटवर्क्स से जो दूसरे नेटवर्क्स के वेट्स जनरेट करने को ट्रेन हुए हों, या ऐसे कम्पाइलर्स से जो औपचारिक प्रोग्राम्स को नेटवर्क्स में बदलते हों। MIT सेटअप में, GPT-6 Astra कोई ट्रेनिंग लूप नहीं लिखता। वह वेट्स पर वैसा ही तर्क करता है जैसा कोई इंजीनियर कोड पर करता है।
LLMs पहले से प्रॉम्प्ट्स, प्रोग्राम्स, और ट्रेनिंग कोड को ऑप्टिमाइज़ करते हैं। लेखकों का तर्क है कि यह तर्क-चालित ऑप्टिमाइज़ेशन अब वेट्स तक पहुँच गया है।
MIT शोधकर्ताओं ने क्या दिखाया
8 प्रयोग तीन समूहों में आते हैं: वेट्स पढ़ना, उन्हें ठीक करना, और शुरू से लिखना। ज़्यादातर छोटे नेटवर्क्स का इस्तेमाल करते हैं जिनके वेट्स, टेक्स्ट के रूप में, Astra की कॉन्टेक्स्ट विंडो में आ जाते हैं; बड़े प्रयोगों में एक Python सैंडबॉक्स जोड़ा गया और कुछ में फॉरवर्ड पासेज़ का बजट।
नेटवर्क के वेट्स पढ़ना
टीम ने चार नीतियाँ प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), जो गेम एजेंट्स के लिए मानक रिइनफोर्समेंट लर्निंग एल्गोरिद्म है, से प्रशिक्षित कीं—ग्रिड वर्ज़न पर Breakout, Pong, Pac-Man, और Freeway—सभी एक ही 17,253-वेट आर्किटेक्चर के साथ। गेम्स की सूची दिए बिना, Astra ने चारों नेटवर्क्स के लिए सही गेम का नाम बताया, ऐसे सुराग पढ़कर जैसे Breakout एजेंट के फर्स्ट-लेयर वेट्स निचली पंक्ति के साथ बैठे थे, जहाँ पैडल होता है।
इसके दो कठिन वर्ज़न आगे आए:
डिफ्यूज़न मॉडल्स: 3 छोटे DDPMs के वेट्स से, बिना किसी फॉरवर्ड पास की अनुमति के, Astra ने पहचाना कि कौन सा सर्कल, स्क्वायर, या ट्रायंगल जनरेट करता है। उसने उन्हें आउटलाइन के रूप में खींचा जबकि मॉडल्स भरे हुए आकार बनाते हैं—संकेत कि उसने नेटवर्क का सिमुलेशन करने के बजाय वेट ज्योमेट्री पढ़ी।
भाषा मॉडल्स: केवल 7.2-मिलियन-पैरामीटर कैरेक्टर मॉडल्स के 4 मध्य ट्रांसफॉर्मर ब्लॉक्स दिए जाने पर, Astra ने तीनों के ट्रेनिंग भाषा (Python, रोमाजी जापानी, या अंग्रेजी) का नाम दोनों प्रयासों में सही बताया। उसने हर कॉपींग हेड, जिसे इंडक्शन हेड भी कहते हैं, ढूँढ लिया और किसी अन्य हेड को वैसा नहीं कहा। हमारी मल्टी-हेड अटेंशन गाइड बताती है कि ये हेड क्या करते हैं।
टूटी हुई पॉलिसी की मरम्मत
Kinetix वातावरण में कार-और-रैंप स्तर पर 1 बिलियन स्टेप्स के लिए प्रशिक्षित एक PPO पॉलिसी हर बार सीधे रैंप की ओर चलती और रुक जाती थी। 171,664 वेट्स, दृश्य, और एक रिकॉर्डेड एपिसोड दिए जाने पर, Astra ने विफलता समझाई और बिना किसी टूल के एक ही रिप्लाई में फिक्स लिखा। एडिट ने 3.5% वेट्स बदले और 1,024 एपिसोड्स में सफलता दर 0% से 100% कर दी।
फिक्स पढ़ने योग्य है: एक छोटा अतिरिक्त पाथ जो कार को पीछे करता है, फिर स्ट्रिप पार होते ही बंद हो जाता है।
शुरू से नेटवर्क लिखना
तीन MinAtar गेम्स के लिए, Astra को नियम, सोर्स कोड, और एक ऑल-ज़ीरो नेटवर्क मिला, फिर बिना डेटा, ग्रेडिएंट्स, या टूल्स के, एक ही रिप्लाई में हर वेट टेक्स्ट में लिख दिया। तीनों नेटवर्क्स ने PPO एजेंट्स को पछाड़ा जिन्हें 100 मिलियन स्टेप्स के लिए ट्रेन किया गया था।
गेम
PPO, 100M स्टेप्स
PPO, 500M स्टेप्स
Astra, एक ही बार
Breakout
15.8
25.3
517.4
Seaquest
5.6
88.9
53.1
Asterix
25.8
55.2
53.2
Breakout अपवाद है क्योंकि Astra ने इसे एक प्रोग्राम की तरह लिखा: पहली लेयर गेंद कहाँ गिरेगी यह गणना करती है, दूसरी पैडल को वहाँ ले जाती है। 1,480,274 वेट्स वाला 9x9 Go नेटवर्क, जो Python सैंडबॉक्स में लिखा गया, Astra को 50 फॉरवर्ड पास देकर टेस्ट करने के बाद, 20 मिलियन गेम्स पर ट्रेन समान आकार के PPO नेटवर्क से बेहतर रहा।
Qwen3.5-0.8B में तर्क-लूप्स को ठीक करना
सबसे व्यावहारिक नतीजा एक जानी-पहचानी खामी को निशाना बनाता है। Qwen का अपना मॉडल कार्ड चेतावनी देता है कि Qwen3.5-0.8B सोच के लूप्स के प्रति प्रवृत्त है, और MIT के टेस्ट में इसके 93.0% MATH-500 उत्तर 32,768-टोकन सीमा तक चले गए। GSM8K और MATH की प्रैक्टिस समस्याओं पर 50 फॉरवर्ड पास के साथ एक Python कर्नेल में काम करते हुए, Astra ने लूप्स को लेयर 15 और 19 के MLPs द्वारा लिखी एक दिशा तक ट्रेस किया और दोनों में 64 आउटपुट कॉलम्स से उसे घटा दिया।
एडिट किए गए वेट्स
0.016%
0.8 बिलियन में से 131,072
MATH-500
7.9% → 48.1%
बेस बनाम एडिटेड
GSM8K
13.8% → 67.1%
बेस बनाम एडिटेड
IFEval
21.0% → 62.3%
निर्देश-पालन
टोकन सीमा तक पहुँचने वाले उत्तरों का हिस्सा 33.1% पर आ गया, और क्योंकि लूप्स गणित-विशेष नहीं हैं, निर्देश-पालन भी सुधरा। बजट मायने रखता था: 10 या 25 फॉरवर्ड पास पर लूप्स मुश्किल से घटे। Hugging Face के Ahsen Khaliq ने लॉग्स से एडिटेड चेकपॉइंट को फिर से बनाया और समान सेटिंग्स पर MATH-500 फिर चलाया, 51.0% मिला।
वेट-स्पेस प्रोग्रामिंग कहाँ कम पड़ती है
जहाँ समस्या वेट्स की एकल, स्थानीयकृत खामी नहीं है, वहाँ वेट-स्पेस प्रोग्रामिंग कम पड़ती है। लेखक दो साफ असफलताएँ रिपोर्ट करते हैं, और दोनों जानकारीपूर्ण हैं।
चापलूसी वेट्स में अदृश्य रही। Gemma 3 270M के एक ईमानदार और एक चापलूसी करने वाले फाइन-ट्यून को, केवल वेट्स से, Astra चार प्रयासों में अलग नहीं कर सका। एक बार जब वह उनके अटेंशन पैटर्न देख सका, तो उसने तीनों जोड़ों में चापलूस को पहचान लिया।
Gemma 3 270M गणित में बेहतर नहीं हुआ। Gemma शायद ही लूप करता है, इसलिए हटाने को कोई एकल खामी नहीं थी, और Astra का सबसे अच्छा एडिट MATH-500 को 6.8% से 7.7% तक ही ले गया। जैसा कि लेखक कहते हैं, वेट्स एडिट करना ऐसी बाधा हटा सकता है जो किसी क्षमता को छुपा रही हो, पर वह क्षमता जोड़ नहीं सकता जो मॉडल में नहीं है।
व्यापक सावधानियाँ: हर प्रयोग एक ही LLM का उपयोग करता है, सबसे बड़ा नेटवर्क 0.8 बिलियन वेट्स का है, और यह शुरुआती नतीजों वाला ब्लॉग पोस्ट है, पीयर-रीव्यू पेपर नहीं। लेखक कहते हैं कि वे अभी इस कार्य के लिए एक बेंचमार्क बना रहे हैं।
डेटा और एआई प्रैक्टिशनर्स के लिए इसका क्या मतलब है
प्रैक्टिशनर्स के लिए, वेट-स्पेस प्रोग्रामिंग आज एक शोध संकेत है, अभी टूल नहीं। इसके दो हिस्से अभी ट्रैक करने लायक हैं।
पहला है इंटरप्रिटेबिलिटी। SHAP जैसी एट्रिब्यूशन विधियाँ इनपुट्स के माध्यम से मॉडल को समझाती हैं, और मैकेनिस्टिक इंटरप्रिटेबिलिटी को काम के लिए बने टूल्स चाहिए। Astra ने इंडक्शन हेड्स को एक ज्ञात मैट्रिक्स-मल्टिप्लिकेशन विधि से रिकवर किया जिसे शोधकर्ताओं ने उसे कभी बताया ही नहीं। यदि यह बड़े मॉडल्स पर ठहरता है, तो "किसी सीमा-रेखा मॉडल से पूछें कि यह लेयर क्या करती है" भारी टूलिंग से पहले पहली पास बन जाएगा।
दूसरा है टार्गेटेड रिपेयर। जब किसी छोटे मॉडल में एक संकीर्ण विफलता होती है, जैसे Qwen के लूप्स, तो सामान्य फिक्स है उसे नए डेटा पर फाइन-ट्यून करना। 131,072-वेट का एडिट मॉडल के बाकी हिस्से को अछूता छोड़ देता है, जिसे लेखक तर्क देते हैं कि यह फाइन-ट्यूनिंग से होने वाली कैटास्ट्रॉफिक भूलने की समस्या से बचाता है। मैं इसे एक परिकल्पना मानूंगा: Gemma का नतीजा दिखाता है कि एडिट तभी काम करता है जब कोई एक दोषी हो जिसे खोजा जा सके। लेखकों की व्यापक इच्छा-सूची—मॉडल्स का बिना चलाए बैकडोर्स के लिए ऑडिट करना से लेकर बिना डेटा के क्षमताओं को अनलर्न करना—अभी दिखाई नहीं गई है।
खुद वेट-स्पेस प्रोग्रामिंग कैसे आजमाएँ
वेट-स्पेस प्रोग्रामिंग को जाँचने का सबसे सीधा तरीका है किसी प्रयोग को दोहराना: लॉग्स में Astra को मिले सटीक प्रॉम्प्ट्स हैं, और GPT-6 Astra OpenAI API में gpt-6-astra के रूप में, Amazon Bedrock में, और ChatGPT की पेड योजनाओं में उपलब्ध है। प्रयोग 1, किसी पॉलिसी के वेट्स से गेम का नाम बताना, शुरू करने की सबसे आसान जगह है:
लॉग्स लें।lm_understand-logs रेपॉज़िटरी क्लोन करें। हर प्रयोग फ़ोल्डर में एक README है जो पोस्ट के हर नंबर को उसकी फ़ाइल से मैप करता है।
टूल-फ्री प्रयोग चुनें। प्रयोग 1, 2, 4, और 5 ने Astra को कोई टूल नहीं दिए, इसलिए एक ही प्रॉम्प्ट हर रन को पुनरुत्पादित करता है। प्रयोग 1 में, हर रन फ़ोल्डर में prompt.txt है जिसमें नेटवर्क विवरण, प्रश्न, और सभी 17,253 वेट्स टेक्स्ट के रूप में हैं।
वैसे ही भेजें जैसे लेखकों ने भेजा। उन्होंने gpt-6-astra को Codex CLI (codex exec, stdin पर प्रॉम्प्ट) के जरिए कॉल किया, हर बिल्ट-इन टूल बंद करके, और प्रयोग 1 के लिए उच्च reasoning effort पर। बाकी कॉन्फिगरेशन harness/codex_config.toml में है, पर इसके डिफ़ॉल्ट्स gpt-6-luna और medium effort हैं, इसलिए मॉडल और reasoning effort हर कॉल पर सेट करें, जैसा लेखकों ने किया।
उत्तर तुलना करें। हर रन फ़ोल्डर में Astra का answer.md भी है, और eval/ में स्कोरिंग और आंसर की है।
एक रन में लगभग 73,700 इनपुट टोकन और 2,000 से कम आउटपुट टोकन लगे, तो API के प्रति मिलियन टोकन $10 और $50 पर, एक रिप्ले की लागत $1 से कम है। Python-सैंडबॉक्स प्रयोग (3, 6, 7, और 8) को लेखकों के harness/sandbox.py और कहीं ज्यादा टर्न्स चाहिए, तो बजट उसी के अनुसार रखें।
यदि आप कुछ चलाना नहीं चाहते, तो एडिटेड Qwen3.5-0.8B Hugging Face पर Apache-2.0 के तहत है, जिसके मॉडल कार्ड पर बदले गए 2 टेंसरों के हैश दिए हैं। Hugging Face Space आपको कोई समस्या टाइप करने देता है और दिखाता है कि बेस मॉडल कैसे लूप करता है जबकि एडिटेड मॉडल उसे हल करता है।
अंतिम विचार
वेट-स्पेस प्रोग्रामिंग दिखाती है कि एक सीमा-रेखा LLM तर्क के जरिए न्यूरल नेटवर्क वेट्स पढ़ और एडिट कर सकता है—कम से कम छोटे नेटवर्क्स और एकल, स्थानीयकृत खामियों के लिए। Qwen का फिक्स वह नतीजा है जिसे ध्यान मिलेगा, और मिलना चाहिए, आंशिक रूप से इसलिए कि Hugging Face ने इसे एक दिन के भीतर दोहराया।
मैं बड़े दावों पर ज़्यादा सतर्क हूँ। एक मॉडल, छोटे नेटवर्क्स, और कोई बेंचमार्क नहीं—यह लेखकों के इस फ़्रेमिंग के लिए पतला आधार है कि "जल्द ही हमारे न्यूरल नेटवर्क वेट्स LLMs द्वारा नैटिव रूप से ऑप्टिमाइज़ होंगे।" फिर भी, असफलताएँ जितनी सावधानी से रिपोर्ट की गई हैं उतने ही विज़य, और इससे मैं विजयों को और गंभीरता से लेता हूँ।
यदि आप उन ट्रांसफॉर्मर इंटरनल्स को समझने को उत्सुक हैं जिन्हें ये एडिट्स निशाना बनाते हैं, तो मैं हमारा Developing Large Language Models ट्रैक सुझाता हूँ।
FAQs
वेट-स्पेस प्रोग्रामिंग क्या है?⌄
वेट-स्पेस प्रोग्रामिंग वह तरीका है जिसमें एक जनरल-पर्पस LLM किसी न्यूरल नेटवर्क के कच्चे वेट्स पढ़ता है और उन्हें किसी प्राकृतिक-भाषा लक्ष्य से सीधे एडिट या लिखता है—बिना ग्रेडिएंट डिसेंट या ट्रेनिंग लूप के। यह पद नवंबर 2026 की MIT CSAIL शोधकर्ताओं Rikiya Takehi, Jayden Teoh, Alex Zhang, और Omar Khattab की ब्लॉग पोस्ट से आया है, जिन्होंने इसे GPT-6 Astra से परखा।
क्या LLMs सीधे न्यूरल नेटवर्क वेट्स एडिट कर सकते हैं?⌄
हाँ, कम से कम छोटे नेटवर्क्स के लिए। MIT CSAIL के प्रयोगों में, GPT-6 Astra ने एक विफल कंट्रोल पॉलिसी के 3.5% वेट्स एडिट करके सफलता 0% से 100% कर दी, और Qwen3.5-0.8B के 0.016% वेट्स एडिट करके उसके सोच-लूप्स घटाए, जिससे टोकन सीमा पर अटकने वाले उत्तर 93% से 33% हुए। जहाँ हटाने को कोई एकल खामी नहीं थी—जैसे Gemma 3 270M की गणितीय गलतियाँ—वहाँ यह विफल रहा।
GPT-6 Astra ने बिना ट्रेनिंग Qwen3.5-0.8B को कैसे सुधारा?⌄
Astra ने Qwen3.5-0.8B के सोच-लूप्स को लेयर 15 और 19 के MLPs द्वारा लिखी एक दिशा तक ट्रेस किया, फिर प्रत्येक में 64 आउटपुट कॉलम्स से उसे घटा दिया, जिससे 131,072 वेट्स बदले। 50 फॉरवर्ड पास के साथ प्रैक्टिस समस्याओं पर, MATH-500 7.9% से 48.1%, GSM8K 13.8% से 67.1%, और IFEval 21.0% से 62.3% हुआ।
क्या वेट-स्पेस प्रोग्रामिंग फाइन-ट्यूनिंग का विकल्प है?⌄
अभी नहीं। यह Qwen के सोच-लूप्स जैसी एकल, स्थानीयकृत खामी के लिए काम आया, पर ऐसी क्षमताएँ नहीं जोड़ सका जो मॉडल में नहीं थीं, और इसे केवल एक LLM पर 0.8 बिलियन वेट्स तक के नेटवर्क्स पर परखा गया है। फिलहाल, किसी मॉडल के व्यवहार को बदलने के लिए फाइन-ट्यूनिंग ही व्यावहारिक तरीका है।
क्या मैं खुद वेट-स्पेस प्रोग्रामिंग आज़मा सकता/सकती हूँ?⌄
आप GPT-6 Astra की पहुँच के बिना भी नतीजों को देख और परख सकते हैं। शोधकर्ताओं ने GitHub पर पूरे प्रयोग लॉग्स प्रकाशित किए हैं, एडिटेड Qwen3.5-0.8B Hugging Face पर Apache-2.0 के तहत है, और एक Hugging Face Space आपको अपनी समस्याओं पर बेस और एडिटेड मॉडल्स की तुलना करने देता है।
टॉम DataCamp में डेटा साइंस संपादक हैं। वे एआई ट्यूटोरियल लिखते और संपादित करते हैं, नए LLM रिलीज़ की तुलना करते हैं, और एआई-संचालित वर्कफ़्लो बनाते हैं। इससे पहले, वे Deutsche Telekom में डेटा साइंस के क्षेत्र में काम करते थे। काम के अलावा, वे मशीन लर्निंग की मदद से फुटबॉल मैचों का पूर्वानुमान लगाते हैं।
वेट-स्पेस प्रोग्रामिंग वह तरीका है जिसमें एक जनरल-पर्पस बड़े भाषा मॉडल (LLM) किसी न्यूरल नेटवर्क के कच्चे वेट्स पढ़ता है और उन्हें किसी साधारण-भाषा लक्ष्य के आधार पर सीधे एडिट या लिखता है—बिना ग्रेडिएंट डिसेंट और बिना ट्रेनिंग लूप के। 2 नवंबर, 2026 को प्रकाशित एक ब्लॉग पोस्ट में, MIT CSAIL के चार शोधकर्ताओं ने रिपोर्ट किया कि GPT-6 Astra यह पहले से कर सकता है: इसने Qwen3.5-0.8B के 0.016% वेट्स एडिट किए और मॉडल का MATH-500 स्कोर 7.9% से 48.1% तक बढ़ा दिया।
लेखक हैं Rikiya Takehi, Jayden Teoh, Alex Zhang, और Omar Khattab, जो मूल DSPy पेपर के प्रथम लेखक हैं। नतीजे शुरुआती हैं और एक ही LLM से आए हैं, पर टीम ने इनके पीछे के हर प्रॉम्प्ट, उत्तर और मूल्यांकन को प्रकाशित किया है।
इस लेख में, मैं बताऊंगा कि वेट-स्पेस प्रोग्रामिंग क्या है, प्रयोगों ने क्या दिखाया, यह तरीका कहाँ टूटता है, और आपके काम के लिए इसका क्या अर्थ है। यदि आपको एडिटिंग करने वाले मॉडल का रिफ्रेशर चाहिए, तो हमारा GPT-6 Astra गाइड देखें।
वेट-स्पेस प्रोग्रामिंग क्या है?
वेट-स्पेस प्रोग्रामिंग वह अभ्यास है जिसमें किसी LLM से कहा जाता है कि वह किसी प्राकृतिक-भाषा स्पेक के इर्द-गिर्द किसी न्यूरल नेटवर्क के वेट्स को सीधे पढ़े, सुधारे या लिखे, कभी-कभी बिना किसी पर्यावरण फीडबैक के। LLM यह निकालता है कि नेटवर्क का हर हिस्सा क्या गणना करता है—या क्या करनी चाहिए—और उसी अनुसार संख्याएँ सेट करता है।
यह वेट्स पैदा करने के सामान्य तरीके से अलग रास्ता है। आज वेट्स ग्रेडिएंट डिसेंट से आते हैं—Adam या Muon जैसे ऑप्टिमाइज़र के साथ—ऐसे नेटवर्क्स से जो दूसरे नेटवर्क्स के वेट्स जनरेट करने को ट्रेन हुए हों, या ऐसे कम्पाइलर्स से जो औपचारिक प्रोग्राम्स को नेटवर्क्स में बदलते हों। MIT सेटअप में, GPT-6 Astra कोई ट्रेनिंग लूप नहीं लिखता। वह वेट्स पर वैसा ही तर्क करता है जैसा कोई इंजीनियर कोड पर करता है।
LLMs पहले से प्रॉम्प्ट्स, प्रोग्राम्स, और ट्रेनिंग कोड को ऑप्टिमाइज़ करते हैं। लेखकों का तर्क है कि यह तर्क-चालित ऑप्टिमाइज़ेशन अब वेट्स तक पहुँच गया है।
MIT शोधकर्ताओं ने क्या दिखाया
8 प्रयोग तीन समूहों में आते हैं: वेट्स पढ़ना, उन्हें ठीक करना, और शुरू से लिखना। ज़्यादातर छोटे नेटवर्क्स का इस्तेमाल करते हैं जिनके वेट्स, टेक्स्ट के रूप में, Astra की कॉन्टेक्स्ट विंडो में आ जाते हैं; बड़े प्रयोगों में एक Python सैंडबॉक्स जोड़ा गया और कुछ में फॉरवर्ड पासेज़ का बजट।
नेटवर्क के वेट्स पढ़ना
टीम ने चार नीतियाँ प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), जो गेम एजेंट्स के लिए मानक रिइनफोर्समेंट लर्निंग एल्गोरिद्म है, से प्रशिक्षित कीं—ग्रिड वर्ज़न पर Breakout, Pong, Pac-Man, और Freeway—सभी एक ही 17,253-वेट आर्किटेक्चर के साथ। गेम्स की सूची दिए बिना, Astra ने चारों नेटवर्क्स के लिए सही गेम का नाम बताया, ऐसे सुराग पढ़कर जैसे Breakout एजेंट के फर्स्ट-लेयर वेट्स निचली पंक्ति के साथ बैठे थे, जहाँ पैडल होता है।
इसके दो कठिन वर्ज़न आगे आए:
टूटी हुई पॉलिसी की मरम्मत
Kinetix वातावरण में कार-और-रैंप स्तर पर 1 बिलियन स्टेप्स के लिए प्रशिक्षित एक PPO पॉलिसी हर बार सीधे रैंप की ओर चलती और रुक जाती थी। 171,664 वेट्स, दृश्य, और एक रिकॉर्डेड एपिसोड दिए जाने पर, Astra ने विफलता समझाई और बिना किसी टूल के एक ही रिप्लाई में फिक्स लिखा। एडिट ने 3.5% वेट्स बदले और 1,024 एपिसोड्स में सफलता दर 0% से 100% कर दी।
फिक्स पढ़ने योग्य है: एक छोटा अतिरिक्त पाथ जो कार को पीछे करता है, फिर स्ट्रिप पार होते ही बंद हो जाता है।
शुरू से नेटवर्क लिखना
तीन MinAtar गेम्स के लिए, Astra को नियम, सोर्स कोड, और एक ऑल-ज़ीरो नेटवर्क मिला, फिर बिना डेटा, ग्रेडिएंट्स, या टूल्स के, एक ही रिप्लाई में हर वेट टेक्स्ट में लिख दिया। तीनों नेटवर्क्स ने PPO एजेंट्स को पछाड़ा जिन्हें 100 मिलियन स्टेप्स के लिए ट्रेन किया गया था।
Breakout अपवाद है क्योंकि Astra ने इसे एक प्रोग्राम की तरह लिखा: पहली लेयर गेंद कहाँ गिरेगी यह गणना करती है, दूसरी पैडल को वहाँ ले जाती है। 1,480,274 वेट्स वाला 9x9 Go नेटवर्क, जो Python सैंडबॉक्स में लिखा गया, Astra को 50 फॉरवर्ड पास देकर टेस्ट करने के बाद, 20 मिलियन गेम्स पर ट्रेन समान आकार के PPO नेटवर्क से बेहतर रहा।
Qwen3.5-0.8B में तर्क-लूप्स को ठीक करना
सबसे व्यावहारिक नतीजा एक जानी-पहचानी खामी को निशाना बनाता है। Qwen का अपना मॉडल कार्ड चेतावनी देता है कि Qwen3.5-0.8B सोच के लूप्स के प्रति प्रवृत्त है, और MIT के टेस्ट में इसके 93.0% MATH-500 उत्तर 32,768-टोकन सीमा तक चले गए। GSM8K और MATH की प्रैक्टिस समस्याओं पर 50 फॉरवर्ड पास के साथ एक Python कर्नेल में काम करते हुए, Astra ने लूप्स को लेयर 15 और 19 के MLPs द्वारा लिखी एक दिशा तक ट्रेस किया और दोनों में 64 आउटपुट कॉलम्स से उसे घटा दिया।
टोकन सीमा तक पहुँचने वाले उत्तरों का हिस्सा 33.1% पर आ गया, और क्योंकि लूप्स गणित-विशेष नहीं हैं, निर्देश-पालन भी सुधरा। बजट मायने रखता था: 10 या 25 फॉरवर्ड पास पर लूप्स मुश्किल से घटे। Hugging Face के Ahsen Khaliq ने लॉग्स से एडिटेड चेकपॉइंट को फिर से बनाया और समान सेटिंग्स पर MATH-500 फिर चलाया, 51.0% मिला।
वेट-स्पेस प्रोग्रामिंग कहाँ कम पड़ती है
जहाँ समस्या वेट्स की एकल, स्थानीयकृत खामी नहीं है, वहाँ वेट-स्पेस प्रोग्रामिंग कम पड़ती है। लेखक दो साफ असफलताएँ रिपोर्ट करते हैं, और दोनों जानकारीपूर्ण हैं।
व्यापक सावधानियाँ: हर प्रयोग एक ही LLM का उपयोग करता है, सबसे बड़ा नेटवर्क 0.8 बिलियन वेट्स का है, और यह शुरुआती नतीजों वाला ब्लॉग पोस्ट है, पीयर-रीव्यू पेपर नहीं। लेखक कहते हैं कि वे अभी इस कार्य के लिए एक बेंचमार्क बना रहे हैं।
डेटा और एआई प्रैक्टिशनर्स के लिए इसका क्या मतलब है
प्रैक्टिशनर्स के लिए, वेट-स्पेस प्रोग्रामिंग आज एक शोध संकेत है, अभी टूल नहीं। इसके दो हिस्से अभी ट्रैक करने लायक हैं।
पहला है इंटरप्रिटेबिलिटी। SHAP जैसी एट्रिब्यूशन विधियाँ इनपुट्स के माध्यम से मॉडल को समझाती हैं, और मैकेनिस्टिक इंटरप्रिटेबिलिटी को काम के लिए बने टूल्स चाहिए। Astra ने इंडक्शन हेड्स को एक ज्ञात मैट्रिक्स-मल्टिप्लिकेशन विधि से रिकवर किया जिसे शोधकर्ताओं ने उसे कभी बताया ही नहीं। यदि यह बड़े मॉडल्स पर ठहरता है, तो "किसी सीमा-रेखा मॉडल से पूछें कि यह लेयर क्या करती है" भारी टूलिंग से पहले पहली पास बन जाएगा।
दूसरा है टार्गेटेड रिपेयर। जब किसी छोटे मॉडल में एक संकीर्ण विफलता होती है, जैसे Qwen के लूप्स, तो सामान्य फिक्स है उसे नए डेटा पर फाइन-ट्यून करना। 131,072-वेट का एडिट मॉडल के बाकी हिस्से को अछूता छोड़ देता है, जिसे लेखक तर्क देते हैं कि यह फाइन-ट्यूनिंग से होने वाली कैटास्ट्रॉफिक भूलने की समस्या से बचाता है। मैं इसे एक परिकल्पना मानूंगा: Gemma का नतीजा दिखाता है कि एडिट तभी काम करता है जब कोई एक दोषी हो जिसे खोजा जा सके। लेखकों की व्यापक इच्छा-सूची—मॉडल्स का बिना चलाए बैकडोर्स के लिए ऑडिट करना से लेकर बिना डेटा के क्षमताओं को अनलर्न करना—अभी दिखाई नहीं गई है।
खुद वेट-स्पेस प्रोग्रामिंग कैसे आजमाएँ
वेट-स्पेस प्रोग्रामिंग को जाँचने का सबसे सीधा तरीका है किसी प्रयोग को दोहराना: लॉग्स में Astra को मिले सटीक प्रॉम्प्ट्स हैं, और GPT-6 Astra OpenAI API में
gpt-6-astraके रूप में, Amazon Bedrock में, और ChatGPT की पेड योजनाओं में उपलब्ध है। प्रयोग 1, किसी पॉलिसी के वेट्स से गेम का नाम बताना, शुरू करने की सबसे आसान जगह है:लॉग्स लें। lm_understand-logs रेपॉज़िटरी क्लोन करें। हर प्रयोग फ़ोल्डर में एक README है जो पोस्ट के हर नंबर को उसकी फ़ाइल से मैप करता है।
टूल-फ्री प्रयोग चुनें। प्रयोग 1, 2, 4, और 5 ने Astra को कोई टूल नहीं दिए, इसलिए एक ही प्रॉम्प्ट हर रन को पुनरुत्पादित करता है। प्रयोग 1 में, हर रन फ़ोल्डर में
prompt.txtहै जिसमें नेटवर्क विवरण, प्रश्न, और सभी 17,253 वेट्स टेक्स्ट के रूप में हैं।वैसे ही भेजें जैसे लेखकों ने भेजा। उन्होंने
gpt-6-astraको Codex CLI (codex exec, stdin पर प्रॉम्प्ट) के जरिए कॉल किया, हर बिल्ट-इन टूल बंद करके, और प्रयोग 1 के लिए उच्च reasoning effort पर। बाकी कॉन्फिगरेशनharness/codex_config.tomlमें है, पर इसके डिफ़ॉल्ट्सgpt-6-lunaऔरmediumeffort हैं, इसलिए मॉडल और reasoning effort हर कॉल पर सेट करें, जैसा लेखकों ने किया।उत्तर तुलना करें। हर रन फ़ोल्डर में Astra का
answer.mdभी है, औरeval/में स्कोरिंग और आंसर की है।एक रन में लगभग 73,700 इनपुट टोकन और 2,000 से कम आउटपुट टोकन लगे, तो API के प्रति मिलियन टोकन $10 और $50 पर, एक रिप्ले की लागत $1 से कम है। Python-सैंडबॉक्स प्रयोग (3, 6, 7, और 8) को लेखकों के
harness/sandbox.pyऔर कहीं ज्यादा टर्न्स चाहिए, तो बजट उसी के अनुसार रखें।यदि आप कुछ चलाना नहीं चाहते, तो एडिटेड Qwen3.5-0.8B Hugging Face पर Apache-2.0 के तहत है, जिसके मॉडल कार्ड पर बदले गए 2 टेंसरों के हैश दिए हैं। Hugging Face Space आपको कोई समस्या टाइप करने देता है और दिखाता है कि बेस मॉडल कैसे लूप करता है जबकि एडिटेड मॉडल उसे हल करता है।
अंतिम विचार
वेट-स्पेस प्रोग्रामिंग दिखाती है कि एक सीमा-रेखा LLM तर्क के जरिए न्यूरल नेटवर्क वेट्स पढ़ और एडिट कर सकता है—कम से कम छोटे नेटवर्क्स और एकल, स्थानीयकृत खामियों के लिए। Qwen का फिक्स वह नतीजा है जिसे ध्यान मिलेगा, और मिलना चाहिए, आंशिक रूप से इसलिए कि Hugging Face ने इसे एक दिन के भीतर दोहराया।
मैं बड़े दावों पर ज़्यादा सतर्क हूँ। एक मॉडल, छोटे नेटवर्क्स, और कोई बेंचमार्क नहीं—यह लेखकों के इस फ़्रेमिंग के लिए पतला आधार है कि "जल्द ही हमारे न्यूरल नेटवर्क वेट्स LLMs द्वारा नैटिव रूप से ऑप्टिमाइज़ होंगे।" फिर भी, असफलताएँ जितनी सावधानी से रिपोर्ट की गई हैं उतने ही विज़य, और इससे मैं विजयों को और गंभीरता से लेता हूँ।
यदि आप उन ट्रांसफॉर्मर इंटरनल्स को समझने को उत्सुक हैं जिन्हें ये एडिट्स निशाना बनाते हैं, तो मैं हमारा Developing Large Language Models ट्रैक सुझाता हूँ।