가중치 공간 프로그래밍: LLM은 어떻게 신경망 가중치를 읽고 편집하나

가중치 공간 프로그래밍은 범용 대규모 언어 모델(LLM)이 신경망의 원시 가중치를 읽고, 경사하강이나 학습 루프 없이 자연어 목표에 따라 직접 수정하거나 작성하는 방법입니다. 2026년 11월 2일에 게시된 블로그 글에서 MIT CSAIL 연구원 4인은 GPT-6 Astra가 이미 이를 수행한다고 보고했습니다. Qwen3.5-0.8B의 가중치 중 0.016%를 편집해 모델의 MATH-500 점수를 7.9%에서 48.1%로 올렸습니다.

저자는 Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab로, 원래 DSPy 논문의 제1저자입니다. 결과는 초기 단계이며 단일 LLM에서 나온 것이지만, 팀은 모든 프롬프트, 응답, 평가 내역을 공개했습니다.

이 글에서는 가중치 공간 프로그래밍의 개념, 실험 결과, 한계, 그리고 실무에 주는 의미를 다룹니다. 편집을 수행한 모델이 궁금하다면 GPT-6 Astra 가이드를 참고하세요.

가중치 공간 프로그래밍이란?

가중치 공간 프로그래밍은 LLM이 환경 피드백 없이도 자연어 명세를 바탕으로 신경망의 가중치를 직접 읽고, 고치고, 쓰도록 요청하는 방식입니다. LLM은 네트워크 각 부분이 무엇을 계산하는지, 또는 무엇을 계산해야 하는지 도출해 해당 수치를 설정합니다.

이는 가중치가 일반적으로 생성되는 경로와 다릅니다. 오늘날 가중치는 경사하강법과 Adam, Muon 같은 옵티마이저, 다른 네트워크의 가중치를 생성하도록 학습된 네트워크, 또는 형식적 프로그램을 네트워크로 변환하는 컴파일러에서 나옵니다. MIT 설정에서는 GPT-6 Astra가 학습 루프를 쓰지 않습니다. 엔지니어가 코드를 추론하듯 가중치를 추론합니다.

LLM은 이미 프롬프트, 프로그램, 학습 코드를 최적화하고 있습니다. 저자들의 주장은 이 같은 추론 기반 최적화가 이제 가중치 자체까지 도달했다는 것입니다.

MIT 연구진이 보여준 것

8개의 실험은 가중치 읽기, 수리, 제로부터 작성의 세 그룹으로 나뉩니다. 대부분은 Astra의 컨텍스트 창에 텍스트로 담길 수 있는 소형 네트워크를 사용했고, 더 큰 경우에는 파이썬 샌드박스와 일부 전방 패스 예산을 추가했습니다.

네트워크 가중치 읽기

팀은 동일한 17,253개 가중치 아키텍처로 그리드 버전의 Breakout, Pong, Pac-Man, Freeway에서 게임 에이전트를 위한 표준 강화학습 알고리즘인 근접 정책 최적화(PPO)로 정책 네 개를 학습시켰습니다. 게임 목록을 제공하지 않았는데도, Astra는 네트워크 4개에 대해 모두 올바른 게임을 지목했습니다. 예컨대 Breakout 에이전트의 1층 가중치가 패들이 있는 하단 행에 놓여 있다는 단서를 읽어낸 것입니다.

이후 더 어려운 두 버전이 이어졌습니다.

• 확산 모델: 세 개의 소형 DDPM 가중치만 주어지고 전방 패스는 허용되지 않은 상황에서, Astra는 각 모델이 원, 사각형, 삼각형 중 무엇을 생성하는지 식별했습니다. 실제 모델은 채워진 도형을 출력하지만 Astra는 윤곽선으로 그려, 네트워크를 시뮬레이션하기보다는 가중치 기하를 읽었음을 시사합니다.
• 언어 모델: 720만 매개변수의 문자 기반 모델에서 중간 트랜스포머 블록 4개만 주어졌을 때, Astra는 세 모델의 학습 언어(파이썬, 로마자 일본어, 영어)를 두 차례 모두 정확히 맞췄습니다. 또한 복사 헤드(유도 헤드라고도 함)를 모두 찾아냈고, 다른 어떤 헤드도 복사 헤드로 지목하지 않았습니다. 멀티헤드 어텐션 가이드는 이 헤드들이 무엇을 하는지 설명합니다.

깨진 정책 수리

Kinetix 환경의 자동차-경사로 레벨에서 10억 스텝 동안 학습된 PPO 정책은 매번 경사로를 직진으로 들이받고 멈췄습니다. 171,664개의 가중치, 장면, 기록된 에피소드 하나가 주어지자, Astra는 실패 원인을 설명하고 도구 없이 단 한 번의 응답으로 수정안을 작성했습니다. 편집은 가중치의 3.5%를 바꾸었고, 성공률을 0%에서 1,024 에피소드 전반에 걸쳐 100%로 올렸습니다.

수정은 해독 가능했습니다. 차를 뒤로 빼는 작은 보조 경로를 추가하고, 차가 띠를 지나면 이를 끄는 방식입니다.

네트워크를 제로부터 작성

세 가지 MinAtar 게임에서, Astra는 규칙과 소스 코드, 그리고 올-제로 네트워크를 받아 데이터, 경사, 도구 없이 한 번의 응답으로 모든 가중치를 텍스트로 작성했습니다. 세 네트워크 모두 1억 스텝 학습한 PPO 에이전트를 능가했습니다.

Breakout이 예외적으로 높았던 이유는 Astra가 이를 프로그램처럼 작성했기 때문입니다. 첫 층은 공이 어디에 떨어질지 계산하고, 둘째 층은 패들을 그 위치로 이동시킵니다. 1,480,274개의 가중치를 가진 9x9 바둑 네트워크는 파이썬 샌드박스에서 작성되었고, 50번의 전방 패스로 테스트하며 같은 크기의 PPO 네트워크(2천만 게임 학습)를 능가했습니다.

Qwen3.5-0.8B의 사고 루프 수정

가장 실용적인 결과는 알려진 결함을 겨냥합니다. Qwen의 모델 카드는 Qwen3.5-0.8B가 사고 루프에 취약하다고 경고하며, MIT 테스트에서는 MATH-500 답변의 93.0%가 32,768 토큰 한도에 도달했습니다. GSM8K와 MATH의 연습 문제에서 50번의 전방 패스를 허용한 파이썬 커널에서, Astra는 루프를 15, 19층 MLP가 쓴 하나의 방향으로 추적한 다음 각 층에서 64개 출력 열에서 이를 빼도록 했습니다.

토큰 한도에 도달하는 답변 비율은 33.1%로 떨어졌고, 루프는 수학에만 국한되지 않기 때문에 지시 따르기 성능도 개선됐습니다. 예산은 중요했습니다. 전방 패스가 10번 또는 25번일 때는 루프가 거의 줄지 않았습니다. Hugging Face의 Ahsen Khaliq는 로그에서 편집된 체크포인트를 재구성해 동일한 설정으로 MATH-500을 다시 실행했고, 51.0%를 얻었습니다.

가중치 공간 프로그래밍의 한계

가중치 공간 프로그래밍은 문제가 단일하고 국소화된 가중치 결함이 아닐 때는 약점을 보입니다. 저자들은 두 가지 뚜렷한 실패를 보고했으며, 둘 다 시사점이 있습니다.

• 아첨(sycophancy)은 가중치에서 보이지 않았습니다. Gemma 3 270M의 정직한 파인튜닝과 아첨적 파인튜닝이 주어졌을 때, Astra는 네 차례의 시도 모두 가중치만으로는 둘을 구분하지 못했습니다. 주의(attention) 패턴을 볼 수 있게 되자, 세 쌍 모두에서 아첨 모델을 정확히 골라냈습니다.
• Gemma 3 270M의 수학 실력은 나아지지 않았습니다. Gemma는 드물게 루프를 일으키므로 제거할 단일 결함이 없었고, Astra의 최선의 편집은 MATH-500을 6.8%에서 7.7%로 옮기는 데 그쳤습니다. 저자들의 표현을 빌리면, 가중치 편집은 능력을 가리는 장애물을 제거할 수 있으나, 모델에 없는 능력을 추가하지는 못했습니다.

더 넓은 주의사항도 있습니다. 모든 실험은 하나의 LLM을 사용했고, 가장 큰 네트워크도 8억 가중치에 불과하며, 이는 동료심사를 거친 논문이 아니라 초기 결과를 다룬 블로그 글입니다. 저자들은 여전히 이 작업을 위한 벤치마크를 구축 중이라고 밝혔습니다.

데이터 및 AI 실무자에게 주는 의미

실무자에게 가중치 공간 프로그래밍은 오늘날 연구 신호이지만 아직 도구는 아닙니다. 지금 주목할 만한 두 가지가 있습니다.

첫째는 해석가능성입니다. SHAP 같은 기법은 입력을 통해 모델을 설명하고, 기계적 해석가능성은 이를 위한 전용 도구가 필요합니다. Astra는 연구진이 언급하지 않은 알려진 행렬 곱 방법으로 유도 헤드를 복원했습니다. 더 큰 모델에서도 이 점이 유지된다면, “최전선 모델에 이 층이 무엇을 하는지 물어보기”가 본격적인 도구 사용 전에 우선 시도해볼 1차 패스가 될 수 있습니다.

둘째는 표적 수리입니다. Qwen의 루프처럼 소형 모델에 좁은 실패가 있을 때 통상적인 해결책은 새로운 데이터로 파인튜닝하는 것입니다. 131,072개의 가중치 편집은 나머지 모델을 건드리지 않아, 저자들은 파인튜닝이 야기할 수 있는 재앙적 망각을 피한다고 주장합니다. 이는 가설로 봐야 합니다. Gemma 결과가 보여주듯, 편집은 단일 범인을 찾을 수 있을 때만 효과적입니다. 실행 없이 백도어를 감리하거나 데이터 없이 능력을 잊게 만드는 등 저자들의 더 넓은 바람 목록은 아직 입증되지 않았습니다.

직접 시도하는 방법

가중치 공간 프로그래밍을 가장 직접적으로 테스트하는 방법은 실험 중 하나를 재현하는 것입니다. 로그에는 Astra가 받은 정확한 프롬프트가 있으며, GPT-6 Astra는 OpenAI API, Amazon Bedrock, ChatGPT 유료 플랜에서 gpt-6-astra로 사용할 수 있습니다. 정책 가중치만 보고 게임을 맞추는 실험 1이 시작하기 가장 쉽습니다.

1. 로그 받기. lm_understand-logs 저장소를 클론하세요. 각 실험 폴더에는 글의 모든 수치가 어느 파일에서 왔는지 대응하는 README가 있습니다.

2. 도구 없는 실험 선택. 실험 1, 2, 4, 5는 Astra에 도구를 주지 않았으므로 단일 프롬프트로 각 실행을 재현할 수 있습니다. 실험 1의 각 실행 폴더에는 네트워크 설명, 질문, 17,253개 가중치가 텍스트로 담긴 prompt.txt가 있습니다.

3. 저자와 동일 방식으로 전송. 저자들은 Codex CLI(codex exec, 표준 입력으로 프롬프트)로 gpt-6-astra를 호출했고, 모든 내장 도구를 끄고 실험 1에는 높은 reasoning effort를 사용했습니다. 나머지 설정은 harness/codex_config.toml에 있지만 기본값은 gpt-6-luna의 medium effort이므로, 저자들처럼 각 호출에서 모델과 reasoning effort를 지정하세요.

4. 답변 비교. 각 실행 폴더에는 Astra의 answer.md가 있으며, eval/에는 채점과 정답지가 있습니다.

한 번의 실행에는 약 73,700개의 입력 토큰과 2,000개 미만의 출력 토큰이 사용되므로, API 단가가 백만 토큰당 입력 $10, 출력 $50일 때 재현 비용은 1달러 미만입니다. 파이썬 샌드박스를 쓰는 실험(3, 6, 7, 8)은 저자들의 harness/sandbox.py와 훨씬 많은 턴이 필요하니 예산을 고려하세요.

직접 실행하지 않으려면, 편집된 Qwen3.5-0.8B가 Apache-2.0으로 Hugging Face에 올라와 있으며, 변경된 두 텐서의 해시가 모델 카드에 있습니다. Hugging Face Space에서는 문제를 직접 입력해 베이스 모델이 루프에 빠지는 동안 편집본이 해결하는 모습을 볼 수 있습니다.

마무리 생각

가중치 공간 프로그래밍은, 적어도 소형 네트워크와 단일·국소 결함에 대해서는, 최전선 LLM이 추론을 통해 신경망 가중치를 읽고 편집할 수 있음을 보여줍니다. Qwen 수리는 주목을 받을 만하며, Hugging Face가 하루 만에 재현했다는 점도 의미가 큽니다.

더 큰 주장에 대해서는 신중합니다. 하나의 모델, 소형 네트워크, 벤치마크 부재는 저자들이 “우리의 신경망 가중치는 곧 LLM에 의해 네이티브하게 최적화될 것”이라는 프레이밍을 뒷받침하기엔 빈약합니다. 그래도 실패를 성공만큼 충실히 보고했다는 점이 성공을 더 신뢰하게 만듭니다.

이 편집이 겨냥한 트랜스포머 내부를 더 깊이 이해하고 싶다면, Developing Large Language Models 트랙을 추천합니다.