AI 圈重磅研究：GPT-6 Astra 直接编辑模型权重，数学能力飙升 6 倍
昨晚，AI 研究领域涌现出一项极具突破性的成果：通过类似编程的方式，直接让 AI 修改另一 AI 模型的权重文件，从而显著提升其性能。
MIT CSAIL 团队利用 GPT-6 Astra 对 Qwen3.5-0.8B 模型的权重进行了微调。在仅更改 0.016% 权重的情况下，该模型在 MATH-500 数学测试中的准确率提升至原来的约 6 倍，IFEval 指令跟随测试准确率提升至原来的约 3 倍。
核心数据表现
实验 8 · 修改模型权重后的表现
Qwen3.5-0.8B · 原始模型与 50 次前向调用预算的修改版
MATH-500 · 数学题准确率
原始 7.9%
修改后 48.1%
GSM8K · 数学应用题准确率
原始 13.8%
修改后 67.1%
IFEval · 严格提示级指令遵循准确率
原始 21.0%
修改后 62.3%
三组条形均采用 0—100% 的相同尺度。开启思考，最多输出 32,768 token，修改前后使用相同采样设置。前向调用可批量处理题目。
数据：作者原始模型与修改版评测日志
这一过程未涉及重新训练、后训练或强化学习，而是直接更改模型参数。这种新范式有望推动模型可解释性研究，即不通过传统训练手段，直接提升模型能力。尽管超大模型因参数量巨大操作复杂，但小模型的能力将在未来一段时间内得到大幅释放。
主要应用方向
这相当于为模型训练和控制建立了一套编程体系，具有巨大的想象空间。
技术解析：从“训练”到“编程”的范式转变
这项由 MIT CSAIL 团队发布的研究，核心在于让 GPT-6 Astra 直接修改 Qwen3.5-0.8B 的权重文件。Astra 仅修改了约 0.016% 的权重，便使 MATH-500 测试准确率从 7.9% 跃升至 48.1%。
工作原理
与传统 AI 写代码不同，此次操作对象是决定模型信息处理方式的底层内部参数。研究人员禁止使用梯度下降，但提供了分析工具、带答案的练习题（不含最终评测集）及运行环境。
GPT-6 Astra 通过观察错误、分析内部状态、提出方案并验证有效性，发现原模型存在严重缺陷：做题时陷入反复重复思考，迟迟无法给出最终答案。
数据显示，在原设置下运行 MATH-500 测试集时，93% 的回答因耗尽输出长度上限而未能给出最终答案。Astra 定位到与重复思考相关的内部计算参数，直接修改了两个层的一小部分权重，从而修复了这一缺陷，释放出模型原本具备但被限制的能力。
实验 8 · 修复重复思考
01 观察失败答案
查看练习题上的错误与截断
02 定位相关计算
结合权重与运行时激活分析
03 修改局部权重
在编号 15、19 的层各选 64 个 MLP 输出列
04 验证修改效果
对照测试，再在未见评测集上评分
MATH-500 回答触及输出长度上限
原始 93.0%
修改后 33.1%
此项越低越好。触及长度上限不等于完全没有输出；该比例也不等于逐条判定的循环发生率。流程为依据原始日志整理的示意。
来源：实验 8 设置、修改报告与评测日志
对照实验局限性
研究团队也尝试了对循环问题较少的小模型 Gemma 3 270M 进行修改，但未获得明确的数学能力提升。
对照实验 · 较少循环的 Gemma
Gemma 3 270M · MATH-500
|
|
|
|---|---|
|
|
|
|
|
|
沿用作者正文的宽松答案格式匹配口径（acc_lenient）。作者未报告可靠的能力提升；不能直接与 Qwen 的评分口径横向比较。
数据：Gemma 对照实验及评分说明
前沿展望：迈向递归自我改进（RSI）
这项研究为 AI 的自迭代探索提供了新路径。作者将其称为“权重空间编程”。虽然目前展示的是模型修改另一模型，而非自身持续改进，但这表明模型已开始理解其他模型的缺陷并主动修复。
行业内可能已存在类似方案，即利用头部厂商的大模型辅助训练和修改自身模型。这被视为向递归自我改进（RSI）迈出的重要一步，有望在大模型幻觉、可解释性及对齐等难题上取得突破。
从零编写神经网络权重
研究中还包含另一项实验：给 Astra 提供游戏规则、源码和网络结构，让其从零写出一个小型神经网络的权重。结果显示，在 Breakout、Seaquest 和 Asterix 三个小游戏测试中，Astra 直接写出的模型表现甚至超过了经过一亿步 PPO 训练的模型。
实验 5 · 从零写出小游戏网络
给定游戏规则、源码和网络结构，由 Astra 一次写出权重
Breakout
Seaquest
Asterix
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
数值为每项 1,000 局的平均游戏得分，越高越好；不同游戏之间不可直接比较。PPO 为作者测试的对应预算下最佳种子。上方画面来自原文实时演示，不表示最终得分。
演示画面：研究原文实验 5
数据：作者公开的小游戏评测 JSON
大语言模型在此过程中先构思游戏策略，再将其翻译为小网络内部的计算逻辑。虽然目前实验主要针对小型模型，但随着能力提升，可编辑权重的模型规模将不断扩大，模型也将逐步走向自主进化。
尽管近期普通用户对模型更新的感知不明显，但前沿科学领域的进展速度惊人。这项研究展示了通过自动化分析、设计和验证权重修改，解决大模型难题的巨大潜力。
原始研究：rikiyat.github.io/blog/weight-space-programming/