GPT-6 Astra 爆改 Qwen 大脑：只动 0.016% 参数，数学成绩疯涨- 大数跨境

GPT-6 Astra 爆改 Qwen 大脑：只动 0.016% 参数，数学成绩疯涨

APPSO

2026-11-03

导读：我「编程」我自己

仅修改 0.016% 的权重，一个 8 亿参数大模型的数学成绩便从 7.9% 飙升至 48.1%。更令人瞩目的是，执行这一操作的并非人类工程师，而是另一个大模型 GPT-6 Astra。

近期，MIT CSAIL 研究团队展示了一种名为「权重空间编程」（Weight-Space Programming）的创新方法。该方法让 GPT-6 Astra 像程序员审查代码一样，直接分析神经网络权重，定位模型缺陷并修改参数，全程未使用传统的梯度训练。

图｜研究博客地址：https://rikiyat.github.io/blog/weight-space-programming/

研究人员仅修改了 Qwen3.5-0.8B 的 131,072 个参数，使其在 MATH-500 基准测试中的准确率从 7.9% 提升至 48.1%，GSM8K 从 13.8% 提升至 67.1%，指令遵循能力也得到显著改善。

这一突破引发了关于 AI 优化 AI 未来的广泛讨论。支持者认为这是一种新兴的「阶跃式能力」，可能使模型优化无需重新训练；质疑者则指出，这或许只是修复了原有的推理循环 Bug，而非赋予模型新的数学能力。

这是一种全新的、阶跃式的新兴能力，它刚刚才出现在最新一批模型中。

从写代码到直接修改模型权重

传统优化模型的方式通常局限于调整提示词或通过数据进行微调。而「权重空间编程」则尝试直接干预训练完成后的模型权重，即直接修改神经网络计算过程中的数值。

权重可被视为神经网络中大量可调节的旋钮，决定数据在网络传递时的放大、削弱或参与计算的方式。传统训练过程即是根据海量数据不断调整这些数值，使模型学会从输入产生正确输出。

过去，大语言模型在迭代中主要承担编写代码、调整超参数或设计训练流程的角色，权重更新仍由优化算法主导。如今，权重空间编程使通用大模型能够根据自然语言目标，直接读取和修改神经网络权重，部分实验甚至无需环境反馈。

读懂权重之后，AI 开始自己写权重

研究团队首先验证了大模型通过权重理解神经网络的能力。实验中，GPT-6 Astra 能根据原始权重推断出小型网络对应的游戏优化类型，判断扩散模型生成的图形形状，甚至识别小型语言模型的训练语料语言及负责复制前文的注意力头。

在「写」权重的测试中，Astra 展现了惊人的修复与生成能力。在一个小车控制网络实验中，原模型因策略错误导致成功率为零。Astra 通过分析失败记录，仅修改 3.5% 权重，引入「先后退蓄力再前进的控制路径，使成功率达到 100%。

此外，Astra 还能根据游戏规则从零生成网络权重。在 MinAtar game 系列及 9x9 围棋任务中，未经传统训练的生成网络表现优于经过数千万步训练 PPO 网络。这表明大模型可能具备将自然语言规则直接「编译」为神经网络的能力。

只改 0.016% 参数，数学成绩涨了 40 个百分点

针对 Qwen3.5-0.8B 的优化是此次研究的核心亮点。由于参数量较大，研究人员为 Astra 提供了可读写权重的 Python 环境及相关数学练习题，但禁止使用梯度信息或进行训练。

Astra 诊断发现，模型大量回答陷入重复推理循环，许多答案生成至 Token 上限仍未得出结论。通过将问题定位至特定 MLP 层的方向并予以删除，Astra 成功抑制了循环现象。

经 50 次前向测试调整后，模型性能显著提升：MATH-500 准确率从 7.9% 升至 48.1%，GSM8K 从 13.8% 升至 67.1%，IFEval 指令遵循率从 21.0% 升至 62.3%。触及 Token 上限的回答比例也从 93.0% 大幅下降至 33.1%。整个修改仅涉及 131,072 个参数。

对照实验显示，对于本身较少出现推理循环的 Gemma 3 270M 模型，Astra 的修改并未带来明显提升。研究团队指出，Astra 主要是移除了妨碍模型正常输出的障碍，而非注入新的数学知识，因此难以赋予模型原本不具备的能力。

能力大幅提升，还是修好了一个 Bug？

该研究在社区引发热议。部分开发者复现了结果，认为这是最新一代模型展现出的「阶跃式能力」，未来可通过更强模型直接检查并修复弱模型的权重缺陷，无需重新收集数据微调。

然而，质疑声同样存在。批评者指出，提分主要源于减少循环，且提示词已暗示问题所在。若关闭思考模式或调整推理设置也能达到类似效果，则权重编辑的实际价值需重新评估。此外，该方法应与常规梯度训练进行更严格的对比。

普林斯顿大学博士生的测试表明，开源模型在读写权重任务上表现困难，说明这可能仅是前沿封闭模型的特定能力。原博客也承认，在识别「谄媚模型」等复杂任务中，仅靠权重无法判断，需结合注意力模式，证明「直接读懂权重」尚非稳定通用的能力。

人人都能发布大模型

这项工作并没有让我改变对老派机制可解释性能走多远的判断，它改变的是我对大模型有多擅长这件事的判断。

GPT-6 Astra 展示了让大模型根据任务目标直接分析并修改神经网络参数的可能性。尽管距离实际应用仍有距离，如稳定性、适用性及与新能力的获取等问题待解，但这一方向预示着未来模型开发的范式转变。

当神经网络权重成为大模型可直接操作的编程对象时，用户或许只需描述期望的行为，AI 即可自动将其转化为具体的参数修改，从而降低模型定制优化的门槛。

【声明】内容源于网络

APPSO

AI第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al

内容 15897

粉丝 0

APPSO AI第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al

总阅读575.0k

粉丝0

内容15.9k