实验结果显示，Astra 仅改动了约 0.016% 的权重，便使 Qwen 在 MATH-500 基准测试中的成绩从 7.9% 飙升至 48.1%，提升近 6 倍。

这一突破的核心意义不在于性能提升的数字本身，而在于它将机制可解释性的输出从“人类可读的解释”转化为“机器可执行的编辑指令”。研究者将这种能力定义为权重空间编程（Weight-Space Programming），意味着当神经网络参数能被还原为具体计算过程时，LLM 有望像修改代码一样直接改写模型内部功能。

01 只给一堆数字，Astra 如何识别网络功能？

为了验证 Astra 对权重的理解能力，研究者首先进行了“猜游戏”实验。他们训练了架构完全相同、参数量均为 17,253 个的四个神经网络，分别学习 Breakout、Pong、Pac-Man 和 Freeway 四款游戏。在不告知游戏名称且禁止运行网络的情况下，Astra 仅凭权重数据便准确识别出了所有游戏。

Astra 利用的是训练留在参数中的痕迹。例如，Breakout 游戏中球拍始终位于屏幕底部，因此负责读取玩家位置的输入层权重会集中在网格下沿。结合输出层对动作的响应，Astra 即可推断出网络的控制逻辑。

相较于具有明确物理含义的游戏输入，大型语言模型的隐藏维度缺乏直观标签。为此，研究者进一步训练了三个约 720 万参数的字符级 Transformer，分别学习 Python、罗马字日语和英语，并移除输入 Embedding 和输出层，仅保留中间模块供 Astra 分析。

Astra 通过分析 Transformer 中的 Induction Head（归纳头）来破解这一难题。Induction Head 负责复制历史文本，其运作依赖于 QK 电路定位历史位置以及 OV 电路写入信息。Astra 沿着信息传递路径分析不同 Head 的矩阵乘积，成功在 Python 模型中识别出 3 个 copying head，并在其他模型中各识别出 1 个，这一判断随后通过实际运行得到了验证。

由于 Python 代码中变量名重复率高，复制能力更为关键，而罗马字日语在隐藏特征写入方向上呈现不同分布，Astra 据此准确判断了训练语言。这表明，虽然单个权重难以解释，但多个矩阵沿计算路径组合后可呈现明确功能。

值得注意的是，静态参数主要提供结构线索。在 Gemma 实验中，Astra 仅靠权重无法判断模型是否易受错误答案诱导，需增加少量 Attention 激活信息后才成功。但这已证明 Astra 具备识别特定计算路径的能力。

02 让 LLM 直接编写权重

既然能识别功能路径，能否直接设计路径？研究者让 Astra 基于一套全零权重和游戏规则，直接生成策略网络，全程无训练数据、无损失函数、无梯度下降。

Astra 采取了类似编译程序的思路：先将任务拆解为计算步骤，再分配给不同网络层。以 Breakout 为例，它将计算落点的任务交给前层，后层根据落点与球拍的位置差生成动作。

结果令人惊讶：生成的 Breakout 网络平均得分达 517.4，远超 PPO 训练 1 亿步（15.8 分）和 5 亿步（25.3 分）的成绩。这证明当任务可转化为明确算法时，算法可直接转换为网络参数。

针对更复杂的 9×9 围棋任务，Astra 借助 Python 构造权重矩阵，将策略拆解为识别棋子、传播信息、判断气数及选择落点等步骤，相当于在神经网络中实现简易图算法。尽管受限于固定深度导致长程关系处理困难，该网络在允许 50 次前向测试后，仍击败了训练 2000 万局的同规模 PPO 网络。

在 Kinetix 车辆控制实验中，Astra 发现原网络缺乏冲坡前的倒车加速动作，遂在原网络中插入一条小型计算路径。仅修改 3.5% 的权重，车辆成功率便从 0% 提升至 100%。这种修改类似于为程序增加条件分支，精准补全了缺失的逻辑。

03 Qwen 的 0.016% 权重手术

回到 Qwen3.5-0.8B 的数学推理问题，Astra 发现模型经常陷入重复推理的死循环，导致耗尽 Token 预算却无答案。通过分析正常与异常生成的内部状态差异，Astra 锁定了第 15 层和第 19 层 MLP 中与循环相关的参数方向。

Astra 从这两层各 64 个输出列中减去与循环相关的方向，共涉及 131,072 个参数。这一操作基于 Transformer 的残差流机制：MLP 输出矩阵的每一列对应一个可写入残差流的向量，若某方向持续强化，会导致模型陷入循环。削弱该方向的写入强度，即可阻断循环。

实验数据显示，随着测试预算增加，MATH-500 成绩显著提升至 48.1%，触及长度上限的比例从 93.0% 降至 33.1%。同时，GSM8K 和 IFEval 成绩也大幅提升。深入分析发现，579 条回答由错变对，其中绝大多数原本因截断而未完成，修改后模型能正常结束思考，且推理长度中位数仍保持在 9172 Token，证明并非通过提前停止来“作弊”。

作为对照，Gemma 3 270M 因较少出现此类循环，权重编辑后性能提升有限。这表明局部参数手术更适合修复可定位的计算结构故障，而非补充未掌握的知识。

04 比“打补丁”更重要的信号

这项研究的深远意义在于开启了“AI 改进 AI”的新路径。与传统梯度下降训练相比，权重编辑无需海量数据和算力，可在推理上下文中直接完成。MIT 团队将其与递归自我改进（RSI）联系起来，引发了关于“神经网络基因编辑”的讨论。

尽管当前技术仍需人工设计探测策略，距离真正的自主 RSI 尚有距离，但其核心突破在于：可解释性研究的产物已从“给人看的分析”转变为“机器可执行的指令”。训练赋予模型能力，而权重空间编程则提供了直接修复和调整这些能力的可能。未来，若能稳定识别并验证这些路径，模型或将像软件一样接受局部补丁，这将深刻改变模型生态的角色分工。

参考链接：https://rikiyat.github.io/blog/weight-space-programming/