GPT-6 Astra 已具备直接读取和编辑小模型权重的能力。
MIT 最新实验显示，将 0.8B 参数的 Qwen3.5 交给 Astra，仅修改其中 0.016% 的权重，即可在不进行训练或梯度下降的情况下，显著提升模型性能。
在相同采样设置下，MATH-500 得分从 7.9% 飙升至 48.1%，数学运算能力提升约 6 倍，指令执行能力也提高了 3 倍。此外，Astra 还能从零编写小游戏网络权重，其一次性生成的模型得分超过训练 5 亿步的 PPO 基线 20 倍。
研究团队将这种方法命名为：Weight-Space Programming（权重空间编程）。
Astra 直接修改模型权重
该方法的核心是让大模型直接分析神经网络权重，诊断问题并进行修改，甚至从零构建网络。以 Qwen 实验为例，研究者在 Python 环境中加载 Qwen3.5-0.8B 的全部权重，要求 Astra 尽可能提高其数学能力。
传统训练依赖反向传播计算梯度和更新参数，而此次修改由 Astra 自主决定。分析发现，该小模型的数学表现受限于推理循环：面对问题时反复生成相似文本却难以输出答案，初始 96 条回答中有 85 条触及 32768 token 上限。
Astra 追踪至前馈网络，修改了第 15 层和第 19 层各 64 个输出列的权重。结果显示，触及长度上限的比例从 93.0% 降至 33.1%。在给予 10、25 和 50 次前向调用预算后，MATH-500 得分分别达到 12.3%、14.1% 和 48.1%。此过程省去了梯度训练，但保留了模型诊断和验证环节。
权重阅读与识别能力
为测试 Astra 的阅读能力，研究者将四个不同游戏（打砖块、乒乓、吃豆人、高速公路）的小网络原始权重以文本形式输入。Astra 正确识别出所有游戏名称，其中对打砖块的推断基于权重集中的特定位置。在扩散模型测试中，它能从权重中辨认圆形、方形和三角形，但在细节上将实心图形误读为轮廓。
进一步测试中，研究者移除三个 720 万参数语言模型的输入输出层，仅保留中间 Transformer 模块，并分别使用 Python 代码、日语罗马字和英语训练。尽管无法直接运行文本，Astra 仍通过 Python 分析权重，在两轮的尝试中准确识别出模型所学语言及全部归纳头。
行为修正与策略写入
在小车爬坡实验中，原本经 PPO 训练的网络因缺乏“先倒车再加速”的策略而卡住。Astra 根据权重、场景描述和失败记录，无需额外工具，仅修改 3.5% 的权重，便使小车在 1024 次测试中全部成功。这表明 Astra 能将模型未通过训练习得的动作顺序直接写入权重。
从零生成网络权重
研究进一步挑战 Astra 从零构建可用网络。在 MinAtar 小游戏实验中，Astra 仅获知游戏规则、源代码和网络结构，无训练数据、损失值、梯度或试跑机会。它需自行制定策略并将其转化为各层权重。
最终，Astra 生成网络的平均得分为 517.4。相比之下，PPO 训练 1 亿步得分为 15.8，训练 5 亿步为 25.3，Astra 的表现超出前者 20 倍。
这项工作的核心在于利用通用前沿大模型，围绕自然语言目标自主分析和改写权重。虽然 Astra 的能力源于其既往训练，且分析、代码生成和评测仍需消耗计算资源，GPU 尚未退场，但这为小模型优化提供了新路径：未来开发者在面对模型表现不佳时，或许只需选择是直接改权重，还是重新训练。
参考链接：
https://x.com/i/trending/2117328869283840499
[2] https://rikiyat.github.io/blog/weight-space-programming/
[3] https://x.com/rikiyatakehi/status/2117313742891327994