大家都知道，训练模型是个极其费钱、费时间的事情，哪怕不做预训练、只做后训练也如此。
那么有没有可能不重新训模型，直接爆改模型权重，让它变成一个更强大的模型，这事儿行吗？
本以为是天方夜谭，离谱的是事儿还真有人干成了！
X 上今天有篇文章爆了，它说的是 MIT CSAIL 的研究人员让 GPT-6 Astra 直接爆改千问 Qwen3.5-0.8B 的权重。
它的改动很少，只有 0.016%。
但这个效果，让所有人都震惊了：在研究团队的测试配置下，数学正确率从 7.9% 涨到了 48.1%。
这到底是怎么一回事，一起来了解一下。
模型通常是怎么训练的？
先说说模型里的“权重”。它们是一大堆数字，模型处理输入时会用到这些数字。训练改变权重，也就改变了模型的输出。
预训练时，模型读入大量文本等数据，先做预测，再把预测和目标进行比较。训练算法根据误差计算调整方向，反复更新权重。整个过程需要准备、清洗海量数据，也要消耗大量计算资源。
▲ 图：预训练、后训练到最终使用的完整流程（示意）
模型练成后，想让它更会按指令回答、适应具体任务，通常还要做后训练。比如，用示例进行监督微调。不同方法用的数据和目标不一样，但往往仍要反复运行数据、更新参数，再评估效果。
难点在于，你想修的也许只是一个毛病，却未必知道它藏在哪些数字里。继续训练可能改变行为，但准备数据、试验和评估都要成本；修好一个问题后，还得检查有没有影响其他能力。
那如果能找到问题所在，能不能直接改相关权重？MIT 团队尝试了一种做法。不过，这套做法的总成本是否更低，实验还没有证明。
MIT 团队怎么做的？
研究团队把这套做法叫作 Weight-Space Programming，权重空间编程。简单说，就是让 AI 检查另一个模型的内部，找到故障，再打补丁。
▲ 图：找到故障，改一小处，再做题验证
不过，成绩涨了这么多，主要是因为它终于能结束回答。模型究竟学会了多少新本领，还得分开看。
从小游戏里找线索
通常，想让模型表现更好，需要拿数据继续训练。团队想试另一条路：AI 能不能看懂训练好的模型，直接改好其中的问题？
他们先交给 Astra 四个很小的游戏网络。研究者只说明网格和动作的含义，给出全部权重，不告诉它游戏名称。
Astra 把四款游戏都认了出来。例如，它发现一个网络的部分权重集中在底部一行，结合输入布局，判断那里是打砖块的挡板。
▲ 图：被识别出的打砖块策略
这些是研究者自建的 10×10 网格小游戏。每个网络只有 17,253 个权重，离读懂任意大模型还很远。
接下来，他们让 Astra 动手修。一辆模拟小车总往坡上顶，最后卡住。Astra 看了场景、权重和失败过程，判断车得先倒退，再加速冲坡。
它把这段控制逻辑写进原网络。越过目标区域后，再让原来的策略接着开。
这次只用一条回复，没有工具调用，改了约 3.5% 的权重。研究者后测了 1,024 回合，全部成功。
▲ 图：先倒车，再加速冲坡
图里是 Kinetix 模拟环境。它展示了修小网络的可能性，不能据此推到真实道路驾驶。
千问的毛病怎么修
轮到 Qwen3.5-0.8B，约 8 亿个参数已经装不进对话窗口。研究者给 Astra 配了 Python 工具，让它写代码读取和修改。
Astra 可以看带答案的练习题，检查模型做题时的内部信号，再比较修改前后的回答。最终测试题不向它展示。
研究不允许用常规的训练循环更新权重，但仍然需要数据和测试反馈。这里说的“50 次”是工具调用预算，一次就能批量生成最多 512 份回答。
经过多轮检查，Astra 找到模型两处内部模块，它们会加强重复输出的倾向。补丁削弱了这股倾向，保留原来的网络结构。
▲ 图：削弱重复倾向，保留原来的网络
修改范围很小，找到它的过程却不短。公开记录跨了四段对话，耗时 20.3 小时，包含 4.7 小时模型不可达的等待。
因此，0.016% 能说明补丁很局部，还不能说明整套方法成本更低。团队没有给出与常规训练直接比较的完整成本账。
先让答案写得出来
研究团队在相同设置下，比较了修改前后的千问。MATH-500 测数学解题，GSM8K 测小学应用题，IFEval 测是否按要求回答。三项都有明显改善。
▲ 图：同一设置下的编辑前后
数学测试中，回答写满长度上限的比例，从 93.0% 降到了 33.1%。还有约三分之一会写满预算，问题没有彻底解决。
研究者也把遵循指令的改善归于循环减少：回答能结束，才有机会把用户要的内容交出来。
这次测试开启了思考模式。千问这个小模型默认关闭思考，官方也提醒，开启后更容易循环。
研究的采样设置还与模型卡推荐不同。因此，这组涨分只对应所测配置，不能理解成千问的默认体验普遍提升了 6 倍。
团队还试过较少循环的 Gemma 3 270M，却未能证实有效提升。面对算错、推理走错的问题，这次没有找到同样好用的补丁。
业界怎么说？
争议落在提示词上
研究者在 X 上的简短介绍，容易让人以为，Astra 只收到“让它数学更好”，就自己发现了病因。
Lucas Beyer 提出质疑：实际提示词已经强烈暗示了循环问题。
公开日志确实写着，找出并修复重复不终止的原因，也算完成任务。工作步骤还提醒 Astra 检查截断与重复。
共同作者 Jayden Teoh 回应，详细提示由 Claude Code 根据简短目标扩写。Alex Zhang 也承认，提示里有暗示，数学涨分主要来自减少循环。
所以，Astra 是带着线索找问题。找到具体位置、写出修改代码并验证效果，仍然是它完成的工作。
有人想到了 AI 自我改进
在原帖回复里，Ken Feinstein 把这项结果联想到机器递归优化自己的权重。这个想象很直接：如果 AI 能找出并修掉模型内部的毛病，它能不能不断改进下去？
▲ 图：Ken Feinstein 将实验联想到递归自我改进
Chubby 在引用原帖时，也把它看作通向自我改进 AI 的潜在一步。他关注的是，AI 开始能够直接诊断、改进另一个模型。
▲ 图：Chubby 关注 AI 诊断、改进其他模型的可能性
另一位用户 wh 用一句话调侃这件事：“Astra，我的模型不行了，帮我修一下。别搞砸。”这也道出了不少人的期待：提出问题之后，由另一个 AI 进入模型内部排查。
也有人追问：这究竟只是针对测试结果的优化，还是修复了更通用的能力？研究者 Rikiya Takehi 回应，这次找到的瓶颈是循环。能把答案写完，和学会新的数学推理能力，仍是两回事。
研究者 Rikiya Takehi 回复 Ken 时还补了一句：不只是自己的权重，也包括其他模型的权重。这让人想到的应用，就从模型自修扩展到了模型之间的诊断和修补。
但这些讨论指向的是未来。这次实际演示的是 Astra 修改千问，并没有让千问自己改自己，更没有展示连续多轮自我提升。前面 Lucas Beyer 对提示词的质疑，也提醒人们分清实验做到了哪一步。
这件事可能带来什么改变？
这项研究给模型训练带来了一种新的可能。
以后想改进模型，也许不必每次都花大量算力重新训练或做后训练，而是让另一个 AI 找到需要调整的权重，直接修改。
如果这条路走通，开发者可以用它修复模型的问题。更大胆一点，能不能直接在权重里加入新的能力？这也是研究团队想探索的方向。
不过，这次实验验证的是修复：Astra 没有进行梯度训练，减轻了千问的重复循环。定位问题和测试效果仍需要数据与算力；这套方法是否更省成本，目前还没有直接对比。
研究团队还提到了 RSI，也就是递归自我改进。如果未来模型能够检查、修改自己的权重，再用改进后的能力继续优化自己，AI 就可能多出一条自我提升的路径。
这次动手的是 Astra，修改的是千问。模型修改自己，并一轮接一轮地变强，正在成为现实。
参考资料
01｜研究团队：Sparks of Weight-Space Programming
https://rikiyat.github.io/blog/weight-space-programming/
02｜研究团队：实验日志与权重补丁
https://github.com/RikiyaT/lm_understand-logs
03｜Qwen：Qwen3.5-0.8B 模型卡
https://huggingface.co/Qwen/Qwen3.5-0.8B
04｜Hugging Face：修改版与复跑记录
https://huggingface.co/RikiyaT/Qwen3.5-0.8B-weight-space-programming
05｜Hugging Face：并排演示
https://huggingface.co/spaces/akhaliq/weight-space-programming-demo