大数跨境

只改 0.016% 的参数,Qwen 数学成绩翻了 6 倍

只改 0.016% 的参数,Qwen 数学成绩翻了 6 倍 web出海漂流记
2026-11-07
6
导读:过去我们想让模型变强,路子基本是固定的:加数据、加算力、调超参,然后交给 Adam 或 Muon 这类优化器去「磨」。

过去我们想让模型变强,路子基本是固定的:加数据、加算力、调超参,然后交给 Adam 或 Muon 这类优化器去「磨」。

这个认知,最近被一个实验动摇了。

11 月 2 号,MIT CSAIL 放出一篇叫《Sparks of Weight-Space Programming》的实验记录,在 HN 上拿了近 3000 个赞。作者干了一件听起来很离谱的事:让前沿大模型 GPT-6 Astra 直接去「读」另一个模型的原始权重,然后像改代码一样,把权重改对。

整个过程,没有梯度下降,没有重新训练,改完就能用。

结果有多夸张?

他们拿阿里通义千问的 Qwen3.5-0.8B 做实验对象。这是个 8 亿参数的小模型,官方都承认它有个老毛病:推理时容易陷入死循环,卡在某一步出不来。

Astra 读完了它的权重,定位到「导致循环」的那部分,只改了大约 0.016% 的参数——也就是 13 万个左右的权重。

然后成绩变成了这样:

  • • MATH-500:从 7.9% 涨到 48.1%,约 6 倍
  • • GSM8K:从 13.8% 涨到 67.1%
  • • 指令跟随 IFEval:从 21% 涨到 62.3%

对一个没经过任何重新训练的小模型来说,这个跨度相当惊人。

但这里藏着一个更反常识的真相。

很多媒体把这事传成了「Astra 教会了 Qwen 数学」。仔细看论文,收益的大头,其实来自修掉了那个「重复循环」的老毛病——不是真教会了它新的数学能力,而是让它不再卡死、能把题做完。

换句话说,这个实验最打动人的地方,不是「变聪明」,而是「大模型能看懂另一个模型的权重在算什么」。

作者把这套打法叫 Weight-Space Programming,权重空间编程。核心就一句话:前沿模型能仅凭原始权重,判断一个网络是为什么任务训练的,甚至能从零写出一个能用的网络。

论文里还有两个实验佐证这一点:

一是「读」。给 Astra 一份 17253 个权重的网络,它能只凭这些数字判断出这是玩哪款游戏的策略网络,置信度到 99%。

二是「写」。不给环境反馈、不让写训练循环,让 Astra 从零写一个游戏策略网络,结果跑起来比用 PPO 训练一亿步的对照网络还好。

这事的信号意义,比单个数字重要得多。

真正让它出圈的,是独立开发者的复现。

开发者 Simon Willison 在自己博客上做了一次实测:用开源模型 Qwen 3.8 27B(量化到 17GB),在自己的笔记本上本地跑,喂给它 4 款经典 Atari 游戏的小型策略网络的原始权重,让它猜是哪款游戏。

结果:Pac-Man 命中(置信度 72%,跑了 46 分钟)、Pong 命中(75%)、Breakout 命中(88%),Freeway 猜错。

这意味着什么?「读懂权重」这件事,已经不是只有 GPT-6 Astra 这种闭源前沿模型才能干,开源模型在本地笔记本上也能复现一半。对国内做开源、做小模型的人来说,这是个明确的信号。

(顺带一提,Kimi K3.1 Pro 也复现了 Breakout,9 分 41 秒跑完。)

但也要泼一盆冷水。

这波热度里,质疑声同样不小。有开发者专门发帖说原论文「misleading」,认为它把两个不同的问题混在一起讲了。Willison 本人也补了一句:这只是个很窄的测试,他不急着把这事定性成「大转变」。

换句话说,这还处在「早期实验、初步证据」的阶段,远没到「AI 能自己进化」那种程度。别被标题党带偏。

对我们的启示是什么?

我觉得有三点值得记:

  1. 1. 「训练」可能不是唯一的路径。过去几年我们把「更大模型 + 更多数据 + 更多算力」当成唯一解法,权重空间编程暗示了另一条路:让模型理解自己、直接修改自己。这条路的成本,理论上比重新训练低得多。
  2. 2. 开源小模型的机会在变大。如果「读懂和修改权重」能本地化、平民化,那么 8 亿、27 亿参数的小模型,可能通过这种「外科手术式」的微调,逼近大模型的部分能力。这对做开源、做垂直场景的人,是实打实的利好。
  3. 3. 别急着下结论,但值得盯着。这是一个刚冒头的方向,论文作者自己也把它定位成「早期探索」。真正成熟可能要好几年,但方向本身,值得每个做 AI 的人放进雷达。

最后说句实在的:我们这代人正在见证一件事——AI 不再只是一个「被训练出来的黑盒」,它开始有能力回头审视自己的构造。

这件事成不成、有多快,现在没人说得准。但它一旦成立,改写的就不只是一个 Qwen 的数学成绩,而是我们对「智能」的理解方式。


数据来源

  • • 论文《Sparks of Weight-Space Programming》(MIT CSAIL,Rikiya Takehi 等,2026-11-02)
  • • Simon Willison 实测博客(Qwen 3.8 27B 本地读权重)
  • • 质疑帖(称原论文 misleading)
  • • 量子位报道(Astra 爆改 Qwen 权重)

【声明】内容源于网络
0
0
web出海漂流记
1234
内容 9
粉丝 0
web出海漂流记 1234
总阅读243
粉丝0
内容9