MIT新研究：AI实现“权重空间编程”，仅改0.016%参数令Qwen数学能力暴涨6倍
人工智能领域迎来突破性进展。麻省理工学院（MIT）CSAIL研究人员提出了一种名为“权重空间编程”（Weight Space Programming）的新技术。实验显示，通过让GPT直接修改Qwen模型的底层权重，无需运行梯度下降或传统训练，仅调整0.016%的参数，便使Qwen的数学推理能力提升6倍。
这项由MIT一年级博士生Rikiya Takehi主导的研究表明，顶尖大模型已展现出原生的权重读写能力。它们能够将神经网络的数值参数视为代码进行阅读、诊断问题并手动修补，完全依靠推理而非传统优化算法。
权重解读：精准识别游戏策略模型
研究团队首先测试了模型对权重的理解能力。他们将四个具有相同网络架构、输入和动作空间的强化学习游戏策略模型的原始权重数据，直接输入给GPT-6 Astra，未提供任何辅助工具或选项。
Astra成功解析了这些冰冷的数值，准确识别出对应的四款游戏：打砖块、乒乓球、吃豆人以及小鸡过马路，展现了其对神经网络内部表征的深度理解。
缺陷修复：单次回复解决自动驾驶困境
在权重纠错与修补测试中，研究人员使用了一个基于PPO算法训练的自动驾驶小车模型，该模型存在在斜坡上卡死的缺陷。团队将模型权重、场景数据及失败轨迹提供给Astra。
仅通过一次回复，Astra在未调用外部工具的情况下，手写了一份修复补丁，仅改动小车模型3.5%的权重，便使其爬坡成功率提升至100%。
从零构建：超越强化学习的性能表现
更令人瞩目的实验是从零生成网络权重。研究人员仅提供MinAtar游戏的规则说明和代码，Astra在单次回复中直接生成了打砖块神经网络的完整权重参数。
该模型未经过任何步骤的训练，也未调用工具，但其运行得分比经过强化学习PPO算法训练5亿步的模型高出20倍，证明了AI直接生成高效权重的潜力。
模型互修：消除推理死循环，大幅提升性能
在核心的大模型修改实验中，团队指令Astra优化Qwen3.5-0.8B模型，重点解决其容易陷入推理死循环的问题。研究人员给予Astra 50次练习题前向传播的预算额度。
Astra自主定位导致死循环的权重区域并直接修改，整个过程无梯度下降参与。最终，仅修改0.016%的权重便彻底消除了死循环现象。结果显示，Qwen3.5-0.8B的数学能力最高提升6倍，指令遵循能力提升至原来的3倍。
行业展望：AI递归优化时代来临
该研究成果发布后引发广泛关注。业界观点认为，这标志着AI进化的重要转折——机器开始具备递归优化自身及其他模型权重的能力。作者证实，大模型直接生成另一模型权重不仅理论可行，且已有实验支持。
研究团队指出，大模型通过思考主动优化神经网络权重的时代即将到来。目前，团队正致力于搭建专门的评测基准和工具套件，以辅助大模型更高效地探索和编写神经网络权重，推动AI自我进化技术的发展。
--end--