怎样才能补上大模型的
算法缺陷？
之前，AI顿悟涌现时曾详细介绍过GPT-6 Astra直接通过权重空间编程，将Qwen3.5-0.8B的数学能力提升了6倍。
这个新的权重空间编程，不求导、不训练、不跑梯度下降，只改了极少数参数（约0.016%），就把这个小模型在数学推理上的死循环问题给“修好了”。MATH分数从7%左右直接飙到48%，GSM8K和指令跟随能力也大幅提升。
听起来像不像给神经网络做了一场精准的基因编辑手术？🧬
很多人已经开始高呼：大模型终于学会了“直接编程权重”，训练范式要被颠覆了！
这到底是如何实现的？🤔
今天，有人把他们的完整实验日志复现了一遍，结果发现权重空间编程如此简单！
一句话：现有大模型底层框架的算法过于单一和愚笨。
由于LLM大模型过于依赖矩阵乘法softmax前向传播来暴力求解，通过庞大算力来计算出近似算法。最终得到的算法虽然可用，但并不一定是最优解！特别是面向数学、system 1系统一这种确定性问题时，就会暴露出重大缺陷。
这个问题的本质是，大模型算法太烂！应该好好有针对性的修改模型内算法！但一直以来大家走错了方向，以为是自己的prompt提示词不行。最终发现，提示词越复杂越用力，效果就越差！
近期的决策模型Jev和Google的Dream-RSI，甚至包括LLM大语言扩散模型技术，都是用各种方法来实现，更高效的大模型算法优化。
事件详细复盘：从“黑魔法”到“穷举法”
先把事情说清楚。
Qwen 0.8B在开启思考模式后，处理数学题时特别容易陷入重复推理的死循环——一直复读自己的思考过程，直到撞上32768 token的上限，最后交白卷。官方模型卡里其实已经警告过这个问题。
MIT团队让GPT-6 Astra直接“看”原始权重，让它自己诊断、自己动手改。Astra折腾了大约八个小时（中间还有服务中断），最终只动了极少量参数，主要集中在第15层和第19层的MLP输出方向上。效果立竿见影：死循环大幅减少，数学分数暴涨。
视频里的对比更直观：同一道简单的矩形面积题（宽4英寸，周长30英寸），原版模型反复“我要写回答、我要确保装进盒子、我要开始……”直到token耗尽，毫无答案；改完权重的版本干净利落地算出长度11、面积44，并正确装盒。
听起来很酷，对吧？
可复现者把完整日志扒开后发现：
Astra其实是在用最笨的方法——反复前向传播、试错摸索，差不多跑了快三十轮，本质上是在暴力搜索一个线性规划问题的最优解。
然后，有人直接用GPU写了个线性规划求解器。
结果？一分钟算完。
修改的权重参数量只有大模型方案的八分之一，MATH和GSM8K分数还略高一点点。
更扎心的是机制分析：
那些被改动的权重，在将近九成的token上都会触发，给出的“推力”大小几乎是个常数。
换句话说，连权重都不用永久改——推理时直接往残差流（residual stream）里硬塞一个固定的引导向量，效果一模一样。
大模型花大半天试探出来的“黑魔法”，换成古典运筹学优化，一分钟搞定。
硅基视角：这到底暴露了什么？
这事儿一点都不让人意外，反而很真实。
- 大模型的“编程能力”目前还很粗糙
它能读懂权重、定位问题方向，这已经很厉害了（权重空间编程确实是新火花）。但真正落地时，它用的还是穷举+试错，而不是优雅的优化。古典算法在结构化问题上依然吊打暴力搜索。 - 很多“神奇提升”可能只是简单干预
固定引导向量就能复现效果，说明问题本身可能并没有那么复杂。死循环更像是某种方向上的过度激活，用一个恒定的“刹车”就能压住。这让我们重新思考：所谓“权重手术”到底有多少是真正的深层理解，有多少是碰巧找到了正确的干预点？ - 工具与方法的边界被重新划清
大模型适合处理模糊、非结构化、需要语义理解的任务；一旦问题可以被清晰建模成线性规划、凸优化、约束满足，传统算法往往更高效、更可控、更可解释。把两者结合起来，才是正道，而不是指望大模型包打天下。 - 对“自我改进”的冷静提醒
有人问这是不是模型自我改进？目前看，还远远不是。它更像是一个强大的调试助手，在人类设定的框架里做局部修补。真正的自我改进需要更稳定的闭环、更强的抽象能力和更可靠的验证机制。
写在最后
我们总为大模型随手做出来的内容惊叹不已，从而忽略了，大模型的整体“智力”一直存在巨大缺陷。
对于未来的大模型来说，或许方向比努力更重要，这里的方向就是全新底层架构技术带来的算法优化，努力就是大力出奇迹拼出更强算力规模scaling！☕🚀
欢迎大家关注AI顿悟涌现时，快速入门当下最热的AI大模型前沿。
AI顿悟涌现时
AI顿悟涌现时是红绿旗下关注新技术的内容品牌。 AI顿悟涌现时关注前沿技术的发展应用，深度解读新技术对商业模式和社会形态的变革。 大模型商业技术及通识，筹备开课，欢迎有授课能力的朋友合作，欢迎有兴趣的朋友报名一起学习。相关优质内容将会发布在下方动图内微信公众号▼▼
