你让模型帮你写代码,结果出现一个 bug。你说:帮我修复一下。模型会说:你说得对,我来改改。然后它给你引入第二个 bug。当你指出新的 bug 后,它又说:哎呀,你说得太对了。结果把第一个 bug 又带回来。然后你们就在两个 bug 之间来回跳。为什么会这样?我也不确定,但这说明里面有些很奇怪的机制。
Ilya
有人因脑损伤失去了情绪处理能力,虽然语言和逻辑还在,但做决定变得极其困难,连选袜子都可能耗费数小时。情绪损失导致价值判断失灵。情绪并不是无用的噪声,是进化赋予我们的、帮助快速学习和决策的内置评估系统。AI 没有这种系统,所以难以像人那样高效、稳健地泛化。
Ilya

