OpenAI是否发明了一种可能“威胁人类”的AI技术？从近期头条新闻来看，或许会给人这种印象。
路透社和The Information上周率先报道称，多名OpenAI员工在致董事会的信中，指出了代号为“Q*”的内部研究项目的“实力”及其“潜在危险”。据称，该项目能解决某些数学问题（尽管仅限于小学水平），但研究人员认为其有望实现一项关键的技术突破。
目前关于OpenAI董事会是否收到过这封信仍存争议——The Verge援引消息人士称并未收到。抛开对Q*的叙事框架不谈，它实际上可能并不像听起来那样具有里程碑意义或威胁性，甚至可能并非新事物。
专家质疑：Q*或是现有技术的延伸
X（前Twitter）上的AI研究人员，包括Meta首席AI科学家杨立昆（Yann LeCun），立即对Q*持怀疑态度，认为它不过是OpenAI及其他实验室现有工作的延伸。Substack通讯《Coding with Intelligence》作者Rick Lamers指出，OpenAI联合创始人John Schulman早在七年前的一次MIT客座讲座中，就曾描述过一个名为“Q*”的数学函数。
多位研究人员推测，“Q*”中的“Q”指“Q学习”（Q-learning），即通过奖励机制帮助模型学习和改进特定任务；星号则可能指用于探索节点路径的A*算法。
请忽略关于Q*的大量无稽之谈。提高LLM可靠性的主要挑战之一是用规划取代自回归令牌预测。几乎所有顶级实验室（FAIR、DeepMind、OpenAI等）都在从事这项工作，其中一些已发表相关成果……——杨立昆 (@ylecun) 2023年11月24日
事实上，这两项技术均已存在多年。Google DeepMind早在2014年就应用Q学习构建了能在人类水平上玩Atari 2600游戏的AI算法；A*算法则起源于1968年的学术论文。几年前，加州大学尔湾分校的研究人员也曾探索将Q学习应用于改进A*，这或许正是OpenAI目前 pursued 的方向。
业界观点：非AGI突破，而是推理能力优化
艾伦人工智能研究所（Allen Institute for AI）研究科学家Nathan Lambert告诉TechCrunch，他认为Q*更多是用于研究高中数学问题的方法，而非毁灭人类的工具。他表示：“OpenAI今年早些时候曾分享使用过程奖励模型提升语言模型数学推理能力的工作，但目前尚不清楚更好的数学能力除了让ChatGPT成为更好的代码助手外，还能带来什么其他作用。”
佐治亚理工学院计算机科学教授Mark Riedl也对媒体围绕OpenAI追求通用人工智能（AGI）的叙事提出批评。针对路透社暗示Q*可能是通向AGI的一步，Riedl明确表示异议：
人们说这是Q* https://t.co/rI5dz0Maf7 看起来是合理的，尽管它来自2023年5月，而且没有人因此惊慌失措，也不应该如此。——Mark Riedl (@mark_riedl) 2023年11月25日
Riedl强调：“没有任何证据表明大型语言模型或OpenAI正在开发的其他技术正处于通往AGI或末日情景的道路上。OpenAI充其量只是一个‘快速跟随者’，采用了现有想法并找到了规模化方法。即使其研究人员身处不同机构，这些工作同样可以完成。”
与Lambert一样，Riedl也未猜测Q*是否涉及Q-learning或A*。但他表示，若涉及其中任何一种或两者结合，这与当前AI研究趋势一致。“这些都是学术界和工业界积极 pursued 的想法，过去半年已有数十篇相关论文。不太可能OpenAI拥有其他大量研究人员未曾有过的想法。”
潜在价值：提升模型对齐与推理逻辑
尽管如此，据报道由OpenAI首席科学家伊利亚·苏茨克弗（Ilya Sutskever）参与的Q*仍可能推动进展。Lamers断言，如果Q*使用了OpenAI研究人员今年5月发表论文中描述的某些技术，可能会“显著”提升语言模型能力。该论文显示，OpenAI可能已找到控制语言模型“推理链”的方法，使其能够遵循更理想且逻辑严密的“路径”以达成结果。
Lamers认为：“这将降低模型遵循‘与人类思维相悖’模式及虚假模式从而得出恶意或错误结论的可能性。在对齐方面，这实际上是OpenAI的一个胜利……大多数AI研究人员都同意我们需要更好的方法来训练大型模型，使其更高效地吸收信息。”
综上所述，无论Q*最终呈现何种形态，它及其所解决的相对简单的数学方程，都不会给人类带来末日。