Mira Murati的Thinking Machines Lab正利用20亿美元种子资金及前OpenAI核心团队,在AI可复现响应研究上取得进展。周三发布的首篇博客文章《击败LLM推理中的非确定性》,首次展示了该实验室致力于解决AI模型随机性问题的项目。
当前AI社区普遍将大语言模型视为非确定性系统,即多次询问同一问题会得到不同答案。但Thinking Machines Lab认为这一问题可以解决。研究员Horace He指出,AI模型随机性的根源在于GPU内核(Nvidia芯片内的小型程序)在推理处理过程中的拼接方式。通过精确控制这一层的编排,有望使AI模型具备更强的确定性。
今天,Thinking Machines Lab推出了我们的研究博客Connectionism。我们的第一篇博客文章是《击败LLM推理中的非确定性》。我们相信分享能让科学变得更好。Connectionism将涵盖与我们研究一样多样的主题:从内核数值计算到……
除了为企业和科学家提供更可靠的响应外,He还强调,生成可复现响应有助于改进强化学习(RL)训练。RL依赖奖励正确回答来训练模型,若答案差异过大,数据噪声会增加。更一致的响应能使RL过程“更顺畅”。据悉,Thinking Machines Lab计划利用RL为企业定制AI模型。
作为OpenAI前CTO,Murati曾于7月表示,实验室首款产品将在未来几个月内揭晓,旨在服务于开发定制模型的研究人员和初创公司。目前尚不清楚该产品是否会直接应用此项可复现响应技术。
Thinking Machines Lab宣布将通过新博客系列“连接主义”(Connectionism),定期公开代码及研究信息,以“造福公众并改善自身研究文化”。此举被视为对开放研究的践行,与OpenAI日益封闭的做法形成对比。
这篇博文罕见揭示了这家硅谷神秘AI初创公司的内部动向。尽管未明确技术发展路径,但表明实验室正直面AI前沿核心难题。真正的考验在于,Thinking Machines Lab能否解决这些问题并打造相应产品,以支撑其120亿美元的估值。

