一家为人工智能开发数学基准测试的组织直到最近才披露其曾获得OpenAI的资金支持,这引发了AI社区中部分人士对其不当行为的指控。
主要依靠慈善基金会Open Philanthropy资助的非营利组织Epoch AI于12月20日透露,OpenAI支持创建了FrontierMath;FrontierMath是一项旨在衡量人工智能数学能力的专家级问题测试,是OpenAI用于展示其即将推出的旗舰人工智能o3的基准之一。
在LessWrong论坛的一篇帖子中,以“Meemi”为用户名、受雇于Epoch AI的一名承包商表示,许多FrontierMath基准的贡献者在公开之前并未被告知OpenAI的参与情况。
Meemi写道:“关于此事的沟通缺乏透明度。在我看来,Epoch AI本应披露来自OpenAI的资金来源,而承包商在决定是否参与某项基准测试工作时,也应透明地了解其工作成果可能被用于能力评估的情况。”
在社交媒体上,一些用户担心这种保密做法可能会损害FrontierMath作为客观基准的声誉;除了支持FrontierMath外,OpenAI还能看到该基准中的许多问题和解决方案——这一事实在12月20日o3公布前未被Epoch AI披露。
在X平台的一篇帖子中,斯坦福大学数学博士生Carina Hong还指控称,得益于与Epoch AI的安排,OpenAI能够优先访问FrontierMath,而这一点让部分贡献者感到不满。
Hong表示:“六位对FrontierMath基准测试做出重大贡献的数学家向我确认……他们并不知道OpenAI将独家访问该基准测试(而其他机构则不能),‘大多数人表示,如果他们事先知道这一点,可能就不会参与贡献了。’”
在回复Meemi的帖子时,Epoch AI的副主管兼联合创始人之一Tamay Besiroglu声称,FrontierMath的完整性并未受到损害,但他承认Epoch AI在透明度方面“犯了错误”。
Besiroglu写道:“我们被限制在o3发布前后才能披露合作关系,事后看来,我们本应在谈判中更坚决地争取尽早向基准测试贡献者保持透明的权利。我们的数学家有权知道谁可能接触到他们的工作成果。尽管我们在合同上受到发言内容的限制,但我们本应将与我们贡献者的透明度作为与OpenAI达成协议时不可妥协的一部分。”
Besiroglu补充说,尽管OpenAI可以访问FrontierMath,但它与Epoch AI之间有一份“口头协议”,规定不得利用FrontierMath的问题集来训练其人工智能(在FrontierMath上进行训练相当于应试教育)。Besiroglu还表示,Epoch AI还拥有一个“单独的保留数据集”,作为独立验证FrontierMath基准结果的额外保障措施。
Besiroglu写道:“OpenAI……一直完全支持我们保留一个独立且未被公开的预留数据集的决定。”
然而,情况变得复杂的是,Epoch AI的首席数学家Elliot Glazer 在Reddit的一篇帖子中指出,Epoch AI一直无法独立验证OpenAI关于FrontierMath o3的结果。
Glazer说:“我个人认为[OpenAI]的成绩是合法的(即他们没有在该数据集上进行训练),而且他们没有动机在内部基准测试表现上撒谎。然而,在我们的独立评估完成之前,我们无法为其背书。”
这一事件是又一个例子,说明了在开发用于评估人工智能的经验基准时面临的挑战,以及在不引发利益冲突嫌疑的情况下获取基准开发所需资源的困难。

