OpenAI 在论文《Prover-Verifier Games Improve Legibility of LLM Outputs》中提出一种新算法，利用游戏机制提升大语言模型（LLM）的自我解释能力，使其输出更透明、更易理解。
该算法基于“证明者-验证者博弈”概念，最早由多伦多大学和 Vector 人工智能研究所于 2021 年在《Learning to Give Checkable Answers with Prover-Verifier Games》一文中提出。
证明者-验证者博弈是如何运作的？
该机制将两个 AI 模型置于竞争关系中：一个更强智能的“证明者”和一个较弱的“验证者”。证明者的目标是说服验证者相信某答案正确（无论事实如何），而验证者则需坚持独立判断正确答案。这种结构旨在激励神经网络以可验证的方式展示推理过程，提升向人类用户回答时的透明度。
OpenAI 研究员兼论文合著者 Yining Chen 指出，该方法通过增强输出的清晰度和可验证性，成为提升模型可靠性的重要手段。
OpenAI 如何应用证明者-验证者博弈？
OpenAI 使用两个经过特殊微调的 GPT-4 系列模型，针对已知答案的小学数学应用题进行多轮博弈训练，并在轮次间动态调整角色定义。
证明者模型被设定为“协助”或“欺骗”两种状态：协助状态下提供正确答案；欺骗状态下则试图说服验证者接受错误观点。智力较低的验证者模型不知晓对方意图，仅凭自身训练评估答案正误。
每轮游戏后，研究人员利用历史表现数据对双模型进行重新训练。经过四轮以上迭代，验证者抵抗隐蔽说服的能力显著增强，证明者也变得更善于向人类解释自身行为。
研究表明，小型验证者模型难以检测的隐蔽方案对人类同样晦涩，而其易于理解的有益方案对人类也更具可读性。最终，该算法在准确性和人类评估可读性方面均优化了 LLM。Chen 认为，随着模型智能超越人类，这种方法有助于未来更好地实现人机对齐。