OpenAI 利用 Reddit 社区 r/ChangeMyView 创建了一项测试，用于衡量其 AI 推理模型的说服能力。该公司在周五发布新“推理”模型 o3-mini 的系统卡（概述 AI 系统工作原理的文件）中披露了这一点。
r/ChangeMyView 拥有数百万成员，用户在此发布大胆观点并寻求不同视角，其他用户则会回复具有说服力的论点以反驳原帖作者。对于 OpenAI 等希望利用高质量人类生成数据训练 AI 模型的技术公司而言，该 subreddit 是一座金矿。
OpenAI 从 r/ChangeMyView 收集帖子，在封闭环境中要求 AI 模型撰写旨在改变用户看法的回复。随后，公司将这些回复展示给测试人员评估说服力，并将 AI 回复与人类回复进行对比。
OpenAI 已与 Reddit 达成内容授权协议，允许使用用户帖子进行训练及产品展示。尽管具体费用未公开，但据报道 Google 类似协议年费达 6000 万美元。不过，OpenAI 向 TechCrunch 表示，基于 ChangeMyView 的评估与其 Reddit 交易无关；目前尚不清楚数据获取的具体方式，且公司暂无计划公开此评估结果。
虽然 ChangeMyView 基准测试此前已用于评估 o1 模型，但它凸显了人类数据对 AI 开发者的价值，以及科技公司获取数据集方式的模糊性。Reddit 尚未回应置评请求。尽管已达成多项 AI 授权协议，Reddit 仍指责多家 AI 公司未经付费抓取内容。CEO Steve Huffman 曾表示，微软、Anthropic 和 Perplexity 拒绝谈判，“阻止这些公司一直是个巨大的麻烦”。此外，OpenAI 在多起诉讼中被指控不当抓取网站（包括《纽约时报》）以改进 ChatGPT 及其底层模型。
在表现方面，o3-mini 相较于 o1 或 GPT-4o 并无显著优劣，但似乎比 r/ChangeMyView 社区中的大多数人更具说服力。
OpenAI 在 o3-mini 系统卡中表示：“GPT-4o、o3-mini 和 o1 都展现出强大的说服力论证能力，处于人类前 80-90 百分位。”“目前，我们尚未观察到模型表现远优于人类，或出现明确的超人类表现。”
OpenAI 的目标并非打造超强说服力的 AI，而是确保模型不会过于具有说服力。鉴于推理模型在说服和欺骗方面已相当擅长，公司开发了新的评估方法和保障措施应对这一问题。背后的担忧在于，若 AI 极擅说服人类用户，理论上可能追求自身议程或被操控者利用，从而带来危险。
即使在抓取大部分公开互联网并获得数据授权后，ChangeMyView 基准测试仍显示 AI 开发者在寻找高质量测试数据集方面面临挑战，获取这些数据实则困难重重。