在媒体预告后，OpenAI 正式推出一款旨在区分人类撰写与 AI 生成文本（如 ChatGPT、GPT-3）的工具。尽管 OpenAI 指出该分类器准确率仅约 26%，但认为结合其他方法使用时，仍有助于防止 AI 文本生成器被滥用。
随着生成式 AI 热度攀升，批评人士呼吁创作者减轻其潜在危害。美国部分学区已禁止在校内网络及设备使用 ChatGPT，担忧影响学习及内容准确性；Stack Overflow 等平台也禁止分享 AI 生成内容，以防可疑答案淹没讨论区。
OpenAI AI Text Classifier 在架构上颇具吸引力。与 ChatGPT 同为经大量公开文本训练的 AI 语言模型，但它经过微调以预测文本由 AI 生成的概率，且不限于识别 ChatGPT 生成的内容。
具体而言，OpenAI 使用来自五个组织（含自身）的 34 个文本生成系统数据训练了该分类器，并将其与维基百科的人类文本、Reddit 链接提取的网站内容及此前收集的“人类演示”数据进行配对。（OpenAI 在支持文档中承认，鉴于互联网上 AI 生成内容的泛滥，可能会无意中将部分 AI 文本错误标记为人类撰写。）
需注意，该分类器并非适用于所有文本：要求至少 1,000 个字符（约 150-250 词）；无法检测抄袭（已有研究表明 AI 会复述训练文本）；因数据集以英语为主，评估儿童或非英语文本时更易出错。
在评估文本是否由 AI 生成时，检测器会根据置信度给出保留意见：极不可能（<10%）、不太可能（10%-45%）、不确定（45%-90%）、可能（90%-98%）或很可能（>98%）。
实测显示，分类器能自信且正确地识别 TechCrunch 关于 Meta Horizon Worlds 的文章段落及 OpenAI 支持页面摘录为非 AI 生成，也能成功识别 Gizmodo 文章中出自 ChatGPT 的输出；但在处理 ChatGPT 生成的长篇文章时遇到困难，最终完全无法分类。
据 OpenAI 称，分类器有 9% 的概率将人类文本误标为 AI 生成。本次测试未出现此错误，但这可能归因于样本量较小。
在实际应用中，该分类器对短篇幅写作评估效果不佳。例如在邮件等场景中，达到 1,000 字符门槛较难。此外，OpenAI 强调通过修改生成文本中的部分单词或从句即可规避检测，这些局限性令人担忧。
这并不意味着分类器毫无用处，但在当前状态下，它确实难以阻止蓄意欺诈者或学生的行为。
为满足检测需求，相关小型产业应运而生。普林斯顿大学学生开发的 ChatZero 利用“困惑度”（文本复杂性）和“突发性”（句子变化）等标准进行检测；Turnitin 也在开发自有 AI 文本检测器；Google 搜索中还可找到至少六款声称能区分 AI 与人类生成内容的应用程序。
这很可能演变为一场猫鼠游戏。随着文本生成 AI 进步，检测工具也会随之提升，这种持续拉锯战类似于网络犯罪分子与安全研究人员的对抗。正如 OpenAI 所言，尽管分类器在某些情况下有所帮助，但永远不能作为判断文本是否由 AI 生成的唯一可靠证据。
总而言之，目前并没有解决 AI 生成文本问题的万能方案，且很可能永远也不会有。