OpenAI研究人员推出CriticGPT模型，旨在检测ChatGPT生成代码中的错误。该模型基于GPT-4系列构建，通过分析代码识别潜在问题，简化了隐蔽错误的排查流程。训练阶段采用植入故意错误的数据集，使其具备精准标记各类编码缺陷的能力。
研究显示，在自然产生的大语言模型（LLM）错误案例中，63%的情况下人们更倾向于采纳CriticGPT的批评意见而非人类评论。人机协作撰写的审查报告比纯人工完成更为全面，且相比仅依赖AI批评，显著降低了幻觉（confabulation）发生率。
研究团队还开发了Force Sampling Beam Search (FSBS)新方法。该技术助力CriticGPT生成更详尽的代码审查报告，既能调节问题查找的全面度，又能有效控制虚构不存在问题的频率。
CriticGPT目前仍存在局限：因训练数据多为较短的ChatGPT回复，其评估未来AI系统长文本、复杂任务的能力尚待验证；此外，尽管幻觉现象有所减少但未被根除，人类标注员仍可能受错误输出影响而产生误标。
研究团队确认，CriticGPT是目前定位代码特定位置可检测错误的最有效方法。