一项新研究考察了大型语言模型在多种医疗环境中的表现，包括真实的急诊室病例——其中至少有一种模型的表现似乎比人类医生更准确。
这项研究于本周发表在《科学》杂志上，由哈佛医学院和贝斯以色列女执事医疗中心的医生与计算机科学家领导的研究团队开展。研究人员表示，他们进行了一系列实验，以衡量OpenAI的模型与人类医生的对比情况。
在一项实验中，研究人员聚焦于76名进入贝斯以色列急诊室的患者，将两名内科主治医师给出的诊断与OpenAI的o1和4o模型生成的诊断进行比较。这些诊断由另外两名不知晓哪些来自人类、哪些来自人工智能的主治医师进行评估。
“在每个诊断接触点，o1的表现要么略优于两名主治医师和4o，要么与之持平，”该研究称，并补充说这种差异“在第一个诊断接触点（初始急诊分诊）尤为显著，因为此时关于患者的信息最少，而做出正确决策的紧迫性最高。”
在哈佛医学院的新闻稿中，研究人员强调他们“完全没有对数据进行预处理”——AI模型接收到的信息与每次诊断时电子病历中可用的信息相同。
凭借这些信息，o1模型在67%的分诊案例中提供了“完全相同或非常接近的诊断”，相比之下，一名医生达到完全相同或接近诊断的比例为55%，另一名医生则为50%。
“我们针对几乎所有基准测试了该AI模型，它超越了之前的模型以及我们的医生基线水平，”哈佛医学院AI实验室负责人、该研究的主要作者之一Arjun Manrai在新闻稿中表示。
需要明确的是，该研究并未声称AI已准备好在急诊室做出关乎生死的现实决策。相反，研究指出，这些发现表明“迫切需要开展前瞻性试验，以评估这些技术在真实世界患者护理环境中的应用。”
研究人员还指出，他们仅研究了模型在提供文本信息时的表现，并且“现有研究表明，当前的基础模型在处理非文本输入时的推理能力更为有限。”
贝斯以色列的医生Adam Rodman也是该研究的主要作者之一，他警告称，目前围绕AI诊断“缺乏正式的问责框架”，而且患者仍然“希望人类引导他们度过生死攸关的决策[以及]艰难的治疗决策。”
急诊医生克里斯汀·潘塔加尼（Kristen Panthagani）表示，这是一项“有趣的AI研究，但导致了一些被严重炒作的头条新闻”，尤其是因为它将AI诊断与内科医生的诊断进行比较，而不是与急诊科医生的诊断进行比较。
潘塔加尼说：“如果我们要将AI工具与医生的临床能力进行比较，我们应该从与真正从事该专科的医生进行比较开始。‘如果大型语言模型能在神经外科委员会考试中胜过皮肤科医生，我也不会感到惊讶，[但这]并不是特别有用的信息。’”
她还辩称，“作为一名首次接诊患者的急诊医生，我的主要目标是不是猜测你的最终诊断。我的主要目标是确定你是否患有可能危及生命的疾病。”
这篇帖子和标题已更新，以反映研究中诊断来自内科主治医师的事实，并包括克里斯汀·潘塔加尼的评论。