
编者按
真实的临床博弈,从来不是非黑即白的单项选择。 一颗患牙交织着感染、咬合等复杂病理,医生需在“查病因、定顺序、防并发”中寻找最优解。脱离具体病情的AI建议,极易导致误诊,甚至造成不可逆的损伤。遗憾的是,现有评测多停留在衡量AI理论水平的“应试”舒适区,难以回答一个更重要的问题:
当问题从“选出正确答案”变成“为一位具体患者制定治疗方案”时,大模型还能可靠吗?
为了打破高分幻觉,填补AI走向真实临床的鸿沟,GlobalDentBench 应运而生。该项目由京津冀国家技术创新中心与香港大学联合培养的2024级创新创业博士生赵俊杰主导研发,全球顶尖力量推进:港中大(深圳)王本友教授团队、港大牙医学院王俊文教授团队、南医大深圳口腔医院(坪山)江山副院长团队、港大牙医学院杨伟发教授团队、北大陈良怡教授团队与深圳自由动脉科技。同时,港大金力坚院长、南医大深圳口腔金作林院长,携手美国梅奥诊所 Nhan Tran 教授、慕尼黑大学 Falk Schwendicke 教授等国际权威倾力加盟,筑牢临床安全壁垒。
-
全球视野:覆盖88个国家和地区,反映真实的全球诊疗差异; -
临床深度:细分14个专科,含8,978道直击临床痛点的高质量考题; -
专家标准:6位资深牙医耗时297小时纯人工交叉检验,严守临床底线。
当褪去应试的伪装,直面复杂的真实病例、潜在的临床风险以及严肃的诊疗抉择时,人工智能到底能走多远?
[01 不只考知识,还要考临床推理]
-
MCQ:选择题。 来自多个国家和地区的牙医资格考试,主要考察基础知识和标准化判断。 -
SAQ:简答题。 来自权威牙科教材,要求模型脱离选项提示,独立组织答案。 -
CBQ:病例题。 来自同行评审的临床病例报告,要求模型结合病史、临床表现和个体化信息,完成诊断推理与治疗决策。
-
L1:知识回忆。 主要考察模型是否掌握明确、标准的牙科医学知识。 -
L2:常规推理。 需要根据典型临床表现,完成常规诊断或治疗逻辑推断。 -
L3:个体化推理。 需要整合患者特异信息、非标准情况和现实约束,作出更加接近真实临床的判断。
L1更像“背书”,L2更像“做题”,而L3才更接近“面对一个具体患者”。
图1: GlobalDentBench 总览。基准覆盖全球来源、三类题型、三个推理层级和 14 个牙科专科。
-
在选择题上,平均准确率为 81.34%。 -
到了简答题,平均准确率下降到 64.53%。 -
到了真实病例驱动的病例题,平均得分进一步下降到 22.34%。
大模型很会答题,但还不真正擅长处理真实的临床问题,还不足以应对较为复杂的临床问题。
平均分可能掩盖专科差异。大模型在介入真实牙科临床场景之前,必须接受更加细粒度的专科验证。
-
S0:临床安全或低风险回答。 -
S1:可能造成可逆患者伤害的危险回答。 -
S2:可能造成不可逆或危及生命伤害的危险回答。
在病例题中,接近三分之一的大模型回答存在潜在临床风险。
-
系统健康、药理与安全:14.15% -
麻醉与医疗急症:8.93% -
儿童牙科:6.33%
这意味着,单看正确率平均分可能会掩盖真正的临床风险。一个模型总体看起来不错,仍然可能在少数高风险场景中给出严重危险建议。
|
|
|
|
|
|
|
|
|
|
|
|
当前大模型可以成为牙科知识检索、教育和分析的辅助工具,但还不能作为自主牙科临床决策者。
在高风险医疗任务中,模型部署前必须经过专科验证、风险评估和专家把关的严格流程。
[ 开放资源 ]
我们已经公开项目代码和无版权限制的开放子集,方便研究者复现、评测和扩展。
论文
https://arxiv.org/abs/2605.24636
Github
https://github.com/FreedomIntelligence/GlobalDentBench
可公开子集GlobalDentBench-OA
https://huggingface.co/datasets/FreedomIntelligence/GlobalDentBench
[ 合作单位]
GlobalDentBench 是一个跨机构、跨学科合作项目,参与团队覆盖口腔医学、人工智能、医学影像、生物医学研究与临床医院等方向。主要参与机构包括:
-
香港大学牙医学院 Faculty of Dentistry, The University of Hong Kong -
香港中文大学(深圳)The Chinese University of Hong Kong, Shenzhen -
南方医科大学深圳口腔医院(坪山)Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University -
北京大学 Peking University
-
-
北大清华生命科学联合中心 Peking-Tsinghua Center for Life Sciences -
国家生物医学成像中心 National Biomedical Imaging Center -
新基石科学实验室 New Cornerstone Science Laboratory -
梅奥诊所 Mayo Clinic -
德国慕尼黑大学医院 LMU University Hospital -
深圳河套学院 Shenzhen Loop Area Institute -
深圳自由动脉科技有限公司 Freedom AI -
北京协同创新研究院 Beijing Institute of Collaborative Innovation
大模型已经展现出可观的牙科知识问答能力,但距离安全、可靠地承担临床决策,仍然有很长的路要走。
更值得关注的是,这种局限并不是个别模型的问题。在复杂病例和个体化推理任务中,无论是闭源模型还是开源模型,都表现出了相似的能力瓶颈。
未来,我们将会继续致力于推进牙科与AI的结合,并着重沿着两个方向推进:
与此同时,我们也期待与更多高校、医院及相关机构开展合作,共同探索口腔医学与人工智能的更多可能。有意向的合作伙伴可通过 ziiyingsheng@gmail.com 与我们联系,进一步探讨合作机会。


