大数跨境

人才培养丨京津冀国家技术创新中心-香港大学2024级创新创业博士生赵俊杰全球牙科评测基准GlobalDentBench正式发布

人才培养丨京津冀国家技术创新中心-香港大学2024级创新创业博士生赵俊杰全球牙科评测基准GlobalDentBench正式发布 粤港澳大湾区协同创新研究院
2026-06-04
0





本文转载自“自由动脉”微信公众号


编者按

近日京津冀国家技术创新中心与香港大学联合培养的2024级创新创业博士生赵俊杰主导研发、多地顶尖医学机构共同构建的全球牙科评测基准GlobalDentBench正式发布。作为首个面向牙科临床推理与安全评估的多国评测基准,GlobalDentBench以极致的广度与深度,为 AI 迈向真实临床构建了全新的参考坐标。


图片
GlobalDentBench是一个面向牙科临床推理与安全性的评测基准,由京津冀国家技术创新中心、香港大学牙医学院、香港中文大学(深圳)、南方医科大学深圳口腔医院(坪山)、北京大学、梅奥诊所、慕尼黑大学医院及深圳自由动脉科技有限公司共同推进。其数据来源覆盖六大洲的 88 个国家和地区,包含 14 个口腔医学专科方向和 8,978 道经专家验证的问题。不同于主要依赖选择题的传统评测,GlobalDentBench 进一步纳入了简答题和基于真实临床病例报告构建的病例题,并按照知识回忆、常规推理和个体化推理三个层级逐步提升难度。6 位资深牙医深度参与了基准构建与评测校准。它希望回答的,不只是“大模型能否通过牙医考试”,更是“当模型真正面对复杂病例和潜在临床风险时,是否仍然可靠”。



大模型在医学考试中屡创高分,然而当考场变成诊室,当面对一位捂着腮帮子的真实患者时,它真的能胜任“牙医”的角色吗?

真实的临床博弈,从来不是非黑即白的单项选择。 一颗患牙交织着感染、咬合等复杂病理,医生需在“查病因、定顺序、防并发”中寻找最优解。脱离具体病情的AI建议,极易导致误诊,甚至造成不可逆的损伤。遗憾的是,现有评测多停留在衡量AI理论水平的“应试”舒适区,难以回答一个更重要的问题:

问题从“选出正确答案”变成“为一位具体患者制定治疗方案”时,大模型还能可靠吗?

为了打破高分幻觉,填补AI走向真实临床的鸿沟,GlobalDentBench 应运而生。该项目由京津冀国家技术创新中心与香港大学联合培养的2024级创新创业博士生赵俊杰主导研发,全球顶尖力量推进港中大(深圳)王本友教授团队、港大牙医学院王俊文教授团队、南医大深圳口腔医院(坪山)江山副院长团队、港大牙医学院杨伟发教授团队、北大陈良怡教授团队深圳自由动脉科技。同时,港大金力坚院长、南医大深圳口腔金作林院长,携手美国梅奥诊所 Nhan Tran 教授、慕尼黑大学 Falk Schwendicke 教授等国际权威倾力加盟,筑牢临床安全壁垒。


王俊文教授

香港大学牙医学院

王俊文,香港大学牙医学院长聘教授。香港大学牙医学院连续3年位列全球第1,连续10年位列全球前3。此前,王俊文教授曾任美国梅奥诊所定量健康科学系、个体化医学中心及癌症中心生物信息学教授。王教授的研究兴趣包括生物信息学、基因调控网络构建、人工智能和数据分析析方法开发。王教授在Nature Genetics、Nature Communications、Nature Machine Intelligence、Circulation、NAR、Bioinformatics等期刊上发表论文160余篇,并曾作为项目负责人获得香港研资局和美国国立卫生研究院的资助。他曾是ISI前1%被引学者,香港大学杰出研究生导师,香港大学杰出青年研究员。现为期刊Cancer Immunology, Immunotherapy资深副主编。王教授培养了多名优秀博士研究生,均取得国际知名院校的教职,包括美国梅奥诊所、美国贝勒医学院、香港大学、香港中文大学等院校。


王本友教授

香港中文大学(深圳)

王本友,香港中文大学(深圳)数据科学学院助理教授、香港大学牙医学院荣誉助理教授、博士生导师、校长青年教授;深圳河套学院双聘导师。研究方向为大语言模型(医疗)应用、多模态大模型和Human-agent interaction,曾获得了SIGIR 2017 Best Paper Award Honorable Mention, NAACL 2019 Best Explainable NLP Paper,NLPCC 2022 Best Paper, Best Paper in ICLR 2025 Financial AI workshop和NeurIPS 2025 ResponsibleFM Outstanding Paper Paper,担任了 NLPCC 2023 的宣传主席和 EMNLP 2023 的网站主席,Google引用超过1万次。他曾获得了华为火花奖、腾讯犀牛鸟项目、华为AI百校计划和CCF滴滴盖亚学者项目的资助,其开发的医疗大模型已被部署至深圳数十家公立医院及数百家社康医院,推动医疗大模型在真实场景中的落地应用。



江山副院长

南医大深圳口腔医(坪山)

江山,南方医科大学深圳口腔医院(坪山)副院长,香港大学博士、博士后、荣誉副教授,深圳市海外高层次人才。发表SCI 30余篇,主持国际科研基金1项、国家自然科学基金 1项、省厅级科研基金3项,市级科研基金2项,获得国际科技奖3项。上海交通大学医学院附属第九人民医院研修学习并获评优秀。担任中华口腔医学会牙周病学专业委员会青年委员,广东省口腔医学会口腔医院感染控制与管理专业委员会常务委员,广东省口腔医学会口腔黏膜病专业委员会常务委员,深圳市口腔医学会牙周专业委员会常务委员。


杨伟发教授

香港大学牙医学院

杨伟发,现任香港大学牙医学院口腔颌面外科学临床助理教授。他先后于中山大学获得口腔医学学士学位及口腔颌面外科学硕士学位,并于香港大学获得博士学位。杨教授同时持有香港及中国内地的注册牙医资格,并担任香港玛丽医院名誉牙科医生。他的研究方向主要包括计算机辅助颌骨外科手术、人工智能、3D 打印及数字化牙科。迄今为止,他已参与发表超过 40 篇同行评审论文,H 指数为 19,并获得 7 项外部科研资助,其中 2 项由其担任项目负责人。杨教授是国际口腔颌面外科医师协会会士,并持有英国爱丁堡皇家外科医学院口腔颌面外科专科会员资格。他还积极参与多个专业委员会的工作,并担任牙医学士(BDS)及牙科硕士(MDS)课程的校内考官。其在科研、教学及临床实践方面的长期投入,充分体现了他推动口腔颌面外科学发展的专业热忱。


陈良怡教授

北京大学

陈良怡,北京大学博雅特聘、长聘教授,新基石研究员。北京大学国家生物医学成像科学中心副主任,获原国家自然科学基金委杰出青年基金(延续)资助,是科技部重点研发专项、基金委重大研究计划集成项目的首席科学家,法国科学院生物成像国际研究网络的中方总协调人。为了在不同的时空尺度研究糖尿病相关的胰岛素分泌调控,发明一系列的高时空分辨率生物医学成像的可视化手段,包括高分辨率微型化双光子显微镜,海森结构光超分辨显微镜,活细胞双模态超分辨率显微镜,发明基于新数学原理的稀疏解卷积超分辨率成像算法,实现活细胞成像中分辨率最高(60nm)、速度最快(564Hz)、成像时间最长(>1小时),也能够实现跨尺度多模态超分辨提升,帮助发现新细胞器以及解析临床发病机制。这个算法成为底层技术支撑,也延伸至水下声学成像、天文观测等领域。工作获得“2021、2023年度中国光学领域十大社会影响力事件(Light10)”等奖励。应用跨尺度成像新技术也揭示重要生物医学发现,包括活细胞超分辨病理学精准解析遗传罕见病不同亚型机制,超分辨成像揭示胰岛素囊泡快速胞吐和回收机制,胰岛水平钙信号和分泌的异质性机制以及在体胰岛β细胞成熟机制等。来源于基础研究的新技术方法两次入选国家"十三五"科技创新成就展,形成自主知识产权体系。包括微型化多光子显微镜以及活细胞超分辨率显微镜等技术已经商业化,整机在与Zeiss、Nikon等高端产品头对头竞争中胜出,解决高端显微镜的卡脖子问题,驱动源自中国的原创技术的出海,完成对欧美国家的整机出口。商业化机器使用已产出超200篇论文,完成从基础理论创新-新技术方法-生物医学应用-商业转化-推动领域前进的闭环。


金力坚院长

香港大学牙医学院

金力坚,香港大学牙医学院院长、牙周病学讲座教授及现代牙科临床牙科科学组教授。他于1994年加入香港大学,曾任副院长(内地及全球事务,2006-2010年;研究、创新及企业,2011-2015年)。他荣获爱丁堡皇家外科医学院授予的牙科外科荣誉院士称号(2007年),以及香港牙医学院授予的荣誉院士称号(2025年)。他的主要领导职务包括:世界牙科联盟(FDI)理事(2015-2021年)、FDI全球牙周健康项目工作组主席(2016-2021年)及FDI科学委员会主席(2012-2015年)。国际牙科研究协会(IADR)理事会成员(2018-2021年),IADR亚太区主席(2019年12月-2020年),IADR牙周病工作组(GOHIRA)主席(2009-2012年);亚太牙周病学会主席(2011-2013年);中华口腔医学会荣誉理事(2008-2021年);香港口腔医学会牙周病专科委员会创始成员(2001-2017年);国际牙周病学会理事(2012年至今),粤港澳大湾区口腔健康联盟副主席(2018年至今)。他担任J Clin Periodontol(2011年至今)和J Periodont Res(2007年至今) 的编委,此前曾担任J Periodontol(2006-2023年)和JDR(2010-2015年)的编委。作为首席研究员,他曾获得香港研究资助局10项研究生科研基金(GRF)资助。他指导过42名研究生的研究项目,其团队曾多次获得国际奖项。金教授应邀在国内外发表过240余场演讲,例如:国际牙科联盟世界牙科大会(2016-2019年、2024年和2025年)、国际牙科研究协会年会(2010年和2013年)以及第八届欧洲牙周病学大会(2015年)。他发表了302篇期刊论文、书籍章节和专著。



金作林院长

南医大深圳口腔医(坪山)

金作林,南方医科大学深圳口腔医院(坪山)院长,1992年毕业于第四军医大学口腔系,分别于1999年2002年与第四军医大学获得硕士、博士学位,2002-2004四川大学华西口腔医学院博士后,2010-2011美国哥伦比亚大学牙科学院访问学者。中华口腔医学会正畸专业委员会(COS)前任主任委员,中华口腔医学会理事,陕西省口腔医学会理事,亚太正畸协会(APOS)执行委员,陕西省口腔正畸专委会前任主任委员,《中华口腔正畸学杂志》副主编,爱丁堡皇家外科学院口腔正畸专科考官。精准与数字颅颌面整复专委会常委。世界正畸医师联盟会员,美国正畸协会会员。陕西省科学技术奖励委员会评委,国家及多省市科学基金评审专家,多部国内杂志编委,Archives of Oral Biology;Cell Biology International; J Dental Research; Differentiation等国际杂志审稿人。发表学术论文108篇,其中英文26篇,SCI收录22篇;主译、副主译专著8部,主编、副主编专著3部,参编参译多部专著;承担课题14项,其中国家自然科学基金4项,省级课题10项;获得陕西省科技进步二等奖一项,军队医疗成果二等奖一项。指导博士研究生24名,硕士研究生28名。


Prof. Nhan L Tran

Mayo Clinic

Nhan L. Tran,现任美国翻译基因组学研究院(TGen,隶属于 City of Hope)癌症发现与转化副总裁、杰出教授以及免疫学与微生物组学系联合主任,此前曾长期担任美国梅奥医学中心(Mayo Clinic)肿瘤生物学与神经外科正教授。他先后于亚利桑那大学获得微生物学学士学位及肿瘤生物学博士学位。Tran 教授持有美国顶尖科研机构的多项核心教职与科学主任席位,其研究方向主要聚焦于恶性脑瘤(胶质母细胞瘤)的侵袭、复发与耐药机制,开创性地将高级 MRI、空间转录组学与多重成像技术有机整合,深入探索癌症神经科学、肿瘤免疫劫持及微环境生态学,并成功定义了 TWEAK–Fn14 等驱动肿瘤进展的核心信号网络。迄今为止,他已参与发表了多篇高水平同行评审学术论文,作为项目负责人(PI)主持了大量由美国国立卫生研究院(NIH)及国家癌症研究所(NCI)资助的联邦顶尖科研基金。


Prof. Falk Schwendicke

LMU Hospital

Falk Schwendicke,全球口腔医学、人工智能与数字医疗领域的顶尖领军科学家,现任德国慕尼黑大学(LMU)医院牙体牙髓、牙周病与数字牙医学医院院长,常年入选斯坦福大学全球前 1% 顶尖科学家榜单,他是牙科领域被引用次数最多的研究人员之一。他曾长期在欧洲最大的大学附属医院之一的柏林夏里特医学院担任系主任并创立人工智能与健康政策研究所,其核心科研贡献在于将深度学习与计算机视觉引入牙科影像诊断,作为国际标准化组织(ISO)牙科 AI 工作组召集人和世界卫生组织(WHO)健康人工智能口腔组负责人,主导制定了全球口腔 AI 的行业标准与临床政策声明。同时,他还是微创龋齿管理范式变革的先锋,其提出的选择性去腐理念被广泛写入欧洲 S3 级临床指南,并在卫生经济学领域利用大数据模型为多国医保政策提供决策支持。作为极高产的学者,他至今已发表 600 多篇高水平论文并出任顶级期刊Journal of Dental Research副主编,于 2026 年荣获国际牙科研究协会(IADR)全球最高荣誉——杰出科学家奖(Distinguished Scientist Award),并在产学研转化上成功联合创立了欧洲领先的牙科 AI 影像诊断公司 dentalXr.ai。
作为首个面向牙科临床推理与安全评估的多国评测基准,GlobalDentBench以极致的广度与深度,为 AI 迈向真实临床构建了全新的参考坐标
  • 全球视野:覆盖88个国家和地区,反映真实的全球诊疗差异;
  • 临床深度:细分14个专科,含8,978道直击临床痛点的高质量考题;
  • 专家标准6位资深牙医耗时297小时纯人工交叉检验,严守临床底线。
跳出执业考试的分数执念,GlobalDentBench向整个医学 AI 领域抛出那个严酷却必须面对的终极拷问:
当褪去应试的伪装,直面复杂的真实病例、潜在的临床风险以及严肃的诊疗抉择时,人工智能到底能走多远?


[01 不只考知识,还要考临床推理]


GlobalDentBench 考察模型能否从复杂病例中提取关键线索、完成诊断推理,并给出合理的治疗决策。
为了让评测逐步接近真实牙科诊疗,GlobalDentBench 设置了三类题型:
  • MCQ:选择题。 来自多个国家和地区的牙医资格考试,主要考察基础知识和标准化判断。
  • SAQ:简答题。 来自权威牙科教材,要求模型脱离选项提示,独立组织答案。
  • CBQ:病例题。 来自同行评审的临床病例报告,要求模型结合病史、临床表现和个体化信息,完成诊断推理与治疗决策。
从选择题到简答题,再到病例题,题目逐步从“知识回忆”走向“临床推理”。
与此同时,每道题还会按照推理难度,进一步划分为三个层级:
  • L1:知识回忆。 主要考察模型是否掌握明确、标准的牙科医学知识。
  • L2:常规推理。 需要根据典型临床表现,完成常规诊断或治疗逻辑推断。
  • L3:个体化推理。 需要整合患者特异信息、非标准情况和现实约束,作出更加接近真实临床的判断。
简单来说:
L1更像“背书”,L2更像“做题”,而L3才更接近“面对一个具体患者”。


image.png

图1: GlobalDentBench 总览。基准覆盖全球来源、三类题型、三个推理层级和 14 个牙科专科。


[02 大模型擅长考试,但一旦面对真实病例,就开始“掉链子”。]


我们评测了 12 个前沿大语言模型,包括 Gemini、GPT、Claude、Grok、Doubao、DeepSeek、Kimi、GLM、Qwen、MiniMax 等系列模型。
他们的结果呈现出非常清晰的阶梯式下降:
  • 在选择题上,平均准确率为 81.34%
  • 到了简答题,平均准确率下降到 64.53%
  • 到了真实病例驱动的病例题,平均得分进一步下降到 22.34%
如果按照推理层级来看,趋势同样明显:L1 知识回忆任务平均得分 74.01%,L2 常规推理下降到 55.64%,L3 个体化推理只有 35.71%。这说明,大模型在牙科场景中的主要能力仍然更接近“知识检索与规范表达”。一旦任务需要结合具体患者信息进行个体化推理,所有模型都会遇到共同瓶颈。
换句话说:
大模型很会答题,但还不真正擅长处理真实的临床问题,还不足以应对较为复杂的临床问题。
在总体宏平均分上,Gemini-3.1-Pro-Preview 取得最高分,达到 63.27%。开源模型中,GLM-5 表现最好,达到 56.43%
但如果进一步考虑推理成本,模型之间的差异就不只是性能高低。Gemini-3-Flash-Preview 以 61.59% 的宏平均分和每 1000 次查询约 3.72 美元 的成本,呈现出较好的成本-性能平衡。Kimi-K2.5 的宏平均分为 55.49%,每 1000 次查询成本约 1.37 美元,在开源模型中也很有竞争力。
换句话说,在牙科知识辅助、教学或研究场景中,“模型是否足够强”之外,还需要问“它在特定任务上是否值得这个成本”。但对于复杂临床决策,即使是表现最好的模型,目前也还远远不能独立使用。
图片
图2:12 个前沿模型在不同题型、不同推理层级下的表现,以及成本-性能关系。


[03 大模型也会“偏科”:不同牙科专科之间,表现差异明显]


GlobalDentBench 的一个重要特点,是将题目映射到 14 个牙科专科。这样我们就能看到,模型的能力并不是在所有牙科领域都表现一致。
总体上,模型在 口腔黏膜病牙髓与根尖周疾病口腔颌面影像 等领域表现相对更好;而在 正畸儿童牙科传统修复 等领域表现更弱。
一个可能的原因是,不同专科对临床推理的要求并不相同。口腔黏膜病、牙髓与根尖周疾病等领域中的部分知识,更容易通过相对标准化的术语、疾病模式和诊疗逻辑进行表达。而正畸、儿童牙科和传统修复等任务,往往更加依赖发育阶段、长期治疗规划、行为管理、程序设计和患者个体化约束。
即使这些信息已经通过文字呈现,模型仍然需要完成更加复杂的整合与权衡。
因此,一个总体分数看起来不错的模型,并不一定在所有牙科医学场景中都同样可靠。
平均分可能掩盖专科差异。大模型在介入真实牙科临床场景之前,必须接受更加细粒度的专科验证。
图片
图3:不同模型在 14 个牙科专科上的宏平均得分。模型在各专科上的表现存在系统性差异。


[04 比答错更值得警惕的,是给出危险建议]


对于医疗 AI 来说,错误并不只是一个分数。
有些错误只是表述不够完整。有些错误可能导致额外检查、治疗返工或可避免的并发症。还有一些错误,则可能造成牙齿丧失、永久功能损害,甚至延误严重疾病的处理。
因此,在病例题中,我们进一步分析了模型回答的临床安全风险,每条回答会被划分为三个等级:
  • S0:临床安全或低风险回答。
  • S1:可能造成可逆患者伤害的危险回答。
  • S2:可能造成不可逆或危及生命伤害的危险回答。
例如,错误的治疗顺序、可避免的并发症或需要额外返工的建议,可能被归入 S1。而可能导致牙齿丧失、永久感觉神经损伤、药物相关性颌骨坏死,或者延误恶性肿瘤和严重感染处理的建议,则可能被归入 S2。
在 12 个模型对 1,590 道病例题生成的 19,080 条回答中,整体不安全率达到 31.01%。其中,26.50% 属于 S1,4.51% 属于 S2。
换句话说:
在病例题中,接近三分之一的大模型回答存在潜在临床风险。
更值得注意的是,这些风险并不是均匀分布的。
不同模型之间的整体不安全率差异很大,从 15.97% 到 45.85% 不等。
不同专科之间,也呈现出不同的风险结构。例如,正畸的整体不安全率最高,达到 44.30%
而更严重的 S2 风险,则更多集中在以下临床敏感领域:
  • 系统健康、药理与安全:14.15%
  • 麻醉与医疗急症:8.93%
  • 儿童牙科:6.33%
这意味着,仅仅比较平均分是不够的。一个模型总体得分较高,仍然可能在少数高风险场景中给出严重错误的建议。一个模型整体不安全率较低,也不代表它一定能够避免偶发但严重的 S2 错误。
这意味着,单看正确率平均分可能会掩盖真正的临床风险。一个模型总体看起来不错,仍然可能在少数高风险场景中给出严重危险建议。
图片
图4:病例题回答的安全风险分析。GlobalDentBench 不只评估答得对不对,也评估潜在临床伤害。


[05 Benchmark是如何构建的?]


为了让评测同时具备规模、临床相关性和可信度,我们从三类来源构建题目:
MCQ 选择题
多个不同国家的官方牙医资格考试材料
标准化知识与明确答案判断
SAQ 简答题
权威牙科教材
开放式知识表达与常规解释能力
CBQ 病例题
已通过同行评审的临床病例报告
多步骤、病例驱动、较为复杂且真实的临床推理
构建过程中,我们使用自动化 agent pipeline 将异构文档统一转成标准格式,再根据题型抽取或生成样本,并进行专科标签与推理层级标注。为了控制质量,流程中加入了自我校正与专家验证。
GlobalDentBench 并不是把 AI 生成的题目简单汇总成数据集。为了让题目真正符合牙科临床逻辑,我们引入了 Dentist-in-the-Loop 框架:6 位持证资深牙医(平均执医6.8年)全程参与数据源认证、分类体系制定、agent pipeline 优化、样本质量审核和自动评分框架校准
这部分工作从 2026 年 2 月 5 日 持续到 2026 年 3 月 25 日。在 33 个工作日中,每位专家平均每天投入 1.5 小时,累计形成 297 人工时 的专业审核与反馈。专家不是在最后“盖章”,而是在构建流程中不断指出潜在问题,帮助系统修正题目的临床还原度、标签稳定性和临床合理性。
最终,选择题与简答题的专家一致率达到 99.98%;更复杂的病例题中,专家人工病例题总量的 32.89%,临床接受率达到 96.78%。在自动评分环节,经过牙医校准的 judge model 的临床接受率达到了98%
图片
图5:GlobalDentBench 的构建与评测流程。自动化 pipeline 负责文档标准化、题目构建、标签标注与最终验证,开放题由经专家校准的 judge model 进行评分。


[GlobalDentBench想说明什么?]


GlobalDentBench 的核心结论可以概括为一句话:
当前大模型可以成为牙科知识检索、教育和分析的辅助工具,但还不能作为自主牙科临床决策者。
这并不是否定大模型在医疗中的潜力。相反,只有把能力边界讲清楚,才能让模型更稳妥地进入真实工作流。
对于研究者,GlobalDentBench 提供了一个更接近真实牙科临床推理的评测框架。它把题型、推理层级、牙科专科和安全风险放在同一个体系里,让我们不再只比较一个总分。
对于开发者,它提供了一种可迁移的医学 benchmark 构建方法:用自动化 agent pipeline 处理异构来源,用专家校准控制质量,用 key-point scoring 和风险分级评估开放式临床回答。
对于临床和监管场景,它强调了一个重要原则:
在高风险医疗任务中,模型部署前必须经过专科验证、风险评估和专家把关的严格流程。


[ 开放资源 ]

我们已经公开项目代码和无版权限制的开放子集,方便研究者复现、评测和扩展。

论文

https://arxiv.org/abs/2605.24636

Github

https://github.com/FreedomIntelligence/GlobalDentBench

可公开子集GlobalDentBench-OA

https://huggingface.co/datasets/FreedomIntelligence/GlobalDentBench


[ 合作单位]

GlobalDentBench 是一个跨机构、跨学科合作项目,参与团队覆盖口腔医学、人工智能、医学影像、生物医学研究与临床医院等方向。主要参与机构包括:

  • 香港大学牙医学院 Faculty of Dentistry, The University of Hong Kong
  • 香港中文大学(深圳)The Chinese University of Hong Kong, Shenzhen
  • 南方医科大学深圳口腔医院(坪山)Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University
  • 北京大学 Peking University

    • 北大清华生命科学联合中心 Peking-Tsinghua Center for Life Sciences
    • 国家生物医学成像中心 National Biomedical Imaging Center
    • 新基石科学实验室 New Cornerstone Science Laboratory
  • 梅奥诊所 Mayo Clinic
  • 德国慕尼黑大学医院 LMU University Hospital
  • 深圳河套学院 Shenzhen Loop Area Institute
  • 深圳自由动脉科技有限公司 Freedom AI
  • 北京协同创新研究院 Beijing Institute of Collaborative Innovation
总结
如果用一个更直观的方式总结这篇工作:我们并不是只想知道,大模型能不能通过一场牙科考试。我们更想知道,当它面对的是真实患者、真实风险和真实临床推理时,它还能走多远。
GlobalDentBench 给出的答案是:
大模型已经展现出可观的牙科知识问答能力,但距离安全、可靠地承担临床决策,仍然有很长的路要走。

更值得关注的是,这种局限并不是个别模型的问题。在复杂病例和个体化推理任务中,无论是闭源模型还是开源模型,都表现出了相似的能力瓶颈。


未来展望

未来,我们将会继续致力于推进牙科与AI的结合,并着重沿着两个方向推进:


从「测能力」走向「探边界」:推进 GlobalDentBench 2.0
下一阶段,我们将进一步升级 GlobalDentBench:不再追求题目数量的简单扩展,而是更加关注前沿模型的能力边界。
GlobalDentBench 2.0 将重点收录真正能够难住前沿模型的问题,引入更细致的 Rubric 评估开放式医学推理能力,并邀请来自不同国家和地区的专家持续参与审核与校准。

与此同时,我们也期待与更多高校、医院及相关机构开展合作,共同探索口腔医学与人工智能的更多可能。有意向的合作伙伴可通过 ziiyingsheng@gmail.com 与我们联系,进一步探讨合作机会。


从「通用模型」走向「专科优化」:探索专业化口腔医学模型
仅仅依靠规模更大的通用模型,可能仍不足以解决真实口腔临床中的复杂问题。
未来,一个值得探索的方向,是构建更加专业化的口腔医学模型:围绕高质量专科数据进行训练,引入口腔医生持续参与的校准机制,并针对临床推理、治疗规划和安全风险进行专项优化。
它未必会替代通用大模型,但可能成为推动医疗 AI 从「会答题」走向「真正可用」的重要一步。





【声明】内容源于网络
0
0
粤港澳大湾区协同创新研究院
研究院是北京协同创新研究院与广东省科技厅、广州市、广州高新区及华南理工、南科大、港大、港科大、澳大共建的创新平台,并与京津冀国家技术创新中心联动,构建全球化协同创新体系,打造国际一流“原始创新策源中心、新兴产业培育中心、创新人才培养中心”。
内容 668
粉丝 0
粤港澳大湾区协同创新研究院 研究院是北京协同创新研究院与广东省科技厅、广州市、广州高新区及华南理工、南科大、港大、港科大、澳大共建的创新平台,并与京津冀国家技术创新中心联动,构建全球化协同创新体系,打造国际一流“原始创新策源中心、新兴产业培育中心、创新人才培养中心”。
总阅读3.0k
粉丝0
内容668