这篇研究关注一个基础问题：能否在通用模型上增强医学能力，同时保留跨任务适配的灵活性？作者基于Gemma 3开发MedGemma系列，并训练医学视觉编码器MedSigLIP。方法依次包括视觉增强、多模态继续预训练与后训练，再用具体任务微调检验数据效率。MedGemma 4B在分布外CheXpert、CXR14上的宏F1分别为48.1%、50.1%，高于同规模Gemma 3的32.6%、32.0%；胸片报告经强化学习微调后RadGraph F1由29.5%升至30.3%。研究支持把它作为医学应用的开发起点，尚未证明可直接用于自主临床诊疗。

论文信息        

01 临床问题

现实问题：让一个模型兼顾多类医学图像与文本任务。通用视觉语言模型缺少细致的医学理解，单病种模型又难以跨任务复用。作者希望构建开放权重、可继续微调的医学基础模型，覆盖放射、病理、皮肤和眼底图像，以及医学问答、报告生成与模拟诊疗交互。

研究难点：增强医学能力，同时控制遗忘与数据需求。不同模态的数据规模差异很大，医学训练可能削弱通用能力；模型在熟悉的数据源上得分较高，也不代表能适配新任务。因此研究同时考察同规模基座对照、分布外任务、小样本微调和通用能力保留。

 02  研究方法

1.模型由什么组成？MedGemma包括4B与27B多模态版，以及27B Text纯文本版；多模态版采用Gemma 3语言模型与SigLIP-400M医学增强视觉编码器，支持图文交错输入和128k上下文。图像统一至896×896，CT单层图像以三种窗设置映射RGB通道。独立发布的MedSigLIP为448×448分辨率，权重共享，位置嵌入作降采样适配。

2.怎样训练医学视觉与语言能力？先以医学图文对增强视觉编码器，同时回放原有通用数据，医学数据混合权重为2%；再从Gemma 3预训练检查点继续训练多模态解码器，医学图像数据权重约12%，约遍历医学混合数据5轮。各模态采样权重根据验证曲线调整，避免大数据源主导训练。这两个比例属于不同阶段，不能混为一项设置。

3.怎样完成后训练？通过大指令教师模型蒸馏医学文本知识，再用医学图文数据进行强化学习后训练；作者在多模态后训练中采用强化学习，而非监督微调。27B Text只执行后训练阶段。随后另做任务适配实验：分类任务用LoRA监督微调，胸片报告及电子病历问答用强化学习微调。基础模型训练与下游适配是两个不同层次。

图1｜MedGemma各版本、MedSigLIP及对应数据模态与能力

03 研究设计

1.数据来自哪里？训练混合公开与内部医学数据，覆盖胸片、病理切块、皮肤、眼底及CT/MRI二维切片；病理图文对约3,250万组，训练时下采样，并加入约20万条合成医学问题。本文未训练三维CT/MRI体积或基因组数据。图文对、切块与患者不是同一计数单位，不能直接汇总为独立患者数。

2.怎样区分验证层级？作者将从未用于MedGemma视觉增强、预训练或后训练的数据源标为OOD；同源保留测试集与OOD分别评价。代表性测试规模为MedQA 1,273题、CheXpert 668例、CXR14 1,962例、报告生成306例；AgentClinic-MIMIC-IV为200个模拟病例。通用基座既往训练数据难以完全核实，因此OOD不能视为绝对排除所有预训练接触。

3.如何验证少样本适配？以MedGemma 4B与Gemma 3 4B为起点，在未用于原模型训练的SIIM-ACR、CRC100k、ISIC 2017上进行LoRA监督微调，对比0%、10%及100%训练数据。学习率固定4×10⁻⁵，最多4轮，以验证集选检查点；采用平衡准确率，测试集以1,000次bootstrap估计区间。另用临床实体关系指标RadGraph F1和医生评阅评价报告质量。

04 主要结果

1.基础任务表现

同规模对照中，MedGemma 4B在下表所列医学任务上的分数均高于Gemma 3 4B。胸片采用宏F1，其他所列任务采用准确率；不同任务的数值不能汇总成一个总体诊断准确率。表中均为4B版本，未混入27B结果。

表1｜4B模型的部分基准结果；OOD表示未用于MedGemma开发的数据源。

27B版本需要单独解读。27B Text在MedQA上为86.2%，Gemma 3 27B为74.9%；该MedGemma结果包含测试时计算扩展。医学优势并非覆盖每项比较：4B在MMLU college biology为70.8%，低于基座77.8%；US-Derm准确率为71.8%，低于Gemini 2.5 Pro的81.0%。

  图 2｜医学视觉问答结果与评价口径

视觉问答改善有多大？在SLAKE上，MedGemma 4B总体token F1为72.3%，基座为40.2%；封闭题准确率为87.6%对53.0%。VQA-RAD总体token F1为49.9%对33.6%，封闭题准确率为69.1%对48.7%。VQA-RAD采用避免图像跨训练测试重叠的特定划分，不能直接对照其他论文的原始划分成绩。

图像分类也存在任务差异。MedGemma 27B在MIMIC-CXR的Med-Gemini测试集宏F1为90.0%，但在MAIRA测试集为40.2%；同一数据源的不同测试集并不等价。MedSigLIP可独立用于图像检索及分类，正文概括其表现可比或超过多种专用编码器，但部分病理任务仍由专用编码器领先。

2.任务适配与数据效率

少样本微调的主要发现是什么？Extended Data Fig. 2显示，MedGemma 4B在三项任务的10%及100%训练条件下均高于相应基座，10%数据时的优势在皮肤与胸片气胸任务尤其明显。图示气胸任务中，基座增加训练数据后仍表现不稳，作者指出其出现倾向预测多数类的退化，而MedGemma未出现同样退化。

  图 3｜三项新任务在不同训练数据比例下的微调表现

这些曲线比较的是平衡准确率及95%置信区间。测试样本分别为CRC100k 7,180个组织切块、ISIC 2017 600张皮肤镜图像、SIIM-ACR 1,068张胸片；图中0%表示微调前模型。组织切块数不能当作患者数，10%训练比例也不是10%的测试数据。

报告生成进一步受益于任务微调。MIMIC-CXR中，MedGemma 4B预训练检查点生成“所见＋印象”的RadGraph F1为29.5%，强化学习微调后为30.3%，增加0.8个百分点。MAIRA-2的34.6%只生成“所见”；输出范围和跨研究纳排标准不同，因此不能用这两个数直接排出同任务优劣。

3.临床质量与适用边界

人工评价呈现什么结果？306例胸片报告中，正常99例、异常207例；正常组68%、异常组49%的AI报告被评为与原报告相当或更好。总体81%被评为可能带来相同或更好的临床管理决策。该评价由一名知晓AI来源的胸部放射科医生完成，评价对象是MedGemma 4B预训练模型报告。 

图4｜正常、异常及总体胸片报告的人工质量评价

模拟诊疗交互如何？AgentClinic-MedQA准确率为MedGemma 27B 56.2%、Gemma 3 27B 50.7%；OOD的AgentClinic-MIMIC分别为46.0%、35.2%，增加10.8个百分点。论文引用的人类医生54.0%来自使用GPT-4患者模拟器的既往研究，其他模型用GPT-4o患者模拟器重测。4B版本因难以遵循系统指令而未报告该项结果。

还保留哪些局限？开放式医学回答的人评错误比例由18.5%降至15.4%，但未归零。通用MMLU Pro上4B从43.6%降至39.1%，27B Text为60.2%，低于基座67.5%。多数评价仍是离线基准或模拟场景；内部私有数据不能公开，且三维影像能力不在本文训练范围。

05 学习借鉴

1.方法借鉴：分阶段增强，而非只替换语言模型。先提升医学图像编码，再对齐语言解码器，最后训练指令与任务行为，同时回放通用数据。自己的研究可逐层比较通用视觉编码器、医学编码器和任务微调，检验增益来自哪里；本文阶段化流程本身不等于完成了每一阶段的严格因果消融。

2.研究设计：用新任务和数据比例检验可迁移性。仅比较完整数据下的最佳分数不足以体现基础模型价值，可设置相同数据、提示和预算下的0%、10%、100%对照。按患者划分并保留独立外部测试，防止同患者切块或同影像的问题跨训练测试集重叠。

3.实验设计：让指标对应真实输出。分类同时看平衡准确率、敏感度及误报；报告生成用临床事实指标结合多名医生盲评；交互模型检验遵循指令与多轮失败。模型版本、输出章节、测试时计算量及数据划分都应对齐，再讨论性能差异。

4.结果表达：把离线能力与临床效益分开。81%的管理决策评分来自专家判断，并非前瞻性患者结局；模拟任务中的医生对照也不能直接说明模型胜过真实临床医生。保留通用能力下降、异常报告漏项、部分任务不占优等结果，更能界定后续验证重点。

06 专科迁移

以下为基于本文思路的专科迁移建议，并非原文已完成的研究。

1.肿瘤：从病理切块分类与图文检索切入。可比较MedSigLIP、病理专用编码器与通用模型，在相同少样本条件下检验分类或病例检索，再用独立病理标准验证。本文主要基于二维图像与切块，不能直接推出对整张病理切片、分子分型或预后的有效性。

2.肝病：先明确影像单位与临床问题。若研究CT或MRI，可从有定位信息的二维切片与报告对应开始，验证肝脏征象识别或报告事实抽取；若目标是三维肿瘤负荷或纤维化分期，应补充体积建模与可靠参照。单张切片的表现不能直接转化为整次检查诊断能力。

3.心血管：结合胸片征象与纵向记录探索。可先评价心脏增大、肺水肿等胸片识别，再研究病历摘要或信息检索。合成电子病历问答能力需在真实、去标识且按患者划分的记录中复核；治疗推荐或事件预测应另设临床终点、随访和前瞻性评价。

原文与复现入口

[1] Sellergren A, Kazemzadeh S, Mahvar F, et al. An open vision-language model for diverse medical applications. Nature Medicine. 2026;32:3695–3704. DOI: 10.1038/s41591-026-04626-w

参与瓴智医工协作：

希望发挥专业能力、参与项目协作，可通过「医工中心—入驻申请」提交专业背景与合作意向。

有科研问题、需要技术支持，可通过「业务合作—发布需求」描述研究目标与现有基础。  

提交后由团队联系沟通。入驻申请不代表审核通过或保证获得项目。

编辑：陈宣辰

审核：吴朝

The Lancet｜AI辅助乳腺X线筛查，会不会让癌症从指缝里漏走？

npj digital medicine | 基于瘤周 MRI 及临床数据的多模态 AI 用于脑膜瘤放疗后复发风险分层

Nature｜迈向自主医疗人工智能代理

npj Digital Medicine｜数据不出院的消化道内镜基础模型，是怎么练成的？