这篇研究想问的是：能不能一次预训练、多任务复用，把“每个任务各训一个模型”的老路换掉？作者把DINOv2改造成3D版本（3DINO），在来自35项研究、覆盖10余个器官的98,815例无标注MRI/CT/PET上预训练ViT-Large，得到3DINO-ViT，再在脑肿瘤、腹部器官、左心房、乳腺超声分割和脑龄、COVID-CT分类上评测。冻结权重时，Dice相对随机初始化最高提升55%，COVID-CT-MD分类的平均AUC提升18.9%，标注需求降到原来的1/4–1/10；但预训练数据以MRI为主、器官分布不均，全量标注时优势已收窄到1%以内。

论文信息        

01 临床问题

现实问题：为什么3D影像需要一个“通用骨干”。3D标注昂贵，CT/MRI体数据的手工勾画尤其费时；而多数3D自监督方法是在“与下游任务相似”的数据上做较简单的预训练任务，换器官、换模态、换设备就容易退化。结果是每上一个新任务就要重训一次预训练模型，成本不断叠加。

研究难点：既要保住3D上下文，又要算得动。把3D切成2D切片能省算力，却丢掉层间解剖信息；而把DINOv2这类2D自监督方法直接搬到3D，batch size、显存和训练时长都难以承受——原文提到同类方法常需512–4096的批量和很长的训练时间。作者要回答的是：能否在4张A100上把整套DINOv2配方真正做成3D，一次预训练、多任务复用。

关键辨析：三个容易被混用的说法。①自监督指“不用人工标注”，但仍要海量数据与算力，不等于“不需要数据”；②“通用骨干”是可迁移的编码器，不是开箱即用的分割模型——每个任务仍需要标注数据训练解码器；③原文的“可泛化”只指跨器官、跨模态的公开基准，不等于跨医院、跨设备、跨人群。

 02  研究方法

图1｜3DINO的两级预训练目标、预训练数据构成，以及PCA与多头注意力可视化。

a 看两级目标如何共用同一个学生网络，b 看数据构成，c 看无监督可视化（PCA 与 MHSA）。

把DINOv2的自蒸馏配方完整搬进3D，是方法上最费功夫的一步。每个体数据增强出2个全局裁剪（96³）和8个局部裁剪（48³），学生网络去预测教师网络的输出；教师不是单独训练，而是学生权重的指数滑动平均（EMA），目标更稳定，也避免学生与教师同步塌缩。损失是两项相加——图像级（[CLS] token 上的交叉熵蒸馏，管全局语义与分类）与块级（随机遮挡部分体素块，让学生预测教师在这些位置的特征表示，属于掩码特征蒸馏，管局部细节与分割）。防塌缩沿用Sinkhorn-Knopp中心化与KoLeo正则；工程上借用嵌套张量与FSDP，比iBOT快约2倍、显存约1/3。骨干ViT-Large，patch 16×16×16（96³ 输入得到6×6×6个token），4张A100、总批量512，训125,000次迭代约9天；最后12,500次迭代切到112³做高分辨率适应，约2天。

这套配方的每个选择都有明确用途。2个全局裁剪负责“看到整体”，8个局部裁剪负责“看清局部”，一次前向就能产生大量局部与整体的对应关系；EMA 教师让目标不随学生抖动，是自蒸馏不塌缩的关键；patch 级目标则专门补上分割需要的局部表征。至于16³的 patch 尺寸，原文没有单独做消融——它更像是上下文与显存之间的工程取舍，换数据类型或器官尺度时值得重新试。

迁移设计得很省：骨干全部冻结，只训“3D ViT-Adapter + UNet式卷积解码器”。遇到多通道输入（如BraTS四个序列）时不动patch embedding，而是逐通道前向、拼接特征、线性映射回原维度。分类更省：冻结骨干后只训一个线性探针（linear probe，即只训练最后一层分类器）。

03 研究设计

数据与划分。分割用BraTS 2021（剔除与预训练重叠的TCGA病例后1084例，训练/验证/测试为758/108/218）与BTCV腹部CT（30例、13个器官，20/4/6）；分类用ICBM脑龄（756/151/233）与COVID-CT-MD（214/30/61）。分布外测试选左心房MRI（预训练中占比极小的器官）与3D乳腺超声（预训练中完全没有的模态）。

对照设得克制：架构、数据、算法三类差异被尽量拆开。除随机初始化外，并列比较Swin Transfer（Tang等的公开权重）、Swin Transfer-FD（用同一10万例数据重训Swin）、Swin Random、MONAI-ViT（把Swin的预训练方法移植到vanilla ViT）与MIM-ViT（SimMIM）。不过这种拆解并不完美：Swin Transfer 用的是5050例CT预训练、架构也不同，它更像“公开可得的 SOTA 参照”而非严格消融；真正同数据、同骨干的对照是 MONAI-ViT（同数据同架构，只换预训练方法）与 MIM-ViT（同数据，换预训练目标）。

标签效率是全文最想证明的一点，按1%/5%/10%/25%/50%/100%逐档抽取标注。同一子集在各方法间保持一致；分割用逐例Wilcoxon检验，分类用Welch t检验，置信区间由1000次自助法给出。

04 主要结果

分割：低标注区间差距最大

把3DINO-ViT冻结、只调解码器，它在多数比较中领先（p<0.05），且标注越少优势越明显：BraTS 用10%（76例）Dice 为0.90（0.88–0.91），随机初始化0.87（0.85–0.89）；BTCV 用25%（5例）为0.77（0.72–0.81）对0.59（0.53–0.65）。相对随机编码器，Dice 提升13.0%（BraTS）与55.1%（BTCV），而Swin公开权重相对Swin随机只提升5.1%与1.8%。

表1｜主要结果

“点”指 Dice 百分点（绝对差），“相对”指相对最强对照的百分比；100% 标注与分布外任务的提升原文只给了百分比、未注明是百分点还是相对值，表中照原文标注为“原文口径”；分类数值为原文跨各标注比例的平均。

表外还有两项要一起看。原文同时报告 HD95（图2a、2b），本表只摘了 Dice——两项合起来才知道提升是“重叠更多”还是“边界更贴合”，而边界误差往往比重叠率更影响勾画可用性。另外，全量标注时0.8%–0.9%的 Dice 差是否重要，取决于下游是辅助阅片，还是自动勾画后直接进入放疗计划。

数据效率是这篇最实用的结论。用不到50%的标注，3DINO-ViT就能达到其他方法用100%标注的水平；但标注给到100%时，领先收窄到0.8%（BraTS）与0.9%（BTCV），且不总显著。换句话说，预训练主要省的是标注，而不是把性能上限抬高一截。

另一组更“干净”的证据来自线性解码器：骨干全冻结，只训两层线性层，BTCV比次优方法高46% Dice（p<0.05），BraTS高10%（p<0.001）。这说明提升来自patch级表征本身，而不只是解码器容量。

分类：线性探针也能用

分类只做线性探针，骨干完全冻结：COVID-CT-MD上平均AUC高18.9%，其中COVID-19类高23%；ICBM脑龄平均高5.3%，40–50岁组高13.4%。AUC与F1走势一致，说明领先不是阈值选择带来的偶然。

也有反例值得记住。把Swin的方法放到同一10万例数据上重训（Swin Transfer-FD），分割没有变好，分类反而变差。作者推测该模型并未从大数据中受益，只对数据的一个子集有效。数据规模不是万能药，预训练目标与骨干是否匹配同样关键。

图2｜BraTS/BTCV分割与ICBM/COVID-CT-MD分类。

a/b 先看标注比例曲线，再看末两档柱状对比；c/d 看分类；e 看逐类雷达；f 看混淆矩阵的系统性偏差；g 看线性解码。

分布外：换器官与换模态

左心房MRI（预训练中占比极小）用25%标注时Dice高1.8%，3D乳腺超声（预训练中完全没有的模态）高24%，跨模态的收益看起来大于跨器官。但这个比较只在低标注时成立：用满100%标注时，两者回落到0.9%与0.8%，乳腺超声反而略低于左心房，不宜外推。

图3｜分布外任务：左心房MRI与3D乳腺超声。读法：a/e 看曲线，b/c 与 f/g 看逐例分割（黄箭头标出退化区域），d/h 看无监督表征。

可视化上，PCA第一主成分基本对应前景与背景，后续主成分沿解剖轴变化；BraTS中肿瘤区域的主成分往往与其他脑组织分开。这类图不能当作解释性证据，但很适合快速检查一份新数据上的特征是否“有结构”。

消融给的是工程判断。高分辨率适应能提升高分辨率输入下的patch特征；逐通道混合优于重初始化patch embedding，低标注时差距更明显；ViT-Adapter优于直接用UNETR解码器，而解冻编码器在小数据上会过拟合；只用MRI预训练（同等迭代数）比混合模态差，BTCV上尤其明显。

05 学习借鉴

方法借鉴：图像级蒸馏负责整体语义，块级掩码特征蒸馏负责局部细节；两者相加，冻结的权重才能同时服务分类与分割。只做对比学习，分割通常吃亏，只做掩码特征蒸馏，分类又上不去。

实验设计：这篇最有说服力的结果都在10%–25%标注区间，全量标注时优势不足1%。做课题时应主动画标签比例曲线，并在低标注端报告收益；只在全量数据上比一次，很容易得出“预训练没用”的结论。

迁移方式：冻结骨干、只训轻量解码器，单卡A100、batch 8、3万次迭代就能完成一个分割任务；多通道输入用逐通道前向加拼接，而不是重初始化patch embedding。工程上还有几处可以直接抄：百分位归一化、医学增强（对比度、噪声、Gibbs、直方图偏移）、平面内2D裁剪加层向独立采样。

评估与落地：先用线性探针和线性解码器隔离表征质量，再固定子集与统计口径，并加入“同数据重训”的对照。真正用起来还要补外部验证（跨医院、跨厂商）、临床终点（勾画时间、修改率）与许可确认；从零预训练要4张A100约11天，多数课题组更现实的做法是拿公开权重做适配。

06 专科迁移

神经肿瘤：BraTS 的四序列 MRI 是现成入口——冻结 3DINO-ViT，只训解码器做肿瘤与水肿勾画，再用同一份特征做分级这类整图判断。标注贵、序列多，正好是预训练权重最省事的地方；四序列输入走逐通道前向再拼接。

乳腺超声：3D 超声在预训练里完全没有，迁移收益却最大——25% 标注时 Dice 提高 24%。超声科可以把它当低成本起步实验：先用公开权重跑一版病灶勾画，再决定要不要自建预训练。

原文与复现入口

[1]Xu T, Hosseini S, Anderson C, Rinaldi A, Krishnan RG, Martel AL, Goubran M. A generalizable 3D framework and model for self-supervised learning in medical imaging. NPJ Digit Med. 2025 Nov 7;8(1):639. doi: 10.1038/s41746-025-02035-w.

参与瓴智医工协作：

希望发挥专业能力、参与项目协作，可通过「医工中心—入驻申请」提交专业背景与合作意向。

有科研问题、需要技术支持，可通过「业务合作—发布需求」描述研究目标与现有基础。  

提交后由团队联系沟通。入驻申请不代表审核通过或保证获得项目。

编辑：杨梦洁

审核：吴朝

Nature｜迈向自主医疗人工智能代理

npj Digital Medicine｜数据不出院的消化道内镜基础模型，是怎么练成的？

Nature Communications｜基于多模态质谱成像解析阿尔茨海默病小鼠模型斑块及脑区特异性神经脂质组学

Nature Communications｜多任务框架实现右上腹多帧超声自动判读与临床决策支持，顶刊证据链怎么搭？