论文标题为《Explainable multimodal deep learning for predicting thyroid cancer lateral lymph node metastasis using ultrasound imaging》，由 Pengcheng Shen、Zheyu Yang、Jingjing Sun 等学者联合发表。研究针对甲状腺癌侧淋巴结转移（LLNM）术前预测的临床需求，开发了一种名为 LLNM-Net 的双向注意力深度学习模型。该模型融合了来自 7 个中心的 29,615 名患者和 9,836 例手术案例的多模态数据（术前超声图像、放射报告、病理结果及人口统计学数据），通过整合结节形态、位置与临床文本信息，在多中心测试中实现了 0.944 的 AUC 和 84.7% 的准确率，显著优于人类专家（64.3% 准确率）和现有模型（提升 7.4%）。研究还揭示了肿瘤距甲状腺被膜 0.25cm 内转移风险超 72%、中上叶为高危区域等关键发现，表明 LLNM-Net 有望成为术前筛查和风险分层的重要工具。
01 摘要
甲状腺癌侧淋巴结转移（LLNM）的术前预测对手术策略制定和预后评估至关重要，但目前缺乏精准的预测方法。本研究开发了 LLNM-Net，一种双向注意力深度学习模型，融合多模态数据（术前超声图像、放射报告、病理结果及人口统计学数据），数据来源于 7 个中心的 29,615 名患者和 9,836 例手术案例。该模型整合结节形态、位置与临床文本信息后，在多中心测试中实现 0.944 的 AUC 和 84.7% 的准确率，性能超越人类专家（64.3% 准确率）和现有模型（提升 7.4%）。研究发现，距甲状腺被膜 0.25cm 内的肿瘤转移风险超 72%，且中上叶为高危区域。结合位置、形状、回声性、边缘、人口统计学及临床输入，LLNM-Net 在高危患者识别中 AUC 达 0.983，证实其在术前筛查和风险分层中的应用潜力。
02 研究背景
研究问题
甲状腺癌是全球高发恶性肿瘤，颈淋巴结转移（包括中央区和侧区）是影响患者预后的关键因素，发生率达20%-50%，可使死亡率增加 46%。其中，中央区淋巴结转移研究较多，但侧区转移（LLNM）的术前预测仍是临床难点：LLNM 的存在通常提示肿瘤扩散范围更广，需更激进的治疗策略（如扩大手术范围、术后放化疗），且其复发率（60%）显著高于中央区转移（30%），无病生存期更短（30 个月 vs. 52 个月）。然而，现有方法（如超声引导细针穿刺）存在穿刺不准确或漏诊等局限，亟需精准的术前预测工具。
研究难点
LLNM 研究受限的核心原因包括：
解剖结构复杂：甲状腺周围淋巴管分布和连接模式存在个体差异；
淋巴结分布分散：侧区淋巴结位置分散，统计分析困难，易遗漏；
检测技术局限：侧区淋巴结位于颈深部，体积小、位置深，超声预测敏感性仅62%；
样本获取困难：侧区淋巴结活检需高临床技能且存在风险，且预防性清扫非标准操作，导致样本短缺。
相关工作
现有研究表明，颈淋巴结转移与原发肿瘤的组织形态和位置密切相关（如肿瘤大小、形态异常提示转移可能，上极肿瘤转移风险更高）。超声成像因无创、实时等优势成为甲状腺癌诊断的常用手段，但受限于图像对比度低、依赖医师经验等问题。深度学习技术可通过学习肿瘤形态、大小等特征增强识别能力，但现有模型缺乏大规模队列验证，且对LLNM 的分析缺乏定性 / 定量解释，难以满足临床需求。
03 模型设计
总体思路
LLNM-Net 的核心设计目标是通过多模态数据融合实现 LLNM 的精准预测，并提供可解释性。模型整合超声图像特征（形态、位置）、临床文本（放射报告）和人口统计学数据（年龄、性别），通过双向注意力机制捕捉模态间的关联，同时通过注意力热图、风险热图等方式解释预测逻辑，解决传统模型 “黑箱” 问题。
模型架构
LLNM-Net 的架构分为特征提取和多模态融合两部分：
特征提取
采用优化的YOLO-v8 模型分割结节标签，U-Net++ 模型分割甲状腺标签，结合随机马赛克法提取结节形状、回声性、内部形态、边缘等形态特征；
通过中央点距离变换（CPDT）将结节与甲状腺被膜的距离信息转换为图像灰度值，提取位置特征（如距被膜的最小距离）。
多模态融合（TMDL transformer）
输入包括8 类特征：形态特征（内部形态、边缘、回声性、形状）、位置信息、放射报告、人口统计学数据（性别、年龄）；
嵌入层将图像特征编码为图像补丁tokens，文本和结构化数据编码为临床文本 tokens；
4 层双向注意力块实现跨模态注意力交换（图像与文本 tokens 间的关联计算），12 层自注意力块学习整体多模态表示，最终通过分类头输出预测结果。
优化策略
前景优化分割：针对超声图像中结节（前景）小、背景类内差异大的问题，采用基于注意力机制的前景优化分割网络，提升结节分割精度；
多尺度位置提取：通过CPDT 方法处理超声图像的多尺度输入，精准捕捉结节与被膜的距离信息；
双向注意力融合：通过跨模态注意力计算，挖掘放射报告与图像特征间的潜在关联（如报告中“边界不清” 与图像边缘特征的对应），提升融合效率。
模型解释性
注意力热图：通过梯度加权计算生成注意力热图，高亮对预测影响较大的区域（如结节边缘、内部纹理）；
3D 风险热图：基于微分同胚配准方法生成甲状腺区域LLNM 风险分布热图，直观展示高危区域（如左叶中上区、右叶中上区）；
特征贡献分析：通过Sankey 图量化各特征对预测的贡献比例（如位置占 48.8%，形态占 29.9%）。
04 实验设置
数据集
数据规模：共纳入39,451 名患者，包括术前超声图像、放射报告、病理诊断和人口统计学数据。其中，训练集 23,692 名（来自 2 个中心），验证集 5,923 名（训练集的 20%），外部测试集 9,836 名（来自 5 个中心）；
患者特征：中位年龄43 岁，女性占 72%，汉族占 91%；Kwak-TIRADS 分级中 4B（48%）和 4C（28%）为主；结节 < 10mm 者占 73%，LLNM 阳性率 52%；病理亚型以乳头状癌（PTC，91%）为主，其次为滤泡状癌（FTC，7%）和髓样癌（MTC，2%）；
数据预处理：图像去除患者信息并标准化亮度，文本报告截断/ 补零至 50 字符，通过微分同胚配准实现甲状腺图像的统一标准化。
基线方法
人类专家：108 名放射科医生（42 名资深，66 名初级），评估其对甲状腺结节恶性度和 LLNM 的预测能力；
现有AI 模型：对比最新发表的甲状腺癌转移预测模型（如基于放射组学、单模态深度学习的模型）。
评估指标
主要指标：AUC（ROC 曲线下面积）、准确率、敏感性、特异性；
次要指标：阳性预测值（PPV）、阴性预测值（NPV）；
统计方法：通过bootstrap 抽样计算 95% 置信区间，配对 t 检验比较模型与人类专家的差异。
05 结果与分析
模型性能优于人类专家和现有模型
图3 显示，LLNM-Net 在验证集 AUC 达 0.948，外部测试集 AUC 0.944、准确率 84.7%，显著高于人类专家的 64.3%（配对 t 检验，P=0.0473）；
人类专家在结节恶性度诊断中表现较好（准确率0.883），但在 LLNM 预测中性能大幅下降，表明传统经验对 LLNM 预测的局限性；
与现有AI 模型相比，LLNM-Net 的 AUC 提升 7.4%，证实多模态融合的优势。
位置与转移风险的关联
图4b 显示，结节距甲状腺被膜的最小距离与 LLNM 风险负相关：距离 < 0.25cm 时，转移概率超 72%；
图4c 的 3D 风险热图揭示，左叶中上区和右叶中上区为 LLNM 高危区域，推测与淋巴转移路径相关；
实例分析（图4d）表明，给定结节位置后，模型可自动生成该位置的转移概率，辅助临床定位筛查。
特征贡献与临床意义
图6a 显示，位置是影响 LLNM 的最关键特征（48.8%），其次为形态特征（29.9%，其中内部形态占 64.1%）、放射报告（19.7%）和人口统计学数据（性别占 56.7%）；
注意力热图表明，模型更关注结节边缘和内部纹理特征，与临床中“边界不清、内部钙化提示转移” 的经验一致；
决策曲线分析显示，基于LLNM-Net 的策略在不同成本效益比下的净收益均高于 “对所有患者行穿刺” 或 “不行穿刺” 的策略，可减少 47.4% 的漏诊和 5.3% 的不必要穿刺。
高危患者分层
模型可将LLNM 分为低、中、高危三期（基于转移淋巴结数量和大小），在外部测试集中的平均 AUC 达 0.971，能精准识别中高危患者，辅助临床制定个性化随访和治疗方案。
06 结论
本研究开发的LLNM-Net 通过多模态深度学习实现了甲状腺癌侧淋巴结转移（LLNM）的精准术前预测，在多中心数据中表现出优异的性能（AUC 0.944，准确率 84.7%），显著优于人类专家和现有模型。模型的可解释性（注意力热图、风险热图、特征贡献分析）增强了临床信任度，且揭示了结节位置（距被膜 < 0.25cm、中上叶）与转移风险的关键关联。LLNM-Net 有望优化术前筛查和风险分层流程，减少漏诊和不必要的有创操作，为甲状腺癌的个性化治疗提供重要工具。
07 论文评价
✅方法创新亮点
多模态融合的先进性：首次将超声图像、放射报告、病理和人口统计学数据通过双向注意力机制深度融合，捕捉跨模态关联，提升预测精度；
强可解释性：通过注意力热图、3D 风险热图等方式量化特征贡献和风险区域，解决 AI 模型 “黑箱” 问题，符合临床决策需求；
大规模验证：基于7 个中心的近 4 万例数据训练和测试，证实模型的泛化能力，为临床转化奠定基础；
临床价值显著：不仅提升预测性能，还通过决策曲线分析验证了其减少漏诊和医疗资源浪费的实际效益。
⚠方法不足
在数据层面，样本存在明显偏向性，以乳头状癌为主（占比 91%），这使得模型对罕见亚型（如 MTC）的预测性能有待进一步验证；同时，数据主要来源于中国人群，还需扩大种族和地区的多样性以提升模型的普适性。在临床效益方面，由于目前尚处于回顾性研究阶段，模型的实际临床收益（如对患者生存率的提升效果）仍需通过前瞻性试验来验证。此外，模型在复杂度上也存在不足，双向注意力机制与多模态融合的应用增加了计算成本，后续需要进行优化以适应基层医疗机构的部署需求。
08 参考资料
Article:
doi：10.1038/s41467-025-62042-z
