近日，北京理工大学光电学院人工智能团队在医学影像报告智能生成方面取得重要突破，提出了一种基于视觉—文本关联引导的放射学报告生成新框架（VTAG），通过融合目标检测、语义对齐与全频谱特征融合策略，实现了报告生成的高精度与高可解释性。相关研究成果以“VTAG: Visual-Textual Association Guided Radiology Reports Generation”为题，发表在国际图像处理领域顶级期刊 IEEE Transactions on Image Processing（T-IP, 影响因子 13.7）。论文第一作者为北京理工大学博士研究生苏照力。
研究背景
PARTNER 3是低危患者TAVR领域的一项具有里程碑意义的研究，其既往结果已显示，在年轻低危患者中，SAPIEN 3 TAVR术后1年、2年及5年的死亡、卒中或再住院复合终点发生率低于或与外科手术相当，也展现出了良好耐久性。鉴于生物瓣膜的长期耐久性是影响患者全生命周期管理决策的重要考量因素，有必要延长随访时间，以进一步评估SAPIEN 3 TAVR的长期临床结局和瓣膜耐久性，为低风险重度主动脉瓣狭窄患者的个体化治疗提供更为坚实和可靠的循证依据。
研究内容
医学影像报告智能生成技术，是实现“从影像到诊断报告”自动化的重要环节，具有显著的临床与科研价值。然而，现有模型在描述准确性与结果可解释性方面仍存在局限：模型往往依赖于整体图像特征，难以精准聚焦病灶区域与病变语义之间的映射关系。针对这一问题，研究团队提出了“视觉-文本关联引导（Visual-Textual Association Guided, VTAG）”框架，以“区域检测—语义对齐—语言生成”三级结构重塑报告生成流程，从机制层面实现了由“图像级生成”向“区域级推理”的范式转变。
图1：VTAG模型框架图
如图1所示，VTAG 框架由三个核心模块组成，其中包括疾病概念构建提示模块、语义相似度对齐模块与全频谱特征融合模块。疾病概念构建提示模块，模拟放射科医生“从表征到诊断”的临床推理逻辑，利用疾病分类结果检索医学知识图谱中的高密度语义提示，构建知识增强型文本模板，实现诊断语义的显式注入；语义相似度对齐模块，建立病灶检测区域与报告语句间的多尺度语义映射，通过图像-文本相似度约束实现局部病变特征与描述性语言的精准对齐；全频谱特征融合模块融合，目标检测结果特征与ViT编码器提取的高频局部与低频全局特征，并与知识提示交互以强化报告生成的语义特征，形成跨层级视觉语言信息表征。
在大规模公共胸部影像数据集 MIMIC-CXR 上，团队对 VTAG 框架进行了系统验证。实验结果表明，VTAG 在 BLEU1-4、METEOR、ROUGE-L 等自然语言生成指标上全面超越现有SOTA模型，六项传统指标平均提升 14.3%，BLEU-4 达 0.170，较2025年SOTA模型提升 7.6%。此外，在临床有效性评价中，VTAG 在 13 类胸部疾病的自动识别与描述任务中取得 F1 提升 11.1%、AUROC 达 0.608 的成绩，显著增强了生成报告的临床可信度。
该研究突破了传统影像报告生成模型在影像与临床解释之间的技术瓶颈，提出了融合目标检测、语义对齐与知识提示的“视觉—文本协同生成”新范式。文中涉及相关技术已用于京卫智云多模态融合相关产品中，在未来可在医生少量标注引导下实现智能精准影像报告生成，更好的辅助影像科医生完成报告撰写工作。
论文详情
Zhaoli Su, Yucong Lin, Hong Song, Ruoyi Jian, Bowen Liu, Jian Yang. VTAG: Visual-Textual Association Guided Radiology Reports Generation [J]. IEEE Transactions on Image Processing, DOI: 10.1109/TIP.2025.3623915.
论文链接
论文作者简介
苏照力，2022级在读博士研究生，导师为杨健教授。主要从事医学生成式人工智能方面的研究。