大数跨境

智源·心脏磁共振辅助诊断智能体 v1.5多专家协同与指南核对,助力心脏精准诊断

智源·心脏磁共振辅助诊断智能体 v1.5多专家协同与指南核对,助力心脏精准诊断 智源研究院
2026-11-15
0
导读:智能研究院联合安贞医院,推进 BAAI Cardiac Agent v1.5迭代
面对持续增长的心血管疾病诊疗需求,心脏磁共振的应用仍面临一道专业门槛:完成影像采集之后,如何把多序列、多时相图像转化为可靠的心脏组织结构与心功能定量测量结果和有依据的诊断意见?这项工作需要医生同时判断心脏结构、收缩功能、心肌灌注与组织病变,既考验专科经验,也需要投入大量测量和整理时间。
围绕这一临床需求,北京智源人工智能研究院(BAAI)联合首都医科大学附属北京安贞医院,推出智源·心脏磁共振辅助诊断智能体(BAAI Cardiac Agent) v1.5。新版以自主研发的 MCRCLIP 医学视觉编码器与 Emu3.5 视觉语言模型构建多模态智能体,融合多序列影像理解、专家模型分析与推理、心功能参数计算与组织病变定量分析、指南证据核对和医生复核,形成面向心脏磁共振辅助诊断的统一工作站。项目当前已形成四个中心、六千多名患者的数据基础,系统支持十类心脏磁共振序列分析及 17 类辅助诊断类别输出,为复杂心脏影像的辅助判读与临床研究提供更完整的分析工具。

图一 BAAI Cardiac Agent v1.5相比v1.0功能演进图

图二 BAAI Cardiac Agent v1.5整体界面图

多专家协同,让复杂影像形成可用的临床证据

一例心脏磁共振检查包含不同成像序列和多个心动期相。如何有效地将其所包含的“心脏如何运动”“心肌是否受损”“病变分布在哪里”等多维度关键信息进行关联,实现从单一影像分析向多维度综合诊断的跨越,仍是临床面临的重要挑战。针对这一挑战,BAAI Cardiac Agent 将原有基于 LLaVA-Med 的 Agent-Expert(智能体—专家模型)架构,升级为 MCRCLIP 医学视觉编码器与 Emu3.5 视觉语言模型协同的多模态智能体(v1.5)。MCRCLIP 提取 Cine(电影)、LGE(延迟增强)、T2 脂肪抑制和静息灌注等多序列影像特征,利用模态感知的关键切片采样保留重要影像信息,经特征投影与多层视觉 Token 注入,将专业视觉表征融入多模态主干;临床任务指令经文本 Token 化处理,并通过 LoRA 专科适配增强模型对心脏影像任务的理解。通过上述技术路径,BAAI Cardiac Agent 将多序列影像表征与临床语义指令整合至统一的多模态分析框架,为跨序列信息关联、心脏功能与组织特征的联合分析,以及面向临床任务的综合诊断推理提供技术基础。
在v1.5系统中,专家模型也从原有多视角分割、疾病筛查与功能量化进一步扩展。系统保留心脏区域定位与精细分割相结合的两阶段分析方法,并根据不同序列调度专用模型,执行心脏结构分割、心肌运动分析、组织表征及定量测量。相较v1.0前期论文重点评估的四类分割序列,v1.5已扩展至十类序列入口,涵盖 Cine 两腔心、三腔心、四腔心及短轴电影,长轴与短轴 LGE,以及静息灌注、T2 脂肪抑制和 T1 Mapping。同时,v1.5进一步融合多序列诊断专家与进一步融合影像与分割特征,提供 17 类辅助诊断输出,统一组织专家模型结果,形成覆盖结构、功能、组织特征和疾病鉴别的分析依据。

指南逐条核对,让辅助诊断有据可查

心肌病鉴别需要综合不同序列的影像表现、定量指标与专用模型判断。v1.5 将原有医学知识检索进一步升级为指南约束的证据驱动分析流程。具有识别定性影像所见与量化结果之间的分歧、跨序列信息冲突及关键诊断依据的缺口的能力,并可按需选择影像复核、专项模型分析、分割量化或指南检索等工具。工具返回结果后,系统更新结构化证据状态,重新核对相关判断,并根据需要继续补充证据,形成从异常发现、动态工具调用到报告核对的分析闭环。指南检索增强生成(RAG)进一步关联参考范围、诊断条件与结果解释,将定性征象、定量测量、模型预测和指南条款组织为可追溯的证据链。

例如,面对心肌肥厚,系统将形态描述、节段壁厚和相关指南条件联合核对;对于静息灌注与延迟增强影像,结合病变信号、空间分布和其他序列结果交叉分析;在 T1 定量中,则进一步关联增强前后参数图、同期血细胞比容(HCT)与参考范围。报告同时给出各项诊断候选的证据支持情况、判断依据和待核实内容,帮助医生从分析结论直接回查原始影像、测量结果及对应指南条文。

真实病例的报告记录展示了多源证据核对的应用价值。在一例病例中,Cine 序列的影像分析提示收缩功能正常,而短轴定量分析显示左心室射血分数约为 42%。系统识别出定性观察与定量测量的差异,在报告中保留实测左心室射血分数,并提示医生复核。另一例病例中,LGE 序列的多模态影像分析与专用分割模型提供了不同的病灶线索。系统通过交叉核对保留相关证据,并提示医生进一步复核异常强化的存在及分布。两例记录展示了系统如何将相互补充的影像和测量结果组织为可核查的临床依据。

目前该功能已纳入四份指南或专家共识的 18 条选定核对条款。它为多类型心肌病辅助鉴别、规范化阅片和教学提供了条理清楚的核对路径,也让模型判断中的信息缺口更容易被发现。指南核对仍有明确覆盖范围,符合项数不代表疾病概率,最终诊断需由医生结合临床资料确认。

图三 整体CMR临床报告

结构、功能与组织联合量化,服务具体临床问题

在心功能评估中,v1.5系统提供双心室容积、每搏量、射血分数及容积动态曲线,帮助医生联合观察全局功能和心动周期变化。室壁分析提供分区厚度统计及来源核查,支持在肥厚相关问题中关注最厚处,在变薄相关问题中关注最薄处。通过把数值与对应层面、期相和轮廓关联,医生能够进一步检查测量是否符合本次检查的解剖范围与临床问题。

在心肌组织评估中,延迟增强分析将分区瘢痕量化与透明心脏三维展示相结合,便于查看病灶范围和空间分布。T1分析区分增强前后参数图,在配对、质量和同期HCT满足要求时计算细胞外容积分数(ECV)。静息灌注支持采集块分析与多区域信号曲线比较。上述能力为缺血相关影像、心肌病及组织病变的综合判读提供互相补充的信息,也为后续疗效与随访研究提供可核查的量化基础。

与医生联动复核,让分析结果进入可审核的工作流

医疗影像人工智能的应用价值,还取决于医生能否看清结果、判断依据并完成必要修正。v1.5将医生复核嵌入分析流程:从分区或报告结果可以返回源图,核对舒张与收缩期相、参与计算的层面和局部轮廓;修正形成独立候选,经确认后重新计算,并保留原分割、原报告和修订记录。完整报告、简易报告与独立测量页面分别提供,便于不同任务下的查看与整理。

这套流程将重复测量、信息汇总与报告整理交由系统协助完成,让医生能够把更多注意力放在关键征象、相互矛盾的证据和疑难病例上。对于开展心脏磁共振业务的医疗机构,统一的分析入口、来源追溯和复核记录,也为规范化培训、远程协作及同质化阅片提供了技术条件。

以研究证据为基础,拓展临床转化与开放协作

研究团队已在来自两家医院、涵盖 7 类主要心血管疾病的 2,413 名患者数据上开展系统性评估。研究结果显示,左心室射血分数、每搏输出量及心肌质量等核心定量指标与临床报告的皮尔逊相关系数均超过 0.90,自动生成的诊断报告也获得了六位不同资历放射科医生的评审认可,为多模态智能体在心脏磁共振辅助诊断中的应用奠定了研究基础。
在面向临床报告的多模型对照评测中,BAAI Cardiac Agent 在心功能定量测量、报告完整性和临床相关错误控制等任务上表现突出。以左心室射血分数为例,系统的平均绝对误差(MAE)为 6.70 个百分点、均方根误差(RMSE)为 8.58 个百分点,优于表中四种对照模型;舒张末期容积与收缩末期容积的 MAE 分别为 14.39 mL 和 11.28 mL。204 份报告均完成定量结果输出,重大左心室射血分数分层错误占比为 5.9%。在报告级评测中,系统还取得了更低的漏诊、缺乏依据的影像所见及序列判断错误比例。

近期,研究团队进一步开展了面向真实临床场景的前瞻性对照评测,纳入 100 例临床病例,以医院报告为参考标准,系统评估 BAAI Cardiac Agent 与 GPT-6 Astra 的心脏磁共振分析能力。 BAAI Cardiac Agent 取得了 92% 的主诊断一致率,优于 GPT-6 Astra 的 64%。系统对左心室射血分数的平均绝对误差为 5.7 个百分点,优于 GPT-6 Astra 的 9.7 个百分点;在心室容积测量及心肌节段壁厚评估中,同样展现出更高的定量分析精度。这些结果进一步体现了专用医学视觉表征与专家模型协同在真实临床场景下开展复杂心脏影像分析、功能量化及辅助诊断的应用潜力。

图五 BAAI Cardiac Agent 与 GPT-6 Astra的前瞻性临床对照评测

目前版本以四中心、六千多名患者、六万多条 CMR 序列的数据基础,为研究不同病种、设备和临床场景下的模型适用性提供了条件。项目正围绕统一标注、质量审核和版本追溯完善数据建设,并探索按伦理、协议和用途开展受控共建,让临床团队与算法团队共同补充难例、纠正问题和完善评测。

BAAI Cardiac Agent v1.5 将多模态影像理解、多专家协同与证据驱动复核连接起来,面向心脏磁共振临床应用中的实际问题,让复杂影像更便于分析,让辅助诊断的证据更清楚,让医生更容易审核和修正结果。随着多中心验证与医生核对研究推进,这一技术路径有望帮助更多医疗机构开展规范化的心脏磁共振分析,提升优质影像服务的可及性,并为心血管疾病研究提供标准化、可追溯的数据支持。

论文链接:https://arxiv.org/abs/2604.04078

【声明】内容源于网络
0
0
智源研究院
北京智源人工智能研究院(BAAI)官方公众号。智源研究院聚焦原始创新和核心技术,建立自由探索与目标导向结合的科研体制。支持科学家勇闯“无人区”,挑战最基础的问题和最关键的难题,推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。
内容 357
粉丝 0
智源研究院 北京智源人工智能研究院(BAAI)官方公众号。智源研究院聚焦原始创新和核心技术,建立自由探索与目标导向结合的科研体制。支持科学家勇闯“无人区”,挑战最基础的问题和最关键的难题,推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。
总阅读7.2k
粉丝0
内容357