你看了他的脸色——是不是发灰、发绀、有没有冷汗；你听了他的呼吸——费不费力、有没有痰鸣、说话能不能成句；你扫了一眼监护仪——心率血氧血压的数字和波形；你还问了一句"哪儿不舒服"，记下了他的主诉。
然后你得出结论：这个人，稳，还是不稳。
这个过程里藏着一件了不起的事：你从来不是靠单一信息做判断的。
血氧94%这个数字本身没有意义。它要配上"这个人此刻喘不喘""脸色对不对""平时基础值是多少""他自己说不说憋",才变成一个可以行动的判断。你天生就在做一件事——把图像（面色、体位）、声音（呼吸、语气）、数字信号（监护波形）、文字语言（主诉、病史）几路信息，在脑子里融合成一个整体判断。
用今天AI圈的话说，护士本身就是一台天然的多模态传感器。
而现在最前沿、也最被寄予厚望的一类医疗AI，做的正是同一件事——它叫医疗多模态大模型。
这篇文章想讲清楚三件事：它到底是什么、为什么这条路线在医疗里差异化最强也最落地、以及它和你之间到底是什么关系。
模态（modality），说白了就是信息的一种形态。
一张CT是一种模态，一段病历文字是一种模态，一条心电波形是一种模态，一段咳嗽声也是一种模态。它们承载的都是关于同一个病人的信息，但长得完全不一样——图像是像素，文字是符号，信号是随时间变化的曲线。
过去的医疗AI，绝大多数是单模态的。
肺结节筛查模型只看CT，它不知道这个病人在咳血还是没症状；心电图分析模型只看波形，它不知道这个人是马拉松运动员还是心衰患者；病历文本模型只读文字，它从没"见过"片子长什么样。
每一个都很专，但每一个都像只用一只眼睛、还捂着耳朵在看病。
多模态大模型的核心，就是让一个模型同时"看得懂"多种形态的信息，并且把它们联系起来推理。
这里的关键词不是"看得多"，而是"联系起来"。这正是护士那个动作的本质——血氧的数字要和脸色、主诉绑在一起，才有临床意义。
学界把多模态融合大致分成三种策略。听起来很技术，但你会发现，每一种其实你都在临床里天天用。
第一种：早期融合（Early Fusion）——一上来就搅在一起看
把各种原始信息一开始就拼在一起,喂给同一个模型。就像同一个部位拍了T1、T2、增强三个序列的MRI，放射科医生是"叠着一起看"的,而不是分开看完再拼。
优点是信息交融得早、够深；缺点是它要求这些信息"关系很近、格式好对齐"。CT的三个序列可以这么干,但让CT和一段自由书写的病历这么硬拼,就很别扭。
第二种：中间融合（Intermediate Fusion）——各看各的,再交叉对话
这是目前最主流、也最像"会诊"的方式。
影像先由影像模块理解一遍,文字先由语言模块理解一遍,然后在中间层通过一种叫 cross-attention（交叉注意力） 的机制"互相看对方一眼、彼此提问"——文字模块问影像模块："病历说右下肺痛,你片子里右下肺到底有没有东西?"
这几乎就是多学科会诊(MDT)的翻版:每个专科先独立读自己的资料,再坐到一张桌上互相印证。它能抓到很细的跨模态关联,代价是训练成本高、而且需要成对的好数据(同一个病人的片子、化验、病历要能对得上)。
第三种:晚期融合(Late Fusion)——各自出结论,最后汇总
每种信息走完自己的完整模型、各自得出一个判断,最后在决策层投票或加权。
这最像一场多人查房:影像科给个意见、检验科给个意见、主管护士给个意见,最后主任拍板综合。
它的最大好处对临床特别重要——对"缺胳膊少腿"的数据容忍度高。这个病人没做CT?没关系,把CT那一票去掉,其余模态照样出结论。真实病房里数据永远是残缺、异步、随时在补的,这种模块化设计反而最抗造。
记住一句话就够了:没有哪种融合方式在所有任务上都最优。 就像没有哪种查房方式适合所有病人——这一点,后面还会回来找我们。
前沿科普里,多模态经常被和"具身机器人""脑机接口"这些词放一起。但它和那些还很远的方向不一样——它的价值恰恰来自医疗数据本身的样子。
第一,因为医疗数据天生就是多模态的。
你想想一次真实的诊疗留下了什么:一张片子、一份化验单、一段病程记录、一条心电、一串监护趋势、几句主诉。它们本来就是关于同一个人的多路信息。让AI只看其中一路,等于主动把病历撕掉大半。多模态不是给医疗"加特效",而是终于让AI看到了它本该看到的完整病人。
第二,因为融合真的能提升判断,而且有数字。
这不是空谈,近一两年的研究给出了很实的结果:
-
有研究融合增强CT、病理切片和结构化临床数据来预测胃癌靶向治疗反应,联合治疗场景下AUC达到0.914,大幅超过任何单一模态的基线。 -
一个融合心电、气流和血氧的睡眠模型,识别夜间心血管风险的准确率超过97%。 -
眼科把图像和文字问诊结合起来,诊断准确率从纯文本的72.5%提到了81.1%。
多几路信息,判断就更准——这件事,你在床边早就用身体验证过一万遍了。
第三,因为通用底座已经铺好了路。
2025年Google开源了 MedGemma(4B和27B两个规格),一个能同时读胸片、病理切片和医学文本的开源医疗多模态模型;心电领域也有了 ECG-FM 这样的开源心电基础模型。这意味着:小团队、单个科室,不再需要从零训练,可以在开源底座上做自己场景的微调。落地的门槛,正在从"大厂专属"往下降。
所以回到那句判断:在一堆前沿概念里,多模态之所以"最实",是因为它踩的不是想象,而是每家医院硬盘里已经躺着的、真实的、多模态的数据。
讲到这儿,该把类比讲透了。因为理解护士强在哪,恰恰能理解模型难在哪。
护士的四路输入,几乎精准对应了医疗多模态的四大模态:
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
但护士真正的厉害之处,不在于输入多,而在于三件模型至今仍很吃力的事。
一是"缺模态"照样判断。 监护仪还没接、化验还没回,你光凭脸色和呼吸就能先分出轻重缓急。前面说的晚期融合之所以重要,就是想学这个本事——可惜大多数模型一旦缺了它训练时依赖的那路数据,表现就明显掉。
二是抓"矛盾信号"。 监护数字全都正常,但你就是觉得这个病人"不对劲"——脸色、眼神、那句欲言又止的话,和数字对不上。你会因为这种矛盾提高警惕。而模型很容易被"漂亮的数字"安抚,恰恰在信号打架时最不可靠。
三是知道自己"没底"。 拿不准的时候,你会说"我再观察十分钟""叫医生来看一眼"。模型最危险的地方,是它几乎从不说"我不确定"——它会用一样自信的语气,给出对的答案和错的答案。
看明白了吗?护士这个类比,不只是让多模态好懂。它其实划出了一条线:模型能替你干的,是那些重复、算得快、看得多的部分;而缺模态判断、抓矛盾、知进退——这些恰恰是当前技术最短的板,也是"人"最值钱的地方。
多模态很美,但它离"每天在你科室用"还有距离。研究者自己也承认,这些收益"既非普适,也非始终稳定"。三道坎必须说清楚:
第一坎:数据对齐太难。 中间融合最吃"成对的好数据"——同一个病人的片子、心电、病历要能严丝合缝对上时间和身份。可现实里,信息散在PACS、LIS、HIS好几个系统,格式不一、时间不齐,光是把它们"对上号"就是一场硬仗。
第二坎:换个医院就掉链子。 一个模型在A医院数据上表现惊艳,搬到B医院常常AUC下滑、对某些人群漏诊、校准漂移。因为不同医院的设备、人群、书写习惯都不一样。在你自己医院验证过,才算数。
第三坎:黑箱和责任。 模型说"高危",但它说不清为什么;真出了事,责任算谁的?这不是技术能单独解决的问题。所以现阶段最稳妥的姿势始终是:模型提示、人来拍板;它负责把信息看全、算快,你负责决定怎么办。
回到开头那个几秒钟的判断。
医疗多模态大模型,本质上是在用工程的方式,笨拙地、一步步地,去逼近护士早已烂熟于心的一种能力——把看到的、听到的、读到的、问到的,融成一个关于"这个人此刻怎么样"的整体判断。
它在个别任务上已经能算得比人快、看得比人全。但它还不太会缺着数据判断,不太会为矛盾信号警觉,更不太会说"我拿不准"。
所以理解这一波技术,最好的入口从来不是论文,而是你自己。你每天在床边做的那套动作,就是多模态融合最成熟的版本。
技术在追赶你。而看懂这场追赶——知道它追上了哪些、还差在哪些、哪里该信、哪里该自己再看一眼——这件事本身,就是下一代临床人最该有的能力。
毕竟,再好的传感器,也需要一个知道该拿它的读数怎么办的人。
参考来源
-
Multimodal artificial intelligence in medicine: a task-oriented framework for clinical translation, *Frontiers in Medicine*, 2025 -
MedGemma Technical Report, arXiv:2507.05201, 2025 -
ECG-FM: an open electrocardiogram foundation model, 2025
如果你也在关注医疗AI、临床决策支持、护理信息化,欢迎点赞在看,下一篇我们聊"AI一本正经胡说八道,在医疗里到底有多危险"。