从视觉到语言：医学大模型研发与应用的最新进展

追踪社会热点，解读 AI 前沿，用开源的算法，促进 AI 知识渗透，以超算/高性能计算为原点，开启人工智能前沿应用视角。北京超级云计算中心联合OpenMMLab 开源社区，共同发布直播栏目【AI 奇妙夜】，每月一期，陪大家一同打开 AI 领域的奇妙之门。

作为全球首个开源医学基础模型平台，OpenMEDLab 汇聚了医学影像、医学自然语言处理、生物信息学和蛋白质等多模态医学数据。它引领着新的学习范式，通过将预训练的视觉和语言模型应用于医学领域，展示了知识迁移的可能性。同时，该平台提供多套医学数据，以促进模型的预训练和下游应用，并与顶级医学研究机构进行合作。尽管医学图像特性的差异性给模型开发带来挑战，但 OpenMEDLab 已经成功地展示了多种基础模型及其在医学图像分析中的应用。此外，该平台发布的医学大型语言模型 PULSE，以 400 万数据样本进行微调，针对下游应用开发插件，展示了强化学习和多模态会话功能，并已针对 SARS-COV-2 文献和其他特定应用进行优化。目前，新一代的量化处理和更新的模型正在积极开发中。

本期 AI 奇妙夜，我们邀请了来自 OpenMEDLab 的核心成员、上海人工智能实验室的青年科学家王潚崧博士以及张晓凡博士进行分享。

观看直播的观众可领取500元卡时计算资源，还有超多精美周边礼品等你来拿哦！本次课程将在北京超级云计算中心和OpenMMLab的视频号联合播出，欢迎关注预约~

• OpenMEDLab 浦医总体介绍

• 基于提示学习的基础模型在医疗领域迁移应用的最新进展

• 医学大型语言模型研发与应用的最新进展

北京时间

2023 年8 月 10 日（周四）

20: 00 - 20: 40（分享）

20: 40 - 21: 00（Q&A）

王潚崧 

上海人工智能实验室青年科学家，2012 年英国布里斯托大学获得计算机视觉方向的博士学位 。毕业之后专注于医疗图像和文本分析相关工作超过 11 年时间，在学术界和工业界累积了丰富的科研和产品开发经验 。期间 共发表期刊和会议论文 30 余篇，合编医学图像分析相关专著 1 本 编写 2 部专著中的 4个章节， 申请中国和美国专利20余项 8 项已授权 谷歌学术统计论文引用量超过 6200 次 。王博士在回国之前在美国国家卫生研究院 NIH 和美国英伟达 Nvidia 公司工作的 6 年时间内主导和参与一系列医疗相关的科研和产品开发工作。其成果获得了多项国际学术奖项，包括2019 BMVC会议最佳论文，2016 年北美放射学会年 RSNA 会学员研究奖和 2019 MICCAI-GLMI 会议最佳论文奖等。

张晓凡

上海交通大学电院清源研究院长聘教轨副教授，博士生导师，上海人工智能实验室双聘青年科学家。北京航空航天大学学士，美国北卡罗莱纳大学夏洛特分校博士学位。曾任京东硅谷研究院高级研究员、商汤科技北美智慧医疗实验室计算机视觉研究员。2021 年 6 月加入上海交通大学清源研究院。研究领域：医学图像、语言大模型，多模态决策。在国际顶级期刊及会议中发表论文十余篇。Google Scholar 近五年引用千余次，H-index 11。申报美国专利 3 项。

OpenMEDLab 是一个开源平台，用于共享医学基础模型，支持多模式数据，例如医学影像、医学自然语言处理、生物信息学、蛋白质等。它旨在促进医学领域长尾问题的创新方法，并同时寻求在训练医学 AI 模型方面实现更低成本、更高效率和更好的泛化能力的解决方案。通过将基础模型适应于下游应用的新学习范式，可以有效地为跨领域和跨模态的诊断任务开发创新解决方案。OpenMEDLab 具有以下几个突出特点：

• 世界上第一个医学基础模型的开源平台。

• 支持 10 多种医学数据模态，针对各种临床和研究问题。

• 开创性在基础模型上进行新学习范式的工作，包括预训练模型、代码和数据。

• 提供多套医学数据，用于预训练和下游应用。

• 与顶级医学研究机构和设施合作。

医学多模态基础模型群示意图

大规模预训练的视觉和语言模型已经展现出在自然图像领域具有显著的领域迁移能力。然而，鉴于医学图像的独特特征，目前尚不清楚这种能力是否也适用于医学图像领域。OpenMEDLab 通过精心设计的医学文本提示或在训练中建立视觉提示（请参考基于基础模型的医学图像分析项目），展示了从预训练的视觉和语言基础模型向医学领域传递知识的可行性。

细分医学图像分析场景中

不同层级和任务导向的基础模型

此外，医学大型语言模型 PULSE 已在 OpenMEDLab 发布。它收集了包含 400 万个数据样本的指令微调数据集，以及由专家为模型生成的多个回答进行排序的强化学习数据集，并且针对下游应用开发了插件。另外，PULSE 中还展示了与 X-ray 图像模型结合的多模态会话功能、针对 SARS-COV-2 文献微调的版本，以及病例结构化、术语归一化等特定应用。经过量化处理、更新的版本和更大的模型目前正在快速开发中。

OpenMEDLab 项目链接：https://github.com/openmedlab

1. 观看直播即可参与抽奖互动，免费领取北京超算500 元卡时计算资源。

同时为了方便大家交流沟通，我们还建立了以【医疗 AI 交流群】为主题的社群，直播相关的所有资料都将在群里分享，还能与大佬 1v1，赶紧扫码加入我们吧~

指导单位：中国计算机学会高性能计算专业委员会、北京市科学技术协会、中国图象图形学学会科普与教育工作委员会

主办单位：北京超级云计算中心、OpenMMLab

协办单位：北京图象图形学学会、ReadPaper 论文阅读

北京超级云计算中心不仅在2021年取得AI Perf500“AI算力系统总量份额全国第一”的荣誉，同时还连续三届荣获“同构众核CPU性能全国第一名”。截止2022年底，北京超级云计算中心累计服务客户数量超20万。在这一过程中，北京超级云计算中心已探索出超级云计算中心商业化运营模式并取得成功，先后在北京、宁夏、内蒙古等地前瞻性地布局了三个主算力枢纽，助力“新基建”和“东数西算”国家战略的实施，构建跨域资源协同调度体系，优化算力之间的统筹联动。

• OpenMMLab

OpenMMLab 开源社区具备深度学习时代最完整的计算机视觉开源算法体系，是产学研用四位一体的开放开源算法平台。

OpenMMLab 专注于视觉深度学习领域，涵盖 30＋ 计算机视觉方向，支持 300+ 算法，提供 2,300+ 预训练模型。所有的工具箱都基于统一架构，提供代码工程组织架构优秀、拥有大量高质量算法内容的代码库，与提供模型训练能力的 PyTorch 等深度学习框架协同互补。

OpenMMLab 可以帮助使用者降低算法复现难度，方便复现算法基准并与之比较。与此同时，还可以帮助使用者避免重复踩坑，解决算法落地过程产生的多样化版本问题，提升人工智能算法的应用和部署效率。