大数跨境
0
0

医学GPT们已经势不可挡

医学GPT们已经势不可挡 苏创联
2023-05-08
2
导读:如今,AI在医学领域的应用已经势不可挡。

如今,AI在医学领域的应用已经势不可挡。

前不久,医学顶刊《新英格兰医学杂志》(NEJM)正式宣布将于2024年出版新杂志NEJM AI,致力于发表医学人工智能领域高质量证据,利用AI改变医学的各方对话。

另外,OpenAI也指出,教育、医疗和科学是他们最关注的三大方向,因为这些领域不仅资源紧张,同时前景广阔。

人们也对GPT在医学的想象力感到兴奋和好奇,未来它将如何改变医疗保健?

或许这些应用都将依建立在一个医学大模型上,同时打磨出针对其他领域的下游应用,因此大型医学模型有重要意义。

巨头们的医学模型

微软:BioGPT

前不久,微软开源了BioGPT,这是一个大规模生物医学文献上进行预训练的特定领域生成式 Transformer 语言模型。

微软研究团队从 PubMed 收集文章,PubMed 是一个生物医学研究领域的大型数据库,团队共产生1500万条带有标题和摘要的内容,用于训练BioGPT。

团队使用 3.57 亿个参数改进了预训练的基于 GPT-2 的模型,用于下游任务:端到端关系提取、文本生成、问题回答和文档分类。

在回答专业医学问题时,BioGPT也展现出了强大的准确率。BioGPT-Large 在 PubMedQA 上的准确率达到了创纪录的 81%,而单个人类的准确率仅为 78%。大多数其他NLP程序,包括谷歌的 BERT语言模型家族,都没有超过人类的准确性。


微软称,BioGPT 已经实现了与人类的同等水平,优于其他一般和科学语言模型,并且可以在各种科学发现场景中为生物学家提供支持。

之后,BioGPT 可以帮助研究人员获得新的见解,例如,在药物开发或临床治疗方面。

未来,该团队计划尝试进一步扩展以训练更大版本的 BioGPT,并针对更多生物医学数据和更多任务进行优化。

谷歌:Med PaLM

ChatGPT推出仅几周后,2022年12月谷歌/DeepMind 宣布推出MedPaLM,专门用于回答有关医疗保健的问题。

该医学模型也是根据谷歌此前发布的大模型PaLM训练得出,PaLM是一个包含5400亿参数的转换器语言模型,使用新的机器学习系统Pathways进行训练。

Med-PaLM 也是第一个可能通过美国医学执照考试(USMLE)的人工智能模型,人类通过只需60%的准确率,而Med-PaLM 的准确率在67.2%。USMLE是美国执业医师资格考试,是所有医学生成为美国临床执业的路径。

今年4月,谷歌又发布了Med-PaLM2,较上一代版本已经有了很大的提升。

Med-PaLM2是第一个在USMLE问题的MedQA数据集上以“专家”水平表现的语言模型,准确率达到85%以上。

这也是第一个在包括印度AIIMS和NEET医学考试问题的MedMCQA数据集中达到及格分数的人工智能系统,得分72.3%。

目前,谷歌已经将 Med-PaLM 2开放给业内人士使用,同时期望何客户合作,希望将其运用到实际的场景中,以便更大程度的利用该技术。

OpenAI:已将GPT-4尝试用于医疗

尽管GPT-4并未完全开放使用,但微软和OpenAI已经开始探索该模型在医疗健康领域的应用了。

OpenAI的研究显示 ,在没有任何专门的提示的情况下,GPT-4超过了USMLE的及格分数20分以上,并且优于早期的通用模型(GPT-3.5)以及专门针对医学知识进行微调的模型(Med-PaLM, Flan-PaLM 540B的提示调整版本)。

GPT-4显著优于早期模型,在USMLE测试的自我评估和样本考试中分别获得86.65%和86.7%的平均分数,而GPT-3.5的平均分数分别为53.61%和58.78%。

GPT-4和GPT-3.5USML考试中的比较

该研究表明GPT-4及其后继者可以为临床推理和医疗实践的日常工作流程做出贡献。除了用于决策支持、管理任务之外,GPT-4及其后续产品有朝一日可能会协助临床和生物医学研究的研究人员。

各模型在PubMedQA上的排行榜

其他生物医学大模型

2022年12月,斯坦福大学的研究人员宣布基于HuggingFace GPT模型训练了2.7B 参数后,得到了生物医学文本的大型语言模型BioMedLM(以前被称为PubMed GPT),在USMLE的医学QA文本上取得了媲美人类的成绩。

2023年2月,百度完成对中国医疗信息数据提供商GBI Health的并购,通过GBI与其类ChatGPT产品“文心一言”等的结合,百度将在医疗商业方案服务领域带来更大影响力,以实现“AI+医疗大数据智能化全链条洞察”。

2023年4月19日,清华大学智能产业研究院公布了生物医药领域基础模型BioMedGPT的最新进展,并开源了轻量级科研版基础模型BioMedGPT-1.6B。该模型目标是把分子语言中蕴含的知识以及长期以来通过湿实验总结的文本和知识图谱信息融合压缩到一个大规模语言模型中,从而实现从序列模式中学习生物结构和功能规律,通过AI解码生命语言。

4月26日,春雨医生宣布即将在业内首发基于大模型的AI在线问诊产品“春雨慧问”如今,“春雨慧问”已经在前期咨询、病历索引、提问预判、医生推荐等功能都有应用,在未来还将有“患处视觉识别”“检查报告解读”等更多功能逐步向用户开放。

4 月28 日,医联宣布正式发布国内首款大模型驱动的 AI 医生 ——medGPT。该模型收集整理接近 20 亿条真实医患沟通对话、检验检测和病例信息进行深度训练学习,同时利用医生真实反馈进行强化学习。官方表示这一产品已经进入内部测试阶段,并计划于今年 5 月份正式发布。

一点思考

在特定领域,经过专业知识训练的小模型比大型模型的效果更好。

现在经过指令微调后的小模型,再由人类反馈的优化,已经可以和千亿级参数的大模型媲美,甚至超越。

随着越来越多科技公司将基础语言模型的开源,拉低了人们训练细分场景模型的门槛,各类基于大模型+微调后的小模型开始涌现,医学领域也是如此。

尽管上述开发上述AI医学模型的公司都声称其知识能够达到人类水平,但这些考试并不能反映所有考试内容的深度和广度。

就连这些医学模型的开发者坦言,虽然AI在医疗考试上的熟练,与在临床上的成功应用还存在着巨大的差距。

例如医学语言模型一般只回答选择题和开放的问题,但基于图片、心音和临床技能模拟的问题,AI模型却并未在研究中展示出来。

另外,“病人并不按照书本上生病”已经成为医学界的常识,目前AI只能称得上会考试的书呆子,AI大模型否真的会给医疗健康领域带来新的不同还需要检验。

对AI大模型过于乐观的态度可能会让我们失望。但我们能够期待它能做到帮助医生辅助决策、填写病例、用药管理等辅助性工作。

不过随着医学模型的不断迭代进化,相信未来在医疗领域能大有所为







江苏省海外人才创新创业联盟,是由江苏省科学技术协会主管的非法人非营利社会组织,简称苏创联。

2021年6月,苏创联由江苏省科协、世界绿色设计组织、欧盟中国城市发展委员会、中欧生命科学联盟、日本华侨华人博士协会、南京江北新区管委会、苏州工业园区管委会、南京江宁开发区管委会、江苏省绿色金融专业委员会等9家单位联合发起,秘书处设于中研绿色金融研究院,日常运营由科甄-中研在线团队负责。

联盟秘书处:

扬子江新金融中心,南京江北新区滨江大道396号3号楼4层

江宁基地:

南京江宁区天元东路1009号创业大厦705室

微信公众号:suchuanglian114

商务联系:

微信:  w18701805508 

邮箱:  18701805508 @139.com


【声明】内容源于网络
0
0
苏创联
苏创联,全称江苏省海外人才创新创业联盟,源于江苏,整合全球资源,创新“共建、共享、共创、共赢”的“非赢利、非法人创新型社会组织”合作模式,打造产学研金深度融合的创新创业生态圈,服务江苏经济社会高质量发展。
内容 1004
粉丝 0
苏创联 苏创联,全称江苏省海外人才创新创业联盟,源于江苏,整合全球资源,创新“共建、共享、共创、共赢”的“非赢利、非法人创新型社会组织”合作模式,打造产学研金深度融合的创新创业生态圈,服务江苏经济社会高质量发展。
总阅读347
粉丝0
内容1.0k