Stability AI是支持文本生成图像AI系统Stable Diffusion的初创企业,目前正资助一项广泛努力,将AI应用于生物技术的前沿领域。该项目名为OpenBioML,其首批项目将专注于基于机器学习的DNA测序、蛋白质折叠和计算生物化学方法。
Stability AI首席执行官Emad Mostaque表示,该公司创始人将OpenBioML描述为“开放研究实验室”,旨在探索人工智能与生物学的交叉领域,为学生、专业人士和研究人员提供一个可以参与和合作的环境。
Mostaque在电子邮件采访中表示:“OpenBioML是Stability支持的独立研究社区之一。”“Stability致力于发展和普及AI,通过OpenBioML,我们看到了推进科学、健康和医学前沿技术的机遇。”
鉴于围绕Stable Diffusion——Stability AI的从文本描述生成艺术的AI系统,类似于OpenAI的DALL-E 2——所引发的争议,人们对Stability AI首次涉足医疗领域的举措感到警惕是可以理解的。该初创企业在治理方面采取了自由放任的态度,允许开发者以任何方式使用该系统,包括用于制作名人深度伪造内容和色情内容。
尽管Stability AI迄今为止做出了一些在道德上值得商榷的决定,但机器学习在医学领域仍是一个充满风险的领域。虽然该技术已成功应用于诊断皮肤和眼部疾病等病症,但研究表明算法可能会产生偏见,导致部分患者获得较差的治疗。例如,2021年4月的一项研究发现,用于预测精神健康患者自杀风险的统计模型在白人和亚洲患者中表现良好,但在黑人患者中表现不佳。
OpenBioML明智地从更安全的领域起步。其首批项目包括:
- BioLM:旨在将自然语言处理(NLP)技术应用于计算生物学和化学领域。
- DNA-Diffusion:旨在开发能够从文本提示生成DNA序列的AI系统。
- LibreFold:旨在提高对类似DeepMind的AlphaFold 2的AI蛋白质结构预测系统的访问权限。
每个项目均由独立研究人员领导,但Stability AI提供对其托管于AWS的超过5,000块Nvidia A100 GPU集群的访问权限,以训练这些AI系统。据帕尔马大学计算机科学本科生、OpenBioML的主要研究人员之一Niccolò Zanichelli介绍,这将提供足够的算力和存储能力,最终并行训练多达10个类似AlphaFold 2的系统。
Zanichelli通过电子邮件告诉TechCrunch:“许多计算生物学研究已经导致开源发布。然而,这些工作通常发生在单个实验室层面,因此往往受到计算资源不足的制约。我们希望改变这一现状,鼓励大规模合作,并凭借Stability AI的支持,为这些合作提供只有大型工业实验室才能获得的资源。”
生成DNA序列
在OpenBioML正在进行的项目中,由麻省总医院&哈佛医学院病理学教授Luca Pinello实验室领导的DNA-Diffusion可能是最具雄心的一个。其目标是利用生成式AI系统学习和应用DNA“调控”序列的规则,即影响生物体内特定基因表达的核酸分子片段。许多疾病和紊乱是由基因调控失常引起的,但科学界尚未发现一种可靠的方法来识别——更不用说改变——这些调控序列。
DNA-Diffusion提出使用一种称为扩散模型的AI系统来生成特定细胞类型的调控DNA序列。扩散模型——支撑Stable Diffusion和OpenAI的DALL-E 2等图像生成器——通过学习如何破坏和恢复大量现有数据样本来创建新数据(例如DNA序列)。随着输入样本的增加,模型在恢复之前已破坏的所有数据以生成新作品方面变得愈发熟练。
Zanichelli说:“扩散模型在多模态生成模型中取得了广泛成功,现在也开始应用于计算生物学,例如用于生成新型蛋白质结构。”“借助DNA-Diffusion,我们目前正在探索其在基因组序列中的应用。”
如果一切按计划进行,DNA-Diffusion项目将产生一个扩散模型,该模型可以根据文本指令生成调控DNA序列,例如“将在X型细胞中以最大表达水平激活基因的序列”以及“在肝脏和心脏中激活基因,但在大脑中不激活的序列”。Zanichelli表示,此类模型还有助于解释调控序列的组成部分,从而提升科学界对调控序列在不同疾病中作用的理解。
值得注意的是,这 largely 是理论性的。虽然将扩散模型应用于蛋白质折叠的初步研究似乎充满希望,但Zanichelli承认目前仍处于非常早期的阶段——因此需要推动更广泛的AI社区参与其中。
预测蛋白质结构
OpenBioML的LibreFold虽然范围较小,但更有可能迅速取得成果。该项目旨在更深入地理解预测蛋白质结构的机器学习系统,并探索改进它们的方法。
正如我的同事Devin Coldewey在他关于DeepMind在AlphaFold 2方面工作的文章中报道的那样,能够准确预测蛋白质形状的AI系统在这个领域相对较新,但其潜力具有变革性。蛋白质由氨基酸序列组成,这些序列折叠成特定形状以在生物体内执行不同的任务。确定氨基酸序列将形成何种形状的过程曾经是一项艰巨且容易出错的工作;像AlphaFold 2这样的AI系统改变了这一局面;得益于它们,如今科学界已知晓人体中超过98%的蛋白质结构,以及大肠杆菌和酵母等生物体中的数十万种其他结构。
然而,很少有团队具备开发此类AI所需的工程专业知识和资源。DeepMind花费数天时间在张量处理单元(TPU)上训练AlphaFold 2,这是Google昂贵的AI加速器硬件。此外,氨基酸序列训练数据集通常是专有的,或者在非商业许可下发布。
“这很可惜,因为如果你看看社区基于DeepMind去年发布的AlphaFold 2检查点所构建的东西,简直令人难以置信,”Zanichelli说道,指的是DeepMind去年发布的经过训练的AlphaFold 2模型。“例如,就在发布仅几天后,首尔国立大学教授Minkyung Baek在Twitter上报告了一个技巧,该技巧使模型能够预测四级结构——这是很少有人甚至没有人预料到模型能够做到的。还有更多类似的例子,所以谁知道如果更广泛的科学界能够训练完全新的类似AlphaFold的蛋白质结构预测方法,他们会构建出什么?”
建立在RoseTTAFold和OpenFold两项持续进行的复制AlphaFold 2的社区努力之上,LibreFold将促进与各种蛋白质折叠预测系统的“大规模”实验。根据Zanichelli的说法,由伦敦大学学院、哈佛大学和斯德哥尔摩的研究人员主导的LibreFold的重点将是更好地了解这些系统能够完成什么以及原因。
他说:“LibreFold本质上是一个由社区打造、服务于社区的项目。模型检查点和数据集的发布也是如此,我们可能只需一两个月就能开始发布首批交付成果,也可能需要更长的时间。”“不过,我的直觉是前者的可能性更大。”
将自然语言处理应用于生物化学
在更长的时间范围内,OpenBioML的BioLM项目有着更为模糊的使命:“应用源自自然语言处理的语言建模技术于生化序列。”通过与EleutherAI(一个发布了多个开源文本生成模型的研究小组)合作,BioLM希望为一系列任务训练并发布新的“生化语言模型”,包括生成蛋白质序列。
Zanichelli以Salesforce的ProGen为例,指出这是BioLM可能开展的工作类型。ProGen将氨基酸序列视为句子中的单词。该模型在包含超过2.8亿个蛋白质序列及其相关元数据的数据集上进行训练,能够像语言模型根据句首预测句尾一样,根据前面的氨基酸预测接下来的氨基酸。
今年早些时候,Nvidia发布了一种语言模型MegaMolBART,该模型在数百万分子的数据集上进行了训练,用于寻找潜在的药物靶点并预测化学反应。Meta最近还训练了一个名为ESM-2的自然语言处理模型,使其能够处理蛋白质序列,该公司声称这种方法使它能够在短短两周内预测超过6亿种蛋白质的序列。
展望未来
尽管 OpenBioML 的兴趣广泛且不断扩展,Mostaque 表示,这些兴趣统一于一个愿望,即“最大化机器学习与 AI 在生物学中的积极潜力”,秉承科学与医学领域开放研究的传统。
Mostaque 继续说道:“我们旨在使研究人员能够对其主动学习或模型验证目的的实验流程拥有更多控制权。”“我们还致力于推动前沿技术的发展,开发日益通用的生物技术模型,这与当前大多数计算生物学所采用的专用架构和学习目标形成对比。”
但——正如一家近期筹集了超过1亿美元的风险投资初创公司所预期的那样——Stability AI并不认为OpenBioML是一项纯粹的慈善事业。Mostaque表示,当技术足够先进、安全且时机成熟时,公司愿意探索将OpenBioML的技术商业化。

