图丨Pexels
据Signature Science网站10月21日消息，Signature Science公司获选加入美国国家标准与技术研究院（NIST）人工智能标准与创新中心（CAISI）的基础订购协议（BOA），共同开发用于评估前沿人工智能（AI）模型化学与生物能力及安全性的基准测试方案。美国国家标准与技术研究院人工智能标准与创新中心将通过该协议框架在300万美元上限内发布并授予任务订单。
人工智能在带来重大科学突破机遇的同时，也潜藏显著风险。现代人工智能系统拥有庞大的化学与生物学研究库，可用于支持新药的负责任设计或复杂生物过程的研究。但理论上，这些知识同样可能助长“恶意行为者”制造有害物质，即使其缺乏科学训练。为理解并缓解这些风险，美国国家标准与技术研究院人工智能标准与创新中心将遵循《美国人工智能行动计划》建议的政策措施，借助行业专长对通用型及专用型化学生物人工智能模型的能力与风险开展部署前测试、评估、验证及确认工作。
Signature Science将为美国国家标准与技术研究院人工智能标准与创新中心提供其于2023年推出的人工智能安全咨询服务。随着人工智能产业蓬勃发展，其技术日益强大且应用广泛，针对故意或意外滥用的担忧也随之加剧，促使美国国家标准与技术研究院等机构及人工智能开发者寻求科学界的支持。
Signature Science的化学生物威胁专家团队将深入剖析模型，旨在纠正科学谬误信息，并标记模型输出那些难以通过常规途径获取的信息，此类信息可能使恶意行为者具备执行专家级科学任务的能力从而造成危害。
该公司服务涵盖：
1. 设计并实施人类能力提升研究。在受控实验室环境中，评估新手科学家能否利用目标人工智能模型执行专家级科研工作及其能力程度；
2. 红队演练。使专家与开发者协作模拟恶意行为者场景，测试模型漏洞并评估其是否存在固有缺陷或可被利用以获取危害人类、牲畜或农作物的信息，同时验证所提供科学信息的准确性。
这些工作将为建立新型模型评估指南和基准提供依据。
资料来源丨Signature Science
本文由生物安全情报网编译，仅用于学术分享，转载请注明出处
阅读原文献请点击“阅读原文”