Anthropic 标记并阻止多名利用 AI 制造潜在生物武器的科学家
据 Anthropic 周四发布的新报告，该公司已标记并阻止了多名试图利用其 AI 模型制造潜在生物武器的科学家。“生物滥用”仅是报告中记录的令人担忧的 AI 使用方式之一，但随着 Fable 5 等较新模型在辅助科研方面表现日益出色，其重要性正不断攀升。
案例研究揭示复杂的安全挑战
该报告包含五个案例研究，涉及 Anthropic 模型被用于开发生物武器、触发安全警报及公司的应对措施。正如公司向 《纽约时报》 强调的那样，检测潜在滥用行为极为复杂，因为新疫苗研究与生物武器制造在技术上高度相似。在所有情况下，出于对后果的考量，公司均倾向于采取过度谨慎的做法。
Anthropic 情报主管 Jacob Klein 向 《纽约时报》 表示：“你看到的并非漫画中宣称‘要制造杀死所有人的生物武器’的角色，实际情况极其微妙。”
具体滥用场景与风险识别
在五月的案例研究中，Anthropic 的“生物安全分类器”标记了一项请求：用户要求 Claude 撰写关于基孔肯雅病毒功能增强研究的资助申请。该病毒目前无获批疗法，会导致患者出现持续数周或数月的虚弱症状。功能增强研究旨在通过基因手段改变生物体；针对该病毒，申请提议提高其传播能力及免疫逃逸能力。鉴于拟议研究与军事研究机构存在关联，这种组合极具危险性且十分可疑。
此外，公司对禽流感功能增益研究，以及某研究人员利用 Claude 开发毒液毒素肽图谱和“优化毒素特征的生成性流水线”的案例也提出了类似异议。完整报告还涵盖了模型被用作监控工具，以及创建软件漏洞、宣传品和武器系统的案例研究。
处置措施与隐私保护
据该公司称，所有滥用 Claude 或 Anthropic 模型的账户均已被封禁，调查结果将用于进一步完善模型安全防护，防止未来滥用。考虑到生物滥用的复杂性，Anthropic 未公布调查中涉及可能生物武器开发的个人或机构名称。Anthropic 表示：“这些案例中的个体均为从事科研工作的科学家。我们并未断言其有意造成伤害，公开身份或实验室信息可能会使其面临风险。”