在一份新报告中，由AI先驱李飞飞共同领导的加州政策组织建议，立法者在制定AI监管政策时，应考虑那些“尚未在世界范围内被观察到的”AI风险。
这份41页的临时报告于周二发布，来自人工智能前沿模型联合加州政策工作组。该工作组由州长加文·纽森在否决加州备受争议的人工智能安全法案SB 1047后组织发起。虽然纽森认为SB 1047未能达到预期目标，但他去年承认需要更广泛地评估AI风险，以告知立法者。
在报告中，李飞飞与合著者詹妮弗·蔡斯（加州大学伯克利分校计算学院院长）和马里亚诺-弗洛伦蒂诺·奎拉尔（卡内基国际和平基金会主席）主张通过法律提高对OpenAI等前沿AI实验室所构建内容的透明度。来自意识形态各方的行业利益相关者在报告发布前对其进行了审查，包括坚定的AI安全倡导者、图灵奖得主约书亚·本希奥，以及反对SB 1047的人士如Databricks联合创始人Ion Stoica。
根据报告，AI系统带来的新型风险可能需要法律强制要求AI模型开发者公开其安全测试、数据获取实践和安全措施。报告还提倡提高针对这些指标和企业政策的第三方评估标准，并扩大对AI公司员工和承包商的吹哨人保护。
李飞飞等人写道，关于AI潜在帮助实施网络攻击、制造生物武器或引发其他“极端”威胁的证据“尚不具决定性”。然而，他们同时也认为，AI政策不仅应解决当前风险，还应预见在缺乏足够保障措施的情况下可能发生的未来后果。
“例如，我们不需要观察到核武器[爆炸]就能可靠地预测它会造成广泛伤害，”报告指出，“如果那些推测最极端风险的人是对的——而我们不确定他们是否会成为现实——那么在当前时刻对前沿AI采取不作为行动的风险和成本极高。”
报告推荐了一种双管齐下的策略来提高AI模型开发的透明度：信任但需验证。报告称，应为AI模型开发者及其员工提供渠道来报告公众关注的领域（如内部安全测试），同时要求其提交测试声明以供第三方验证。
尽管这份最终版本将于2025年6月发布的报告并未支持任何具体立法，但它受到了AI政策辩论双方专家的欢迎。
乔治梅森大学专注于AI的研究员迪恩·鲍尔曾对SB 1047提出批评，他在X平台上发帖称该报告是加州AI安全监管的一个有希望的步骤。根据去年提出SB 1047法案的加州参议员斯科特·维纳（Scott Wiener）的说法，这也是AI安全倡导者的胜利。维纳在新闻稿中表示，该报告建立在“我们2024年在立法机构开始的关于AI治理的紧迫对话”基础之上。
该报告似乎与SB 1047以及维纳后续法案的几个组成部分相一致，例如SB 53要求AI模型开发者报告安全测试结果。从更广泛的视角来看，这似乎是AI安全领域人士急需的胜利，他们的议程在过去一年中失去了势头。