更新：加州拨款委员会于8月15日星期四以重大修正案通过了SB 1047法案，这些修改改变了该法案的内容。您可以在此阅读相关内容。
在科幻电影之外，目前尚无人工智能系统杀人或被用于大规模网络攻击的先例。然而，一些立法者希望在不良行为者将这种反乌托邦的未来变为现实之前，实施保障措施。加州一项名为 SB 1047 的法案旨在防止人工智能系统在现实中引发灾难性后果。该法案已于八月通过加州参议院审议，目前正等待加州州长加文·纽森（Gavin Newsom）批准或否决。
虽然这似乎是一个我们都能达成共识的目标，但 SB 1047 法案却引发了硅谷大小企业的强烈不满，包括风险投资人、大型科技行业协会、研究人员和初创公司创始人。目前全美各地涌现出许多人工智能相关法案，但加州《前沿人工智能模型安全与创新法》（Safe and Secure Innovation for Frontier Artificial Intelligence Models Act）已成为最具争议的法案之一。以下是原因所在。
SB 1047 法案将如何运作？
SB 1047 法案试图防止大型人工智能模型被用于对人类造成“严重危害”。
该法案列举了“严重危害”的例子，例如不良行为者利用AI模型制造导致大规模伤亡的武器，或指示其策划造成超过5亿美元损失的网络攻击（作为对比，CrowdStrike中断事件估计造成了高达50多亿美元的损失）。该法案规定，开发人员——即开发模型的科技公司——有责任实施足够的安全协议，以防止此类结果的发生。
哪些模型和公司受这些规则约束？
SB 1047的规则仅适用于全球最大的AI模型：即在训练期间成本至少为1亿美元且使用10^26 FLOPS（浮点运算次数，一种衡量计算量的方式）的模型。这是一笔巨大的算力投入，尽管OpenAI首席执行官Sam Altman表示GPT-4的训练成本大约为此数额。这些阈值可根据需要进行调整。
目前只有极少数公司开发了足以满足这些要求的公开AI产品，但OpenAI、Google和Microsoft等科技巨头很可能很快就能做到。AI模型——本质上是识别和预测数据中模式的巨大统计引擎——随着规模增大，其准确性通常也会提高，许多人预计这一趋势将持续下去。Mark Zuckerberg最近表示，Meta下一代Llama模型将需要10倍的算力，这将使其受SB 1047的管辖。
关于开源模型及其衍生作品，该法案规定原始开发者承担责任，除非另一位开发者花费额外 1000 万美元创建该原始模型的衍生版本。
该法案还要求建立安全协议以防止受监管的人工智能产品被滥用，包括一个能关闭整个 AI 模型的“紧急停止”按钮。开发者还必须制定测试程序以应对人工智能模型带来的风险，并每年聘请第三方审计员评估其人工智能安全实践。
结果必须提供“合理保证”，即遵循这些协议能够防止严重危害——而非绝对确定性，因为后者显然是无法提供的。
由谁执行，以及如何执行？
一个新的加州机构——前沿模型委员会（Board of Frontier Models）将监督这些规则。所有符合 SB 1047 阈值的新公共人工智能模型都必须单独认证，并提交其安全协议的书面副本。
前沿模型委员会将由九人组成，成员包括来自人工智能行业、开源社区和学术界的代表，由加州州长和立法机构任命。该委员会将就 SB 1047 潜在违规行为向加州总检察长提供建议，并向人工智能模型开发者发布有关安全实践的指导。
开发者的首席技术官必须向委员会提交年度认证报告，评估其人工智能模型的潜在风险、安全协议的有效性，以及公司遵守 SB 1047 的情况。类似于数据泄露通知，如果发生“人工智能安全事件”，开发者必须在得知事件后的 72 小时内向 FMD 报告。
如果发现开发者的安全措施不足，SB 1047 允许加州总检察长对开发者发出禁令。这意味着开发者可能被迫停止运营或训练其模型。
如果事实证明某人工智能模型被用于灾难性事件，加州总检察长可以对该公司提起诉讼。对于训练成本为1亿美元的人工智能模型，首次违规的罚款可能高达1000万美元，后续违规的罚款可能高达3000万美元。随着人工智能模型成本的增加，罚款比例也会相应提高。
最后，该法案还包含对员工的吹哨人保护条款，如果他们试图向加州总检察长披露有关不安全人工智能模型的信息。
支持者怎么说？
该法案的作者、代表旧金山的加州参议员斯科特·维纳（Scott Wiener）告诉TechCrunch，SB 1047号法案旨在从过去在社交媒体和数据隐私方面的政策失败中吸取教训，并在为时已晚之前保护公民。
“我们在技术问题上有着等待伤害发生然后再懊悔的历史，”维纳说。“我们不要等到坏事发生才行动，而是要抢先一步。”
即使一家公司在德克萨斯州甚至法国训练了一个价值1亿美元的模型，只要它在加州开展业务，就会受到SB 1047号法案的约束。维纳表示，在过去四分之一世纪里，国会“在技术立法方面做得非常少”，因此他认为由加州在此树立先例是合适的。
当被问及是否已与OpenAI和Meta就SB 1047号法案进行过会面时，维纳表示：“我们已经与所有大型实验室进行了会面。”
两位有时被称为“AI教父”的AI研究人员Geoffrey Hinton和Yoshua Bengio已对该法案表示支持。这两位属于AI社区中关注AI技术可能引发的危险末日情景的一派。这些“AI末日论者”在研究界已存在一段时间，而SB 1047可能会将他们的一些首选安全措施纳入法律。SB 1047的另一家赞助机构——AI安全中心——在2023年5月发表了一封公开信，呼吁世界像对待大流行病或核战争一样严肃地优先考虑“减轻AI导致灭绝的风险”。
“这符合加州乃至更广泛意义上的美国行业的长期利益，因为一次重大的安全事故可能会成为进一步发展的最大障碍，”中心人工智能安全（Center for AI Safety）主任丹·亨德里克斯（Dan Hendrycks）在发给TechCrunch的一封电子邮件中表示。
最近，Hendrycks本人的动机受到了质疑。7月，他公开创立了一家名为Gray Swan的初创公司，根据一份新闻稿，该公司致力于“帮助公司评估其AI系统的风险”。在受到批评后，人们指出如果该法案通过，Hendrycks的初创公司可能会从中获利，甚至可能成为SB 1047要求开发人员聘请的审计机构之一，因此他剥离了在Gray Swan的股权。
“我撤资是为了发出一个明确的信号，”亨德里克斯在发给TechCrunch的一封电子邮件中说。“如果亿万富翁风险投资家反对常识性人工智能安全，想证明他们的动机是纯粹的，那就让他们效仿吧。”
在Anthropic提出的几项修改建议被加入SB 1047法案后，首席执行官Dario Amodei发表了一封信，称该法案的“收益可能大于成本”。这并非正式背书，但发出了一个温和的支持信号。不久之后，埃隆·马斯克也表示支持该法案。
反对者怎么说？
越来越多的硅谷人士反对SB 1047号法案。
Hendrycks提到的“亿万富翁风险投资家的反对”很可能指的是由Marc Andreessen和Ben Horowitz创立的风险投资公司a16z，该公司强烈反对SB 1047法案。今年8月初，该公司的首席法务官Jaikumar Ramaswamy向Wiener参议员提交了一封信，声称该法案将因其“任意且不断变化的门槛”而给初创企业带来负担，从而对AI生态系统产生寒蝉效应。随着AI技术的进步，其成本将越来越高，意味着更多初创企业将跨越1亿美元门槛并受到SB 1047法案的约束；a16z表示，他们旗下的几家初创企业在训练模型时已获得如此巨额的资金。
常被称为“人工智能教母”的李飞飞（Fei-Fei Li）于8月初打破沉默，她在《财富》杂志的专栏文章中写道，该法案将“损害我们初具规模的人工智能生态系统”。尽管李飞飞是斯坦福大学备受推崇的人工智能研究先驱，但据报道，她还在今年4月创立了一家名为World Labs的人工智能初创公司，估值达10亿美元，并由a16z支持。
她加入了有影响力的AI学术界人士，包括斯坦福研究员、同为斯坦福研究人员的Andrew Ng。他在7月于Y Combinator活动上发表演讲时称该法案是“对开源的攻击”。开源模型可能会为其创建者带来额外的风险，因为与任何开放软件一样，它们更容易被修改并部署到任意甚至可能具有恶意目的的用途中。
Meta的首席AI科学家Yann LeCun在X平台的一篇帖子中表示，SB 1047法案会损害研究工作，并且是基于“少数妄想型智库推动的‘存在性风险’幻觉”。Meta的Llama大型语言模型是开源大型语言模型的杰出代表之一。
初创公司对该法案也不满。AI初创公司Omniscience的首席执行官Jeremy Nixon以及旧金山AI初创公司聚集地AGI House SF的创始人担心，SB 1047号法案将摧毁他的生态系统。他认为，造成严重危害的行为人应受到惩罚，而不是那些公开开发并分发技术的AI实验室。
Nixon表示：“该法案的核心存在深刻误解，即认为大型语言模型（LLMs）在危险能力方面可能存在差异。”在他看来，“极有可能的是，根据该法案的定义，所有模型都具有危险能力。”
OpenAI在8月下旬反对SB 1047法案，指出与AI模型相关的安全措施应在联邦层面进行监管。他们一直支持一项联邦法案以实现这一目标。
然而，该法案直接聚焦的大型科技公司也对SB 1047号法案感到恐慌。代表Google、Apple、Amazon等大型科技巨头的行业协会“进步之院”（The Chamber of Progress）发表了一封公开信反对该法案，称SB 1047号法案限制了言论自由，并将“把技术创新赶出加州”。去年，Google首席执行官Sundar Pichai和其他科技高管曾支持联邦层面的AI监管理念。
代表硅谷的美国众议员Ro Khanna于8月发布了一份反对SB 1047号法案的声明。他表达了对该法案的担忧，认为该法案“将无效，会惩罚个体企业家和小企业，并损害加州的创新精神”。此后，众议院议长Nancy Pelosi和美国商会也加入其中，他们同样表示该法案会阻碍创新。
硅谷传统上并不喜欢加州制定此类广泛的科技监管法规。2019年，当另一项州隐私法案——加州消费者隐私法（California’s Consumer Privacy Act）——也可能改变科技格局时，大型科技公司采取了类似行动。硅谷游说反对该法案，而在其生效前几个月，Amazon创始人Jeff Bezos和另外50位高管共同签署了一封公开信，呼吁制定联邦隐私法案。
接下来会发生什么？
SB 1047目前搁置在加州州长Gavin Newsom的办公桌上，他将在8月底前最终决定是否将该法案签署为法律。Wiener表示，他尚未就此事与Newsom交谈，也不清楚他的立场。
该法案不会立即生效，因为前沿模型委员会（Board of Frontier Models）定于202年成立。此外，如果该法案通过，在此之前很可能面临法律挑战，也许来自现在对此发声的一些团体。
更正：本文最初引用了SB 1047关于谁对微调模型负责的先前草案语言。目前，SB 1047规定，衍生模型的开发者仅在他们用于训练的成本是原始模型开发者的三倍时，才对模型负责。