
微软董事会主席兼首席执行官萨提亚·纳德拉于10月在X平台发文指出,亟需重新评估人工智能系统的安全架构。他强调,对于相同输入未必产生一致结果的模型,必须纳入可预测的系统设计、人工控制及可靠操作程序等框架内进行管理。
纳德拉认为,应将封闭型与开放型主导的先进模型视为潜在的机构内部风险,并以此作为安全策略的基础。该框架建议将模型与其任务管理软件层(harness)分离,把安全控制措施部署在模型外部。
此方法的核心要素之一是纳德拉提出的“紧急制动”机制:授权人员应有权暂停或彻底关闭正在执行任务的模型。他主张预设模型安全性可能受损,从初始阶段即对其活动实施严格限制。
此外,纳德拉强调AI系统设计应遵循可追溯性原则,具体包括:确保模型多样性、通过人类可读记录文档化模型行为、持续进行系统测试、保障独立控制与可审计性、限制活动范围以及披露安全事件。针对现有标准不足的领域,建议建立新的行业标准。
当前,技术管理者与研究人员正就AI发展速度与安全措施的充分性展开讨论。纳德拉的方案并未单纯依赖模型自身的可靠性,而是侧重于构建能够实时监控模型行为并在必要时实施干预的系统。

