大数跨境
0
0

前沿风险和准备

前沿风险和准备 跨语桥梁
2023-11-09
4289
导读:为了支持高性能人工智能系统的安全,我们正在开发灾难性风险防范方法,包括建立防范团队和发起挑战。 作为我们构建安全 AGI 使命的一部分,我们认真对待与人工智能相关的全方位安全风险,从我们今天拥有的系统到最远的超级智能。

7 月,我们与其他领先的人工智能实验室一起做出了一系列自愿承诺,以促进人工智能的安全性和信任。这些承诺涵盖了一系列风险领域,其中主要包括英国人工智能安全峰会重点关注的前沿风险。作为我们对峰会贡献的一部分,我们详细介绍了前沿人工智能安全方面的进展,包括我们自愿承诺范围内的工作。

我们的准备方法
我们相信,前沿人工智能模型将超越目前最先进的现有模型的能力,有潜力造福全人类。但它们也带来了越来越严重的风险。管理前沿人工智能带来的灾难性风险需要回答以下问题:

无论是现在还是将来,前沿人工智能系统如果被滥用,会有多危险? 
我们如何建立一个强大的框架来监测、评估、预测和防范前沿人工智能系统的危险能力?
如果我们的前沿人工智能模型权重被盗,恶意行为者会如何选择利用它们?

我们需要确保我们拥有高性能人工智能系统安全所需的理解和基础设施。

我们新的准备团队
随着人工智能模型的不断改进,为了最大限度地降低这些风险,我们正在组建一个名为“准备”的新团队。由 Aleksander Madry 领导的准备团队将把前沿模型的能力评估、评估和内部红队紧密联系起来,从我们在不久的将来开发的模型到具有 AGI 级别能力的模型。该团队将帮助跟踪、评估、预测和防范多个类别的灾难性风险,包括:

个性化说服
网络安全
化学、生物、放射性和核 (CBRN) 威胁
自主复制和适应(ARA)

准备团队的任务还包括制定和维护风险知情发展政策 (RDP)。我们的 RDP 将详细说明我们制定严格的前沿模型能力评估和监控、创建一系列保护行动以及建立整个开发过程的问责和监督治理结构的方法。RDP 旨在补充和扩展我们现有的风险缓解工作,这有助于新的高性能系统在部署之前和之后的安全性和一致性。
原文链接:https://openai.com/blog/frontier-risk-and-preparedness

【声明】内容源于网络
0
0
跨语桥梁
大家好
内容 4508
粉丝 8
跨语桥梁 大家好
总阅读31750.6k
粉丝8
内容4.5k