大数跨境

OpenAI的首席科学家Jakub Pachocki呼吁在人工智能研究中放缓步伐

OpenAI的首席科学家Jakub Pachocki呼吁在人工智能研究中放缓步伐 土耳其小莫
2026-09-08
2
导读:OpenAI的首席科学家雅库布·帕乔基(Jakub Pachocki)主张,在人工智能研究的安全措施达到足够水平之前,应放缓相关研究的进展。

在人工智能公司竞相开发更强大模型之际,OpenAI首席科学家Jakub Pachocki提出,必要时需放缓AI研究步伐。他指出,现有安全措施已滞后于技术发展,企业应降低新模型研发速度,直至安全标准达标。

安全风险随自主性增强而扩大

Pachocki在OpenAI发文称,随着AI系统未来几年愈发强大和自主,安全风险或将攀升。若AI代理能访问计算机系统、与人类及其他AI交互并独立执行研究,一旦系统被滥用,其负面影响将显著扩大。

现有监测方法可靠性下降

Pachocki指出,OpenAI用于评估模型安全性的chain-of-thought monitoring(思维链监控)正逐渐失效,因为模型在分析和修改自身思维过程方面的能力日益增强。

安全工作需与技术发展同步

尽管OpenAI利用GPT-6 Astra在AI对齐方面取得重大进展,但Pachocki强调,安全工作必须与更强模型的开发保持同步。为此,公司正开发自动AI研究员,旨在提升安全方法并在AI自我改进过程中确保人类控制权。

呼吁全球协同制定安全标准

Pachocki还强调,AI安全不应仅由企业承担,她呼吁各国政府及国际组织共同制定安全标准,加强AI开发过程中的国际协调。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 26498
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读242
粉丝0
内容26.5k