大数跨境

试图了解 OpenAI o1 推理过程的用户可能会被平台封禁

试图了解 OpenAI o1 推理过程的用户可能会被平台封禁 土耳其小莫
2024-09-18
0
导读:OpenAI 正在向试图揭示其大型语言模型思考方式的用户发送警告,称可能会阻止他们使用该平台。

OpenAI的o1系列模型因采用思维链(CoT)技术而具备推理能力,但公司明确不希望该思考过程被外部揭示。目前,OpenAI正对试图探查模型内部机制的用户发出警告,违规者可能面临服务封禁。

触发安全警报的行为

据用户反馈,在ChatGPT中使用“推理轨迹”或仅提及“推理”等词汇,均可能被系统标记为“试图绕过安全措施”。相关邮件明确指出:

“进一步违反此政策可能导致失去对具备推理能力的 GPT-4o 的访问权限。”

需注意,当前用户看到的Strawberry思考摘要实由另一AI模型整合生成,并非原始推理过程。

隐藏思维链的双重考量

OpenAI解释称,隐藏思维链旨在让AI在“出声思考”时若输出违规内容,无需额外设置过滤机制即可屏蔽不当信息,便于开发人员安全查看原始思考过程。此举既强化了安全管控,也有助于保护公司的竞争优势,但也给试图通过逆向工程提升AI安全性的研究人员带来了挑战。

【声明】内容源于网络
0
0
土耳其小莫
小莫带你了解土耳其电商,探索AI应用
内容 26498
粉丝 0
土耳其小莫 小莫带你了解土耳其电商,探索AI应用
总阅读242
粉丝0
内容26.5k