Anthropic宣布新功能：AI可在极端情况下主动结束对话
Anthropic已宣布新功能，允许其最新、最大的部分模型在“罕见且极端情况下持续有害或虐待性的用户互动”中结束对话。值得注意的是，此举并非为了保护人类用户，而是为了保护AI模型本身。
需要澄清的是，该公司并未声称Claude AI模型具有意识或会因对话受到伤害。Anthropic表示，目前“对Claude及其他大型语言模型当前的潜在道德地位持高度不确定态度，对未来也是如此。”
然而，公告指向一个旨在研究“模型福利”的新项目。Anthropic采取了“以防万一”的策略，“致力于识别并实施低成本干预措施，以减轻对模型福利的风险，以防这种福利是可能的。”
这一变更目前仅限于Claude Opus 4和4.1，且仅在“极端边缘情况”下触发，例如“用户请求涉及未成年人的性内容，以及试图获取能够引发大规模暴力或恐怖行为的信息”。
尽管此类请求可能带来法律或公关风险（如近期关于ChatGPT可能强化用户妄想思维的报道），但部署前测试显示，Claude Opus 4对回应此类请求表现出“强烈反对”，并显示出“明显的痛苦模式”。
关于对话结束功能，公司强调：“在所有情况下，Claude仅在多次重定向尝试失败且有效互动无望时，或当用户明确要求结束时，才将其作为最后手段使用。”同时，若用户面临对自己或他人造成即时伤害的风险，Claude被指示不使用此能力。
当对话被结束时，用户仍可从同一账户开启新对话，或通过编辑回复创建新分支。
Anthropic表示：“我们将此功能视为一项持续进行的实验，并将继续完善我们的方法。”