如果你构建了它，人们就会试图破坏它。有时甚至构建者本人就是破坏者。Anthropic的最新研究便揭示了当前大语言模型（LLM）技术中的一个有趣漏洞：持续追问特定问题即可突破安全护栏，诱导模型输出本应被禁止的内容（如制造炸弹的方法）。
尽管开源AI的进步允许用户在本地部署LLM并自由提问，但对于面向消费级的应用而言，这仍是一个值得深思的问题。如今AI的魅力在于其飞速发展，以及人类对自身创造物的理解程度。
随着LLM及其他新型AI模型日益智能且规模扩大，我们是否会面临更多类似Anthropic所揭示的安全议题？越接近通用人工智能（AGI），模型越应被视为具备思考能力的实体，而非单纯可编程的计算机。若如此，在相关工作变得不可行之前，我们或许将更难界定边缘情况。无论如何，让我们聚焦于Anthropic近期分享的研究内容。