大型语言模型（LLM）是推动生成式人工智能蓬勃发展的核心力量，能够根据简单的提示词解读并生成人类语言文本——这可以是总结文档、写诗，或是利用来自众多来源的数据回答问题。
然而，这些提示词也可能被恶意行为者操纵，以实现更为可疑的目的。他们使用所谓的“提示注入”技术，将精心构造的文本输入到由 LLM 驱动的聊天机器人中，目的是诱骗其授予对系统的未授权访问权限，或绕过严格的安全措施。
正是在这样的背景下，瑞士初创公司 Lakera 今日正式向全球发布，承诺帮助企业防范各种大语言模型（LLM）安全弱点，如提示注入和数据泄露。与此同时，该公司还透露，今年早些时候完成了一轮此前未公开的1000万美元融资。
数据魔法
Lakera 开发了一个包含来自各种来源洞察的数据库，包括公开可用的开源数据集、其内部研究以及——有趣的是——从该公司今年早些时候推出的互动游戏 Gandalf 中获取的数据。
通过 Gandalf，用户被邀请通过语言技巧“黑客攻击”底层 LLM，试图让它透露一个秘密密码。如果用户成功做到这一点，他们将进入下一关；随着关卡推进，Gandalf 在防御此类攻击方面会变得更加复杂。
Gandalf 由 OpenAI 的 GPT-3.5 以及 Cohere 和 Anthropic 的 LLM 提供支持。至少在表面上看，它似乎只是一个旨在展示 LLM 弱点的小游戏。尽管如此，来自 Gandalf 的洞察将被整合到该公司的旗舰产品 Lakera Guard 中，企业可以通过 API 将其集成到自己的应用程序中。
Lakera 首席执行官兼联合创始人 David Haber 表示：“Gandalf literally 从六岁的孩子到我祖母，以及介于两者之间的所有人都在玩。”
Haber 表示，在过去六个月里，该公司记录了来自 100 万用户的约 3000 万次交互，这使他能够开发出他称为“提示注入分类法”的东西，将攻击类型分为 10 个不同的类别。这些类别包括：直接攻击、越狱攻击、规避攻击、多提示攻击、角色扮演、模型欺骗、混淆（令牌走私）、多语言攻击以及意外上下文泄露。
由此，Lakera 的客户可以大规模地将他们的输入与这些结构进行比较。“我们正在将提示注入转化为统计结构——这 ultimately 就是我们在做的事情，”Haber 说。
虽然提示注入只是 Lakera 关注的众多网络安全风险领域之一，但它也在致力于保护公司免受私有或机密数据意外泄露到公共领域的风险，同时审核内容以确保大型语言模型（LLM）不会向儿童提供任何不合适的内容。
Haber 说：“在安全方面，人们最普遍要求的功能是检测有毒语言。因此，我们正与一家为儿童提供生成式 AI 应用的大型公司合作，以确保这些儿童不会接触到任何有害内容。”
此外，Lakera 还在解决由 LLM 引发的错误或事实不准确问题。据 Haber 介绍，在所谓的“幻觉”情况下，Lakera 可以提供帮助：一种是 LLM 的输出与初始系统指令相矛盾；另一种是基于参考知识，模型的输出在事实上是错误的。
Haber 说：“在这两种情况下，我们的客户都会向 Lakera 提供模型交互的上下文，并确保模型不会超出这些界限行事。”因此，Lakera 实际上是一个涵盖安全性、安全性和数据隐私的混合体。
欧盟人工智能法案
随着首批重大人工智能监管法规即将出台——以欧盟人工智能法案的形式，Lakera 在此时推出恰逢其时。具体而言，欧盟人工智能法案第 28b 条侧重于通过向大型语言模型提供商施加法律要求来保护生成式 AI 模型，要求他们识别风险并采取适当措施。
事实上，Haber 和他的两位联合创始人曾担任该法案的顾问角色，帮助在引入之前奠定一些技术基础——预计将在未来一两年内实施。
Haber 说：“围绕如何实际监管生成式 AI 模型（区别于其他 AI）存在一些不确定性。我们看到技术进步的速度远远快于监管环境的发展，这极具挑战性。我们在这些对话中的角色是分享以开发者为中心的视角，因为我们希望用对现实的理解来补充政策制定：当你提出这些监管要求时，它们对在一线将这些模型投入生产的人们究竟意味着什么？”
安全拦截器
归根结底，尽管 ChatGPT 及其同类产品在过去九个月里像近年来少数几种技术一样席卷全球，但企业在将其应用程序中采用生成式 AI 方面可能更为犹豫，主要由于安全担忧。
“我们与一些最酷的新创公司以及全球领先的企业进行交流——它们要么已经将这些[生成式AI应用]投入生产，要么正在审视未来三到六个月的情况，”Haber表示。“我们已经在幕后与它们合作，确保它们能够顺利推出这些应用。安全是许多[公司]将生成式AI应用投入生产的主要障碍，而这正是我们的切入点。”
Lakera于2021年在苏黎世创立，目前已拥有多家主要付费客户。由于披露过多关于其所用保护工具类型的信息可能带来安全风险，该公司表示无法点名提及这些客户。然而，该公司确认LLM开发商Cohere——一家最近估值达到20亿美元的公司——是其客户之一，此外还有“一家领先的云服务平台”和“全球最大的云存储服务之一”。
该公司拥有1000万美元的资金储备，现在其平台已正式面向公众，因此具备较为充足的资金来构建该平台。
“我们希望人们在将生成式AI集成到其技术栈时，我们能参与其中，确保这些应用的安全性并降低风险，”Haber说。“因此，我们将根据威胁态势不断演进我们的产品。”
Lakera的融资由瑞士风投机构Redalpine领投，Fly Ventures、Inovia Capital以及多位天使投资人也提供了额外资金。