AI 为企业带来两难困境:若不实施,可能会错失生产力提升及其他潜在收益;但若实施不当,则可能使企业和客户暴露于未加缓解的风险之中。这正是新一波“AI 安全”初创企业登场的契机,其核心理念是,诸如越狱(jailbreak)和提示注入(prompt injection)等威胁不容忽视。
例如以色列初创公司 Noma 以及美国竞争对手 Hidden Layer 和 Protect AI,英国大学衍生企业 Mindgard 便是其中之一。“AI 仍然是软件,因此您可能听说过的所有网络风险同样适用于 AI,”其首席执行官兼首席技术官彼得·加拉汉教授(Peter Garraghan,见上图右侧)表示。但他补充道,“如果观察神经网络和系统的不透明本质及其固有的随机行为”,这也证明了一种新方法具有合理性。
在 Mindgard 的案例中,所述方法是一种针对仅在运行时才能检测到的漏洞的 AI 动态应用安全测试(DAST-AI)。这涉及持续且自动化的红队演练,即基于 Mindgard 的威胁库模拟攻击。例如,它可以测试图像分类器对抗对抗性输入的鲁棒性。
在此方面及更广泛的领域,Mindgard 的技术得益于加拉汉作为专注于 AI 安全的教授和研究人员的背景。该领域发展迅速——当他进入这一领域时,ChatGPT 尚不存在,但他预感到自然语言处理(NLP)和图像模型可能面临新的威胁,他告诉 TechCrunch。
自那以后,曾经听起来面向未来的概念已在快速增长的行业中成为现实,但大型语言模型(LLMs)不断演变,威胁也随之变化。加拉汉认为,他与兰卡斯特大学(Lancaster University)的持续联系有助于公司保持同步:在未来几年里,Mindgard 将自动拥有另外 18 名博士研究人员的知识产权成果。“世界上没有哪家公司能享有这样的待遇。”
尽管与研究机构有联系,但 Mindgard 已经是一个成熟的商业产品,更准确地说,是一个 SaaS 平台,联合创始人史蒂夫·斯特里特(Steve Street)担任首席运营官(COO)和首席收入官(CRO)引领发展。(另一位早期联合创始人尼尔拉吉·苏里(Neeraj Suri)曾负责研究方面的工作,目前已不再任职。)
加拉甘表示,企业客户是 Mindgard 的自然目标客户,传统的红队测试人员和渗透测试人员也是,但该公司还与需要向客户展示其具备 AI 风险预防能力的 AI 初创企业合作。
由于许多潜在客户位于美国,公司在股权结构中增加了一些美国元素。在筹集了一笔 300 万英镑的种子轮融资后,Mindgard 于 2023 年宣布新一轮 800 万美元融资,由总部位于波士顿的 .406 Ventures 领投,大西洋桥(Atlantic Bridge)、WillowTree Investments 以及现有投资者 IQ Capital 和 Lakestar 跟投。这笔资金将用于“组建团队、产品开发、研发以及初创公司可能期望的其他事项”,同时拓展至美国市场。其最近任命的首席营销官(VP of marketing)费尔格尔·格林(Fergal Glynn,前 Next DLP 首席营销官)驻扎在波士顿。然而,公司还计划将研发和工程团队保留在伦敦。
Mindgard 团队目前仅有 15 人,规模相对较小,且将保持这一状态,计划到明年年底将人数扩充至 20 至 25 人。这是因为 AI 安全领域“尚未进入鼎盛时期”。但当 AI 开始无处不在地部署,安全威胁也随之而来时,Mindgard 已做好准备。加拉根表示:“我们创立这家公司是为了为世界带来积极的影响,而这里的积极影响在于人们能够安全、放心地使用和信任 AI。”

