Anthropic研究员Jacob Coxon因担忧人工智能可能在十年结束前导致人类灭绝而辞职，一天后，我与创始人兼连襟Rune Kvist和Rajiv Dattani会面。他们认为他们找到了一种可能拯救全人类的解决方案，或者至少能帮助防止企业内的人工智能代理失控。
Kvist表示：“人工智能正以越来越快的速度变得聪明。令人惊讶的是，随着人工智能变得更聪明，采用它和控制它会变得更加困难，而不是更容易。”Kvist是Anthropic的早期员工，也是Dattani姐姐的丈夫。Dattani曾是AI安全研究机构METR的前首席运营官。
初创公司AIUC获4000万美元A轮融资
这对搭档创立了一家名为人工智能承保公司（AIUC）的初创企业，旨在为企业以及构建AI模型和智能体的公司提供AI安全服务。该初创企业将Cursor、Lovable、Harvey和ElevenLabs列为其客户。
周二，AIUC宣布完成由Ribbit Capital领投的4000万美元A轮融资，First Harmonic等机构参与投资。此前，该公司已通过Nat Friedman通过其基金NFDG完成的1500万美元种子轮融资，以及Emergence、Terrain和Anthropic联合创始人Ben Mann等的投资，总融资额达到5500万美元。
建立AI代理第三方审计与认证标准
这组顶级投资者关注的重点是AIUC试图将熟悉的网络安全模型应用于新的人工智能风险。该公司为人工智能代理构建了第三方审计和认证层。
Kvist说：“银行、医院、政府和军队不再因为模型不够智能而拒绝部署人工智能。他们拒绝是因为他们对客户做出了关于系统将做什么和不做什么的承诺，而目前没有人能做出这种保证。”
AIUC以广泛采用的网络安全标准SOC 2为灵感，开发了一个名为AIUC-1的标准以及一项测试服务，用于验证代理是否符合该标准。
为了制定这一标准，AIUC组建了一个由约250名安全和风险领导者组成的联盟——即代理的买家。Dattani告诉TechCrunch：“我们每月与这些人会面，问他们的问题是：当你从某人那里购买代理时，你会关注什么？你想问哪些问题，希望看到哪些问题得到解决？”
这些反馈塑造了测试内容。初创公司随后运行代理进行约5000项测试，以观察其在涉及越狱、幻觉和数据泄露的场景中的行为。结果生成一份约100页的报告，详细说明代理在哪些方面表现安全且可靠——以及在哪些方面并非如此。有趣的是，AIUC使用人工智能代理来运行测试，并使用人工智能来分析数据。然而，Kvist表示，最终审计由人工验证。
行业趋势：独立评估成共识
如果这听起来有点熟悉，那确实如此。Dattani的前雇主METR，他于2024年至2025年担任其首席运营官，并仍是董事会成员，也为前沿实验室进行类似的测试，尽管其工作直到最近主要侧重于性能（即代理是否能可靠地完成任务）。METR是独立的研究组织之一 OpenAI曾调查其Hugging Face事件.
Anthropic首席执行官Dario Amodei最近也 呼吁人工智能行业放缓前沿发展，引用不良行为事件的迅速增加 不良行为事件在他的帖子中，Amodei提出了一个想法，即要求前沿实验室使用嵌入式的第三方评估者来观察和验证安全性，并将METR列为一种可能性。
虽然AIUC不打算在客户现场嵌入自身，但整体理念相似：为企业提供对其AI代理安全性的独立评估。“这里是通过的地方，你可以信任它。而这里有令人担忧之处。你在决定购买前应该意识到这些参考点。”Dattani说。