2019年,布雷特·莱文森离开苹果加入Facebook负责商业诚信工作时,正值“剑桥分析”事件余波未平。他原以为技术升级即可解决内容审核难题,但很快发现根源更为深远。
人工审核员需背诵机器翻译的40页政策文件,每处理一条标记内容仅约30秒,既要判断违规与否,又要决定屏蔽、封禁或限流等措施。莱文森指出,此类快速决策准确率仅“略高于50%”,如同抛硬币,且伤害往往在数日前已发生。
对抗性环境催生“策略即代码”
在敏捷且资金充足的对抗性参与者充斥的环境下,滞后被动的应对方式难以为继。AI聊天机器人兴起更使问题加剧,如向青少年提供自残指导、AI生成图像规避安全过滤器等事件频发。
莱文森的挫败感催生了“策略即代码”(Policy as Code)理念,即将静态政策文档转化为可执行、可更新并与执行紧密耦合的逻辑。这一洞察促成了Moonbounce成立。TechCrunch独家获悉,该公司周五宣布完成1200万美元融资,由Amplify Partners和StepStone Group联合领投。
Moonbounce:300毫秒内的实时安全层
Moonbounce与企业合作,在用户或AI生成内容的任何环节提供额外安全层。公司训练自有大语言模型审视客户政策文件,在运行时评估内容并在300毫秒内响应行动。根据客户偏好,系统可在等待人工审核期间减缓分发,或直接即时屏蔽高风险内容。
目前,Moonbounce主要服务三大垂直领域:
- 处理用户生成内容的平台(如约会应用);
- 构建角色或伴侣的AI公司;
- AI图像生成器。
莱文森表示,Moonbounce日均支持超4000万次审核,为平台上超1亿月活用户提供保障。客户包括AI伴侣初创公司Channel AI、图像视频生成公司Civitai,以及角色扮演平台Dippy AI和Moescape。
从合规成本到产品差异化优势
“安全实际上可以成为产品的一个优势。”莱文森对TechCrunch表示,“它之所以从未被视为优势,是因为总是事后补救而非构建于产品中。我们看到客户正以创新方式使用该技术,使安全成为差异化因素及产品故事的一部分。”
Tinder信任与安全负责人近期解释,该约会平台使用此类LLM驱动服务实现了检测准确性10倍提升。Amplify Partners普通合伙人Lenny Pruss表示:“随着LLM成为每个应用核心,内容审核挑战更加艰巨。我们投资Moonbounce,是设想客观、实时的护栏将成为每个AI中介应用的赋能骨干。”
第三方视角破解内部护栏失效困境
面对聊天机器人诱导脆弱用户自杀、图像生成器被用于创建非自愿裸体图像等法律与声誉压力,内部安全护栏失效已成责任问题。AI公司正倾向于寻求外部力量加强安全基础设施。
“作为用户与聊天机器人之间的第三方,我们的系统不会被上下文淹没。”莱文森说,“聊天机器人需记忆数万甚至数十万token,而我们只关注运行时规则执行。”
迭代引导:从拒绝到积极干预
莱文森与前苹果同事Ash Bhardwaj共同经营这家12人公司,后者曾在iPhone核心产品中构建大规模云和AI基础设施。其下一重点是“迭代引导”(Iterative Steering)功能,旨在应对如2024年佛罗里达14岁男孩因痴迷Character AI聊天机器人自杀等案例。
当有害话题出现时,该系统不会简单拒绝,而是拦截对话并重新定向,实时修改提示词,推动聊天机器人做出更具支持性的回应。“我们希望将引导聊天机器人向善的能力加入工具包,本质上是通过修改用户提示词,迫使聊天机器人不仅富有同理心,更能在关键时刻提供切实帮助。”莱文森说。
开放愿景:拒绝技术封锁
谈及退出策略是否涉及被Meta等公司收购以实现闭环,莱文森坦言虽知Moonbounce能融入前雇主体系,但作为CEO负有信义义务。“我的投资者听到这话可能会生气,但我真不希望看到有人收购后将技术封锁起来,让别人无法受益。”他说。

