当今最强大的文本生成式 AI 模型也是最容易出错的模型。
目前已有充分证据表明，文本生成模型会产生幻觉（即捏造事实），并受到性别歧视、英语中心主义和种族主义等偏见及有害内容的影响。例如，若缺乏足够的过滤机制，OpenAI 的旗舰模型 GPT-4 可能会提供自我伤害建议、合成危险化学品指南或撰写族裔侮辱性言论以规避社交媒体审核。
显然，这些风险对于希望将模型集成到应用和服务中的企业而言是禁忌。Gartner 最近的一项调查显示，58% 的公司担心模型输出不正确或存在偏见；类似比例的公司则担忧模型泄露机密信息——这也是文本生成模型的另一个臭名昭著的特征。
Atla：为高风险领域构建 AI“护栏”
尽管 AI 模型的研发仍在继续，但对于急于部署现有模型（尤其是开源模型）的公司来说，像 Atla 这样的初创公司应运而生。Atla 由 Maurice Burger 和 Roman Engeler 联合创立，正致力于为“高风险”领域的文本分析和生成模型构建所谓的“护栏”。
Burger 此前曾联合创立开发基于 AI 电商库存软件的 Syrup Tech；Engeler 则是斯坦福大学的前 AI 研究员，专注于研究文本生成模型及其存在性风险。
Burger 表示，Atla 的使命是通过提高真实性、减少危害性并增强可靠性来构建更安全的 AI 系统。该公司的首款产品是与大众汽车（Volkswagen）和 N26 团队合作训练的法律研究模型，该模型在回答问题时会引用“可信”法律来源的引文。
为何首选法律研究 AI？
Burger 指出，这一选择源于显而易见的需求。为避免错误，企业法律顾问往往依赖外部律师事务所，但这既昂贵又耗时。法律专业人士花费数小时审阅数十份文件以回答一个问题并不罕见，而理论上，一个可靠的 AI 系统可以大大减轻这一负担。
Burger 在声明中表示：“我们对生成式 AI 的巨大潜力以及推动 [文本分析] 模型可靠性极限的挑战感到兴奋。在 Atla，我们致力于创建更安全的 AI 系统，这些系统设计用于在高 stakes 情况下可靠地运行。”
融资与未来展望
这是一个合理但雄心勃勃的目标。Atla 很少透露其让 AI 系统变“安全”的具体技术手段。鉴于像 Anthropic 这样资金雄厚且备受瞩目的安全导向型 AI 公司都难以显著减少偏见和幻觉，Atla 面临的挑战可谓艰巨。此外，Protect AI、Fairly AI、Kolena 以及近期从隐身状态走出的 Vera 和 Calypso 等公司也都在致力于构建更安全的文本生成 AI。
尽管如此，Atla 仍成功吸引了投资。今天，Atla 宣布在由 Creandum 领投的种子轮融资中获得 500 万美元资金，Y Combinator 和 Rebel Fund 也参与了此次投资。
Creandum 合伙人 Hanel Baveja 通过电子邮件表示：“从最初的互动中，我们就对 Maurice 和 Roman 的雄心、不懈的工作态度和深厚的 AI 专业知识印象深刻。我们很高兴加入 Atla 团队，共同致力于在最重要的领域构建可靠、安全且值得信赖的 AI 应用。”