让生成式AI胡编乱造、输出虚假信息，其实并不需要太多条件。上周微软和谷歌的聊天机器人在超级碗比赛开始前就宣布了获胜者，这便是一个例证。然而，真正的麻烦始于生成式人工智能的“幻觉”变得有害时——支持酷刑、强化民族和种族刻板印象，以及令人信服地撰写关于阴谋论的文章。
越来越多的供应商，包括英伟达、Salesforce等老牌企业以及CalypsoAI等初创公司，都推出了声称能够缓解生成式AI中不良、有毒内容的产品。但这些产品都是黑盒；除非逐一独立测试，否则根本无法了解这些旨在对抗幻觉的产品之间有何差异，也无法确定它们是否真的兑现了承诺。
Shreya Rajpal认为这是一个重大问题，于是创立了一家公司Guardrails AI试图解决这一问题。“大多数组织都在负责任地部署AI应用方面面临同样的问题挣扎，并努力找出最佳且最高效的解决方案，”Rajpal在邮件采访中对TechCrunch表示，“他们往往在管理对其重要的各类风险时，不得不重新发明轮子。”
正如Rajpal所指出的，调查表明复杂性进而导致风险是阻碍组织拥抱生成式AI的主要障碍。英特尔子公司Cnvrg.io最近进行的一项民意调查发现，合规与隐私、可靠性、高昂的实施成本以及缺乏技术技能是约四分之一的实施生成式人工智能应用的公司所共有的担忧。在风险管理软件提供商Riskonnect进行的另一项调查中，超过一半的高管表示担心员工会基于生成式人工智能工具提供的不准确信息做出决策。
Rajpal此前曾在自动驾驶初创公司Drive.ai工作，并在苹果特别项目组收购Drive.ai后，与Diego Oppenheimer、Safeer Mohiuddin和Zayd Simjee共同创立了Guardrails。Oppenheimer曾领导机器学习运营平台Algorithmia，而Mohiuddin和Simjee曾在AWS担任技术和工程负责人角色。
从某些方面来看，Guardrails提供的服务与市场已有的产品并无太大差异。该初创公司的平台作为生成式AI模型的包装器，特别是针对开源和专有（例如OpenAI的GPT-4）文本生成模型，使这些模型表面上更加可信、可靠和安全。
但Guardrails的不同之处在于其开源商业模式——平台的代码库在GitHub上免费提供使用——以及众包方法。通过一个名为Guardrails Hub的市场，Guardrails允许开发者提交称为“验证器”的模块化组件，以探测生成式AI模型的行为、合规性和性能指标。其他开发者和Guardrails客户可以部署、重新利用和重用这些验证器，作为定制生成式AI模型审核解决方案的基础模块。
Rajpal表示：“通过Hub，我们的目标是创建一个开放论坛来分享知识并找到最有效的采用AI的方法，同时建立一套任何组织都可以采用的可复用护栏。”Guardrails Hub中的验证器从简单的基于规则的检测到检测并缓解模型问题的算法不等。目前大约有50个，范围从幻觉和政策违规检测到专有信息和不安全代码的过滤器。
Rajpal说：“大多数公司会对脏话、个人身份信息等进行广泛的、一刀切的检查。”然而对于特定组织和团队来说，不存在关于什么是可接受使用的统一普遍定义。存在需要跟踪的组织特定风险，例如不同组织的通信政策各不相同。通过Hub，人们可以使用开箱即用的解决方案，或者将其用作强大的起点解决方案，根据自身需求进一步定制。
为模型护栏建立一个中心是一个引人注目的想法，但如果没有某种形式的补偿承诺，开发者是否会愿意为一个新兴平台做出贡献仍存疑。Rajpal持乐观态度，认为他们会这样做，至少是为了获得认可并无私地帮助行业朝着更安全的生成式AI发展。她补充道：“Hub允许开发者看到其他企业遇到的风险类型以及他们为解决和缓解这些风险所采取的护栏措施。这些验证器是这些护栏的开源实现，组织可以将其应用于自己的用例中。”
Guardrails AI目前尚未对任何服务或软件收费，最近在Zetta Venture Partners领投的种子轮融资中筹集了750万美元，Factory、Pear VC、Bloomberg Beta、GitHub Fund以及包括著名人工智能专家Ian Goodfellow在内的多位天使投资人参与了投资。Rajpal表示这笔资金将用于扩大Guardrails六人团队规模及开展更多开源项目。“我们接触了很多人，包括企业、小型初创公司和独立开发者，他们因缺乏必要的保障和风险控制难以顺利推出生成式AI应用，”她继续说道，“这是一个前所未有的新问题，其规模之大是ChatGPT和基础模型广泛普及所带来的。我们希望成为解决这一问题的先行者。”