尽管备受瞩目，但像OpenAI GPT-4这样的文本生成AI模型仍会频繁出错，甚至产生危害。The Verge曾将其形容为“情感操纵型骗子”，这恰是现状的真实写照。
相关公司虽通过过滤器和人工审核等措施试图解决问题，但目前尚无万能方案。即便是顶尖模型，仍易受偏见、有害内容及恶意攻击影响。
为打造更安全的文本生成模型，英伟达（Nvidia）今日发布开源工具包NeMo Guardrails，旨在提升AI应用的准确性、恰当性、切题度及安全性。
核心功能与适用场景
Nvidia应用研究副总裁Jonathan Cohen表示，该系统研发多年，约一年前才确认其适配GPT-4和ChatGPT等模型。他强调，AI安全工具对企业级部署至关重要。
Guardrails提供代码、示例及文档，可为生成式文本及语音AI应用增加安全层。该工具包兼容多数生成式语言模型，开发者仅需几行代码即可创建规则。
具体而言，Guardrails可防止模型偏离主题、输出不实信息或使用有毒语言，并阻断与不安全外部来源的连接。例如，限制客服助手回答天气问题，或阻止搜索引擎聊天机器人链接至声誉不佳的学术期刊。
Cohen指出，开发者可通过Guardrails自定义内容边界，根据用例调整护栏的宽严程度。
局限性与商业考量
然而，通用解决方案并非完美无缺。尽管Zapier等公司已采用该工具增强安全性，但英伟达承认其无法捕捉所有问题。
此外，Guardrails在配合指令遵循能力强且基于LangChain框架构建的模型时效果最佳，部分现有开源选项可能不适用。
值得注意的是，Guardrails作为英伟达NeMo框架的一部分，可通过企业AI软件套件及托管云服务获取。虽然开源版本免费，但英伟达显然更倾向于推广付费托管服务。
综上，使用Guardrails虽有益处，但它并非万能灵药。面对厂商宣传，用户应保持理性与警惕。