英伟达（Nvidia）推出了一款名为Chat with RTX的工具，允许GeForce RTX 30系列和40系列显卡用户在Windows PC上离线运行AI聊天机器人。
该工具支持用户按OpenAI ChatGPT的方式定制GenAI模型，并连接本地文档、文件和笔记进行查询。英伟达表示：“用户无需翻阅笔记或保存的内容，只需输入查询即可。”例如询问“伴侣在拉斯维加斯推荐了哪家餐厅？”，Chat with RTX会扫描指定本地文件并提供带上下文的回答。
Chat with RTX默认采用Mistral开源模型，也支持Meta Llama 2等其他文本模型。需注意下载必要文件将占用50GB至100GB存储空间。
目前支持文本、PDF、.doc、.docx和.xml格式。将应用指向包含受支持文件的文件夹即可加载到微调数据集；此外还可接受YouTube播放列表URL，加载视频转录内容供模型查询。
英伟达在操作指南中说明了以下局限性：
- 无法记住上下文：回答后续问题时不会考虑之前的提问。例如先问“北美常见的鸟类是什么？”再问“它的颜色有哪些？”，Chat with RTX将不知道仍在谈论鸟类。
- 回复相关性受限：受问题措辞、模型性能及微调数据集大小等因素影响。询问涵盖多份文档的事实通常比要求总结文档效果更好；数据集规模增大或提供更多特定主题内容有助于提升回复质量。
因此，Chat with RTX更像玩具而非生产环境工具。但简化本地运行AI模型的应用确有價值，这也正成为日益流行的趋势。
世界经济论坛预测，能离线运行生成式AI（GenAI）模型的平价设备（包括PC、智能手机、IoT设备和网络设备）将迎来显著增长。原因在于：离线模型不仅更具隐私性——数据永不离开设备——而且相比云端托管模型具有更低延迟和更高成本效益。
当然，普及运行和训练模型的工具也为恶意行为者提供了便利，简单搜索即可找到针对毒性内容微调的模型列表。但倡导者认为其益处大于危害，我们拭目以待。