Nvidia 发布了 Chat with RTX 应用的早期版本，支持用户在本地 PC 上运行个人 AI 聊天机器人。该工具可结合自有文档及 YouTube 视频使用，不仅能生成摘要，还能基于用户数据提供精准回复。
应用全程在本地运行，硬件要求为至少配备 8GB VRAM 的 GeForce RTX 30 或 RTX 40 系列 GPU。
Chat with RTX 主要功能
默认采用 Mistral 开源入门模型，同时支持 Meta Llama 2 等其他文本模型。根据所选模型不同，所需存储空间约为 50GB 至 100GB。
支持文本、PDF、.doc、.docx 及 .xml 格式文件，指向指定文件夹后会自动加载至微调数据集。此外，还支持通过 YouTube 播放列表链接上传视频转录内容，并允许用户对视频内容进行查询。
目前该工具存在一定局限：无法记忆上下文，回答后续问题时不会参考前序提问；回复相关性受问题句式、模型性能及数据集大小影响，通常更大的数据集有助于提升响应质量。
尽管 Chat with RTX 尚未达到市场头部水平，但其本地化运行特性具备重要价值：数据不出设备保障隐私，且相比云端模型成本更低、延迟更小。其未来市场定位仍值得关注。