大数跨境

OpenAI正在测试一款能够“记住”长对话的GPT-4版本

OpenAI正在测试一款能够“记住”长对话的GPT-4版本 海外洞察
2023-03-14
0
导读:OpenAI 正在测试一个具有更大上下文窗口的 GPT-4 版本,使其能够“记住”比标准版更多的对话内容。

OpenAI 推出了新版 GPT-4,得益于大幅扩展的上下文窗口,该模型能够“记住”约 50 页内容。其信息承载量是普通版 GPT-4 的五倍、GPT-3 的八倍。

OpenAI 联合创始人兼总裁 Greg Brockman 在演示中表示:“该模型能灵活处理长文档,我们期待这将催生更多创新应用。”

上下文窗口的关键作用

在文本生成 AI 中,上下文窗口指模型生成新文本前所参考的内容范围。尽管 GPT-4 等模型通过海量数据训练习得写作能力,但受限于窗口大小,单次仅能处理少量文本。

窗口较小的模型易“遗忘”近期对话或初始指令,导致偏离主题或行为失控。前苹果工程师艾伦·派克指出:“模型会忘记你的个人偏好与背景信息。长期交互后,缺乏中期记忆的缺陷将暴露无遗,破坏沉浸感。”

扩展窗口带来的体验升级

虽然 gpt-4-32k 版本尚未全面开放(OpenAI 正按容量分级处理请求),但更大“记忆”意味着模型可维持数小时乃至数天的连贯对话,且不易因提示词覆盖而丢失安全设定。

上下文窗口是确保模型保持现实基础的核心要素。随着技术迭代,其对实际应用的影响将日益显著。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14179
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读975
粉丝0
内容14.2k