两年前发布的OpenAI功能强大但存在缺陷的GPT-3，或许是首个证明人工智能能够像人类一样（尽管不完美）写出令人信服文本的系统。其继任者很可能被称为GPT-4，预计最早在2023年问世。与此同时，OpenAI已悄然推出了一系列基于“GPT-3.5”的人工智能模型，这是此前未宣布的GPT-3改进版。
周三，ChatGPT正式亮相。这是一个经过微调的GPT-3.5版本，本质上是一个通用聊天机器人，能够参与包括编程、电视剧本和科学概念在内的各种话题讨论。
GPT-3.5的训练与核心优势
据OpenAI称，GPT-3.5是在2021年第四季度之前发布的文本和代码混合数据上训练而成的。它通过吸收海量互联网内容来学习语言关系。OpenAI并未直接发布完全训练好的GPT-3.5，而是利用它创建了多个针对特定任务进行微调的系统。其中，text-davinci-003模型能够处理比GPT-3更复杂的指令，在长篇写作和高质量写作方面表现明显更优。
OpenAI数据科学家Jan Leike表示，text-davinci-003与InstructGPT相似但不完全相同。它在人类偏好评分中得分更高，且生成有毒或偏见文本的风险更低，局限性也相对不那么严重。
该模型肯定仍然存在重要的局限性！我们之前博客文章中提到的几乎所有局限性仍然适用，但希望现在情况不那么严重或出现频率更低。
实测对比：理解力与内容质量提升
从轶事证据来看，text-davinci-003在理解请求背后的“上下文”并利用该上下文生成更好内容方面表现更佳，同时比GPT-3更少出现“幻觉”（即不一致或事实错误的陈述）。
1. 文案生成能力更强
在OpenAI Playground测试中，当输入“WeWork背后的哲学是什么？”时，基于GPT-3.5的text-davinci-003生成了关于协作环境、社会责任及社区导向的详细阐述。相比之下，基于GPT-3的text-davinci-002生成的内容虽然通顺，但在吸引力和深度上略显不足。
2. 博客文章结构更完整
在撰写“挑选沙发”的博客文章时，text-davinci-003提供了包含类型探讨、设计因素、预算匹配及维护建议的完整大纲。而GPT-3生成的内容则较为基础，语法正确性也较差。
3. 回答更复杂详尽
YouTube频道All About AI的实验表明，text-davinci-003在撰写人工智能历史时提到了艾伦·图灵等关键人物，而前代模型未能做到。此外，它对指令的理解更为细致，例如在创建视频脚本时会主动提供标题、描述、大纲等细节。
显著特征：输出冗长与创意增强
text-davinci-003/GPT-3.5输出的一个显著特征是冗长。Scale AI的分析发现，使用相同提示词，其生成的输出比前代长约65%。
尽管对部分用户可能用处不大，但该模型在创作歌曲、打油诗和押韵诗歌方面颇具娱乐性，甚至展现出类似抑扬格五步格的韵律概念。在幽默感方面，GPT-3.5也比GPT-3更巧妙，能给出双关语笑话或以Eminem风格解释Python代码，这些都是前代模型无法完成的任务。
技术原理与未来展望
GPT-3.5之所以在这些领域表现出色，主要归功于其训练方法。与InstructGPT类似，它引入了人类训练师反馈机制，通过评估和评分调整模型回答以匹配人类偏好。
当然，GPT-3.5并非完美。由于依赖统计规律而非真正的人类理解，它仍会“胡编乱造”，且对2021年之后的世界了解有限，安全措施也可能被规避。
尽管如此，GPT-3.5表明未来的GPT-4不一定需要巨大的参数量就能超越当今系统。新兴技术如网页浏览（类似WebGPT）可能被整合以获得更广上下文。此外，追求低参数模型也是出于成本考量——开发大模型的支出极其高昂，投资者最终期望看到回报。