OpenAI的ChatGPT首个开源替代品已经问世，但想在你的笔记本电脑上运行它——或者甚至能运行起来——恐怕没那么容易。
本周，负责逆向工程包括Meta的Make-A-Video在内的闭源AI系统的开发者Philip Wang发布了PaLM + RLHF，这是一个行为类似于ChatGPT的文本生成模型。该系统结合了来自Google的大型语言模型PaLM以及一种称为“基于人类反馈的强化学习”（简称RLHF）的技术，从而构建出一个能够完成ChatGPT几乎任何任务（包括起草邮件和提供计算机代码建议）的系统。
但PaLM + RLHF并非预训练模型。也就是说，该系统尚未在网络上必要的示例数据进行过训练，因此无法直接投入使用。下载PaLM + RLHF并不会让你获得类似ChatGPT的体验——这需要编译数十亿字节的文本供模型学习，并找到足够强大的硬件来处理训练负载。
与ChatGPT一样，PaLM + RLHF本质上是一个用于预测单词的统计工具。当输入大量来自训练数据的示例（例如Reddit帖子、新闻文章和电子书）时，PaLM + RLHF会根据周围文本的语义上下文等模式，学习单词出现的可能性。
ChatGPT和PaLM + RLHF都拥有一种特殊的“秘制酱料”，即基于人类反馈的强化学习（Reinforcement Learning with Human Feedback），这是一种旨在使语言模型更好地符合用户期望目标的技术。RLHF涉及训练一个语言模型——在PaLM + RLHF的情况下是PaLM——并在包含提示（例如，“向六岁孩子解释机器学习”）以及人类志愿者期望模型回答的内容（例如，“机器学习是人工智能的一种形式……”）的数据集上进行微调。随后，这些提示被输入到微调后的模型中，模型会生成多个回答，志愿者对所有回答从最佳到最差进行排名。最后，这些排名用于训练一个“奖励模型”，该模型根据原始模型的回答进行排序，筛选出针对特定提示的最佳答案。
收集训练数据是一个昂贵的过程。而训练本身也不便宜。PaLM拥有5400亿个参数，“参数”指的是从训练数据中学习到的语言模型部分。一项2020年的研究指出，开发一个仅含15亿参数的文本生成模型的费用高达160万美元。而要训练拥有1760亿参数的开源模型Bloom，使用384块Nvidia A100 GPU耗时三个月；单块A100的成本就高达数千美元。
运行与PaLM + RLHF规模相当的已训练模型也并非易事。Bloom需要一台配备约八块A100 GPU的专用电脑。云解决方案价格昂贵，粗略估算显示，在单个Amazon Web Services实例上运行拥有约1750亿参数的OpenAI文本生成模型GPT-3，年成本约为87,000美元。
AI研究员Sebastian Raschka在一篇LinkedIn帖子中指出，扩大必要的开发工作流规模也可能成为一项挑战。“即使有人为你提供500块GPU来训练这个模型，你仍然需要处理基础设施问题，并拥有一个能够应对这种规模的软件框架，”他说。“这显然是可行的，但目前的投入非常大（当然，我们正在开发使这一过程更简化的框架，但目前仍非易事）。”
总之，PaLM + RLHF目前不会取代ChatGPT——除非有资金雄厚的初创企业（或个人）费心进行训练并向公众开放。
好消息是，其他几个复制ChatGPT的努力正在快速推进，其中包括由一个名为CarperAI的研究小组领导的项目。CarperAI与开源AI研究组织EleutherAI以及初创公司Scale AI和Hugging Face合作，计划发布首个经过人类反馈训练、可直接运行的类ChatGPT AI模型。
LAION这家为非营利组织提供了用于训练Stable Diffusion的资源，也是牵头一个利用最新机器学习技术复制ChatGPT的项目。LAION雄心勃勃地旨在构建“未来的助手”——它不仅会撰写电子邮件和求职信，还能“完成有意义的工作、使用API、动态研究信息等等”。该项目目前处于早期阶段，但几周前一个包含该项目资源的GitHub页面正式上线。