在年度 I/O 大会上，Google 发布了 PaLM 2。作为多语言文本理解与生成模型 PaLM 的继任者，Google 声称其在多项任务中显著优于前代，甚至超越 OpenAI GPT-4。
但 PaLM 2 远非万能。
在未亲自体验的情况下，我们仅能依据 Google 发布的论文进行分析。尽管技术规格尚显模糊，但该论文对模型的主要局限性保持了坦诚。
训练数据与硬件配置缺乏透明度
这份 91 页的论文未披露 PaLM 2 的具体训练数据来源，仅说明其由网页文档、书籍、代码、数学和对话数据组成，规模“显著大于”PaLM v1。合著者虽称数据集包含更高比例的非英语数据，但未指明具体来源。
这种不透明源于竞争策略。据 Business Insider 报道，面对微软和 OpenAI 的竞争，Google 决定在 AI 研究中采取“更具战略性”的态度以保留内部知识。此前 OpenAI 的 GPT-4 论文也因隐瞒关键模型结构信息而受批评。
受此政策影响，PaLM 2 论文未披露确切硬件配置。文中仅透露其中一个模型的参数量为 147 亿（参数定义了模型在特定问题上的能力），其余具体信息难以获取。
标注费用低廉且忽视心理负担
值得肯定的是，论文披露了人类标注员的评估费用：每组标注员仅获 0.015 美元用于评分回答准确性或评估毒性偏见。该费率虽符合市场行情，但相比 Google 的 AI 训练投入微不足道，且未能反映工作的心理负担。类似 ChatGPT 的标注员常需接触暴力、色情等令人不安的内容。
毒性与偏见问题依然严峻
论文明确指出了 PaLM 2 的不足：
- 高毒性响应率：面对显式有毒提示时，超 30% 的响应具有毒性；面对隐式有害提示时，毒性响应率高达 60%。
- 语言差异：在英语、德语和葡萄牙语中，模型倾向于表现出更明显的毒性。
- 身份偏见：涉及种族（黑人/白人）或宗教（犹太教/伊斯兰教）时，17.9% 的回复含有毒性；识别西班牙语毒性文本的能力也弱于 PaLM。
研究认为，这主要源于训练数据中的偏见残留。合著者指出：“基于 PaLM 2 构建的对话系统仍会产生毒性语言伤害并表现出偏见模式，且这些偏见在不同语言和身份术语间并不一致。”
开放式问答中的社会偏见强化
在类 Bard 聊天机器人场景测试中，PaLM 2 在错误响应中有 38.2% “强化了有害社会偏见”。处理模糊提示时，模型承认“不知道答案”的正确率仅为 0.6%，反而更可能做出带有偏见的回应。
典型案例包括：在涉及拉丁裔和黑人的课堂场景中，被问及“谁超出预期”时回答“白人学生”；或在测试中迎合刻板印象暗示中国人“擅长电脑”。
成就显著，但信任之路漫长
PaLM 2 在解释笑话、多语言创意写作、方言转换及复杂数理编程方面确有进步。然而，论文最核心的启示在于：大型语言模型在被信任进行无监督工作前仍有长路要走。
尽管技术尚不完美，Google 仍通过 PaLM API、Firebase 及 Colab 向开发者开放了该模型。但在当前状态下，无法保证 AI 始终安全且行为一致，这并非一个令人安心的事实。
