今天的人工智能系统所构建的内容，有一个充分的理由不值得信任。这并非关乎智能或人性的根本性质，也无关维特根斯坦式的语言表征概念，甚至与数据集中的虚假信息无直接关联。真正重要的是：这些系统无法区分“什么是正确的”和“什么看起来是正确的”。一旦理解AI将这两者视为大致可互换，一切便迎刃而解。
为何AI既迷人又不可信？
关于这一现象的讨论广泛而迷人，哲学家、语言学家、工程师乃至各行各业人士都在辩论“智能”与“语言”的本质。这种思想碰撞极具价值，但在日常交流中，当被问及“AI是否越来越聪明且可怕”时，从亚里士多德讲到《Attention Is All You Need》显然过于沉重。
为此，我总结了一个简单视角，有助于向非技术背景的朋友解释：为何这些系统既非常酷，又完全不可信，同时在特定领域依然有用。
理解AI的三个关键点
- 基于统计的内部地图：模型通过观察海量文本中词句间的关系，构建出展示数百万单词和概念如何关联的统计地图。诸如名词、动词、食谱等分类并非人为定义，而是自然涌现的使用模式。
- 本质是高级填空游戏：与传统软件不同，大语言模型未被专门教导“回答问题”。对它们而言，问题只是一系列单词。其运作机制类似于Mad Libs填空游戏，空白处通向API，每个输入要么得到解答，要么产生通用响应。
- 根本性的“自信”特质：模型在输出时表现出一种置信度（0-100）。例如猫识别AI，当置信度达到设定阈值（如85%）即判定为猫。但这种自信仅针对预测结果，而非事实本身。
核心结论：AI表达的是“看似正确”的把握程度
基于上述原理，关键问题在于：它究竟对什么感到自信？它不知道什么是猫，也不懂什么是问题，仅能识别训练数据节点间的统计关系。由于无法评估内容真伪，它无法对“知识”保持真正的自信。
人工智能正在表达的，是其答案“对用户而言看似正确”的把握程度。
这对猫检测器和GPT-4均适用。AI无法区分正误，只能预测一系列单词被接受为正确的可能性。因此，它应被视为世界上最博学的胡扯者，而非权威。它甚至不知自己在胡扯——它被训练去生成统计上“类似于正确答案”的响应，且为增强相似性，会说出任何内容。
AI不理解问题，故不知道答案。答案紧随问题之后，仅是因为统计分析显示该词序列最可能出现。无论指代是否真实，重要的是它们看起来像真实事物。正如AI能创作出具备莫奈风格特征但非真迹的画作，它在逼近事实性回答时，就像逼近《睡莲》一样。
注：此观点并非原创，本质上是对“随机鹦鹉”或“海底章鱼”现象的另一种阐释，相关警示早已被科技评论界指出。
应用场景与风险提示
在聊天机器人语境下，人们更容易直觉理解：模型理解的是词语关系而非事实概念，其回答是对答案的“艺术家印象”。其目标是令人信服地（convincingly）填补空白，而非正确地（correctly）填补。
当然，AI的答案有时确实正确。这是因为对于许多问题，“看起来最正确”往往就是正确答案。这正是其强大与危险并存的原因：语言灵活性使得近似事实的回答也能成立，甚至让虚构内容显得更真实。AI唯一关心的是答案读起来通顺。
这也引出了深层哲学讨论：这是否是知识？模型是否实现了某种智能？欢迎引入维特根斯坦！
同时，在真实性非关键关切的情境下，AI仍是得力助手。无论是克服写作障碍生成段落开头，还是编造濒危动物故事、创作宝可梦十四行诗，只要不要求反映现实，大语言模型都是乐意合作的伙伴——这也正是用户获得乐趣最多的场景。
心智模型：AI不惜一切增加可信度
AI何时出错极难预测。想象一个大陆规模的卡片目录，由机器人在百年间基于即兴原则组织更新。它能解答难题却错答简单问题，连创造者也无法解释原因。
未来或许会变，但在当下，请牢记这一心智模型：AI希望你相信它，并且会不惜说任何话来增加其可信度。