大数跨境

深度|对话 Anthropic 产品负责人:不懂评测的 AI 产品负责人,只是在假装做产品

深度|对话 Anthropic 产品负责人:不懂评测的 AI 产品负责人,只是在假装做产品 Z Finance
2026-08-22
7
导读:只有拥有前沿产品,才能拥有前沿模型

2023 年,Dianne Penn 加入 Anthropic 时,其产品团队仅五名工程师,API 业务由一人负责。彼时 OpenAI 已凭 ChatGPT 确立领先优势,Anthropic 尚在探索产品定位。三年后,作为 Anthropic 首位技术产品经理及现任 AI Research 与 Labs 团队产品负责人,Dianne 主导了从 Claude 2 到 Fable 的模型发布,并深度参与 Claude Code、MCP、Skills 等核心能力的孵化。

在最新一期 Lenny's Podcast 访谈中,Dianne 回顾了 Anthropic 从初创公司成长为前沿 AI 定义者的历程。她不仅探讨了模型能力的演进,更聚焦于核心命题:如何将模型能力转化为用户价值?AI 时代的产品经理究竟扮演何种角色?当构建变得容易,人类的核心竞争力何在?

以下是本次访谈的核心观点提炼:

1. 前沿模型必须依托前沿产品才能落地。Opus 4.5 的突破不仅源于模型能力提升,更得益于 Claude Code 等产品载体。缺乏合适的产品,用户无法感知前沿智能;缺乏强大的模型,产品则无法处理复杂任务。
2. 模型能力呈非线性涌现,评测是发现跃迁的关键。新能力可能已存在但未被察觉。持续评测不仅用于判断模型优劣,更是识别新兴能力及潜在产品机会的手段。
3. 评测即新的 PRD(产品需求文档)。AI 产品经理需将模糊的用户反馈转化为可复现、可衡量的测试任务,指导研究团队精准改进并验证效果。
4. 用户反馈往往掩盖真实问题。早期用户抱怨 Claude“不擅长遵循指令”,经拆解发现 80% 的问题集中在 JSON 输出错误。只有将抽象抱怨具体化,模型训练才有明确方向。
5. PRD 并未消失,但其职能正在转变。对于清晰的问题,评测可直接定义目标;对于模糊的机会或涉及多部门协作时,PRD 仍是统一方向的重要工具
6. AI 产品经理必须深入一线,关注每一个 Token。不了解模型真实表现、不亲自构建产品,便无法定义优秀的 AI 体验。资深管理者同样需直接使用模型并参与交付。
7. 产品设计需为未来更强的模型预留空间。需前瞻性地思考:若 Claude 8.0 问世,用户行为将如何变化?现有产品能否与之兼容?
8. 安全与对齐能增强而非削弱模型实用性。优秀的 AI 不应盲目顺从,而应在必要时提出异议、补充视角或纠正错误,从而辅助用户做出更佳判断。
9. AI 不仅能提升 IQ,亦能辅助 EQ。利用 Claude 准备困难对话、复盘管理方式,甚至基于《关键对话》创建专用 Skill,可帮助管理者更精准地表达与建立信任。
10. 未来稀缺的是判断力、领域经验与独立观点。当 AI 能生成海量方案时,决定“做什么”、“值得投入什么”及“结果是否足够好”,更依赖人类的长期积累与判断。
11. 组织协作能力是高速迭代的隐藏变量。Anthropic 的快速发布不仅源于技术突破,更得益于低自我、自下而上的文化,以及研究、产品与工程团队间的高度信任。

走进 Anthropic:从边缘追赶者到行业定义者

Lenny 邀请到 Anthropic AI 研究与实验室团队产品负责人 Dianne Penn。三年前,Dianne 作为公司首位技术产品经理加入时,产品团队仅有五名工程师。从 Claude 2 到 Fable,她参与了每一款模型的发布,并主导孵化了 Claude Code、MCP、Skills 及计算机使用等核心能力。

Lenny 回忆道,Anthropic 早期面临 OpenAI 的巨大领先优势,曾被视为难有机会。然而如今,Anthropic 年度经常性收入 reportedly 已达约 500 亿美元,展现出惊人的增长势头。Dianne 指出,塑造今日 Anthropic 的核心基因早在初期便已奠定:公司真正践行其使命与价值观,拥有强大的初创文化与自下而上的创新氛围。

Dianne 分享了早期的转折点——"Golden Gate Claude"项目。该项目源于可解释性研究中发现的“金门大桥”特征,团队在 24 小时内将其转化为产品体验。尽管触达用户有限,但这标志着 Anthropic 找到了独特的身份:能够以快速、创新的方式将研究成果转化为与众不同的用户体验。这种文化延续至今,工程师与设计师主动投入时间进行自下而上的探索,成为公司快速迭代的关键。

从 Opus 3.0 到 Opus 4.5:模型与产品的共生进化

回顾发展历程,Dianne 认为 Opus 3.0 的发布是首个重大转折。当时公司不足 200 人,跨团队协作确立了打造前沿模型的决心,并为后续研究团队与产品团队的深度信任奠定基础。随后,团队敏锐捕捉到编程场景的潜力,通过针对性训练使 Opus 3.0 在长代码生成上形成差异化,吸引了首批开发者社区。

Opus 4.5 则是另一个里程碑。Dianne 强调,其成功不仅在于模型智能的跃升,更在于拥有如 Claude Code 这样的卓越产品载体。“只有拥有前沿产品,才能让人们感受到前沿模型的神奇。”两者缺一不可:没有产品载体,模型能力无法被充分感知;没有强大模型,产品无法完成端到端的复杂任务。

面对 AI 技术的指数级增长,Dianne 指出适应能力至关重要。团队需运用第一性原理思考,及时调整策略而非固守原计划。例如,当模型能力提前达标时,便加速推进 Cowork、Skills 等产品上线。这种敏捷性与内部信任机制,使组织能跟上技术变革的步伐。

模型能力的涌现与评测驱动开发

模型能力的涌现往往是非线性的。Dianne 解释,随着算力和数据增加,模型会突然获得某些新能力(如从无法计算到可靠计算),但这些能力出现的确切时刻难以预测,必须通过评测(Eval)来发现。若缺乏完善的评测体系,能力跃迁可能已在后台发生却未被察觉,这将给安全与应用带来挑战。

因此,“评测即新的 PRD"成为 Anthropic 产品管理的核心理念。传统 PRD 描述功能需求,而在 AI 时代,产品经理需将模糊的用户痛点转化为可复现、可衡量的测试集(Eval Set)。例如,针对"Claude 不遵循指令”的反馈,团队深挖发现 80% 的案例实为 JSON 格式错误。通过构建包含 30-40 个失败案例的评测集,团队明确了改进方向,并在后续版本中将该指标提升至 99.9%。

PRD 并未完全消亡。在问题定义清晰时,评测可替代部分文档功能;但在涉及多方协作、目标模糊或需统一愿景时,PRD 仍是协调产品、工程、法务及安全团队的重要工具。

Labs 团队:探索不连续的颠覆性创新

Labs 团队专注于识别那些不在核心路线图上的“不连续押注”。其运作模式鼓励实验文化:对宏观方向保持坚定,对具体原型保持开放。团队规模小巧,成员具备极强的自主性与从 0 到 1 的探索精神。即使许多原型最终未转化为正式产品,其过程中的学习亦极具价值。正是这种机制,催生了 Claude Code、Skills 及 Claude Design 等创新成果。

研究与产品的深度融合

在 Anthropic,研究人员不仅关注算法优化,更怀揣改变软件工程等宏大愿景。产品团队的角色是深入研发循环,将用户反馈转化为研究人员可执行的语言。例如,将"Claude 产生幻觉”这一模糊反馈,拆解为工具调用失败、知识检索错误或对齐问题等具体场景,并设计相应评测以验证改进效果。这种紧密协作缩短了从用户痛点到模型优化的路径。

AI 时代产品经理的新胜任力

Dianne 指出,优秀 AI 产品经理首要具备第一性原理思维能力,即不拘泥于过往经验,而是基于当前技术与用户场景重新定义价值。其次,必须亲自动手。无论职级高低,管理者都需深入细节,亲自使用模型、阅读对话日志、构建工作流。只有亲手构建过 AI 产品的人,才能真正理解何为优秀的 AI 体验。

此外,保持好奇心与享受技术至关重要。实验不应是孤独的尝试,而应是团队共同的探索。通过与充满热情的同事结对,寻找实际痛点深入钻研,而非浅尝辄止地试用各种工具,方能在这个快速变化的领域中找到乐趣与成就感。

安全、对齐与人类判断力的未来

关于安全与对齐,Dianne 认为这非但不会限制模型,反而使其更有用。理想的 AI 助手应具备“建设性反对”的能力,在用户决策有误时提出异议或补充视角,而非盲目顺从。这种个性是模型实用价值的核心。

展望未来,随着 AI 生成内容日益普及,人类的竞争优势将集中于判断力、领域经验与独立观点。AI 可以生成无数方案,但决定“做什么”及“何为正确”仍需人类智慧。Dianne 建议,即便在与 AI 深度协作时,也应先形成独立观点,再将 AI 作为陪练来打磨思路,避免思维退化。

最后,Dianne 强调了组织协作与文化的重要性。在高速迭代的压力下,Anthropic 依靠低自我、高信任的团队文化,实现了“蜂巢思维”般的协作效率。成员间相互补位、共同承担,不仅是应对挑战的关键,也是避免倦怠、保持长期活力的源泉。

编译:Qihan Huang & Zeli Chen

原文来源:Lenny's Podcast - Why AI is going vertical(again) | Dianne Penn(Anthropic)

【声明】内容源于网络
0
0
Z Finance
我们相信认知能够跨越阶层,致力于为年轻人提供高质量的科技和财经内容。
内容 887
粉丝 0
Z Finance 我们相信认知能够跨越阶层,致力于为年轻人提供高质量的科技和财经内容。
总阅读97.6k
粉丝0
内容887