大数跨境

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型

黄仁勋「每天都在用」的 Perplexity 开始重构 Attention,把「判断」做成了一个独立模型 AI科技评论
2026-11-13
5
导读:Decider v1.3:63 项分类任务准确率达 91.6%,对标 Jev 成本直降 61%。
Decider v1.3:63 项分类任务准确率达 91.6%,对标 Jev 成本直降 61%。

    作者丨郑佳美

    编辑丨岑   峰

                                                                                                       

近日,Perplexity 正式推出 Decider v1.3,将 AI 系统中的判断能力独立为一套专用模型。该版本在 63 项分类任务中准确率达到 91.6%,相比同类模型 Jev,成本大幅降低 61%。

此次更新的核心在于重构了模型处理判断任务的机制:同一份上下文可同时服务于多个问题,模型仅需一次前向传播即可输出各问题的答案概率。这一改进摒弃了过去反复调用大语言模型(LLM)、生成文本及解析结果的繁琐流程,将计算收敛至单次模型推理中。

为确保多问题共享计算时互不干扰,Perplexity 重新设计了注意力(Attention)机制,使共享状态能读取全部问题,同时限制问题间的直接信息交换。v1.3 版本新增 Locate 能力,可根据字段描述直接定位原文跨度,实现了判断与文本抽取架构的统一。

目前,该模型已集成至 Perplexity 生产系统。在内部安全审查中,其单日处理 7000 个 Agent 会话,累计读取 10 亿 token,并协助修复了 14 项规则。

一份上下文,承载多个判断任务

Decider 的输入由共享状态(State)和若干问题块(Question)组成。State 存储网页、文档或 Agent 执行记录,Question 则定义具体判断目标及候选答案。每个候选项映射到预定义标签 Token(如 A、B、C),特殊的 <|marker|> Token 用于标记答案读取位置。

模型处理时,提取 Marker 对应位置的隐藏状态,交由决策头计算各候选项分数并转换为概率分布。

决策头基于基础模型原有的语言模型输出层改造而成:保留候选标签对应的权重行,移除其余词表输出权重,并针对决策任务进行训练。原本用于计算下一个 Token 概率的输出层,由此转变为专门处理选项判断的模块。

该设计实现了任务定义与输出计算的分离。调用方通过自然语言描述问题并限定答案空间,模型则负责根据上下文计算各选项概率。情感分析、自然语言推理、意图检测、实体匹配、内容审核等任务均可采用同一套输入协议,无需为每种任务单独构建模型结构。

Perplexity 将数百个公开数据集转换为统一的训练格式。对于同一段长文本的多项判断,多个 Question 可纳入同一次前向传播,模型只需处理一份共享上下文。

需注意,增加问题仍会增加 Question Token 和注意力计算开销。Decider 节省的主要是长文本重复编码的成本,以及生成式模型逐 Token 解码和外部解析的费用。问题数量越多、共享文本越长,复用价值越显著。

此外,输出概率保留了业务策略调整空间。应用可根据误报、漏报的业务代价设置阈值,不同业务场景可使用不同门槛,无需重新训练决策模型。

多任务如何共享信息,互不干扰

确定输入协议后,核心挑战在于多个 Question 同时进入 Transformer 时的信息连接方式。Decider 以生成式 LLM 为骨干,将原有的因果注意力改为双向注意力,使 Token 能够读取完整输入,从而提升决策表现。

然而,双向注意力可能导致多个问题间出现不必要的信息交互。v1.2 版本采用完全互见模式,State 和全部 Question 相互读取,导致某个问题的表示可能受其他问题影响,调整问题组合时原有判断可能发生变化。

v1.3 引入隔离式问题注意力(Isolated Question Attention):State 可读取全部 Question,而每个 Question 只能读取 State 和自身 Token,无法直接读取其他问题。

在此结构中,State 不仅是原始文本容器,还承担跨任务信息汇聚作用。它在多层注意力计算中形成包含任务条件的上下文表示,每个 Question 通过 State 获取相关信息,同时保留自身的任务描述。

这种设计切断了 Question 之间直接传递局部表示的路径。虽然经过多层 Transformer 传播,问题间仍存在间接影响,但 Perplexity 选择控制直接注意力连接,以保留问题对上下文的条件作用,而非追求数学意义上的完全独立。

稳定性测试显示,在 372 道多项选择题上,改变选项顺序、标签映射和名称后,Decider v1.3 仅 0.27% 的问题发生语义答案变化,远低于 Jev 1.14 的 2.69% 至 4.84%。

从选项判断,到文本跨度抽取

针对需从原文中找出未知长度文本的任务,Decider v1.3 新增 Locate 功能,将输出扩展至文本跨度定位。该功能引入 <|locate|> Token、跨度头(Span Head)和 LoRA 适配器。

跨度头结合 Locate Token 与 State 中各 Token 的隐藏表示,对候选文本片段的起点、终点及配对关系进行评分,并为字段生成专属阈值。模型返回原文字符区间,下游程序可直接读取对应内容。

训练采用改进版 InfoNCE 目标,确保正确跨度分数高于阈值。当原文无对应字段时,模型抬高阈值以返回空列表。Perplexity 使用命名实体识别、PII 检测和抽取式问答数据训练 Locate,使模型理解字段含义与文本内容的关系。

为避免参数干扰,Locate 适配器保持独立,仅在文本定位任务中启用。主模型基于 Qwen3.8-27B,经大规模通用全量微调后,通过 LoRA 加入领域任务并进行视觉适配,最终对三个随机种子的权重取平均。

Flash 版本基于 Qwen3.5-4B,通过较大 Decider 蒸馏获得能力。学生模型拟合教师给出的完整概率分布,利用 KL 散度学习相对判断。评测显示,KL 蒸馏在泛化表现上优于标准交叉熵目标。

性能方面,Decider v1.3 在 63 项分类任务上的平均准确率为 91.6%,比 Perplexity 原有生产分类器高 6.54 个百分点;在 72 项检索任务中,逐点重排的平均 nDCG@10 达到 83.99,优于 Qwen3-Reranker-8B。

生产评估显示,Decider v1.3 与参考答案的一致性为 93.98%,略高于 v1.2 和 Jev 1.14。

判断,开始拥有独立计算架构

Decider 通过输入协议、隔离式注意力和 Locate 扩展,建立了从选项判断到文本定位的完整能力体系,旨在高效处理大量结构化判断。

尽管该架构在分类、检索重排和文本抽取上表现优异,但其实际收益仍取决于任务类型、上下文长度及部署成本。对于开放式推理和复杂规划,通用 LLM 仍具优势。

对于 Agent 系统,Decider 提供了一种分工思路:让通用 LLM 处理复杂理解与生成,将边界清晰的分类、筛选和评估交给专用模型。两者能否形成更优协作,还需结合真实工作负载中的延迟、资源消耗和任务表现进一步验证。

参考链接:https://www.perplexity.ai/en-GB/hub/blog/perplexity-decider

【声明】内容源于网络
0
0
AI科技评论
聚焦AI前沿研究,关注AI工程落地。
内容 9057
粉丝 0
AI科技评论 聚焦AI前沿研究,关注AI工程落地。
总阅读319.8k
粉丝0
内容9.1k