论文标题: 《A Systematically Optimized Ranking Transformer for Industrial-scale Recommenders》
论文作者：Chunqi Wang，Bingchao Wu，Taotian Pang，Jiahao Wang，Jie Yang，Jia Liu，Hao Zhang，Hai Zhu，Lei Shen，Shizhun Wang，Bing Wang，Xiaoyi Zeng
论文链接：https://arxiv.org/pdf/2603.03988
1. 背景
长期以来，工业界精排模型受困于定制化的深度网络，碎片化结构限制了其对现代算力的吸收效率。在生成式大模型浪潮下，精排模型的演进不应仅是局部组件的堆砌，而应是一场深刻的“底层范式重建”。SORT 的核心创新在于：它并非简单套用大模型 Transformer 架构 ，而是构建一种具备稳定 Scaling 能力的工业界基座范式。该范式确保模型收益能随算力、参数和数据规模的扩张持续释放，打破传统架构的容量天花板。相较于激进的 One-Model 端到端全链路重构，SORT 聚焦于精排阶段的基座升级：在兼容工业级成熟分层漏斗架构的基础上，将大模型的极致表达力与大规模并行计算优势精准注入精排环节，实现工业级系统平滑、稳定的性能跃迁。
为了承载这一范式，SORT 从数据、模型、系统三个维度完成了深层重构，系统性地解决了传统精排模型的参数规模难以 Scaling 的瓶颈，实现排序精度与计算效能的实质性跨越。
- 数据重构：Request-Centric 范式
SORT 扭转了按“曝光样本”组织的传统逻辑，重构为以“请求”为中心（Request-Centric）的样本范式。
- 样本组织
： 实现一次请求内 N 个候选商品共享用户侧特征。 - 核心价值
： 这种转变消除了千亿级参数规模下的冗余计算，解决了用户长序列建模在训练与推理中的资源损耗，是 SORT 实现规模化落地的核心前提。
- 模型重构：解决规模与效率的矛盾
为了实现真正的“本体化”改造，SORT 针对精排场景深度定制了 Transformer 架构，在维持工业级响应延迟的同时，极大地释放了大规模参数的建模潜能：
- 稀疏计算优化（Local Attention & Query Pruning）
：通过空间与深度双维度的约束机制，空间维度上通过 Local Attention 实现复杂度的近线性化，打破长序列计算瓶颈；深度维度上利用 Query Pruning 实现逐层的动态剪枝，确保算力精准投放在高价值交互上。 - 注意力机制优化（Special Tokens & Gate Attention & QK Norm）
：引入可学习的 Special Tokens 作为“注意力汇聚锚点”，并配合 QK Norm 与 Attention Gate，在增强异构输入感知力的同时，确保了大模型在大规模训练下的数值稳定性。 - 模型容量扩展（MoE 架构）
：采用 DeepSeek-style MoE 方案，实现了参数规模与计算开销的实质性解耦。在维持 FLOPs 基本不变的前提下，通过参数 Scaling 获得了极强的模式刻画能力。 - 表征增强（生成式预训练）
： 利用自回归信号提供的密集监督密度，对海量商品 Embedding 施加更强的结构先验，补足了排序标签天生稀疏的短板。
- 系统重构：全栈吸收算力红利
SORT 不仅是算法的创新，更是适配新一代并行硬件的高性能工程基座。
- 工业级高效训练引擎
：针对稀疏模块引入多进程组通信机制以隐藏 I/O 延迟，针对稠密模块开发通用稀疏算子实现内核级冗余剔除。通过算子融合与混合精度等策略，显著提升了端到端的训练速度与 MFU。 - 极致高性能推理体系
： 依托 AOTInductor 静态图编译与定制化内核设计，深度融合算子并集成 KV Cache、多流执行等大模型加速技术。在实现模型表达上限跨越式提升的同时，大幅降低了推理延迟并显著增强了单机吞吐能力。
SORT 不仅在业务场景上取得了显著提升，而且极大降低了线上推理的资源和耗时，为未来实现更大规模的参数 Scaling 打开空间。
2. 数据重构:Request-Centric 范式
在工业级排序系统中，样本组织效率直接决定了系统的吞吐上限。SORT 通过将组织单元从“曝光”提升至“请求”，重塑了数据与特征的交互模式。
2.1. 样本组织
- 从曝光到请求的聚合
：将样本的组织单元从"单个候选商品"聚合至"单次请求"。用户静态画像特征与用户行为特征在物理存储上的单次实例化，消除了相同请求内样本间的冗余数据。 - 多类型行为序列融合
：通过附加"行为类型"标签，统一建模不同类型的交互行为，并按时间戳进行对齐。
2.2. 样本特征
在请求粒度的样本组织范式下，样本中使用的特征主要包括用户行为序列 、用户画像特征 、候选商品特征 三大类；
3.模型重构：解决规模与效率的矛盾
SORT 整体基于 Transformer 骨干，但并未直接照搬标准的大模型架构。核心原因在于推荐排序虽然同样处理长序列输入，却并不具备语言任务那种密集、均匀的监督信号：排序的监督往往高度集中在候选商品上，用户历史序列更多承担上下文作用。若直接采用标准 Transformer，一方面会在大量低相关历史 Tokens 上消耗过多算力，另一方面也容易出现注意力分配扩散、训练过拟合等问题。基于这一观察，我们对模型的设计遵循一个核心原则：让模型更聚焦于真正重要的交互，减少无效计算和噪声干扰，并通过更契合任务特性的结构设计和训练信号支撑更大规模的参数学习。围绕这一原则，我们从基础架构、计算优化、注意力机制优化、表征增强、容量扩展几个方面进行了系统设计与优化。
3.1. 基础架构：适配请求级样本组织的 Transformer 框架
整体架构分为Tokenizer、线性映射层、Transformer Blocks，Ranking Head和损失函数，依次介绍各模块：
- 特征表征 (Tokenizer)：
对用户行为、画像与候选商品序列进行向量化处理。
- 维度对齐 (线性映射层)：
为确保不同来源的特征对联合计算，我们设计了特征域独立的映射层。用户画像、行为序列与候选商品分别通过各自的映射通道，统一对齐至相同维度，既保留了各域的独特性，又实现了跨域信息的标准化。 - 深度建模 (Transformer Blocks)：
通过叠加多个 Transformer Block 建模用户与商品间的交互模式。为适配“请求级聚合”范式，我们定制了 Attention Mask 策略，精确控制信息流向，包括以下三个有效区域：
- ①U2U (用户特征内部)：
模拟真实行为顺序，让序列仅能感知历史，锁定兴趣演进路径。 - ②C2U (候选与用户特征之间)：
让每个候选商品充分感知用户特征，实现精准的用户兴趣建模。 - ③C2C (候选序列内部)：
候选商品间相互隔离，确保排序打分相互独立，互不干扰。
- 决策输出 (Ranking Head & 损失函数)：
通过 Ranking Head 输出点击、加购、支付分，并配合 BCE 损失函数进行优化。
3.2. 稀疏计算优化：压缩冗余计算，聚焦高价值交互
在推荐排序中，标准 Transformer 中的全局注意力机制在长序列上表现出明显的低效性：它无差别地在大量弱相关、远距离的历史 Tokens 上消耗算力，不仅导致计算冗余，更引入了干扰噪声。
基于“近期行为更精准反映当前兴趣”的假设，我们设计了空间与深度双维度的约束机制：
- 层内约束（Local Attention）
： 针对单层计算，将注意力限制在局部滑动窗口内。在保留必要长程关联的前提下，将资源优先分配给价值更高的近邻交互。 - 跨层约束（Query Pruning）
： 针对深层网络，随 Transformer Block 堆叠逐层缩减用户侧 Query 规模，实现兴趣表达的递进式凝练。
核心本质： 这种设计通过单层稀疏化与跨层约束的结合，将有限算力从低价值噪声中剥离，重新聚焦于决定排序决策的核心交互。
3.2.1. Local Attention
我们设计 Local Attention 旨在消除 Attention 层内的冗余计算。通过在空间上划定确定的可见范围 ，限制无意义的长距离交互，确保计算的稀疏性与高效性。在常规 Attention 公式中引入掩码矩阵 ：
其中， 定义了特征间的交互边界：
与基础架构中设计的掩码不同，我们重点优化了 U2U (用户特征内部) 区域，即下图中的区域①，通过局部与全局的兼顾，在节省算力的同时精准捕捉用户兴趣：
- 局部建模（强化近期兴趣）
： 基于近期行为重要性更高的先验，引入滑动窗口机制。仅保留当前商品与邻域内前缀商品的交互，大幅减少无效计算并聚焦实时兴趣。 - 全局关联（保留长程感知）
： 为了不丢失长期偏好，我们在稀疏掩码中保留了最近交互商品与远距离历史行为的关联路径，确保模型具备全局视野。
(a) 原始的Attention Mask
（b）Local Attention的Attention Mask
Local Attention 将计算复杂度从 从 O(L²) 降至 O(mL)（m 为滑动窗口大小），攻克了超长序列（如 4K）下的算力瓶颈。实验证明，该机制实现了精度与性能的“双赢”：在 CTR-AUC 和 CTCVR-AUC 分别提升 0.10% 与 0.06% 的基础上，模型 FLOPs 显著下降了 6.97%。这有力地验证了通过空间约束实现高效建模的可行性。
3.2.2. Query Pruning
Local Attention 优化了单层内部的计算效率，Query Pruning则是一种跨层级的深度压缩策略。通过在 Transformer Block 堆叠过程中逐层缩减 Query 规模，该机制能够显著缓解深层模型处理长序列时的算力瓶颈。Pruning过程仅针对用户特征侧（历史序列与画像），确保候选商品信息不丢失。其核心形式化表达为：
表示第 层的Query向量的Pruning长度，我们设计了三种Pruning策略 以适配不同的信息提炼需求：
线性策略 (Linear)： 采用等差步长 均匀缩减。
指数策略 (Exp)： 通过衰减系数 实现 Query 规模的非线性快速收束。
池化策略 (Pooling)： 在Pruning的同时，利用平均池化策略对被剔除区域进行信息聚合，保留全局特征。
Query Pruning 通过动态缩减每一层 Query 的向量规模，大幅降低了后续所有计算层的显存占用与算力开销。实验表明，当用户侧输出序列长度约束至 时，系统实现了效率与精度的双重突破：在ctr-auc和ctcvr-auc上分别提升0.21%和0.04%，计算量削减了近一半（从 43G FLOPs 降至 24G FLOPs）。在实际模型训练中，融合QueryPruning策略后，模型的训练速度能达到基线模型的2倍以上。
3.3. 注意力机制优化：异构感知与训练稳定性
推荐系统输入包含历史行为、用户画像及候选商品，具有强异构性。在缺乏显式结构引导时，模型难以辨别不同区域的语义角色，导致注意力分配混乱。为此，我们通过显式引导与数值约束优化了建模模式：
- 结构化先验（Special Tokens）
： 在 Tokenization 阶段显式标记特征区域边界。这不仅帮助模型建立结构感知，更能作为“注意力汇聚点（Attention Sink）”吸收冗余权重，为用户与商品交互留出纯净的注意力空间。 - 精细化约束（Attention Gate & QK Norm）
： 引入动态门控与数值归一化，对注意力权重进行细致调节。
这些优化共同增强了模型对异构长序列的适配能力，显著提升了大规模训练场景下的优化稳定性。
3.3.1. Special Tokens
我们引入可学习的 Special Tokens 作为异构特征域的边界，通过显式结构标记引导模型的注意力分配：
其中， 为可学习的Special Tokens。
这些 Special Tokens 不仅提供了结构化先验，更在注意力计算中充当了关键的“承接节点”。可视化热力图证实， 能够吸收显著的冗余权重，通过对非关键注意力冗余分量的有效分担，使核心 Token 之间的交互更加聚焦。实验结果表明，在参数量与 FLOPs 保持不变的情况下，该方案实现了 CTR-AUC 提升 0.33%、CTCVR-AUC 提升 0.20% 的显著增益。
（a）w/o Special Tokens 的Attention可视化
（b）w/ Special Tokens的Attention可视化
3.3.2. Attention Gate & QK Norm
Attention Gate 充当了可学习的动态开关，通过 Query 表征生成的门控向量 ，对注意力输出进行逐元素缩放 实现了对不同维度信息的精准调节与动态过滤，带来 0.21% 的 CTR-AUC 提升。
同时，针对深层模型在长序列下易出现的训练波动，QK Norm 通过在计算注意力分数前对 Query 和 Key 应用 RMSNorm，有效抑制了极端异常值导致的数值溢出。可视化结果显示，引入 QK Norm 后，注意力 Logit 曲线告别了剧烈的高频抖动，呈现出更规律的随距离单调衰减趋势。这一稳定性增强方案在确保模型稳健优化的同时，贡献了 0.12% 的 CTR-AUC 增益。
横轴为 Query 与 Key 位置的相对距离 ，纵轴为归一化注意力 Logit 值
3.4. 模型容量扩展：参数规模与计算量的实质性解耦
为在可控计算预算下扩展模型表达上限，我们采用 MoE（Mixture-of-Experts） 架构重构 FFN 层。其核心价值在于通过专家网络实现模型参数规模与单次前向计算量的解耦：
其中，门控网络 负责为每个输入 Token 动态筛选前 k 个专家（Top-K 策略）：
在具体实现上，借鉴DeepSeek-style MoE方案，结合共享专家与路由专家。该设计在无需额外调节负载均衡辅助损失的前提下，有效提升了收敛效果；同时对 MoE 模块保留 FP32 精度，确保了大规模参数训练的稳定性。
引入 MoE 后，模型总参数量由 18M 跨越式提升至 83M。在计算开销（43G FLOPs）保持恒定的前提下，CTR-AUC 与 CTCVR-AUC 分别实现了 0.19% 与 0.06% 的稳步增长。这验证了 MoE 架构在不增加推理成本的情况下，通过提升模型容量来突破表达上限的卓越能力。
3.5. 表征增强：以自回归预训练补齐精排监督信号短板
工业级排序模型面临核心矛盾：商品参数规模巨大（十亿级）与有效监督信号稀疏（仅限点击/转化）。仅靠排序任务的端到端训练，难以对海量商品 Embedding 形成充分约束，导致模型极易过拟合。
为此，我们引入 GPSD[2-4] 预训练策略，通过“生成式预训练+稀疏冻结”弥补监督信号的先天不足：
- 全词表生成式预训练
： 基于用户行为序列进行自回归预训练。相比排序任务仅针对单个候选的监督，自回归训练为每一步预测都提供了面向全词表的生成式信号，显著提升了标签信息密度，为商品表征注入了强有力的结构先验。 - 稀疏迁移与冻结（Sparse Transfer & Freeze）
： 将预训练捕获的商品表征迁移至排序模型，并在训练中锁定（Freeze）这部分参数。
实验显示，直接微调（Fine-tuning）预训练表征会因稀疏的排序信号产生“噪声污染”，导致效果不升反降（-0.13%）。而采取冻结策略后，模型能完美继承生成式阶段学到的丰富行为模式，CTR-AUC 绝对提升达 2.81%。此外，该策略使模型摆脱了对单轮 Epoch 的依赖，支持更稳定的多 Epoch 训练。
4. 系统重构：工业级高性能训推引擎
4.1. 训练系统
基于 RecIS框架[10] 框架构建，针对稀疏模块与稠密模块的性能瓶颈进行差异化优化：
- 稀疏模块优化
： 针对大规模人工特征带来的 I/O 吞吐与内存访问压力，在常规手段基础上引入了多进程组通信机制。该机制动态调度多个独立并行进程组的 Feature Embedding 通信任务，有效隐藏了通信延迟，提升了有效吞吐。 - 稠密模块优化
： 针对主流算子难以适配复杂稀疏掩码的问题，开发了通用稀疏注意力算子。通过分块计算与掩码预加载校验，使内核能直接跳过全掩码分块。同时结合了混合精度量化、梯度累计与 torch.compile等策略。 - 优化成果
： 端到端训练速度提升 2.44 倍，模型计算利用率（MFU）从 13% 提升至 22%。
4.2. 推理系统
通过torch.export和AOTInductor将动态图转换为静态图实现生产部署，并实施了以下性能优化：
- 稀疏注意力定制
： 针对多样化稀疏掩码设计高性能定制算子，最大限度减少掩码区域的冗余计算。该项优化使单机吞吐提升 16.7%，推理延迟降低 24.4%。 - 深度算子融合
： 整合自注意力机制内的线性层并融合细粒度算子，显著减少调度开销。该项优化使单机吞吐提升 10.9%，推理延迟降低 6.3%。 - 通用加速策略
： 引入 KV Cache、半精度浮点运算（FP16/BF16）、多上下文并行及多流执行等大模型领域优化技术，进一步提升推理效能。
5. 实验结果与分析
5.1. 实验参数
- 模型配置
： 6层 Transformer Block，Hidden State 为 512 维，4 个注意力头，Embedding 维度为 128。 - 数据策略
： 用户序列长度 1024，候选序列长度 20。遵循“全场域批量训练 → 单场域批量训练 → 单场域增量训练”范式。 - 训练细节
： 采用 BF16 混合精度与 AdamW 优化器。 - 训练策略
：为了快速追赶成熟的线上“老汤模型”，我们采取了“全场域预热 → 单场域适配 → 每日增量更新”的渐进式训练策略，实现从通用建模到业务适配的平滑过渡。
5.2. 离线指标 & 在线指标
5.3. 效率指标
在推理上，均大幅优于上一代基于深度学习的模型：
5.4. Scaling Law 验证
我们通过三组对照实验，验证了模型在资源投入增加时是否能持续带来效果提升，详细设置见论文：
- 数据规模（Data Scaling）
： 验证增加训练轮数（1至3个 Epochs）以及扩大数据覆盖范围（从单一场域扩展至全推荐场域）的影响。 - 模型规模（Model Scaling）
： 构建了从 Small（4层/256维）到 Large（12层/1024维）的不同参数版本。 - 序列长度（Sequence Scaling）
： 将用户历史行为序列的长度从 256 逐步延伸至 4096。
- 数据红利最显著
： 实验曲线显示，数据规模带来的收益斜率最为陡峭，意味着在当前阶段，增加数据量和训练轮数是提升模型效果最快、最有效的方式。 - 规模效应良好
： 随着模型参数量和序列长度的增长，模型性能均稳步上升，未出现瓶颈，证明了架构具备良好的 Scaling Law 能力。 - 长序列建模有效
： 序列长度扩展至 4096 仍能获得增益，这有力地印证了我们设计的“层内空间约束（Local Attention）与跨层裁剪（Query Pruning）”策略，确实能从超长历史中过滤噪声并提取出核心价值。
6. 总结与展望
通过 SORT 的研发与落地，我们成功实现了精排模型从传统架构向 Transformer 本体化的范式演进。通过对样本组织、架构创新（Local Attention、Query Pruning、MoE）及训推引擎的系统性重构，SORT 在多个核心场域验证了其卓越的表达能力与业务价值，证明了大模型技术重构精排模型的巨大潜力。
SORT 的成功落地仅是“Transformer 本体化”改造的第一步。未来，我们将沿着大模型技术演进的路径，持续深化以下维度的研究：：
- 算法层面
： 探索更高效的 Tokenizer、引入多步推理机制、并持续通过 MoE 与 Scaling Law 突破模型性能天花板。此外，我们将引入强化学习，以优化推荐系统的长周期价值。 - 工程层面
： 深化软硬协同优化，攻克超大规模模型在线上推理时的算力瓶颈，让更先进的生成式架构全面享受算力红利。
7. 参考文献
[1] Scaling Transformers for Discriminative Recommendation via Generative Pretraining
[2] DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models
[3] RecIS: Sparse to Dense, A Unified Training Framework for Recommendation Models
[4] Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
8. 关于我们
我们是阿里国际-智能技术-AE推荐算法团队，负责商品信息流、图文、短视频等众多场景的推荐，致力于用AI先进技术对商品&内容进行挖掘和理解，提升流量分发效率和用户体验，服务于全球200多个国家数十亿消费者。目前聚焦于新一代AI驱动下的推荐系统升级，涉及生成式召回、排序和推荐大模型的训练、推理及应用等。近年来，我们在前沿算法领域持续深耕，已在SIGIR、KDD等顶级学术会议发表了多篇高质量论文。也欢迎感兴趣的同学加入我们，共同开创AI推荐的新篇章。
点击上方名片，关注我们吧～