大数跨境

阿里国际智能技术多篇论文斩获SIGIR 2026、WWW 2026、WSDM 2026!搜推技术再获国际顶会认可

阿里国际智能技术多篇论文斩获SIGIR 2026、WWW 2026、WSDM 2026!搜推技术再获国际顶会认可 阿里国际智能技术
2026-04-24
0

SIGIR全称为ACM信息检索大会(ACM Special Interest Group on Information Retrieval),是国际计算机协会(ACM)主办的顶级学术会议,该会议研究方向涵盖了信息检索、推荐系统等领域,是展示该领域最新技术突破的关键平台。

WWW(The Web Conference)是由国际万维网联盟主办的全球顶级学术会议,会议致力于探索万维网的技术架构、数据挖掘、社会网络分析、信息检索、AI 融合及 Web3.0 等领域,是学术界与工业界交流创新成果的关键平台。

WSDM(网络搜索与数据挖掘国际会议)是由 ACM 主办的跨学科顶级学术会议,自创立以来已成为展示信息检索、推荐系统、数据挖掘最新研究成果的重要平台

近段时间阿里国际智能技术有多篇论文入选。在工业级推荐系统与电商搜索的专业领域中,我们精选了9篇收录论文。为了解决工业推荐系统的核心问题,在主流Dense判别式架构已触及天花板的情况下,如何通过架构创新、生成范式和大模型融合突破瓶颈。其中核心专业知识涵盖大语言模型与推荐系统融合、知识蒸馏及多模态特征建模等,阿里国际智能技术专注于将前沿AI技术落地到真实业务场景中实现效果与效率的双重提升。

1、稀疏筛选让推荐模型重新学会Scaling

《Beyond Dense Connectivity: Explicit Sparsity for Scalable Recommendation 》(SIGIR 2026)

  • 痛点推荐系统的主流backbone仍是Dense MLP,但我们在工业实践中发现了一个结构性矛盾:Dense MLP无法像LLM那样通过增加参数持续提升效果。对线上工业CTR模型的权重可视化显示:92%的连接权重被隐式压制到接近零,80%的权重能量集中在仅4%的输入维度上。这意味着模型在用绝大部分参数"学习如何不使用某些连接",名义容量大但有效容量极小,即使参数从60M堆到600M,新增权重大部分也被优化到近零。这表明不是推荐系统不需要大模型,而是Dense MLP这种架构本身无法消化更多参数。

图注:SSR框架由两个级联阶段组成——多视图稀疏筛选(Multi-view Sparse Filtering)和视图内稠密融合(Intra-view Dense Fusion)。

  • 解决方案我们提出SSR(Scalable Sparse Recommendation)框架,核心思想是将稀疏从训练的副产品提升为架构设计原则,采用"先稀疏筛选,再融合"(Filter-then-Fuse) 的两阶段范式。第一阶段通过显式稀疏筛选器从高维输入中筛选维度,提供两种策略:SSR-S(静态随机筛选,零FLOP,99.99%结构稀疏)和SSR-D(基于生物竞争机制的动态可微稀疏,~91%激活稀疏);第二阶段在筛选后的"纯净"低维子空间内做稠密非线性融合。核心理念是:不要让模型"学"稀疏,而是在架构层面直接"给"稀疏。

  • 结论AliExpress十亿级工业数据集上,SSR-S仅用约一半的参数和FLOPs即超越当前SOTA(RankMixer)。Scaling实验中,Dense MLP在参数增大后迅速饱和,而SSR-D在接近900M参数时仍保持持续上升趋势,成功打破密集架构的Scaling天花板。线上A/B测试中,SSR在CTR、订单量、GMV上均取得显著提升,且几乎不增加推理延迟。

2、电商预热阶段的延迟转化:反事实多任务学习方法

《Counterfactual Multi-task Learning for Delayed Conversion Modeling in E-commerce Sales Pre-Promotion》(SIGIR 2026)

  • 痛点:现有 CVR 预测大多关注“促销日”而忽略“促销前”阶段;促销前用户会频繁浏览/加购但刻意延后购买,导致促销前 CVR 显著更低,并出现“延迟转化”问题。促销前存在分布偏移(OOD shift):日常训练的 CVR 模型难以捕捉促销前的意图。延迟并非均匀分布在连续时间窗,而是主要集中在促销日,现有连续延迟建模方法假设失效。ATC(加购)与转化之间在观测数据中强相关,但存在混杂与选择偏差;缺少对“促销前 ATC 对促销日延迟转化的因果影响”的建模。

  • 解决方案

    (1)提出CM-DCM(Counterfactual Multi-task Delayed Conversion Model),用三项关键创新解决上述问题:

    • 多任务架构:联合建模“直接转化”和“延迟转化”,使用促销前历史数据来提升促销前 Delayed CVR 预测。

    • 个性化门控知识迁移(Personalized Gating):借鉴 PEPNet 的思想,根据用户实时促销前行为,对从预训练的日常 CVR/ATC 表征进行自适应信息传递,缓解促销前窗口短导致的数据稀疏问题。

    • 反事实因果正则(Counterfactual Causal Regularizer):基于 Doubly Robust(DR)估计器构造 ATC→延迟转化的因果约束,使模型预测与“在促销前加购情况下的延迟转化潜力”对齐,从而更可靠地区分真实负样本与促销日延迟正样本。

    (2)还采用冻结/停梯度(stop-gradient)策略,避免预训练塔在位调中对主任务造成退化。

  • 结论:离线实验表明:CM-DCM 在促销前 Delayed CVR 排序任务上显著优于主流延迟反馈基线与“历史数据复用/连续时间窗延迟策略”等方法。消融实验验证:多任务分解、个性化门控迁移与反事实因果正则分别带来有效增益。在线 A/B 测试:在 Double 11 / Double 12 等大促中,带来广告收入、延迟转化 GMV 、整体 GMV 的明显提升,证明方法在真实业务中有效。

3、SIGMA: 基于语义对齐和指令驱动的多任务生成式推荐大模型

《SIGMA: A Semantic-Grounded Instruction-Driven Generative Multi-Task Recommender at AliExpress 》(SIGIR 2026)

  • 痛点:现有基于协同过滤范式的推荐系统存在诸多局限:一是系统仅依赖行为共现而缺乏语义理解和逻辑推理能力,导致用户陷入“点啥推啥”的信息茧房;二是重度依赖用户行为数据致使系统对新趋势的响应滞后并加剧马太效应;三是黑盒预测模式无法响应自然语言驱动的业务需求,运营干预仍局限于粗粒度品池加权。

  • 解决方案指令驱动的多任务生成式推荐大模型 SIGMA。其核心思想是:将站内商品与协同信号注入 LLM 的语义空间,并通过指令遵循机制端到端生成满足不同业务需求与用户偏好的个性化推荐结果

    该方法首先通过对比学习与知识蒸馏,将自然语言、世界知识和商品实体映射到同一空间,并以此构建“语义 ID 前缀 + 商品 ID”的混合编码,兼具建模精度与生成效率;然后通过多任务指令微调赋予模型理解并执行不同推荐任务的能力;最后通过“前缀生成-子集检索-概率融合”三步生成策略,根据任务需求动态调整输出分布。

  • 结论:实验结果表明,SIGMA 在各项推荐任务上均显著优于现有方法,并在线上 A/B 实验中取得了效率指标与多样性指标的双重增长,验证了其在真实业务场景中作为统一多任务推荐基座的有效性。

4、RCLRec:基于反向课程学习的生成式推荐稀疏转化建模方法

RCLRec: Reverse Curriculum Learning for Modeling Sparse Conversions in Generative Recommendation》(SIGIR 2026)

  • 痛点生成式推荐(GR)通过将点击、加购、购买等多种行为统一编码为语义 token 序列,在一定程度上缓解了数据稀疏问题,但对最关键的转化目标(如购买)仍然建模不足。核心矛盾在于:转化行为在工业场景中天然极度稀疏,却直接决定 revenue、orders等核心业务指标。现有多行为 GR 方法虽然引入了 behavior-aware attention,能够在长历史中提升对某些关键行为的关注,但本质上仍是在完整历史上做标准注意力聚合,没有为转化目标提供额外监督,也没有显式挖掘出真正驱动购买决策的关键行为子序列。结果是,转化相关信号被淹没在大量无关行为中,模型很难充分学习用户在购买阶段的真实决策路径。

  • 解决方案:我们提出 RCLRec(Reverse Curriculum Learning Recommendation),核心思想是:不要让模型在长历史中“隐式猜”哪些行为对转化重要,而是围绕每个转化目标,反向显式构造一段关键决策课程(curriculum),并把它作为 decoder 前缀注入生成过程。

    具体来说,RCLRec 包含两个关键设计:

    • Reverse Curriculum Prefix Module(RCPM):以用户表示和购买行为 embedding 构造 pay-conditioned query,在 encoder 历史表示上计算每个历史交互对当前转化目标的相关性,选出 top-k 个最相关行为,提取其 item semantic tokens 组成 curriculum prefix,并按相关性递增顺序拼接到 decoder 输入中,使最关键的 item 最接近 target token。这样,关键中间行为被转化为实例级额外监督,显著缓解转化稀疏。

    • Curriculum Quality-Aware Loss:不仅选 prefix,还要求这个 prefix 必须真正提升 conversion token 的生成 likelihood。我们通过对比“有 curriculum”和“无 curriculum”时 conversion token 的 NLL,引入 hinge-style 质量约束,推动模型选择那些真正有助于购买预测的关键子序列,而不是仅仅语义相似但对目标无益的历史行为。

整体训练采用“两阶段”范式:先在多行为混合数据上预训练标准GR backbone,学习通用语义token表示;再仅在conversion样本上做SFT,引入反向课程前缀和质量感知损失,专门强化转化建模。

  • 结论RCLRec 在两个真实数据集上的离线实验均显著优于多种强基线,包括 SASRec、BERT4Rec、TIGER、MBGen 和 GEAR,在 Recall@5/10 和 NDCG@5/10 上均取得稳定领先;其中相对次优方法的提升大约在 10%~14% 区间。消融实验表明,性能增益主要来自conversion-aware 的关键子序列选择,而不是简单利用最近行为;同时,quality-aware loss 进一步保证了所选课程对转化目标的真实帮助。在线 A/B 测试中,RCLRec 在电商广告场景中实现了advertising revenue 和 orders 的显著提升,验证了该方法在工业环境下对稀疏转化建模的实际价值。

5、LWGR:基于拉格朗日约束的个性化世界知识生成式推荐

LWGR: Lagrangian-Constrained Personalized World Knowledge for Generative Recommendation》(SIGIR 2026)

  • 痛点: 现有将 LLM 世界知识融入生成式推荐(GR)的做法,多采用“固定指令 + 两阶段融合”的范式。一方面,统一手工设计的指令只能刻画少数典型画像,难以覆盖用户兴趣在群体、场景和时间上的多维异质性,导致可被激活的世界知识上限受到限制。另一方面,LLM 生成的知识通常以附加特征的形式直接注入 GR,缺乏对GR生成效果的显式约束;一旦与真实行为信号存在偏差,就可能扰乱原有生成能力,使得模型收益具有明显的不稳定性。

  • 解决方案:本文提出 LWGR 框架,从“如何向 LLM 提问”和“如何把回答用起来”两个层面入手。一方面,我们基于量化思想,「将用户上下文量化成个性化软指令」,让 LLM 生成更贴合行为模式的世界知识;另一方面,「将知识融合建模为带约束的优化问题」,通过拉格朗日原–对偶方法自适应惩罚性能退化,只保留对GR有帮助的部分。

  • 结论: 在公开数据集和大规模工业数据上,LWGR 相比强基线在多项检索指标上均取得稳定提升;在真实广告场景的线上实验中,也带来了可观的收益增幅。

6、协调异构专家的可扩展 MoE:用“路由 + 拼接融合”替代单一大模型扩容

《Orchestrating Heterogeneous Experts: A Scalable MoE Framework with Anisotropy-Preserving Fusion》(WWW 2026)

  • 痛点跨境电商搜索相关性建模同时面临多语言、多区域、短query、语义模糊等挑战。工业界常见做法是不断扩展单一大模型,但单模型在不同语言/市场上的能力分布并不均衡,例如某些模型更擅长英语语义推理,另一些模型更适合东南亚本地语言与实体识别。因此,“持续做大单模型”存在两个问题——(a)收益递减:参数变大不一定能覆盖所有语言细粒度知识;(b)多语言诅咒:高资源语言的优化可能挤占低资源语言的表示能力。此外,若直接把不同专家输出做加权平均,由于异构 LLM 的 tokenizer、预训练语料、表示空间并不对齐,容易产生特征错位与破坏性干扰,造成语义信息丢失。

  • 解决方案我们提出一个粗粒度、请求级的异构 MoE 框架,核心思想不是继续扩单模型,而是协调多个冻结的异构 LLM 专家(如 Qwen、Gemma、Sailor),通过动态路由为每个 query 选择最合适的专家。整体设计包括两点:

    1. 动态稀疏路由:对每个 query 仅激活 top-k 专家,而不是让所有模型都参与,兼顾效果与成本;在多种路由策略中,论文发现端到端 hard routing 综合效果最好。

    2. 保持流形的融合策略:不采用传统加权融合,而是先将各专家表示投影到统一维度,再进行拼接(concatenation)。这样可以保留每个专家自身的潜在流形和各向异性结构,避免异构表征被线性平均后互相抵消。随后由一个轻量 MLP 在拼接空间上学习非线性决策边界,自动判断当前样本更应信任哪个专家的信号。

为满足工业部署要求,论文还设计了异步批量推理流水线,将路由、专家推理、后融合解耦,通过并行与资源调度提升吞吐。

  • 结论Lazada 六个东南亚市场的大规模真实搜索数据上,该方法相较于同等激活参数规模的密集基线模型,AUC 提升 0.72 个百分点,达到92.49;同时通过优化后的离线推理流程,QPS 达到13.72,相比 dense 大模型提升约9%。在线蒸馏到 ColBERT 学生模型后,MoE 教师也优于最强单模型教师:Bad Ratio从9.00%降到8.55%,Online AUC从90.39%提升到91.28%。说明相比“继续堆大一个模型”,用轻量级路由去协调多个互补专家,是更有效、更经济的工业化路径

7、训推一体:一种用于点击率预估的对称式掩码生成范式

《Infer As You Train: A Symmetric Paradigm of Masked Generative for Click-Through Rate Prediction》(WWW 2026)

  • 痛点: 推荐系统领域正经历从判别式模型向生成式模型(Generative Paradigm)的范式转移。然而,现有的生成式 CTR 模型存在严重的“训练-推理非对称性”——生成式能力仅被局限在训练阶段用于表征学习,一旦进入线上推理,模型便“退化”回传统的判别式任务,将生成能力完全丢弃。这种非对称性导致模型无法利用其学习到的分布规律来处理推理时不可避免的噪声输入,使得生成范式空有强大的建模潜力,却无法转化为线上的点击率预估增益。

  • 解决方案:我们提出 SGCTR(Symmetric Masked Generative Paradigm)框架,核心思想是将生成能力从训练的“辅助手段”提升为推理的“核心驱动力”,采用“训练生成特征,推理迭代修正”的对称范式。第一阶段在训练中利用离散扩散过程(Discrete Diffusion)学习特征间的依赖关系,构建模型底层的生成能力;第二阶段在推理时引入迭代精调策略(Iterative Refinement Strategy),将输入的原始特征视为有噪观测,通过模型多次迭代预测并重构输入,动态筛选高置信度特征,物理地完成“去噪”过程。核心理念是:让生成式模型在推理时“复用”其生成能力,实现训练与推理的范式统一。

  • 结论: 在包含阿里工业级数据集在内的多个基准测试中,SGCTR 均超越了现有的 SOTA 方法(DGenCTR)。实验表明,推理阶段的迭代修正策略能有效缓解输入噪声带来的表征坍塌,显著提升模型在线上的鲁棒性和准确性。线上 A/B 测试中,SGCTR 在 CTR、订单量等关键指标上取得显著提升。通过缓存 Key/Value 计算策略,SGCTR 在保证生成范式优势的同时,成功将推理延迟控制在工业级生产要求的复杂度内。

8、“思广而行速”:基于多视角思维链与隐式推理蒸馏的电商相关性建模

《Thinking Broad, Acting Fast: Latent Reasoning Distillation from Multi-Perspective Chain-of-Thought for E-Commerce Relevance》(WWW 2026)

  • 痛点: 电商搜索相关性建模是连接用户意图与搜索结果的核心环节。大语言模型(LLM)受限于高昂的推理成本,无法直接部署到在线的相关性模块中。同时,现有相关性建模方法存在思维视角单一的问题,难以应对电商场景下复杂的用户意图与业务规则;且传统知识蒸馏方法往往在推理阶段丢弃思维链(CoT),导致轻量级学生模型无法继承LLM的深层推理逻辑。

  • 解决方案:提出“思广而行速”框架 MPCoT-LRKD。核心思想是:构建多维思考的“专家”教师模型,并通过隐式推理蒸馏(LRKD)将复杂推理能力高效压缩至轻量学生模型。

    借助多视角思维链(MPCoT),团队融合用户意图、结构化分析与业务规则三大互补视角训练教师模型,并结合偏好优化使其学会动态权衡不同推理路径。学生端引入隐式推理提取器,将CoT语义映射至嵌入空间,使学生模型“内化”推理逻辑。这种方法既保留了推理能力,又避免了显式文本生成带来的高延迟。

  • 结论:实验表明,MPCoT框架显著优于单视角推理方法;LRKD学生模型全面超越BERT基线及现有思维链蒸馏方法,验证了隐式推理提取器对大模型推理能力的有效内化。在线A/B测试进一步证实了该方法在大规模电商搜索广告系统中的卓越性能与实用价值。

9、突破多模态融合和行为错位:语义ID框架MMQ如何解决行为大模型编码问题

《MMQ:Multimodal Mixture-of-Quantization Tokenization for Semantic ID Generation and User Behavioral Adaptation》(WSDM 2026)

  • 痛点:尽管语义 ID 通过将海量 Item 分解为多个 SID 组合在模型的泛化能力与存储效率上取得了明显进展,但在多模态信息融合以及与推荐任务协同方面仍然遭遇瓶颈:

    (1)多模态表达融合:如何高精度的将多模态信息压缩到语义ID中,使语义ID具有更好的表征能力(2)下游协同能力:内容域和行为域存在空间差异性,如何在语义ID保证语义性的情况下,更好的与推荐任务协同

  • 解决方案:为了解决以上挑战我们提出了多模态混合量化的语义ID框架MMQ(Multimodal Mixture-of-Quantization),包括多模态共享-特定混合专家训练阶段和用户行为微调阶段:

    (1)多模态共享-特定混合专家:对商品的多模态特征,建立Shared Expert和Specific Expert, 通过多专家网络学习模态间共性与差异性,通过专家参数正交来约束码本间信息的低冗余,高效将Item压缩为有限数量的语义Token。

    (2)用户行为微调:通过Soft Indices连接Tokenizer和推荐任务,用行为信号微调语义ID聚簇关系,缓解语义-行为空间gap,释放语义ID在下游任务的推荐效果。

  • 结论:通过用户行为微调释放语义ID在下游任务的推荐效果。MMQ 在召回与精排上全面优于现有语义 ID 量化方法;线上效果显著,REV、CVR、GMV、ROI线上提升效果显著,该工作已被WSDM 2026 收录。

10、关于我们

我们是阿里国际智能技术团队,负责阿里巴巴旗下多个国际化电商平台的搜索、推荐、广告、用增等核心AI业务和技术。团队致力于将最前沿的AI技术与国际化电商业务深度结合,为全球用户打造更智能化的购物体验,同时助力广大商家拓展全球电商市场。选择加入我们意味着投身于高速发展的国际化电商业务,同时一起打造最先进的AI技术以驱动国际化电商业务发展。





点击上方名片关注我们吧~

【声明】内容源于网络
0
0
阿里国际智能技术
阿里国际技术—智能技术团队官方技术号,分享前沿AI技术在阿里国际化电商业务中的应用和创新。
内容 25
粉丝 0
阿里国际智能技术 阿里国际技术—智能技术团队官方技术号,分享前沿AI技术在阿里国际化电商业务中的应用和创新。
总阅读216
粉丝0
内容25