1. 背景
当前主流推荐系统高度依赖用户-商品交互行为数据，导致长尾商品与新品因交互稀疏而难以被有效建模，长期处于曝光劣势。这一“冷启动”瓶颈不仅限制了用户体验的多样性，也使平台供给生态趋于同质化，抑制了内容生态的健康发展。
商品的标题、图像、描述等原始多模态语义信息，蕴含着独立于用户行为的内在属性特征。借助多模态大模型的发展，这些非结构化内容可被统一编码为高维语义 Embedding，为缓解协同信号稀疏性提供了重要先验。已有不少工作在排序中引入多模态信息缓解冷启动问题。然而，直接将预训练语义 Embedding 引入推荐模型面临两大核心挑战：
表征不可学习：冻结的预训练 Embedding 无法在下游推荐任务中端到端微调，难以适配特定业务目标；
语义-协同空间错配：语义 Embedding 所处的表示空间与协同过滤所依赖的用户-商品交互空间存在分布差异，导致跨模态信息难以有效对齐与融合。
为此，我们提出 语义 ID（Semantic ID, SID） 技术路径：通过残差量化（Residual Quantization）将连续语义向量离散化为一组可学习的稀疏 ID 序列，并将其作为特征注入推荐模型。该机制支持语义表征在下游任务中端到端联合优化，实现语义空间与协同空间之间的跨模态对齐。进一步地，我们设计了融合语义 ID 和协同信号的门控融合网络（GateSID），动态调节语义 ID 与传统协同信号的融合权重。该网络能够根据商品冷启动程度、用户统计特征等上下文信号，自适应地增强语义先验的贡献，显著提升长尾与新品的发现能力。
完整论文详见https://arxiv.org/pdf/2603.22916
2. 数据分析
2.1 数据长尾分布
我们对全量商品及新品的 Embedding L2 范数分布进行了统计分析。结果表明，由于用户交互极度稀疏，大量新品的 Embedding 几乎未被有效更新：约 20%的新品其 Embedding 的 L2 范数为0，即几乎处于完全未训练状态。进一步地，数据集中 46%的商品仅有一次用户交互记录，反映出典型的长尾分布特征。这种稀疏性严重制约了基于协同信号的模型表征学习能力，导致新品/长尾商品难以获得合理的向量表示。
2.2 语义空间与协同空间的错配现象
此外，静态的多模态Embedding 存在和协同信号之间的分布差异，我们将商品的多模态语义 Embedding（经过场域数据微调）与协同过滤模型学习到的 Item Embedding 分别通过 t-SNE 降维至二维空间进行可视化。如图所示，即使是经过推荐数据微调后的多模态 Embedding，他们的空间的分布形态和 Item Embedding 依然存在不小的差异。此外在协同空间中，即使是语义不相似的商品，若其交互行为趋同，其协同 Embedding 也会很近。
这一现象的根本原因在于：即使在产出多模态 Embedding 的过程中加入推荐场域数据对齐，但是在下游精排模型中多模态 Embedding 被冻结使用，无法和下游推荐任务产生端到端微调。
3. 解决方案
针对上述现象，我们决定引入语义 ID，因为语义 ID 通过 RQ-VAE 模型将不可训练的多模态 embedding 量化为高阶稀疏特征，其特殊的残差结构特性，既保留了语义信息，又可以在下游排序模型中经过微调，和协同信息进行对齐。此外，接着我们根据语义 ID 的特性，设计了 融合语义 ID 和协同信号的门控融合网络（GateSID），动态调节语义 ID 与传统协同信号的融合权重。最大程度的发挥语义 ID 的优势。
GateSID模型架构
3.1 语义 ID 构造
我们使用商品的文本和图像特征，首先将其输入到一个预训练的多模态大模型中，并且通过场域数据微调对齐，输出商品的多模态 Embedding。接着我们采用 RQ-VAE 模型对多模态 Embedding 进行分层离散化。RQ-VAE 通过多级残差码本（codebook）逐层逼近原始向量，生成具有层次结构的离散编码序列。给定商品
, 其通过 RQ-VAE 编码得到的 SID 包含四个层级的离散编码：
每个 表示第 层残差码本中的索引，共4层，每层码本大小为 256。该结构既保留了语义的细粒度信息，又天然具备稀疏性和可嵌入性。
3.1.1 SID 离散特征
每个 经过独立的嵌入矩阵 映射，并经由多层感知机（MLP）融合为稠密向量 ：
与其他高阶特征融合至整体 Embedding 表示中。该设计保留了 SID 的结构化语义信息，同时增强其在下游任务中的可学习性。
3.2 GFSA：门控融合共享注意力
该设计的出发点在于：对于新品，由于其 Item Embedding 学习不充分，SID 序列能够通过语义信息的共性提供更稳定的信息；而对于老品，Item 信号本身已携带足够的判别性。整体网络构成如下：
3.2.1 门控权重
我们利用门控网络动态学习两者的融合权重。将 item embedding 和统计特征（如曝光、点击、在线时长等）作为门控网络的输入。为了避免门控网络的梯度对底层 Embedding 产生干扰，我们引入了 stop-gradient 操作：
3.2.2 SID&Item 序列加权融合
在特征处理层，我们分别用候选商品对 SID 序列 和 Item 序列 进行注意力计算。我们计算两个维度的注意力分布：
随后，通过
对两组得分进行加权，得到最终的融合注意力得分，并与对应的序列相乘得到输出向量，这里
也进行 stop-gradient 操作：
最后将融合后的向量与其它特征进行拼接并输入到顶层网络中。从而实现对冷启动 item 更接近语义 attention；对热门 item 更接近协同 attention。 所以它是 item-level adaptive fusion。
3.3 GRCA：门控调节的对比对齐
把同一 item 的 sid embedding 和 item embedding作为正样本对，批内其他 item 作为负样本，做 InfoNCE 风格的对比学习：
我们发现，不是所有 item 都要同样强度的对齐。因此 GateSID 用 item 的 gate 权重 w_i 控制这个对比损失：
实现对冷启动 itemw_i 大，强制语义和协同对齐；而热门 itemw_i 小，减少约束，保留原本稳定的协同结构。最终目标是：
其中：
L_rank：主任务排序损失L_cl：门控调节后的对比损失λ：权重系数
4. 实验结果
4.1 冷启实验
首先，我们在数据集上和目前业界主流的 SID 建模方法进行冷启对比实验，实验结果如下表所示，GateSID 均优于业界 SOTA 模型，在所有指标上全面超越 SOTA，提升幅度达 0.4~0.77pt。相比于业界主流的 SID 建模方法，这表明 GateSID 成功地保留了热门条目的稳健协作表示，同时为新条目提供了语义信息。接着，我们对 GateSID 的每个模块也进行了消融实验，实验结果表明：
门控融合共享注意力是性能提升的关键：移除该模块后，模型性能显著下降（CTR AUC -0.22pt，LP AUC -0.65pt），说明 SID 与 Item 序列之间的自适应、动态融合对模型效果至关重要。
门控调节的对比对齐有效但非决定性因素：GRCA通过对齐语义和协作表征进一步提升了性能。
4.2 不同 SID 参数对排序模型的影响
SID的核心思想是将高维连续的商品表征压缩为一串离散的 token 序列，从而在保留语义结构的同时，便于建模用户与商品之间的动态交互。该架构的关键超参数包括码本大小（Vocabulary Size, V）和编码层数（Layers, L），二者共同决定了 SID 的表达能力与离散空间的覆盖范围。
理论上，更大的码本和更深的层数可提供更强的表达能力，但实际效果还需结合下游任务特性进行评估。通常，SID 的质量可通过多个维度衡量，通常评估 SID 有聚合性、相似性、区分性、均匀性、利用率等指标。对于不同的下游任务，对 SID 的需求和关注点可能并不相同。我们分别测试了不同模态表征、SID 码本大小对下游排序模型的影响。主要结论如下：
整体差异有限：不同 SID 编码方案在排序指标上的表现差异相对较小，表明 SID 作为一种通用表征方式具有较强的鲁棒性。
小码本更优：在精排场景下，码本更小的 SID（如 128×4）反而略优于大码本配置，因为较小的码本促使模型学习更紧凑、泛化性更强的语义簇，避免过拟合稀疏长尾商品。
单模态略胜多模态：基于纯文本表征 构建的 SID 在多数指标上略优于融合图文的多模态表征，在当前精排任务中，高质量文本语义已足够支撑 SID 编码的有效性。
4.3 SID 语义分布
为深入理解 SID 表征的语义结构，我们将其 Embedding 与原始多模态商品 Embedding 及协同信号驱动的 Item Embedding 进行了对比分析。我们发现：
SID Embedding 的分布更接近 Item Embedding：相较于直接使用多模态Embedding，SID Embedding 在整体分布形态上与通过用户行为协同信号学习得到的 Item Embedding 更为一致。这表明 SID 在量化过程中不仅保留了原始语义信息，还有效吸收了来自排序任务的协同信号。
SID 呈现明显的簇状结构：由于 SID 将连续的高维多模态表征离散化为有限码本中的 token 序列，其最终 Embedding 表现出高阶稀疏性与强聚类特性，在向量空间中形成多个清晰、密集的簇。这种结构反映了语义相近的商品被映射到共享或高度重叠的 token 组合，从而在保持语义一致性的同时，增强了模型对类别共性的建模能力。
4.4 线上实验
我们在购中后场域和线上 base 模型进行了离线评估，所得结果如下：
购物车：ctr_auc +0.07pt, lp_auc +0.1pt, ctr_gauc +0.13pt, lp_gauc +0.31pt。
购后：ctr_auc +0.07pt, lp_auc +0.11pt, ctr_gauc +0.14pt, lp_gauc +0.25pt。
异店：ctr_auc +0.05pt, lp_auc +0.13pt, ctr_gauc +0.08pt, lp_gauc +0.33pt。
以购物车为例，我们进一步对比了实验模型与基线模型在新老商品集合上 CTR AUC 的变化情况，结果表明 GateSID 模型在缺少用户交互行为数据的新品上的 AUC 提升程度优于老品，有效提升了推荐模型的泛化能力。
随着项目从冷启动阶段发展到成熟阶段，语义门控权重从0.8以上稳步下降到0.5以下，当协作信号稀疏时，较高的语义权重能够提供最显著的提升，例如对于刚上线5天的冷启动商品，CTR AUC提升了0.21%。随着互动的积累，该模型越来越依赖于协作信号。
在异店场域完成线上部署，在低延迟（<5ms）下半个月实验周期内UV 价值，订单和 GMV 均取得显著收益。
5. 参考文献
Liu, Ziwei, et al. "The Best of the Two Worlds: Harmonizing Semantic and Hash IDs for Sequential Recommendation." arXiv preprint arXiv:2512.10388 (2025).
Yao, Yining, et al. "Saviorrec: Semantic-behavior alignment for cold-start recommendation." arXiv preprint arXiv:2508.01375 (2025).
Zhao, Qihang, et al. "COINS: SemantiC Ids Enhanced COLd Item RepresentatioN for Click-through Rate Prediction in E-commerce Search." arXiv preprint arXiv:2510.12604 (2025).
Wang, Shijia, et al. "Progressive Semantic Residual Quantization for Multimodal-Joint Interest Modeling in Music Recommendation." Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025.
Singh, Anima, et al. "Better generalization with semantic ids: A case study in ranking for recommendations." Proceedings of the 18th ACM Conference on Recommender Systems. 2024.
Wang, Yuhao, et al. "Empowering large language model for sequential recommendation via multimodal embeddings and semantic ids." Proceedings of the 34th ACM International Conference on Information and Knowledge Management. 2025.
Tan, Bin, et al. "PCR-CA: Parallel Codebook Representations with Contrastive Alignment for Multiple-Category App Recommendation." arXiv preprint arXiv:2508.18166 (2025).
6. 关于我们
我们是阿里国际智能技术团队，负责阿里巴巴旗下多个国际化电商平台的搜索、推荐、广告、用增等核心AI业务和技术。团队致力于将最前沿的AI技术与国际化电商业务深度结合，为全球用户打造更智能化的购物体验，同时助力广大商家拓展全球电商市场。选择加入我们意味着投身于高速发展的国际化电商业务，同时一起打造最先进的AI技术以驱动国际化电商业务发展。
点击上方名片，关注我们吧～