本文突破传统留存建模的束缚，提出了一种创新性的用户留存建模方法-基于时间衰减机制的内容未来奖励方案，将天级未来奖励拆解为分钟级高密度未来奖励，结合「活跃度归因机制」动态捕捉用户决策路径，并引入多任务延迟建模和时序流式训练技术显著提升留存建模的准确性和实时性，在知乎推荐系统的全面落地，大幅提升了用户的体验与留存。
背景与挑战
留存建模方案
效果简介
总结展望
参考文献
项目背景与挑战
在信息爆炸的数字化时代，推荐系统正经历着一场意义深远的变革 —— 从单纯的 「流量消耗」 模式，迈向更具内涵的 「价值驱动」 阶段。在这个过程中，用户留存作为衡量平台生命力的核心指标，其重要性愈发明显，成为了平台能否在激烈竞争中站稳脚跟的关键。然而，想要精准建模用户留存，并非易事，它正面临着一些核心挑战：
数据稀疏性：天级标签的信息坍缩
传统的天级留存建模，将用户一整天 24 小时丰富多样的行为，仅仅压缩成了 0 或 1 的二值信号。想象一下，用户可能在这一天里浏览了多篇文章、观看了多个视频、与好友进行了多次互动，这些复杂的行为轨迹蕴含着大量有价值的信息。但在天级标签的处理下，所有的这些细节都被抹去，只剩下是否留存这一个简单的结果。这就导致数据密度在这种时空压缩下大幅下降，我们能从中获取的有效信息少之又少，给后续的建模工作带来了极大的困难。
信号模糊性：多源干扰的混杂效应
用户留存原因是极其复杂且高度自由，背后存在着众多交织在一起的影响因素。推荐系统的服务质量是一个重要方面，比如推荐的内容是否精准、是否符合用户的兴趣爱好等。但除此之外，社会热点、用户心情、工作忙碌程度以及节假日等都会对用户的平台使用频率产生影响。这些因素交织在一起，使得准确判断用户留存的主要影响因素变得困难，增加了分析的复杂性。
群体异质性：高低活用户的价值分化
在用户群体中，高活用户像「内容常客」，习惯稳定，行为不易被单个内容影响，通常需要长期的内容刺激才会改变。而低活用户更像「偶然访客」，对内容敏感，容易因某个优质内容在短期内提升活跃度。这种显著的分化使得我们在建模时不能一概而论，增加了建模的复杂性。
建模实时性：延迟信号的观测束缚
次留以及更长周期的留存信号，由于信号收集存在延迟约束，给建模的实时性带来了严峻挑战。在推荐系统中，实时性至关重要，它需要根据用户最新的行为和反馈及时调整策略，以提供更符合用户当前需求的内容。但延迟的留存信号让我们无法及时了解用户的真实状态，无法准确把握方向，使得我们难以在第一时间做出有效的决策。
目前，业界在这方面的相关工作相对较少，主要集中在利用强化学习或序列建模方式试图去解构留存问题。但这些方案依然未能摆脱归因路径模糊、信号延迟等困境。这些困境暴露出行业在平衡即时反馈与长期价值、解释性与稳定性上的深层矛盾。
知乎作为主打知识分享、专业讨论的高质量内容社区，在这个内容竞争日益激烈的环境下，如何实现用户的持续增长与有效留存，成为平台发展的关键。
在本实践中，我们突破传统留存建模的束缚，提出了一种创新性的用户留存建模方法-基于时间衰减机制的内容未来奖励方案，将天级未来奖励拆解为分钟级高密度未来奖励，结合「活跃度归因机制」动态捕捉用户决策路径，并引入多任务延迟建模和时序流式训练技术显著提升留存建模的准确性和实时性。
▲应用场景
这套方案已在知乎推荐系统的全链路中落地应用，不仅优化了用户留存效果，也进一步激发了内容生态的活力，实现了用户粘性与平台健康度的双赢增长。
留存建模方案
在最初实践中，我们尝试使用传统的「天级」时间聚合方式来建模用户行为决策过程，基于马尔可夫决策过程（MDP）和单步 Q-learning 框架进行反事实因果推断。然而在实际落地中，这种方法效果并不理想。一方面，由于时间切片过于稀疏，导致用户状态表征出现「坍缩」，难以准确还原其行为轨迹；另一方面，隐藏在数据背后的混杂因素又进一步干扰了模型判断，使得策略网络很难捕捉到用户行为的连续性和变化趋势，最终带来的业务收益也非常有限。
为此，我们打破常规，构建了分钟级留存建模架构，通过渐进式时间窗分片技术，我们将时间粒度从「天级」提升到了「分钟级」，实现对用户行为的细粒度刻画和动态意图识别。
更重要的是，在奖励机制的设计上，我们也进行了深度创新——打破了以往只关注天级或 session 级的传统留存奖励优化范式，转而引入了一种双重延迟奖励机制：
第一重：通过滑动窗口，以十分钟为切片对用户行为进行连续追踪，捕捉用户短期内密集的行为信号；
第二重：通过反事实因果推断，设计了自适应时间权重增强机制，对关键行为事件进行超线性放大，让模型更加敏感地识别出用户的高价值意图
一、分钟级留存信号建模
▲分钟级回访信号
针对传统留存分析模型在时序建模上的局限性，我们基于用户在 APP 内的全链路行为序列数据，构建了一种渐进式多粒度时间分片建模框架。该框架采用滑动时间窗动态调整机制，在近端时段以分钟级超精细切片构建高分辨率行为捕捉单元以捕捉即时反馈，在远端时段自适应扩展时间窗宽度为小时级宏观粒度，有效增强模型对长期行为模式的泛化能力。其通过构建如下二元指示函数时间衰减敏感的自适应划分，该机制在保持细粒度行为捕捉优势的同时，有效缓解了远端稀疏数据带来的建模噪声问题。
对于第 n 个样本（用户-内容交互实例），沿时间维度离散化切割为 T 个连续观测窗口（t∈[1,T]），动态统计每个窗口内的内容刷新行为频次。基于此，我们构建了一组累计计数型行为指标，用户量化用户后续T时段内的奖励大小。该建模方法显式建立用户行为衰减模式与时空关联性的可解释性映射。
则内容留存的未来奖励大小可建模为基于用户交互行为的动态加权聚合函数：
其中，以下公式表示时间衰减注意力权重系数，用来突出近期回访：
通过采用累计回访及动态加权实现近端回访事件的超线性权重增益，提高了用户的留存归因于单内容的准确性。
▲留存价值计算示例
上图展示了当 T=6 时留存奖励在各观测时段的分阶段计算流程，实践中T可以根据业务需求动态调整。为了进一步提高内容留存未来奖励的鲁棒性，我们引入了 EMA——指数移动平均算法，对多天的计算的留存奖励进行了融合，从而有效平滑短期波动，增强整体评估的平滑性和趋势捕捉能力。用表示上述方式计算得到的第m天留存分，表示第m天的最终留存打分，则：
其中 K 表示参与指数平滑移动平均的天数。
二、活跃度动态归因的留存价值延迟建模
基于行为统计的留存未来奖励计算体系，在精排后和粗排后的重排阶段取得了显著业务收益，然而其本质仍是依赖大量统计数据支撑的信号，存在冷启动局限与个性化缺失问题。
为应对上述挑战，我们提出了一种基于深度学习的留存奖励建模方案。该方案融合因果推断技术，有效解耦内容的内生价值与用户人群的偏差影响，从而提升对真实留存潜力的刻画能力。
在此基础上，进一步引入多任务延迟建模与时序流式训练机制，以增强模型对行为序列动态变化的响应能力，显著提升了留存建模的实时性与时效适应性。通过这一系列建模优化显著增强了留存预测在个性化推荐与泛化方面的能力。
▲留存模型结构
1、多任务延迟建模：
基于实证数据分析，我们发现用户留存行为与内容消费之间存在显著相关性。在留存周期内，超过 85% 的高回访用户表现出明确的内容点击行为轨迹。据此，我们构建一个用户留存条件概率模型，其中 R 表示用户回访事件， C 表示内容点击事件：
该联合建模框架将用户行为过程分解为两个关键阶段：点击转化阶段和留存决策阶段：
点击转化阶段：刻画内容触达效率，反映用户对内容曝光的响应意愿；
留存决策阶段：描绘用户在点击后是否持续回访，映射其对内容价值的认可深度。
传统方法通常仅在点击样本上独立构建留存模型，忽略了点击与留存之间的内在联系。为此，本研究创新采用多任务学习架构，针对留存建模中的延迟反馈难题与数据稀疏挑战，建模过程中延续分钟级时序建模策略，采用渐进式时间窗分解方法将观察周期 T 离散化为 {t_1,t_2,...,t_T} 序列。同时通过点击预测辅助任务构建特征表征共享机制，有效提升模型对稀疏留存信号的捕捉能力。基于此建立复合式概率建模体系：
其中 p(R_t|C,R) 表示第 k 个时间窗的条件留存概率。该建模设计带来了两个层次优势：
局部建模层面：对每个离散时间窗独立建模其瞬时回访概率，实现对用户短期奖励的精细刻画；
全局建模层面：通过累积概率公式整合各时间窗的预测结果，构建最终的全局奖励预测，从而有效捕捉跨时间段的行为关联效应。
在训练机制层面，引入渐进式学习机制，分阶段更新模型参数：
当t_1时间窗数据完备时，立即启动 p(R|C) 和 p(R_1|C,R) 的参数更新，实现模型预热。
对于未完成完整周期观测的样本，允许通过部分观测窗进行梯度反传，此渐进学习机制使模型训练效率大幅提升，不必因等待延迟信号而 delay。
为了提升子任务的定向优化效率，图中多任务输出虚线部分建模需要对 CTR 任务实施stop gradient。
最终阶段训练执行双重优化目标：除 t_T 时段局部奖励交叉熵损失外，新增基于全周期观测的稠密奖励损失函数：
其中为综合未来留存奖励，为综合留存奖励的输出概率，训练时使用该 loss 更新模型参数，推理时使用作为综合留存奖励的预估分。通过综合奖励的引入，既缓解单时段预测方差过大的问题，又通过时序关联隐式建模增强模型对用户行为演化规律的捕捉能力。
2、活跃度自适应归因：
考虑到不同活跃度用户对内容影响的敏感程度存在差异——高活跃用户可能受单个内容影响较小，而低活跃用户则更容易因某一优质内容而回访。为此，我们引入了活跃度自适应归因门控机制。此处的设计门控输入是用户活跃度相关的特征，例如最近消费密度等，输出是该样本对内容侧特征的重视程度。这样可以使得模型能够动态调整各用户对内容侧特征的关注权重，从而更加精细地反映用户的个性化需求。
如上述公式， 表示用户u的活跃度特征， 表示用户的其他特征， 表示门控计算方式，表示输入到留存建模塔的特征。需要注意的是，与主流的 Rank 模型不同，在进行留存建模时，为了避免模型陷入对用户行为的强记忆模式，从而促进模型深层挖掘用户潜在的留存动机，模型主塔特征里需要排除用户 ID、活跃度等相关信息，用户活跃度仅用来作为门控网络的调节因子。
众所周知，活跃度越低的用户，其回访行为越容易受到内容的影响；反之，活跃度高的用户由于已养成使用习惯并对平台有较深的了解，单个内容对其影响较小。上图从左至右分别展示了模型训练过程中低、中、高活跃度用户群体在内容侧特征权重（即门控输出）的分布情况，高中低活对内容侧特征的敏感性逐渐增加，模型所学习到的行为模式与设计预期高度一致，验证了活跃度自适应门控机制的有效性。
3、时序流式训练方案：
▲时序流式训练过程
上图展示了 T0 时间段内发生的消费行为后续 T1~T7 的回访信号收集及流式训练过程（模型冷启训练示例，流式更新时无 T0 的 GAP）。采用渐进式非均匀时间窗划分策略，实现近端细粒度、远端宽泛化的动态划分。在同一个训练周期对历史不同成熟度的样本进行训练，保证模型实时性的同时结合潜在留存条件概率对留存模型进行更新，有效避免了信号延迟对学习效率的影响。
三、推荐系统全链路应用
留存未来奖励分采用标准化-非线性变换进行双阶段处理：
其中，r 为原始的留存打分，为所有内容留存打分的均值，为所有内容留存打分的标准差，超参 k 用来控制标准化后的增益衰减速率 ，超参、调节非线性映射后的斜率和偏置。
▲留存奖励建模及应用架构
留存未来奖励价值 已在推荐系统的全链路环节中实现深度应用：
召回阶段，该信号驱动候选集的动态筛选机制，构建优质内容池，并对低留存奖励的内容实施负向抑制，从而提升整体候选池的质量上限；
粗排阶段，通过高效的实时预估模型，实现留存奖励分在大规模候选集上的「穿透式」表达，增强排序初筛的用户价值导向能力；
精排阶段，留存奖励作为核心多目标之一，参与多任务之间的博弈均衡调控，与 CTR、互动行为等目标协同建模，构建面向长期价值的复合增益模型。
该信号的全域渗透特性，有效贯通了从内容治理到排序决策的完整链路，实现了端到端的用户价值引导与平台生态优化。
效果简介
用户留存建模体系在全场景中的深度渗透，推动了用户体验范式的全面升级，三维活跃指标（消费频次、使用时长、互动深度）实现显著提升。该建模体系的有效落地，不仅增强了用户的持续消费势能，也直接驱动了留存核心指标的大幅提升，标志着系统从传统的「流量消耗」模式向「价值驱动」导向的战略性转型，进一步夯实了长期用户运营与内容生态建设的基础。
从平台生态视角来看，内容分发结构也因此实现了显著优化，以往感官上较为娱乐化且内容较为空洞的帖子数量大幅减少，而更加务实、贴合知乎社区特色的内容如社会时政、科技互联网等则获得了更多的曝光机会，内容分发的多样性显著提升，有效缓解了马太效应带来的负面影响，确保了优质内容能够得到应有的关注，从而为用户提供持续的价值，为构建一个更公平、健康、注重长远发展的内容生态循环提供了强有力的支持。
▲曝光领域分布变化
总结展望
本文提出了一种细粒度留存信号建模方法，将传统的以「天」为单位的用户留存分析进一步细化至分钟级与小时级的时间粒度，从而实现对用户行为的精确捕捉。在此基础上，结合多任务延迟建模、活跃度自适应归因以及时序流式训练方案，显著减少了因天级留存归因带来的数据噪音，极大提升了留存信号的实时性和准确性，使得系统能更敏锐地反映用户的真实偏好和行为模式。
在线A/B实验结果表明，该建模方法在预测模型的性能上得到了大幅提升，为用户留存持续增长带来了突破性的进展。
展望未来，我们将着眼于探索 listwise 层级留存建模范式，并融入具有多模态语义特征的大规模预训练模型进行改进，从而不断完善推荐系统的用户体验和个性化服务。
参考文献
Ding R, Xie R, Hao X, et al. Interpretable User Retention Modeling in Recommendation[C]//Proceedings of the 17th ACM Conference on Recommender Systems. 2023: 702-708.
Cai Q, Liu S, Wang X, et al. Reinforcing user retention in a billion scale short video recommender system[C]//Companion Proceedings of the ACM Web Conference 2023. 2023: 421-426.
Zhao K, Zou L, Zhao X, et al. User retention-oriented recommendation with decision transformer[C]//Proceedings of the ACM Web Conference 2023. 2023: 1141-1149.
https://github.com/wangshusen/RecommenderSystem/blob/main/Slides/03_Rank_04.pdf
Zhang Y, Wang D, Li Q, et al. User Retention: A Causal Approach with Triple Task Modeling[C]//IJCAI. 2021: 3399-3405.
知乎技术沙龙干货分享 | 大模型推理框架 ZhiLight 实践
知乎技术沙龙干货分享 | 云原生技术如何重塑企业 IT 架构
