将 ScienceAI 设为星标
第一时间掌握新鲜的 AI for Science 资讯
编辑丨%
城市中的人类出行具有明显的节律结构，如通勤、周末活动等周期性行为。然而，现有移动预测模型多将轨迹视为等间隔时间序列，难以有效捕捉长期依赖关系，且计算成本随序列增长迅速上升。
美国波士顿东北大学等机构的研究团队提出 RHYTHM（Reasoning with Hierarchical Temporal Tokenization for Human Mobility），以更贴近人类行为组织方式的新视角重构移动预测问题：通过“层级化时间分块”实现高效建模，先将时间拆分为有意义的单位，再利用大模型进行推理。相关论文《RHYTHM: Reasoning with Hierarchical Temporal Tokenization for Human Mobility》已发布于 arXiv。
将连续时间转化为「日-周」层级结构
人类移动看似随机，实则蕴含规律性节奏。RHYTHM 的核心在于对时间进行重编码：将用户历史轨迹按固定长度切分为多个片段，片段内部使用注意力机制建模短期行为模式，片段之间则通过高层注意力捕捉跨天、跨周的长期依赖。
图示：RHYTHM 的开发设想。
这种层级时间标记（Hierarchical Temporal Tokenization）显著缩短了模型处理的有效序列长度，同时显式保留了人类移动中的关键周期结构，避免模型陷入冗长序列的低效学习。
冻结大模型，专注语义理解与推理
不同于常规微调方法，RHYTHM 将预训练大语言模型（LLM）完全冻结，仅作为通用序列推理引擎。每个时间片段配以语义描述提示（如该时段轨迹特征），由 LLM 离线编码为语义向量，再与时间标记后的轨迹表示融合。
该设计使 LLM 无需参与训练前向传播，在降低计算开销的同时，仍赋予模型高层语义理解与跨片段推理能力，有效防止上下文爆炸。
图示：RHYTHM 的拟议架构。
实验表现：精度提升，效率优化
在三个真实世界人类移动数据集上的对比实验显示，RHYTHM 在总体预测准确率上平均提升 2.4%，在不确定性更高的周末场景中提升达 5.0%。同时，由于序列压缩和 LLM 冻结，训练时间减少 24.6%。
研究还验证了模型对未来运动的预测能力，基于七天数据可稳定预测未来一天至一周的移动趋势。理论上支持更远期预测，但误差随预测时长增加而上升。
结果表明，性能提升主要源于更符合人类行为规律的时间组织方式，而非依赖更大模型或更长输入序列。
未来方向：增强自主预测能力
当前方法对预训练 LLM 的质量存在较强依赖。未来工作中，团队计划引入自回归解码机制，逐步模拟人类移动决策过程，提升模型在极端事件或突发情境下的预测鲁棒性。