ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

Efficient Temporal Tokenization for Mobility Prediction with Large Language Models

Efficient Temporal Tokenization for Mobility Prediction with Large Language Models 文章主要内容总结本文提出了一种名为RHYTHM(Reasoning with Hierarchical Temporal Tokenization for Human Mobility)的框架,旨在利用大型语言模型(LLMs)进行人类移动性预测和轨迹推理。该框架的核心思路是通过结构化的时间抽象重构移动性建模,将轨迹分割为日常片段并编码为离散token,结合分层注意力机制捕捉每日和每周的依赖关系,同时大幅缩短序列长度。RHYTHM通过冻结LLM主干网络,利用预计算的提示嵌入增强token表示,在不增加大量计算开销的情况下提升模型对依赖关系的捕捉能力。实验结果显示,在三个真实世界数据集(熊本、札幌、广岛)上,该框架相比现有方法准确率提升2.4%,周末预测准确率提升5.0%,训练时间减少24.6%,验证了其在计算效率和预测性能上的优势。创新点新颖的时间token化方案:将每日移动模式表示为离散token,捕捉多尺度周期性依赖关系,同时显著缩短序列长度。高效的提示引导整合:通过片段嵌入整合语义轨迹线索和任务描述,增强对复杂移动行为的可解释性。参数高效的LLM适配策略:利用冻结的LLM主干网络,仅需12.37%的模型参数,减少24.6%的计算成本。性能提升:在三个真实数据集上,整体准确率提升2.4%,周末预测准确率提升5.0%,优于现有最先进方法。翻译部分
返回列表