AI阅读长文太慢？耶鲁博士生发明HSGM框架，提速59倍
阅读《红楼梦》《哈利·波特》等长篇小说时，读者常会遗忘前情或混淆人物关系。类似地，AI在处理超长文本时也面临效率瓶颈——读取速度慢、内存占用高、上下文记忆受限。
为解决这一问题，美国耶鲁大学博士生刘栋及其团队提出一种名为HSGM（Hierarchical Segment-Graph Memory）的新框架，可高效理解超长文章，在速度与内存优化方面表现突出。
图 | 刘栋（来源：刘栋）
HSGM性能显著提升：速度快、内存省、准确率高
测试显示，HSGM处理长文本的速度比传统方法快2至4倍，原本需1分钟完成的分析任务，现仅需15到30秒。在极端情况下，如处理长达2万个词的文章时，速度提升高达59倍。
同时，HSGM内存占用减少60%以上，显著降低计算资源消耗。尽管采用了多种简化机制，其语义理解准确率仍保持在最先进方法的95%以上，尤其在长文本场景下优势更为明显。
技术原理：分段建图+层次化记忆
AI阅读本质是将文字转化为数字编码，并通过语义分析建立词语间的关系网络。随着文本增长，关系图变得异常复杂，导致处理效率下降。
HSGM的核心创新在于“分而治之”策略：将全文划分为约256词的小段落，逐段构建局部语义图，记录关键词之间的逻辑关系。例如，“小明去公园散步”会被解析为“小明-去-公园”和“去-散步”两条关系链。
随后，系统为每个段落生成一个摘要节点，相当于章节提要。这些摘要节点连接成一张全局概要图，浓缩整篇文章的核心信息。
支持增量更新，适应动态内容
当新内容加入时，HSGM为其单独生成局部语义图，提取摘要后融入现有全局图中。这种“增量更新”机制使其适用于聊天记录、新闻流等持续扩展的文本场景。
精准定位答案，提升问答效率
面对用户提问，HSGM不会遍历全文，而是先在全局概要图中快速定位相关摘要节点，类似于通过图书目录查找章节。确定范围后，再调取对应段落的详细语义图进行精细检索，实现又快又准的答案提取。
（来源：https://arxiv.org/html/2509.18168v1）
五大应用场景落地潜力大
智能问答系统
可快速回答涉及长文本细节的问题，如统计《红楼梦》中贾宝玉与林黛玉的对话次数。
长对话理解
应用于客服系统，能有效解析长时间对话历史，精准把握用户需求演变。
多跳推理
支持跨段落逻辑推理，例如追踪“小明最初在哪上学，后来转至何处”等问题。
自动摘要生成
在通读全文后自动生成简洁摘要，帮助用户快速掌握核心内容。
法律文件分析
协助律师高效检索大量文书中的关键案例与法条，提升工作效率。
（来源：https://arxiv.org/html/2509.18168v1）
从学术研究到产业实践：打造记忆感知型AI基础设施
HSGM将记忆结构划分为短期上下文、中期工作记忆和长期语义摘要，分别存储于GPU显存、主机内存和NVMe存储设备中，依据重要性与时效性动态迁移数据。这使得模型不仅“记得多”，更实现“记得对、取得快、忘得巧”。
刘栋同时也是FastLM.ai创始人，该公司专注于大模型推理的高效基础设施建设，围绕缓存智能化、层次记忆管理与注意力加速构建产品体系，已将HSGM相关技术转化为可交付的工业能力。
其目标是将长序列推理从当前依赖硬件堆叠的“碰运气”模式，转变为“可控、可解释、可扩展”的工程化系统，推动AI记忆能力向工业化标准迈进。
未来展望：重构长序列处理范式
刘栋指出，长序列处理不同于简单拉长上下文窗口，需应对注意力衰减、语义重复、信息选择性保留等挑战，必须引入“记忆工程”理念。
随着Diffusion模型在长视频与高分辨率图像生成中的广泛应用，仅靠增加显存和带宽难以为继。唯有重构记忆与注意力机制，才能实现“快且省、质量稳定、过程可解释”的计算目标。
团队致力于构建一套可落地、可复用、可演化的工程方法论，持续打磨Memory-Aware AI Infrastructure，全面提升机器学习系统在长序列任务中的处理效率与记忆能力。
（来源：https://arxiv.org/html/2509.18168v1）