谷歌研究院发布了一项新的研究Titans。该研究通过引入全新的神经长期记忆模块、三头协同架构和硬件优化设计等，在算力仅提升1.8倍的情况下，将大模型的上下文窗口扩展至200万token。Titans解决了Transformer模型在长上下文处理中的算力瓶颈，并通过仿生学设计模拟人类记忆系统分层机制，实现了200万token超长上下文的精准推理。