1 月 20 日，谷歌研究院公布「Titans」系列模型架构，该架构采用「仿生设计」，结合短期记忆、长期记忆和注意力机制，支持超200万Token的上下文长度。相关论文已发布在arXiv上，谷歌计划未来开源此技术。谷歌声称，Titans系列模型在长序列处理任务中表现优异，无论是在语言建模还是时间序列预测上，Titan在准确性和效率方面均优于现有模型，甚至在某些场景中超过了如GPT-4等数十倍参数的模型。