Shawn Shen认为，人工智能要在物理世界中取得成功，就必须记住它所看到的内容。其公司Memories.ai正利用Nvidia AI工具构建基础设施，使可穿戴设备和机器人能够记忆并回忆视觉信息。
携手Nvidia开发视觉记忆技术
Memories.ai在周一的GTC大会上宣布与Nvidia达成合作。双方将基于Nvidia Cosmos-Reason 2（推理视觉语言模型）和Metropolis（视频搜索与摘要参考架构），持续深化视觉记忆技术研发。
Shen透露，他与联合创始人兼CTO Ben Zhou在构建Meta Ray-Ban眼镜AI系统时萌生了创业想法。他们发现，若用户无法有效回忆录制的视频数据，AI眼镜在实际生活中的应用价值将大打折扣。在确认市场缺乏此类解决方案后，二人决定从Meta分拆独立研发。
“AI在数字世界表现卓越，但在物理世界仍需进化。”Shen表示，“AI可穿戴设备和机器人必须具备视觉记忆能力，这是我们坚信的未来方向。”
聚焦物理世界视觉记忆差异化优势
尽管OpenAI、xAI及Google Gemini等已推出记忆功能，但Shen指出，现有进展多集中于文本记忆。相比结构清晰、易于索引的文本，物理AI应用主要依赖视觉交互，纯文本记忆对其帮助有限。
成立于2024年的Memories.ai目前已累计融资1600万美元，包括7月完成的800万美元种子轮及后续扩展轮，由Susa Ventures领投。
Shen强调，构建视觉记忆层需解决两大核心问题：一是建立视频嵌入与索引的基础设施；二是收集高质量训练数据。
自研硬件采集数据，拓展端侧部署
公司于7月推出大型视觉记忆模型（LVMM），性能对标Gemini Embedding 2小型版。为解决数据采集难题，团队自研了专用硬件设备LUCI供内部人员佩戴录制视频，而非直接采购市面产品，以确保数据质量与能效平衡。
目前，Memories.ai已发布LVMM第二代，并与Qualcomm达成合作，计划于今年晚些时候在其处理器上实现端侧运行。尽管已与多家头部可穿戴设备厂商展开合作，Shen仍保持审慎乐观，认为商业化重心应放在模型与基础设施上，等待市场真正成熟。