谷歌DeepMind优化AI模型新思路，计算效率与推理能力兼得
谷歌 DeepMind 团队最新推出了“可微缓存增强”（Differentiable Cache Augmentation）的新方法，在不明显额外增加计算负担的情况下，可以显著提升大语言模型的推理性能。
计算技术的增强侧重于使 LLMs 能够更有效地处理数据，生成更准确且与上下文相关的响应，随着这些模型变得复杂，研究人员努力开发在固定计算预算内运行而不牺牲性能的方法。
优化 LLMs 的一大挑战是它们无法有效地跨多个任务进行推理或执行超出预训练架构的计算。
当前提高模型性能的方法涉及在任务处理期间生成中间步骤，但代价是增加延迟和计算效率低下。这种限制阻碍了他们执行复杂推理任务的能力，特别是那些需要更长的依赖关系或更高地预测准确性的任务。
“可微缓存增强”（Differentiable Cache Augmentation）采用一个经过训练的协处理器，通过潜在嵌入来增强 LLM 的键值（kv）缓存，丰富模型的内部记忆，关键在于保持基础 LLM 冻结，同时训练异步运行的协处理器。
整个流程分为 3 个阶段，冻结的 LLM 从输入序列生成 kv 缓存；协处理器使用可训练软令牌处理 kv 缓存，生成潜在嵌入；增强的 kv 缓存反馈到 LLM，生成更丰富的输出。在 Gemma-2 2B 模型上进行测试，该方法在多个基准测试中取得了显著成果。例如，在 GSM8K 数据集上，准确率提高了 10.05%；在 MMLU 上，性能提升了 4.70%。为增强 LLMs 的推理能力提供了新的思路，通过引入外部协处理器增强 kv 缓存，研究人员在保持计算效率的同时显著提高了模型性能，为 LLMs 处理更复杂的任务铺平了道路。
X-ORIGIN-AI 计划打造 AI 陪伴机器人
近日，X-ORIGIN-AI 宣布成功完成数千万元人民币的天使轮融资，此轮融资由阿尔法公社领投，多名产业投资者参与跟投，仁辰资本则担任独家财务顾问。此次融资所得资金将主要用于技术研发、人才招聘及市场拓展，旨在进一步推动其全场景消费级 AI 机器人产品的研发与落地。
X-ORIGIN-AI 专注于开发伴随人类生命周期的全场景消费级 AI 机器人产品，其首款产品主要面向儿童，旨在通过智能交互技术为儿童提供情感陪伴与学习支持。这款 AI 陪伴机器人符合现代家庭对智能化育儿工具的需求，预计将为家庭教育带来新的变革。
作为此次融资的领投方，阿尔法公社对 X-ORIGIN-AI 在 AI 机器人领域的创新潜力表示乐观，并期待该公司未来推出更多具有市场影响力的产品。X-ORIGIN-AI 团队表示，将持续加大技术研发力度，加速产品迭代，为消费者提供更智能、更贴心的 AI 机器人体验。
在当前科技迅速发展的时代，AI 机器人作为未来家庭生活的一部分，越来越受到关注。X-ORIGIN-AI 希望通过不断的创新与改进，打造出更符合用户需求的 AI 产品，推动智能陪伴机器人市场的成长。同时，X-ORIGIN-AI 的目标是能够为不同年龄段的用户提供个性化的陪伴与服务。
人工生命搜索模型，用来发现新的人工生命形式
近年来，随着蛋白质发现的重大突破而获得诺贝尔奖，基础模型（FMs）在探索大型组合空间中的潜力逐渐显现，预示着多个科学领域可能迎来变革。尽管如此，人工生命(ALife)领域尚未充分利用这些基础模型，这为该领域提供了巨大的发展机遇。
为此，研究团队首次提出了一种名为 “人工生命自动搜索”（ASAL）的方法，通过视觉语言基础模型，能够有效减轻人工生命领域长期以来依赖手动设计和试错的负担。
ASAL 方法的核心功能包括:首先，它可以寻找产生特定现象的模拟;其次，它能够发现产生时间上开放性新奇的模拟;最后，它可以全面展示出各种有趣的多样化模拟空间。这种方法的通用性使其能够有效适用于多种人工生命的底物，包括 “群体行为”（Boids）、“粒子生命”(Particle Life)、“生命游戏”(Game of Life)、“Lenia” 和 “神经元细胞自动机” 等。
研究成果显示，ASAL 方法成功发现了之前未见的 Lenia 和 Boids 生命形式，以及与康威的生命游戏相似的开放式细胞自动机。此外，基础模型的应用使得对过去只可定性的现象进行量化成为可能。这一新的研究模式有望超越人类单纯的创造力，加速人工生命研究的进展。