AI日报｜Google DeepMind 新研究：将大模型作为通用模式机器

01

Google DeepMind 新研究：

将大模型作为通用模式机器

先前的研究结果表明，大型语言模型（LLMs）可以在无需任何额外训练的情况下，基于上下文学习能力被用作为通用序列建模器（general sequence modeler）。

来自 Google DeepMind、斯坦福大学、柏林工业大学的研究团队探讨了如何将这些零样本能力（zero-shot）应用于机器人领域的问题——从推断代表随时间变化的状态的数字序列以完成简单的运动，到发现和表示闭环策略（如 CartPole 的稳定控制器）的奖励条件轨迹的最少到最多提示。

尽管由于延迟、上下文大小限制和计算成本等原因，目前很难将其应用于实际系统，但使用 LLMs 驱动低级控制的方法可能为将文字之间的模式转化为机器人动作提供了令人兴奋的前景。

论文链接：

https://arxiv.org/abs/2307.04721

项目地址：

https://general-pattern-machines.github.io/

02

腾讯强化学习新方法：

让大模型生成高质量代码

近来，越来越多的研究采用强化学习（RL）来提高大型语言模型（LLMs）在代码方面的性能。然而，这些 RL 方法只使用了离线框架，限制了它们对新样本空间的探索。此外，目前利用单元测试信号的方法相当简单，并未考虑代码中特定错误位置的情况。

为了解决以上问题，来自腾讯的研究团队提出了 RLTF，即基于单元测试反馈的强化学习（Reinforcement Learning from Unit Test Feedback）。据介绍，该方法在训练过程中实时生成数据，并同时利用细粒度的反馈信号指导模型生成更高质量的代码。大量实验证明，RLTF 在 APPS 和 MBPP 基准测试中实现了最先进的性能。

论文链接：

https://arxiv.org/abs/2307.04349

03

RoCo：

零样本多机器人协作方法

多机器人系统因其有望提高任务生产率而备受关注，但也面临着各种挑战。其中一个挑战为，要使机器人有效地分工和分配工作，需要其对任务有高层次的理解，并考虑到每个机器人的能力，如到达范围或有效载荷；另一个挑战在于低层次的运动规划，随着机器人数量的增加，配置空间也随之扩大，寻找无碰撞的运动规划变得非常困难。

来自哥伦比亚大学的研究团队提出了一种新颖的多机器人协作方法——RoCo，借助预训练的大型语言模型（LLMs）的能力解决高层次通信和低层次路径规划的问题。

实验结果证明，RoCo 在 RoCoBench（一个包含 6 个任务的基准测试）的所有任务中都取得了很高的成功率，且可以适应任务语义的变化。此外，RoCo 也轻松地将人类纳入协作环节，用户可以与机器人代理进行沟通和协作，共同完成任务。

论文链接：

https://arxiv.org/abs/2307.04738

项目地址：

https://project-roco.github.io/

04

COMEX：

生成自定义源代码表示

学习源代码的有效表示对于任何软件工程的机器学习（ML4SE）系统都至关重要，有效的源代码遵循由编程语言的底层语法控制的严格结构和模式。

然而，Codex 和 CodeGen 等大型语言模型（LLMs）却没有利用源代码的这一特性，它们只是将代码视为 token 序列，同时忽略了可以从代码视图中提取的代码的关键结构和语义属性；而且，为每种编程语言生成和集成代码视图的过程繁琐且耗时。

为此，来自 IBM 研究、IITTirupati 的研究团队提出了一个允许研究人员和开发人员创建和组合多个代码视图的框架——COMEX，这些代码视图可以被机器学习（ML）模型用于各种软件工程（SE）任务中。据介绍，COMEX 可以直接处理源代码（无需可编译），支持通过使用过程内和过程间分析同时分析方法级片段和程序级片段；目前支持 Java 和 C# 语言，且易于扩展到其他语言。

论文链接：

https://arxiv.org/abs/2307.04693

05

基于深度学习的汉字笔画提取

汉字笔画提取在汉字识别和生成方面具有重要作用。现有方法大多基于图像形态特征，由于很少使用笔画语义和先验信息，通常会导致交叉笔画提取和笔画匹配的错误。

为此，来自中国科学院和中国科学院大学的研究团队提出了一种基于深度学习的字符笔画提取方法。实验结果表明，该方法优于现有基线方法。

据介绍，该方法由三部分组成：基于图像配准的笔画配准，建立参考笔画和目标笔画的粗配准作为先验信息；基于图像语义分割的笔画分割，将目标笔画初步分为七个类别；以及单笔画的高精度提取。在笔画配准方面，该研究提出了一种结构可变形图像配准网络，可以在保持复杂结构字符图像单笔画稳定形态的同时实现结构可变形变换。

论文链接：

https://arxiv.org/abs/2307.04341

06

FILM：

用 LLMs 增强少样本学习框架

少样本（Few-shot）学习的目标是训练可以在只有少量样本的情况下泛化到新类别的模型。

以往的研究工作提出，使用来自类别名称的可访问语义信息来增强少样本学习，但主要集中在改进标准少样本学习框架中的视觉原型和特征提取器等现有模块，限制了语义信息的充分利用。

在该研究中，来自上海交通大学、天津大学、微软亚洲研究院的联合团队，提出了一种基于对比学习的预训练语言模型的少样本学习框架——FILM。

为了解决基于文本的预训练语言模型产生的视觉特征和文本嵌入之间的对齐问题，该研究设计了框架的文本分支，并引入了度量模块来泛化余弦相似度；为了获得更好的可迁移性，该研究让度量模块适应不同的少样本任务，并采用 MAML 通过双层优化来训练模型。

此外，在 miniImageNet、tieredImageNet 和 CIFAR-FS 等多个基准上的测试，证明了该方法的有效性。

论文链接：

https://arxiv.org/abs/2307.04114