大数跨境

GenEvolve: 图像生成 Agent 自我进化

GenEvolve: 图像生成 Agent 自我进化 AI科研进阶社
2026-09-30
4

题目:GenEvolve: Self‑Evolving Image Generation Agents via Tool‑Orchestrated Visual Experience Distillation

论文地址:https://arxiv.org/abs/2605.21605

代码地址:https://ephemeral182.github.io/GenEvolve/

创新点

•将开放域图像生成建模为工具编排轨迹,智能体可调用信息检索、图像检索、生成技能工具,把外部证据、视觉参考整合为可执行的提示 - 参考程序,再交由底层图像生成器渲染,不再局限于简单的文本直接生图。

•提出视觉经验蒸馏(Visual Experience Distillation),区别于传统方法只使用图像层面单一标量奖励,对同一指令采样多条生成轨迹,对比优劣轨迹之间的差异提炼结构化视觉经验,借助特权教师分支给出细粒度 token 级监督,优化工具选择、参考挑选与提示编写策略。

方法

本文搭建能够自我进化的图像生成智能体 GenEvolve,把图像生成任务转化为多步工具编排的执行轨迹,智能体可自主调用信息检索、图像检索等工具,搜集外部文本与视觉参考素材,整理形成结构化提示程序送入底层图像生成模型完成渲染,方法核心引入视觉经验蒸馏机制,对同一个用户指令采样多条不同执行轨迹,对比好坏轨迹之间的差异,利用教师分支输出细粒度监督信号,学习工具选择、参考素材挑选和提示词编写的策略,同时结合 GRPO 强化优化方式搭建自进化闭环,智能体持续生成执行轨迹并沉淀视觉经验,迭代优化自身规划与工具调用能力,整套框架可以接入不同的底层图像生成模型,研究还配套构建带有完整工具轨迹的数据集和评测基准,用来评估智能体在事实对齐、复杂画面生成任务上的综合表现。

GenEvolve 在评测基准上的生成样例与定量结果

上半部分展示 GenEvolve 生成的各类图像样例,覆盖复古插画、建筑场景、复古载具、复杂人文画面等多种风格与题材,直观体现模型能够生成细节丰富、风格统一的复杂图像。下半部分分为两组柱状图,分别对应 GenEvolve-Bench 与 WISE Bench 两套评测基准,从知识对齐、画面美学、文本渲染以及文化、时空、生物、物理、化学等不同知识维度,将 GenEvolve 与多种基线图像生成方法进行对比,结果展示 GenEvolve 在面向外部知识依赖的图像生成任务中整体表现优于其他基线方案。

GenEvolve-Data 数据集构建流程与 GenEvolve-Bench 评测基准



半部分展示整套数据集的搭建流水线,首先搭建包含知识锚定与画质锚定两大类别的提示词池,再由教师智能体生成大量完整工具调用轨迹,随后利用视觉语言模型做筛选校验,剔除不合格样本,得到过滤后的图像样本,划分训练集与测试集,最终形成 GenEvolve-Bench 评测基准,用于评估开放域复杂图像生成任务。下半部分展示数据集里的典型样本案例,包含用户提示词、智能体的思考过程、工具调用记录以及对应的生成图像,直观呈现每条样本都完整保留从问题推理、工具检索到图像产出的全链路轨迹信息。

GenEvolve 智能体的工具编排轨迹与自进化闭环架构

分为上下两大模块,上层展示单次图像生成完整链路,接收用户指令后,GenEvolve 智能体调用检索、图片查找、知识查询等工具完成信息搜集,整合得到提示词与参考素材,送入图像生成模块产出图片,再经由图像、文本奖励与知识诊断环节评估生成效果,下层为自进化循环,当前学生策略采样多条不同的工具执行轨迹,区分出优质轨迹与劣质轨迹并做对比,从中提炼搜索策略、参考选取、提示构建等维度的视觉经验,再通过特权教师将经验做视觉经验蒸馏,结合 GRPO 强化优化对学生智能体更新迭代,得到能力更强的新版智能体,持续循环往复,不断优化智能体的工具规划与图像生成策略。

实验

该表格在 GenEvolve-Bench 基准下,将 GenEvolve 与普通直接图像生成模型以及其他图像智能体方案进行对比,评测维度包含事实可信度、视觉效果、文本渲染、美学质量,同时划分知识锚定与画质锚定两条任务赛道,实验分为直接生成基线与智能体生成工作流两大类,GenEvolve 可以搭配不同底层图像生成器开展测试,对比结果显示 GenEvolve 在各项评价维度与整体赛道上,整体性能优于基线生成模型与对比的图像智能体方法。


【声明】内容源于网络
0
0
AI科研进阶社
感谢关注AI科研进阶社!人工智能学习资料、机器学习&深度学习基础干货、论文写作资源等都在这里!
内容 179
粉丝 0
AI科研进阶社 感谢关注AI科研进阶社!人工智能学习资料、机器学习&深度学习基础干货、论文写作资源等都在这里!
总阅读3.1k
粉丝0
内容179