大数跨境
0
0

让 AI Agent 实时生成个性化交互式可视化体验

让 AI Agent 实时生成个性化交互式可视化体验 阿里云开发者
2025-12-09
0

业务背景

当前AI或Agent与用户的对话普遍停留在文本输出阶段,高级形式也仅限于Markdown图表展示。用户面对大量文字易产生疲劳感,交互体验有待提升。为改善这一现状,目标是让淘宝、支付宝等平台的用户在与Agent对话后,能获得图文并茂、类似精修PPT的可视化结果,并进一步实现个性化、可交互的小动画或小游戏,从而增强对话趣味性与用户体验。


蚂蚁集团近期发布的“灵光”应用即体现了此类交互理念;同时,保险查查项目组正探索如何在保险业务中通过Agent对不同产品进行深度且具象化的可视化解读。

实现思路

该模式在传统Agent对话基础上,引入了Agent实时生成前端组件的能力。对于复杂组件,可预先开发供调用。

传统组件交付流程:设计师产出设计稿 → 前端开发组件 → 调试数据或Prompt以驱动Agent生成渲染所需内容。

优化后的流程:设计师产出设计稿并转化为原型图,或直接通过AI Coding生成HTML原型图,再基于原型自动生成Agent可用的Prompt,使其运行时直接输出前端HTML或WebComponent代码并即时渲染。

此方式减少了中间转换环节,提升了效率,颠覆了传统C端前端开发范式。

实现细节

设计规范转 Prompt

需建立统一的设计规范,确保原型图稳定输出。设计师通常在Sketch或Figma中维护规范,如下示例:


由于AI对图像理解能力有限,建议将设计规范转化为HTML格式,便于AI准确提取信息。基于HTML生成指导AI设计的Prompt(称为design-master-prompt),示例如下:

请你充分理解当前设计规范 @xxx 生成 design-master-prompt.md .遵循 prompt 工程最佳实践。
我希望后续通过这个 prompt 让 AI 设计出的组件符合设计规范。我的使用场景比如:
------
/design-master-prompt 你模拟数据设计一个三栏移动端的商品详情组件,商品可以是某个寿险产品的领取方式. 直接输出 HTML,我们将会进行 POC. 三栏在移动端是三个模块横向排列.你可以生成多个版本, 当你生成后直接打开HTML 供我选择。
------
如果有任何不清楚的,请你向我确认。

由此可生成标准化的design-master-prompt.md文件,包含角色定位、设计令牌、布局规则、无障碍要求及输出格式等约束条件,确保AI输出符合规范。

AI 基于设计规范生成原型图

将上述prompt作为AI工具的常用指令(如Slash Command),可在Claude Code等平台快速调用:

/design-master-prompt你模拟数据设计一个三栏移动端的商品详情组件,商品为某个寿险产品的领取方式。要求:
1. 符合移动端用户阅读习惯,移动端默认大小是 720 * 1624
2. 三个模块在移动端横向排列(不可横向滚动)
3. 只输出 HTML,多生成 2–3 个版本,按规范的“Output Format(MANDATORY)”
4. 使用项目设计 Token 与 Tailwind 实用类(参照 style guide)
5. 文案采用写实示例(如领取方式:一次性给付、年金分期、灵活组合)输出 HTML 文档后请直接使用 open 命令打开

随即生成多个HTML原型图:

当需求模糊时,AI会主动提问确认细节,辅助完善设计方向。原型图生成是流程中最关键环节,往往需多次迭代。借助CC工具可高效管理多版本并行开发。

原型图生成组件Prompt

获得HTML原型图后,需将其压缩为可复用的Prompt,使Agent能根据不同输入实时生成一致的前端组件。提示词应明确使用场景、稳定性要求及few-shot参考方式。

我们希望将这个原型图在之后每一次,AI收到相关解读信息的时候可以实时生成。 我需要这个原型图作为 few-shot 被参考,请你遵循prompt 最佳实践给我基于当前组件可以实时稳定生成类似组件的prompt 。固定三张卡,不允许扩展。图标保留 Emoji。
请你直接生成一个prompt 文件,我将会直接复制这个文件用于产出AI接受产品解读信息后实时生成当前类似组件更好地展示。最后生成的prompt 文件可以参考 @example.md 。我们给模型的输入是文本不是JSON。使用中文,注意精简example 后作为 fewshot,并且给出反例避免模型过拟合如果你有任何问题,尽管问我。
这是一个艰巨的任务,不要吝啬你的输出!开始!

三点注意事项:

  1. 需准备一个已在生产环境验证过的example.md作为参考,确保Prompt适配实际系统约束。
  2. 避免完全照搬example作为few-shot,防止模型过拟合与幻觉。
  3. 提供适用场景与反例,引导AI合理推理而非机械模仿。

以下为AI生成的示例Prompt(非线上实际使用):

# 保险产品选择组件生成 Prompt
## 角色定位
你是一位专业的保险产品UI设计师和前端开发专家,擅长将复杂的保险产品信息转化为直观、美观的用户界面组件。

## 任务描述
根据用户提供的保险产品解读信息,生成一个标准化的三卡片选择组件HTML页面。该组件必须严格遵循既定的设计规范和布局模式。

## 核心要求
### 1. 固定结构约束
- **必须生成恰好3张卡片**,不允许增加或减少
- 卡片采用等宽三列网格布局 (`grid-cols-3`)
- 每张卡片包含:图标区域、标题、描述、金额展示、特点列表、操作按钮
- 中间卡片默认为"推荐"选项,带有推荐标签和特殊边框样式

### 2. 设计系统规范
- 使用 Tailwind CSS 框架
- 固定画布尺寸:`width: 720px; height: 1624px`
- 统一的颜色系统和设计令牌
- 响应式和无障碍设计标准

...

## 输出格式要求
1. **直接输出完整的HTML代码**,无需额外说明
2. **代码必须可以直接运行**,包含所有必要的依赖
3. **严格遵循示例的代码结构**,不要随意修改框架部分
4. **确保所有文本内容为中文**,符合中国用户习惯
5. **保持代码格式整洁**,适当的缩进和换行

该Prompt可用于预发环境测试。若线上渲染效果有偏差,应优先调整原型图而非Prompt,因后者为前者的AI压缩结果,源头修正即可同步更新。

基于Prompt运行时渲染前端组件

最终由Agent消费调试完成的Prompt,在与用户交互时实时生成HTML或WebComponent,前端直接运行时渲染。以下为DeepResearch平台的实际测试案例:

输入:

### 1. 一次性给付 (Lump-Sum Payout)
条款说明: 保险期满后,受益人一次性领取保险金100万元。
...
### 2. 年金分期 (Annuity Payout)
条款说明: 保险期满后,每年领取10万元,连续领取10年。
...
### 3. 灵活组合 (Combined Payout)
条款说明: 首次领取40万元,之后每年领取6万元,连续领取10年。
...

输出:

结果显示高度还原原始设计,验证了该方案在线上环境中具备可行性。Agent通过此类Prompt可实现实时可视化组件生成,显著加速开发流程。

总结

本文探讨了一种新型Agent可视化交互范式:通过AI将设计规范转化为Prompt,驱动Agent在运行时动态生成前端组件。整个流程中超过90%的Prompt由AI自动生成,极大提升了开发效率。该模式重构了传统“设计→开发→接口对接”的页面交付流程,核心围绕大模型展开,代表产品如“灵光”与Google Visual Layout。

未来,小游戏、小程序乃至通用软件均可能由AI实时生成,推动“AI Factory”时代的到来。Token成为新电力,驱动软件生态生长。与此同时,AI也将重塑各垂直领域岗位边界,引发对职业本质的重新思考。唯有拥抱变化,方能适应技术演进浪潮。

【声明】内容源于网络
0
0
阿里云开发者
阿里巴巴官方技术号,关于阿里的技术创新均呈现于此。
内容 3578
粉丝 0
阿里云开发者 阿里巴巴官方技术号,关于阿里的技术创新均呈现于此。
总阅读19.2k
粉丝0
内容3.6k