大数跨境

从线性对话到二维协作,Huabu 探索 Agent 时代的“新桌面”

从线性对话到二维协作,Huabu 探索 Agent 时代的“新桌面” 微软亚洲研究院
2026-09-04
14
导读:通过思考外化与共享认知空间,让AI理解人类的思维逻辑与意图

(本文阅读时间:15 分钟)


当前,人与大模型及Agent的交互主要依赖线性聊天窗口。这种模式虽自然,却难以应对多分支探索需求,关键信息易被淹没在冗长的对话记录中。然而,人类思维具有非线性特征,需要在不同想法间跳转、对比关联资料并随时回溯。


微软亚洲研究院近期推出的Huabu,旨在重构这一交互范式。它将Agent调研产生的网页、图片、笔记及方案,从线性对话框迁移至无边界的二维可视化空间。在Huabu中,信息可自由放置、缩放、分组并通过连线建立关联,用户可直接修改内容并驱动Agent持续工作。


Huabu不仅是新的交互界面,更试图回答核心命题:AI具备复杂信息处理能力时,人类应如何与之协同思考?


Huabu:适配人类原生思考模式



Huabu并非传统在线白板。常规白板侧重绘图排版,而Huabu是专为人机协同设计的项目空间(Space),将信息收集、思考组织、AI执行与成果沉淀整合于同一环境。


Huabu以“项目空间”为基本单位,取代了线性的对话轮次。用户可为每个项目创建独立空间,汇聚PDF、网页、图片、笔记及Agent生成内容。资料可并置对比,想法可化为独立节点延展,碎片化信息由此形成可持续探索的结构化空间。


Huabu 演示视频


Huabu的工作流包含收集(Collect)、组织(Organize)和执行(Act)三个阶段,但这并非单向流程。微软亚洲研究院(上海)高级项目经理邱可昕指出:“三阶段循环往复,Agent的执行结果会回流成为新素材,用户可据此调整组织方式并派发新任务。”


收集信息:告别“搬运工”角色


传统交互中,用户需手动复制粘贴分散在各窗口的素材充当“上下文搬运工”,过程繁琐且易遗漏。


Huabu支持直接上传各类素材并自动生成独立节点。暂存的想法、未展开的思路及过往讨论均可完整留存,成为Agent可读取利用的上下文资源。


组织整理:构建可视化逻辑关联


Huabu支持人机协同整理。用户可手动调整,亦可交由Agent自动处理。 AI 将检索资料转化为带摘要的独立节点,避免线性长文本带来的认知负担。


例如,批量导入论文后,Agent可按时间线或学术脉络自动排布节点,标注引用与对立关系;访问代码仓库后,可拆解架构并以拓扑图呈现模块依赖;在方案策划中,能自动区分核心观点与待验证问题,将相关素材分组归纳。


图 1:用户指示 Agent“上面是 beat,下面是图”


"Huabu 通过语义理解将散乱信息自动结构化,把隐性逻辑转化为可视空间结构,同时识别位置、分组及连线所承载的思维关系。”邱可昕表示。


此外,Huabu 的缩放功能支持全局与细节的自由切换。缩小视图时展示摘要以建立全局认知;放大节点则可查看原文、高清图及批注,进行精细化编辑。内部测试显示,该功能有效降低了多分支探索中的思路丢失率。


图 2:b 为 a 放大后的节点视图


执行操作:全链路空间协同


信息整理完毕后,用户可调用各类Agent协同作业。Agent 的产出不再局限于对话框,而是以可视化形式直接回流至共享界面,启发新一轮思考与任务。


以往修改 AI 生成的图片或 PPT 需繁琐的提示词,而在 Huabu 中,用户可利用空间关系表达意图。例如指令“让这张图风格与旁边一致”,AI 即可实现风格对齐;调整元素间距也仅需简单指令,Agent 便能完成局部修改而不影响其他元素。


"Huabu 改变了人类向 AI 表达意图的直觉方式。”邱可昕强调。


图 3:c 为 AI 初稿;a 为 Huabu 中参考风格;b 为 Agent 对齐风格后的结果,直接呈现在空间中。


Huabu既理解空间指令,又保持上下文连续性,将迭代过程保留为历史版本。这种所见即所得的交互构建了可持续创作的闭环,显著降低了试错成本。


Huabu底层逻辑:思考成为可理解的空间



Collect-Organize-Act 工作流基于对人类思考方式的重新理解,围绕三大核心原则构建:思考外化(Externalized Thinking)、共享认知空间(Shared Cognitive Space)和自然交互(Natural Interaction


思考外化:空间布局即信息


人类习惯用空间逻辑组织信息:重要内容放大、关联素材近置、对立观点远隔。传统 AI 工具无法识别此类隐性信息,而 Huabu 专门设计了数据存储与工具调用机制,使 Agent 能理解节点的位置、大小及连接关系。


“在 Huabu 里,位置、大小及组合方式均为信息。”研究工程师陈楠指出,“放大文字代表重视,连线代表强关联,这比反复编写提示词更直观。”


图 4:相互链接的两个节点


思考外化让用户无需冗长提示词,直接通过空间关系向 AI 传达意图。


共享认知空间:从文本上下文到空间上下文


传统聊天窗口的上下文限于时序文本,需手动划定范围。Huabu 创造了空间上下文机制,空间本身承担组织与指代功能。


当 Agent 置于画布特定区域,可自动读取周边节点及连线关联素材,无需额外划定边界。例如,手绘草图附近的 Agent 可结合周围图文理解任务。这一机制让人与 Agent 共同读取同一张“思维地图”,大幅降低信息传递成本。


共享认知空间的核心在于:界面不再是单纯的素材载体,而是人与 AI 掌握项目全貌、持续协作的统一工作空间。


自然交互:多元输入与人本掌控


Huabu支持触控、手绘及语音等多种交互方式,并将提升手写识别能力以理解模糊草稿。同时,产品坚持“人在回路”(Human-in-the-loop)原则,AI 的所有修改均被完整记录并可视化。


“完整展示改动能建立信任,确保 AI 行动始终处于人类可控范围。”邱可昕解释道。自然交互的真谛并非全盘托管,而是让 AI 行动透明可见、随时可调,AI 拓展能力边界,人类掌握最终决策权。


从“我的 Agent"到“我们的空间”:探索下一代桌面


Huabu已实现单人与多 Agent 的协作模式,但这仅是起点。未来构想中,工作空间将纳入同事及其专属 Agent,构建人与人、人与 Agent、Agent 与 Agent 间的自然协作网络,由高层级 Agent 协调任务分配。


Huabu是 Agent 时代新型交互界面的尝试。正如早期命令行并非计算机终极形态,当前对话模式亦非终点。团队开源 Huabu,旨在邀请开发者与研究者的共同探讨。


从个人助手到多人共享智能空间,Huabu 所探索的,或许是 Agent 时代的下一张“桌面”。


Huabu GitHub 代码链接:

https://github.com/microsoft/Huabu


Huabu 项目页面:

https://microsoft.github.io/Huabu/

#AI #人工智能 #Agent #智能体 #Huabu #人与 Agent 交互 #自动化

【声明】内容源于网络
0
0
微软亚洲研究院
1234
内容 228
粉丝 0
微软亚洲研究院 1234
总阅读8.5k
粉丝0
内容228