大数跨境
首页
>
GPT-6 成了 AI 操作世界的「万能接口」
>

GPT-6 成了 AI 操作世界的「万能接口」

GPT-6 成了 AI 操作世界的「万能接口」 APPSO
2026-09-27
1
导读：继Agent之后，大模型将开始卷Computer Use
斯坦福大学研究人员为 GPT-6 配备了机械臂、画笔和相机，指令其绘制金门大桥。在发布的演示视频中，OpenAI 最新发布的 GPT-6 Astra 通过摄像头观察画面，自主规划动作驱动机械臂握笔、蘸颜料并落笔，且画作质量随迭代不断提升。
该视频在社交平台 X 上迅速获得超 200 万次播放，OpenAI CEO 山姆·奥特曼转发并表示渴望拥有。近期，围绕 GPT-6 的 Computer Use（电脑操作能力）演示层出不穷，从 Blender 建模到 Minecraft 游戏操作，这一能力已成为本轮模型讨论的核心焦点。
尽管任务执行涉及多轮循环、报错处理及工具切换，GPT-6 仍能凭借 Computer Use 能力准确读取界面、操作软件并验证结果。

Computer Use 实战：从专业软件到游戏通关

GPT-6 的出现降低了专业软件的使用门槛。一位从未接触过 Blender 的博主通过提示词让 Astra 制作航天飞机模型，约十分钟后即可生成可交互查看的 3D 模型。日本知名 3D 艺术家 Hirokazu Yokohara 测试后评价称，虽然完成度尚有提升空间，但非人工制作 3DCG 的时代已初现端倪。
在游戏与交互测试中，OpenAI 研究员 Sharif Shameem 让 GPT-6 Astra 挑战包含 48 关复杂验证码的游戏《我不是机器人》，最终顺利通关。此外，还有用户指令 GPT-6 在《我的世界》中自动挖掘钻石，或利用 Google 日历日程格绘制迈克尔·杰克逊肖像。这些案例被网友视为 AI 模型能力的新基准。
图｜左图为 2023 年 AI 生成的“威尔·史密斯吃意面”视频，右图为 GPT-6 Astra 使用 Blender 重建的威尔·史密斯头像。
OpenAI 官方强调，Astra 能替代用户完成电脑上任何操作且速度更快。OpenAI 联合创始人 Greg Brockman 指出，Computer Use 技术已从缓慢、易错发展为精准、高效且可靠，无需 API 即可执行人类在计算机上的所有操作。
Computer Use 是这项新技术中一个尤为重要的组成部分。我认为它已经跨越了质的门槛。
事实上，它已经从过去那种缓慢、令人痛苦的运行方式，发展成为如今这种非常精准、高效且可靠的技术。因此，Astra 无需 API 就能用计算机完成人类能做的一切。

技术解析：从像素识别到代码模式

Browserbase 工程师 Kyle Jeong 通过拆解开源代码指出，理解 Astra 的强大需回顾 GPT-5.6 时代的架构。Computer Use 是工程Harness与研究Model的双重结合：模型决定做什么，Harness 负责执行。
Computer use 是一个 harness（工程）+ model（研究）的双重问题——模型决定做什么，harness 负责做。
此前 Anthropic 和 OpenAI Operator 采用“截屏+像素点击”方案，存在分辨率适应性差等弱点。Astra 转向利用“无障碍树”（Accessibility Tree）进行识别，这是一种面向读屏软件的界面文字版结构，比截图更节省 Token 且具备语义化优势。
Astra 结合了 Accessibility Tree 的语义信息与截图的视觉信息，不仅能识别按钮名称，还能观察画布笔迹和 3D 形状。更关键的是其“代码模式”：Astra 并非单纯模拟鼠标点击，而是通过编写脚本（如使用 Playwright 控制浏览器、PyAutoGUI 控制桌面）来操作电脑。
系统在持续在线的编程环境（Node REPL）中执行代码，每步操作后重新读取屏幕以验证结果，形成“感知-决策-行动-反馈”的闭环。同时，Guardian Policy 机制会对高风险操作进行拦截并要求人类批准。
得益于步数减少，Astra 在 OSWorld 2.0 基准测试中得分达 72.6%，较前代提升显著，单任务平均耗时从 75 分钟降至 40 分钟，效率与成本优势明显。
专栏作者 Tae Kim 将 Computer Use 视为继聊天机器人、推理模型、智能体编程后的第四波指数级需求浪潮。有观点认为，OpenAI 再次成功捕捉并引领了下一项热门技术。
图｜引用来源：https://benhylak.substack.com/p/openai-did-it-again-but-what-did
1.只需增加更多计算即可（transformer）
2.再把它做成聊天机器人（ChatGPT）
3.让它执行操作（工具调用）
4.教它如何思考（推理模型）
而随着 GPT-6 的推出，他们揭示了第五点：
5.Computer Use 计算机使用

从数字世界到物理世界的统一抽象层

回顾 AI 发展历程，Computer Use 将“执行”能力从文本环境扩展至整个数字世界。Greg Brockman 透露，OpenAI 创立之初的愿景便是让模型端到端学会操作电脑。历经两年的“连接器时代”后，GPT-6 实现了近乎万能的连接能力。
图｜https://stratechery.com/2026/an-interview-with-openai-president-greg-brockman-about-astra-and-alignment/
通过视觉和操作设备，模型有望成为架在所有设备之上的统一抽象层，使不同设备间拥有共同的“看和点”协议。尽管移动端系统权限对 Agent 操作有限制，但在机器人领域，GPT-6 Astra 已展现出强大潜力。
图｜GPT-6 与 ENPIRE 英伟达机器人技术平台，GPT-6 Astra 能够以零样本的方式进行机器人上下文学习。
在 RoboCurve 基准测试中，GPT-6 Astra 在零样本情况下控制机械臂完成“积木入碗”任务的成功率达 95%，远超 Claude Fable 5.1 的 40%。测试者预测，大模型最早于今年底、最迟 2029 年即可实现机械臂的实时控制。

GPT-6 Astra 用机械手解开了魔方

无论是在电脑上操作鼠标键盘，还是在机器人身上输出电机位姿指令，底层均运行着同一套“感知-决策-行动-反馈”的智能回路。1979 年 MIT 的“Put That There”演示致敬了人机交互的初心，而四十七年后，GPT-6 Astra 不仅能在屏幕上操作，更能拿起画笔在物理世界中创作。
那张不断优化的金门大桥画作，或许正是 Computer Use 迈向物理世界的重要标志。
【声明】内容源于网络
0
0
APPSO
AI第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al
内容 15778
粉丝 0
APPSO AI第一新媒体，「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al
总阅读464.7k
粉丝0
内容15.8k