大数跨境

微软开源4B电脑Agent:会选点鼠标还是开终端,自报OSWorld 66%

微软开源4B电脑Agent:会选点鼠标还是开终端,自报OSWorld 66% AI模型库
2026-11-01
3
导读:微软开源 Mage-VL-Cowork:4B 混合电脑操作 Agent,官方自报 OSWorld-Verified 66%,BF16 约 9.5GB,Apache-2.0。

AI模型库 · 今日一模

Mage-VL-Cowork

Microsoft Mage · 4B · GUI+终端 · Apache-2.0

会选通道 > 堆参数:官方自报 OSWorld 66%

10月30日,微软 Mage 团队在 Hugging Face 放出 Mage-VL-Cowork:Apache-2.0 开源权重,项目页同步上线。总参约 4B,骨干是 Mage-ViT + Qwen3-4B-Instruct-2507;模型卡写明 BF16 权重约 9.48GB(两个 safetensors 分片),活跃上下文训练/推理窗 32768。

它不是又一个只会聊天的小模型。同一套策略里有两条动作通道:一条看截图点鼠标键盘(computer_use),一条直接跑终端和 Python(bash)。官方宣传语就是——知道什么时候该点,什么时候该写代码。对做应用的人,这意味着:桌面自动化可以少挂一层外部路由 Agent,但你得接受自定义栈和沙箱纪律。

本号的判断:值得盯的是「会选通道」,不是「4B 已经取代大模型」。OSWorld-Verified 官方自报 66.0%(50 步预算),人类参考约 72.4%;卡面还并列了更大开源电脑 Agent 的分数作对照。所有跑分先当微软说明书读,本号没有复现。

Mage-VL-Cowork 项目页配图(出处:microsoft.github.io/Mage/cowork/,微软 Mage 团队)
Mage-VL-Cowork 项目页配图(出处:microsoft.github.io/Mage/cowork/,微软 Mage 团队)

01

PART

 

它能干嘛:一点鼠标,一开终端

HYBRID

像素卡:GUI 与终端双通道
像素卡:GUI 与终端双通道

电脑操作 Agent 常见两条路:只靠截图点点点,或给模型塞一堆工具却不会在对的时机切换。Mage-VL-Cowork 的卖点是把 GUI 和终端写进同一个策略——表格合并、改 xlsx 这类结构化活,官方演示里会走 bash + openpyxl;改图层、看界面状态则走 computer_use。

训练上,微软写的是五阶段 specialize-then-unify:先各自练视觉落地和终端编码,再 Hybrid SFT,最后 Online Hybrid RL。模型卡自称相对 Hybrid SFT,在线 RL 再抬约 10.16 个百分点,同时平均调用次数降约 13%、输出 token 约少 25.4%。这些是训练故事,选型时记住一句就够:能力来自「先会两手、再学会切换」,不是单纯把参数做大。

加载有坑:自定义架构 `llava_onevision2`,Transformers / SGLang 都要 `trust_remote_code=True`,别当标准 Qwen3-VL 权重硬套。官方推 Docker 镜像 `xiaoyizhang/mage-vl-cowork:0.1.0`(SGLang 服务)。

02

PART

 

自报 66% 怎么读

SCORES

像素卡:微软官方自报 OSWorld 摘录
像素卡:微软官方自报 OSWorld 摘录

主桌面结果写在模型卡与项目页:OSWorld-Verified 66.0%(精确均值 66.04%),口径是 361 道 held-out 题(排除 Google Drive)、50 步预算、分辨率 1920×1080、两跑平均(65.33% / 66.75%)。人类参考 72.4%。分项自报:OS 87.5%、Office 64.9%、Daily 65.0%、Professional 66.3%、Workflow 62.7%。

开源对照表里,微软把 Mage-VL-Cowork-4B 排在 Muse Glimmer-30B(65.9%)、Qwen3.6-27B(63.9%)之上;同表 ScaleCUA-Qwen3.5-9B(9B、50 步)是 68.7%,仍高于本模型。闭源前沿更高一截(卡面列到 GPT-5.5 等),别把「压过某几个开源大模型」听成「全面碾压」。

全部标微软模型卡 / 项目页自报。 第三方独立复现榜若对不上,以你自己沙箱题为准。官方还展示了和 GUI-only 的 Qwen3.6-27B 同题对照(表格合并、GIMP 改图),那是演示速度差,不是本号实测。

03

PART

 

显存与本机:约 9.5GB 不等于随便装

VRAM

像素卡:约 9.5GB / 自定义架构 / 沙箱(官方)
像素卡:约 9.5GB / 自定义架构 / 沙箱(官方)

权重体积:模型卡写 BF16 约 9.48GB,两个分片约 4.56GB + 4.92GB。和动辄几十上百 GB 的开源大模型比,下载门槛低一截。

但「约 9.5GB 能下」≠「笔记本随便当日常电脑助理」。这是多模态电脑 Agent:推理还要吃截图、保留最近若干屏(卡面写 asymmetric window:最近 3 张截图 + 4 段完整回复)。官方 Responsible AI 一节明确要求隔离沙箱/一次性虚拟机,不要把宿主机密钥、cookie、个人网盘挂进去——它能执行任意 bash 和 GUI。

许可 Apache-2.0。截至写稿,卡面主推 BF16 + SGLang Docker;未见官方挂好的大众 INT4/GGUF 一键包。有 16–24GB 消费卡的人:先按官方仓核对实际依赖与显存余量,别只看权重文件大小。社区量化若后续出现,再更新本号判断。

另外别把中文圈转发里的「碾压 6~7 倍大模型」直接写进方案书:那是卡面开源对照表的选择性强调;同表 9B 仍更高,闭源前沿更高。你真正要问的是:混合通道能不能缩短你这几类工单的步数。

04

PART

 

现在怎么动手

CHECKLIST

按下面五步过一遍,比先转发「碾压 27B」截图更有用。

像素清单:选型 5 步
像素清单:选型 5 步
  • 读 HF 模型卡与 microsoft.github.io/Mage/cowork/:确认 Apache、4B、BF16≈9.48GB、OSWorld 口径(361/50 步/两跑)。
  • 只在 Docker / 快照可回滚的沙箱里试;不要挂个人 SSH 密钥或浏览器登录态。
  • 加载务必 trust_remote_code=True;优先官方 SGLang Docker,再谈本机 Transformers。
  • 分数当线索:拿 20–30 道你真实会点的桌面任务复测,尤其跨应用工作流。
  • 对照物:同表 9B ScaleCUA 自报更高;你要比的是「混合通道值不值这套自定义栈」,不是只看 4B 数字爽。

你会先在沙箱按官方 Docker 试一晚,还是等社区量化、或者继续用闭源电脑 Agent API?正在算私有化桌面自动化账单的同事,可以把这篇转给他。


出处:Hugging Face 模型卡 microsoft/Mage-VL-Cowork(10月30日权重发布);项目页 microsoft.github.io/Mage/cowork/。OSWorld 等跑分均为微软官方自报。

往期 · 接着看

DiffuSpace开源Clover-35B:整块并行生成,BF16约69GB,INT4自报能塞16GB卡

Liquid开源1.7B小模型:调工具赢了9B,知识题只答对7%

Ornith开源122B说单卡能跑:原版250GB,真正塞进80GB的是4bit版

AI我是「AI模型库」,每天挑一个最值得看的 AI 模型,讲清楚它能干嘛、坑在哪。

觉得有用的话,欢迎点赞、收藏、评论。

赞
在看
收藏

THANKS FOR READING

【声明】内容源于网络
0
0
AI模型库
企业AI模型训练,精选行业优秀项目,定制企业机器人助手!写新AI
内容 46
粉丝 0
AI模型库 企业AI模型训练,精选行业优秀项目,定制企业机器人助手!写新AI
总阅读765
粉丝0
内容46