大数跨境

开发者公开Phosphene:126万参数AI把终端转成原生界面

开发者公开Phosphene:126万参数AI把终端转成原生界面 TT的AI和科技新消息
2026-10-08
29
导读:开发者d/rksci于10月8日公开Phosphene实验项目,用一个仅126万参数、约5MB的模型,把vim、htop等终端程序的字符界面转成列表、输入框和按钮。代码、标注及测试结果已公开,用户可在

开发者d/rksci于10月8日公开Phosphene实验项目,用一个仅126万参数、约5MB的模型,把vim、htop等终端程序的字符界面转成列表、输入框和按钮。代码、标注及测试结果已公开,用户可在演示页观看八款应用的同步回放。

传统终端客户端需要解析控制字符,再把字符网格画出来。Phosphene改为在服务端识别每个格子的角色,包括边框、标题、菜单项、选中行、表格和状态栏,共15类。确定性编译器随后将这些区域转换成Google的A2UI声明式界面组件,让接收端直接绘制控件。按钮操作还可转换回按键,传给原终端程序。

它的另一项设计是缓存布局:界面结构被识别后锁定为模板,后续只发送变化的数据,不必每帧调用模型。在193段公开录屏、共13967个稳定画面的测试中,40%的画面由模板处理;less和dialog演示中的比例分别为92%和89%,布局频繁变化的htop则为24%。

模型采用行列轴向注意力,在Colab T4上训练,使用合成界面及Claude辅助标注的真实画面。留出真实画面的平均交并比mIoU为0.51。项目仍是原型,演示使用预生成回放;测试中的A2UI数据流约为原始终端数据流的25倍,当前价值集中在把字符转成可供客户端和智能体读取的结构化界面。

来源:d/rksci

【声明】内容源于网络
0
0
TT的AI和科技新消息
1234
内容 308
粉丝 0
TT的AI和科技新消息 1234
总阅读3.8k
粉丝0
内容308