AI 驱动 iOS 自动化 、接入全新 Qwen3-VL 模型 - Midscene v0.29 发布

Midscene 官网：https://midscenejs.com/zh/

开源项目库： https://github.com/web-infra-dev/midscene

开源 UI 自动化框架 Midscene 最近发布了 v0.29 版本，以下是它的新版本介绍：

🚀 新增 iOS 平台支持

继早前版本的 Android UI 自动化之后，Midscene v0.29 版本正式引入了对 iOS 平台的支持。现在你可以使用 AI 驱动所有移动端平台了！

通过 WebDriver 连接并自动化 iOS 设备，开发者可以调用 Midscene 的所有 AI 能力接口，如 aiAction (自然语言驱动的交互), aiTap（点击）, aiQuery (数据提取）, aiAssert（断言）等。

同时框架的 Playground 工具会继续提供零代码体验能力，帮助开发者在创建项目前做好 SDK 的能力评估工作。

了解详情: 支持 iOS 自动化^[1]

以下是一些 iOS 系统操作的 Demo：

自动为 Twitter 自动点赞

查看当前 iOS 版本

🚅 适配全新 Qwen3-VL 模型

我们适配了最新的通义千问 Qwen3-VL 模型。目前 Midscene 支持的 Qwen 系列所有模型为：

• Qwen2.5-VL 系列，参数越大，效果越好
• Qwen3-VL 系列，包括 qwen3-vl-plus (商业版) 和 qwen3-vl-235b-a22b-instruct (开源版)

新的 Qwen3-VL 系列模型在推理速度、定位准确性、性价比上都有了明显提升，开发者可以根据自身需求接入适合的模型。

接入文档见 选择 AI 模型^[2]

更多优化

核心能力增强

• 优化 UI-TARS 模型下的表现：优化 aiAction 规划，改进对话历史管理，提供了更好的上下文感知能力
• 优化 AI 断言与动作：我们更新了 aiAssert``aiQuery 的思考过程，并优化了 aiAction 的内部实现，使 AI 驱动的界面理解和动作执行更加精准可靠

报告与调试体验优化

• URL 参数控制播放器样式：为了改善调试体验，现在可以通过 URL 参数直接控制报告中播放器的默认样式

项目

Midscene github 项目最近达到了 1w star，感谢各位开发者的支持！

同时我们正在积极筹备 Midscene 1.0 版本，欢迎在 issue^[3] 区提出你的想法！