苹果AI模型更新:基准测试表现仍落后于竞争对手
苹果宣布更新iOS、macOS等平台Apple Intelligence功能的AI模型。但据其自身基准测试,新模型表现仍不及OpenAI等竞争对手的旧款模型。
苹果周一在博客文章中披露,人类测试人员对最新“Apple On-Device”模型(离线运行于iPhone等设备)生成的文本质量评级显示,其与规模相似的Google及Alibaba模型“相当”,但未实现超越。同时,旨在数据中心运行的更强新模型“Apple Server”,其表现亦落后于OpenAI一年前发布的GPT-4o。
在图像分析能力评估中,人类评分者更青睐Meta的Llama 4 Scout模型而非Apple Server。值得注意的是,Llama 4 Scout在多项测试中的表现通常劣于Google、Anthropic和OpenAI等实验室的领先模型。
上述基准测试结果佐证了此前报道:苹果AI研究部门在激烈竞争中难以追赶对手。近年来,苹果AI能力未能令人满意,承诺的Siri升级已无限期推迟,部分客户甚至因公司营销尚未交付的AI功能而提起诉讼。
除生成文本外,参数量约30亿的Apple On-Device还驱动摘要和文本分析等功能(参数量大致对应解题能力)。截至周一,第三方开发者可通过苹果基础模型框架调用该模型。
苹果表示,与前代相比,Apple On-Device和Apple Server在工具使用及效率方面均有提升,支持约15种语言。这得益于扩展的训练数据集,涵盖图像、PDF、文档、手稿、信息图、表格及图表等。

