
苹果与康奈尔大学研究人员于10月悄然发布开源多模态大语言模型(LLM)Ferret研究版。该模型支持基于图像区域的查询,相关代码及Ferret-Bench评测集于10月30日同步上线,模型检查点(checkpoint)则于12月14日正式推出。
Ferret以非商业许可作为开源项目发布,目前暂不支持商业化应用,但未来仍有可能集成至Apple产品或服务中。
Ferret核心功能
Ferret能够分析图像中的指定区域,精准识别对用户有用的元素并绘制边界框。用户可将检测到的元素纳入后续查询,模型亦能结合上下文给出典型响应。
例如,用户高亮图像中的动物并提问“这是什么动物?”,Ferret不仅能识别物种类别,还能感知用户指向的是单个个体,并结合图中其他元素提供更丰富的回答。
Apple的AI竞争策略
相较于微软、谷歌和Meta在AI领域的高调布局,一向低调的Apple通过发布Ferret释放出强化AI研究的明确信号。
此前Apple在AI领域进展相对缓慢,部分原因在于算力基础设施不足。据Reddit r/Apple社区披露,Ferret是在8块80GB显存的A100 GPU上训练完成的,表明Apple正逐步补齐硬件短板。作为后来者,Apple选择开源代码,意在效仿Meta的策略,以对抗OpenAI和Microsoft等行业巨头。
Apple的AI布局不仅限于开源大模型。继今年7月其自研AI聊天机器人引发关注后,预计明年将推出支持生成式AI的Siri版本。此外,有消息称Apple计划在未来两年内投入50亿美元用于AI相关支出。

