埃隆·马斯克的AI公司xAI正致力于让Grok聊天机器人具备多模态架构。根据最新开发者文档，用户即将能够向Grok上传图片并获取基于文本的回复。
Grok-1.5V：多模态能力的里程碑
今年四月，xAI发布了首个多模态AI模型Grok-1.5V。该模型不仅能理解文本，还能解析文档、照片、截图、图表及示意图。此次文档更新预示着新模型的推出，是对2023年11月首次推出的Grok的重大升级。目前，Grok主要服务于X Premium Plus订阅用户。
SDK示例与推理能力升级
开发者文档提供了Python脚本示例，展示了如何利用xAI SDK读取图像文件、设置提示词并生成图文响应。此前，Grok 1.5已增强了复杂逻辑推理、科学图表解读及视觉内容互动能力。据官方数据，Grok-1.5 Vision在衡量现实世界空间理解能力的RealWorldQA基准测试中表现优于竞争对手。
对标主流模型，避免技术掉队
当前，GPT-4o和Gemini 1.5 Pro等模型已凭借多模态架构提供全面支持。xAI此举旨在强化Grok的多模态能力，以确保在激烈的人工智能竞争中保持领先地位。