象信 3.0 新增图片输入与 Box 定位能力,已在 Playground 和 API 开放。注册即赠 ¥5 免费额度,有效期一个月,可以直接体验。
如果你正在开发图片审核、理赔核验、商品识别或多模态 Agent,现在可以把图片和业务问题一起交给象信,拿到程序可直接处理的判断、分类、评分和位置坐标。
打开 Playground,免费体验
图片能做什么?先看这五个例子
我们在 Playground 准备了五个可直接运行的示例。每个示例都包含输入、问题和判据,无需先写代码,就能看到模型如何处理图片。
1. 表情包键盘:用一组图片回答一个问题
“生产数据库都着火了,部署还在继续。”
面对这样的场景,哪张表情包最适合表达你的反应?
这个示例把九张表情包放入 State。候选图片如下:
|
|
|
|
|---|---|---|
meme_keyboard_cat:键盘猫 |
meme_math_lady:满脸疑惑、眼前飘着算式的女士 |
meme_laughing:大笑 |
|
|
|
|
meme_feels_good:Feels Good |
meme_this_is_fine:房间着火、仍说“This is Fine”的小狗;象信 3.0 的选择 |
meme_sassy:一脸不屑的表情 |
|
|
|
|
meme_toes:脚趾特写 |
meme_yeehaw:Yeehaw 牛仔欢呼 |
meme_stress_cat:压力猫 |
对于“生产数据库都着火了,部署还在继续”,象信 3.0 选择了中间这张 meme_this_is_fine,置信度 91%。这正是“周围已经失火,却还假装一切正常”的经典反应。
象信 3.0 的选择:meme_this_is_fine(memes.e),置信度 91%
再换一个问题:“我的代码第一次运行就通过了所有测试。”象信 3.0 选择了 meme_laughing,置信度 58%。
象信 3.0 对“一次通过全部测试”的选择:meme_laughing(memes.c),置信度 58%
当“有人刚刚提议把整个项目用 Rust 重写一遍”时,象信 3.0 选择了 meme_math_lady,概率 39%。
象信 3.0 对“用 Rust 重写”的选择:meme_math_lady(memes.b),概率 39%
最后问:“团队拼尽全力快速上线了图片功能,而且成功了。现在团队是什么心情?”这是一道从压力猫到 Yeehaw 的 Score 题,象信 3.0 给出 0.9 / 1,结果接近 meme_yeehaw(memes.h)。
象信 3.0 对“团队成功上线”的结果:meme_yeehaw(memes.h),Score 0.9 / 1
表情包键盘:左侧配置图片与问题,右侧显示选项及概率
图片可以成为可选择的答案。 模型返回选项标识及概率分布,应用再将标识映射回图片,就能用于内容推荐、素材匹配或交互式 Agent。
2. 化学品货架:从“是什么”到“在哪里”
货架上有水、酒精、漂白剂等物品。我们既可以问“货架上有可以喝的东西吗?”,也可以给出一张水分子参考图,让模型在货架照片里定位对应物品。
这里新增的 Box 类型,返回目标的四条边界:top、bottom、left、right。
化学品货架:在同一请求中组合 Noul 判断与 Box 定位
Playground 会把框直接叠加到对应图片上。鼠标移入图片时显示四个坐标百分比,点击可以打开大图,查看坐标 JSON 和“应用于”的图片引用。
Box 大图预览:水瓶的定位框、坐标百分比与返回值
下面是本次截图中“水在哪里”的坐标结果:
json { "top": 0.22, "bottom": 0.82, "left": 0.26, "right": 0.4 } |
坐标范围是 0–1,原点在左上角,乘以原图宽高即可转成像素位置。开发者可以据此裁剪目标、叠加标记,或把局部区域交给后续处理步骤。
示例还问了一个跨图片的问题:“货架最右侧物品所对应的酸碱度,在 <xiangxin_ph> 色带上的什么位置?”这时,答案中的坐标对应酸碱度色带,而不是货架照片。同一次请求中,可以提供场景图、参考图和需要定位的目标图。
3. 手机理赔:让文字描述与照片一起接受核验
用户说:“我的手机从厨房台面滑落到瓷砖地上。屏幕一角摔碎了,现在完全无法开机。”
把这段描述和破损手机照片一起放入 State,就可以同时问:
-
可见的物理损伤有多严重? -
照片是否支持理赔描述? -
图中的手机是 iPhone,还是安卓手机?
手机理赔:将文字陈述与图片一起提交,返回损伤分类和判断结果
Choice 用明确的判据区分无损伤、轻微、中等、严重和极严重;Noul 则返回某个说法成立的概率。结果可以接入业务规则,例如把低确定性案件送入人工复核。
照片能提供的是可见证据。“无法开机”这样的功能故障仍需要额外检测,因此这个示例展示的是证据辅助核验,而非自动判赔。
4. 认识一张塔罗牌:参考标准也可以是图片
图片不必只放在输入里,也可以用来定义选项的含义。
在塔罗牌示例中,State 是月亮牌。我们可以用 Box 定位牌面上的天体与象征元素,也可以问:“这张牌更让你联想到母亲,还是父亲?”
这道 Choice 题的判据直接使用两张参考图:
json { "type": "choice", "instructions": "这张牌更让你联想到母亲,还是父亲?", "criteria": { "母亲": "<empress>", "父亲": "<king_of_swords>" } } |
塔罗牌示例:组合图像定位、图片判据和文字选项
返回的答案是“母亲”或“父亲”,两张图是各自的参考标准。换到开发场景,可以用相同方式提供合格样品、缺陷样品、设计风格或商品参考图,让模型依据样图做分类。
这也说明:你可以用图片表达难以准确写成文字的判据。 塔罗牌中的象征解读属于示例中的主观判断,不是唯一标准答案。
5. Reddit 土豆故事:用图片定义评分尺度
最后一个例子,输入是一段文字故事:主人公第一次见女友父母时,假装不知道土豆是什么,结果越解释越混乱。
问题可以是“哪张图片最能概括这个故事?”候选图片包括土豆、家庭晚餐、争吵的情侣、严厉的父亲和傻瓜帽。
也可以进一步问:“这个场面有多混乱?”使用 Score,把五张从整洁到混乱的参考图依次作为评分档位。
Reddit 土豆故事:用图片选项概括文字,用视觉量表评价混乱程度
这里输入是文字,判据是图片。Score 返回有序档位上的期望分数与概率分布,便于应用设定自己的处理规则。这种方式也可以用于依照视觉样例定义整洁度、风格强度等主观量表;实际业务效果需要用自己的样本验证。
四种输出,一套接口
这五个例子都使用相同的请求结构:state 提供上下文,questions 定义问题,assets 保存图片。
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
图片可以放进 State、问题指令或判据。同一次请求,也可以混合这四种问题。
API 使用 POST /v1/systemone,图片与 Box 请求指定 model: "xiangxin-3.0",无需额外开启实验功能。下面用一张本地图片同时判断目标是否存在,并定位它:
bash export XIANGXIN_API_KEY="你的 API Key"
curl https://api.xiangxinai.cn/v1/systemone \ -H "Authorization: Bearer $XIANGXIN_API_KEY" \ -F 'request={ "model": "xiangxin-3.0", "state": {"photo": "<shelf-photo>"}, "assets": { "<shelf-photo>": {"type": "image", "part": "photo-file"} }, "questions": { "water_present": { "type": "noul", "instructions": "`photo` 中有瓶装水吗?" }, "water_location": { "type": "box", "instructions": "`photo` 中的瓶装水" } } };type=application/json' \ -F 'photo-file=@shelf.jpg;type=image/jpeg' |
准备好 shelf.jpg 后即可调用;也支持将图片编码为 base64 后直接发送 JSON。当前支持静态 PNG/JPEG,图片宽高每边需为 280–1568 像素,单文件不超过 16 MiB。完整规则见图片文档。
Box 会返回一个矩形,目标不存在时也可能给出坐标。业务上应结合 Noul 的存在性判断与定位置信度,并根据自己的验证集设置阈值。
用免费额度,运行你的第一张图片
现在就可以打开 Playground,选择这五个示例中的任意一个,点击“运行”。再换成自己的图片、问题和参考标准,看看它如何融入你的应用。
当前注册赠送 ¥5 额度,有效期一个月,可用于体验图片与 Box 功能。 图片按输入 token 计费,输出免费;实际消耗随图片、问题及引用次数变化,剩余额度与有效期以控制台显示为准。
-
免费注册与登录 -
运行图片 Playground -
图片 API 文档 -
Box 坐标与裁剪说明
把你的第一张图片交给象信 3.0,从一个判断、一次分类,或一个定位框开始。

