大数跨境

象信 3.0 支持图片与框(Image&Box):让AI看图判断,也能直接返回目标位置

象信 3.0 支持图片与框(Image&Box):让AI看图判断,也能直接返回目标位置 象信AI
2026-10-28
1
导读:象信3.0新增图片输入与 Box 定位能力,已在 Playground 和 API 开放。

象信 3.0 新增图片输入与 Box 定位能力,已在 Playground 和 API 开放。注册即赠 ¥5 免费额度,有效期一个月,可以直接体验。

如果你正在开发图片审核、理赔核验、商品识别或多模态 Agent,现在可以把图片和业务问题一起交给象信,拿到程序可直接处理的判断、分类、评分和位置坐标。

打开 Playground,免费体验

图片能做什么?先看这五个例子

我们在 Playground 准备了五个可直接运行的示例。每个示例都包含输入、问题和判据,无需先写代码,就能看到模型如何处理图片。

1. 表情包键盘:用一组图片回答一个问题

“生产数据库都着火了,部署还在继续。”

面对这样的场景,哪张表情包最适合表达你的反应?

这个示例把九张表情包放入 State。候选图片如下:

键盘猫
数学女士
大笑
meme_keyboard_cat:键盘猫

meme_keyboard_cat:键盘猫

meme_math_lady:满脸疑惑、眼前飘着算式的女士

meme_laughing:大笑

meme_laughing:大笑

Feels Good
This is Fine
一脸不屑
meme_feels_good:Feels Good

meme_feels_good:Feels Good

meme_this_is_fine:房间着火、仍说“This is Fine”的小狗;象信 3.0 的选择

meme_sassy:一脸不屑的表情

meme_sassy:一脸不屑的表情

脚趾特写
Yeehaw
压力猫
meme_toes:脚趾特写

meme_toes:脚趾特写

meme_yeehaw:Yeehaw 牛仔欢呼

meme_stress_cat:压力猫

meme_stress_cat:压力猫

对于“生产数据库都着火了,部署还在继续”,象信 3.0 选择了中间这张 meme_this_is_fine,置信度 91%。这正是“周围已经失火,却还假装一切正常”的经典反应。

象信 3.0 的选择:meme_this_is_fine(memes.e),置信度 91%


再换一个问题:“我的代码第一次运行就通过了所有测试。”象信 3.0 选择了 meme_laughing,置信度 58%。

象信 3.0 对“一次通过全部测试”的选择:meme_laughing(memes.c),置信度 58%


当“有人刚刚提议把整个项目用 Rust 重写一遍”时,象信 3.0 选择了 meme_math_lady,概率 39%。

象信 3.0 对“用 Rust 重写”的选择:meme_math_lady(memes.b),概率 39%


最后问:“团队拼尽全力快速上线了图片功能,而且成功了。现在团队是什么心情?”这是一道从压力猫到 Yeehaw 的 Score 题,象信 3.0 给出 0.9 / 1,结果接近 meme_yeehaw(memes.h)。

象信 3.0 对“团队成功上线”的结果:meme_yeehaw(memes.h),Score 0.9 / 1


表情包键盘:左侧配置图片与问题,右侧显示选项及概率


图片可以成为可选择的答案。 模型返回选项标识及概率分布,应用再将标识映射回图片,就能用于内容推荐、素材匹配或交互式 Agent。

2. 化学品货架:从“是什么”到“在哪里”

货架上有水、酒精、漂白剂等物品。我们既可以问“货架上有可以喝的东西吗?”,也可以给出一张水分子参考图,让模型在货架照片里定位对应物品。

这里新增的 Box 类型,返回目标的四条边界:top、bottom、left、right。

化学品货架:在同一请求中组合 Noul 判断与 Box 定位


Playground 会把框直接叠加到对应图片上。鼠标移入图片时显示四个坐标百分比,点击可以打开大图,查看坐标 JSON 和“应用于”的图片引用。

Box 大图预览:水瓶的定位框、坐标百分比与返回值


下面是本次截图中“水在哪里”的坐标结果:

json

{

  "top": 0.22,

  "bottom": 0.82,

  "left": 0.26,

  "right": 0.4

}

坐标范围是 0–1,原点在左上角,乘以原图宽高即可转成像素位置。开发者可以据此裁剪目标、叠加标记,或把局部区域交给后续处理步骤。

示例还问了一个跨图片的问题:“货架最右侧物品所对应的酸碱度,在 <xiangxin_ph> 色带上的什么位置?”这时,答案中的坐标对应酸碱度色带,而不是货架照片。同一次请求中,可以提供场景图、参考图和需要定位的目标图。

3. 手机理赔:让文字描述与照片一起接受核验

用户说:“我的手机从厨房台面滑落到瓷砖地上。屏幕一角摔碎了,现在完全无法开机。”

把这段描述和破损手机照片一起放入 State,就可以同时问:

  • 可见的物理损伤有多严重?
  • 照片是否支持理赔描述?
  • 图中的手机是 iPhone,还是安卓手机?

手机理赔:将文字陈述与图片一起提交,返回损伤分类和判断结果


Choice 用明确的判据区分无损伤、轻微、中等、严重和极严重;Noul 则返回某个说法成立的概率。结果可以接入业务规则,例如把低确定性案件送入人工复核。

照片能提供的是可见证据。“无法开机”这样的功能故障仍需要额外检测,因此这个示例展示的是证据辅助核验,而非自动判赔。

4. 认识一张塔罗牌:参考标准也可以是图片

图片不必只放在输入里,也可以用来定义选项的含义。

在塔罗牌示例中,State 是月亮牌。我们可以用 Box 定位牌面上的天体与象征元素,也可以问:“这张牌更让你联想到母亲,还是父亲?”

这道 Choice 题的判据直接使用两张参考图:

json

{

  "type": "choice",

  "instructions": "这张牌更让你联想到母亲,还是父亲?",

  "criteria": {

    "母亲": "<empress>",

    "父亲": "<king_of_swords>"

  }

}

塔罗牌示例:组合图像定位、图片判据和文字选项


返回的答案是“母亲”或“父亲”,两张图是各自的参考标准。换到开发场景,可以用相同方式提供合格样品、缺陷样品、设计风格或商品参考图,让模型依据样图做分类。

这也说明:你可以用图片表达难以准确写成文字的判据。 塔罗牌中的象征解读属于示例中的主观判断,不是唯一标准答案。

5. Reddit 土豆故事:用图片定义评分尺度

最后一个例子,输入是一段文字故事:主人公第一次见女友父母时,假装不知道土豆是什么,结果越解释越混乱。

问题可以是“哪张图片最能概括这个故事?”候选图片包括土豆、家庭晚餐、争吵的情侣、严厉的父亲和傻瓜帽。

也可以进一步问:“这个场面有多混乱?”使用 Score,把五张从整洁到混乱的参考图依次作为评分档位。

Reddit 土豆故事:用图片选项概括文字,用视觉量表评价混乱程度


这里输入是文字,判据是图片。Score 返回有序档位上的期望分数与概率分布,便于应用设定自己的处理规则。这种方式也可以用于依照视觉样例定义整洁度、风格强度等主观量表;实际业务效果需要用自己的样本验证。

四种输出,一套接口

这五个例子都使用相同的请求结构:state 提供上下文,questions 定义问题,assets 保存图片。

类型
回答什么
返回什么
Noul
一个说法是否成立
成立的概率
Choice
给定选项中选哪一个
选项与概率分布
Score
在有序尺度上处于什么程度
期望分数与分布
Box
图片里的目标在哪里
四条归一化边界与置信度

图片可以放进 State、问题指令或判据。同一次请求,也可以混合这四种问题。

API 使用 POST /v1/systemone,图片与 Box 请求指定 model: "xiangxin-3.0",无需额外开启实验功能。下面用一张本地图片同时判断目标是否存在,并定位它:

bash

export XIANGXIN_API_KEY="你的 API Key"

 

curl https://api.xiangxinai.cn/v1/systemone \

  -H "Authorization: Bearer $XIANGXIN_API_KEY" \

  -F 'request={

    "model": "xiangxin-3.0",

    "state": {"photo": "<shelf-photo>"},

    "assets": {

      "<shelf-photo>": {"type": "image", "part": "photo-file"}

    },

    "questions": {

      "water_present": {

        "type": "noul",

        "instructions": "`photo` 中有瓶装水吗?"

      },

      "water_location": {

        "type": "box",

        "instructions": "`photo` 中的瓶装水"

      }

    }

  };type=application/json' \

  -F 'photo-file=@shelf.jpg;type=image/jpeg'

准备好 shelf.jpg 后即可调用;也支持将图片编码为 base64 后直接发送 JSON。当前支持静态 PNG/JPEG,图片宽高每边需为 280–1568 像素,单文件不超过 16 MiB。完整规则见图片文档。

Box 会返回一个矩形,目标不存在时也可能给出坐标。业务上应结合 Noul 的存在性判断与定位置信度,并根据自己的验证集设置阈值。

用免费额度,运行你的第一张图片

现在就可以打开 Playground,选择这五个示例中的任意一个,点击“运行”。再换成自己的图片、问题和参考标准,看看它如何融入你的应用。

当前注册赠送 ¥5 额度,有效期一个月,可用于体验图片与 Box 功能。 图片按输入 token 计费,输出免费;实际消耗随图片、问题及引用次数变化,剩余额度与有效期以控制台显示为准。

  • 免费注册与登录
  • 运行图片 Playground
  • 图片 API 文档
  • Box 坐标与裁剪说明

把你的第一张图片交给象信 3.0,从一个判断、一次分类,或一个定位框开始。


【声明】内容源于网络
0
0
象信AI
让人放心把真实工作交给AI
内容 173
粉丝 0
象信AI 让人放心把真实工作交给AI
总阅读4.2k
粉丝0
内容173