多模态大模型不断更新,能够处理的图像任务越来越多。对于水电气抄表和工业巡检,一个实际问题也随之而来:这些模型能否准确读出现场仪表?
上一期,我们对多款通用大模型和专用仪表识别方案进行了横向测评。正面PK OpenAI、谷歌、阿里:专业仪表识别引擎EvaGo如何击败通用大模型?结果发现,小数点错位、数字位权混淆以及多指针换算,是通用模型容易出错的环节。
本期,我们选取4款多模态大模型,再次与三合智能专业仪表识别引擎EvaGo进行对比。测试涵盖24张现场图片、8类仪表,既观察总体表现,也结合具体图片分析识别差异,为仪表识别、AI抄表和智能巡检项目提供选型参考。
测试数据集
本次测试共使用24张图片,分为8个仪表组,每组3张。
仪表类别 |
测试分组 |
样本数 |
机械字轮表 |
机械水表、机械电表、燃气表 |
9 |
数显表 |
LCD、LED |
6 |
指针式仪表 |
全指针水表、单指针仪表 |
6 |
流量计 |
流量计 |
3 |
图片包含不同拍摄角度、反光、低对比度及表盘细节不清等情况。单指针组包含压力表和电流表。文末附全部图片参数及逐模型识别结果,可与原图对应。
参评模型
本轮选取专业仪表识别引擎和4款通用多模态大模型,模型名称按测试记录保留。
参评对象 |
测试记录名称 |
类型 |
EvaGo |
eva-go |
专业仪表识别引擎 |
minimax-m3.1-flash |
通用多模态大模型 |
|
deepseek-v4.1-flash-1017 |
通用多模态大模型 |
|
GLM |
glm-5.3-flash |
通用多模态大模型 |
Qwen |
qwen3.8-flash |
通用多模态大模型 |
本轮没有纳入上一期的专用API。各参评对象均获得24项数值结果。
评测指标
我们主要从以下三个方面观察识别结果。
MAE(平均绝对误差):计算识别值与参考读数之间的绝对差值,再取平均。它反映数值偏差,但不同仪表单位不同,混合汇总时不能理解为统一单位下的物理误差。
MAPE(平均绝对百分比误差):将每张图片的偏差换算成相对于参考读数的百分比,再取平均。小数点或位数错位造成的巨大偏差,会显著拉高这一指标。
±1%阈值命中率:识别值相对于参考读数的偏差不超过1%的图片数,占全部测试图片的比例。本轮4款通用模型统一按此计算。
此外,我们单独统计正数结果中的数量级错位:识别值达到参考读数的10倍及以上,或不超过参考读数的十分之一。返回0的情况另行说明。
总体结果与分析
本轮测试中,EvaGo的24张图片均按本次判读要求通过,通过率100%。从原始识别值与参考标注计算,EvaGo的MAE约为0.013879,MAPE约为0.1183%。
各参评对象的平均相对偏差和数量级错位情况如下:
参评对象 |
MAPE |
正数数量级错位 |
有效样本 |
EvaGo |
0.1183% |
0/24 |
24 |
GLM |
925.28% |
8/24 |
24 |
DeepSeek |
4707.73% |
8/24 |
24 |
MiniMax |
42309.50% |
8/24 |
24 |
Qwen |
87658.44% |
10/24 |
24 |
上述MAPE均以原始参考标注计算。
这些较大的MAPE值,并不意味着每张图片都产生了同样程度的错误。少数读数被放大数百倍、数千倍,就可能显著抬高平均值。因此,还应结合命中率和具体图片一起判断。
4款通用模型的±1%阈值命中情况如下:
通用模型 |
命中图片数 |
总图片数 |
±1%命中率 |
GLM |
10 |
24 |
41.7% |
Qwen |
10 |
24 |
41.7% |
DeepSeek |
8 |
24 |
33.3% |
MiniMax |
7 |
24 |
29.2% |
GLM与Qwen的命中数量相同,但发生错误的图片及偏差程度并不相同。选型时除了看“能读对多少”,还应看“会在哪些图片上出错、错到什么程度”。
按仪表类型分析
机械水表:数字进位与小数位仍需仔细判断
GLM、Qwen各命中2/3,DeepSeek、MiniMax各命中1/3。水表上的字轮与小刻度盘需要组合判读,部分数字清楚,也不代表完整读数正确。
|
|
|
机械水表样本一 |
机械水表样本二 |
机械水表样本三 |
机械电表:四款通用模型均命中2/3
四款通用模型在这一组中各命中2张,但仍有图片未达到±1%标准。电表数字窗口的清晰度、位数与小数位都影响最终结果。
|
|
|
机械电表样本一 |
机械电表样本二 |
机械电表样本三 |
燃气表:小数点错位较为明显
DeepSeek与MiniMax各命中2/3,GLM命中1/3,Qwen为0/3。几款通用模型出现了明显的小数点或数字位置偏差。
|
|
|
燃气表样本一 |
燃气表样本二 |
燃气表样本三 |
流量计:有模型把读数放大一万倍
DeepSeek在3张图片中全部命中,GLM与Qwen各命中2/3,MiniMax为0/3。读对一串数字后,还必须确定每位数字的权重。
|
|
|
流量计样本一 |
流量计样本二 |
流量计样本三 |
LCD数显表:屏幕反光与小数点增加难度
GLM、Qwen、MiniMax各命中1/3,DeepSeek为0/3。数字虽然直接显示在屏幕上,但反光、对比度及细小的小数点仍可能影响判读。
|
|
|
LCD数显表样本一 |
LCD数显表样本二 |
LCD数显表样本三 |
LED数显表:位数完整性同样重要
GLM与Qwen各命中2/3,MiniMax命中1/3,DeepSeek为0/3。发光数字并不意味着识别一定准确,小数点与完整位数仍需核对。
|
|
|
LED数显表样本一 |
LED数显表样本二 |
LED数显表样本三 |
全指针水表:四款通用模型均未命中
3张全指针水表图片中,4款通用模型均未达到±1%阈值。模型需要判断多个指针的位置,再按照各刻度盘的位权组合读数。
|
|
|
全指针水表样本一 |
全指针水表样本二 |
全指针水表样本三 |
单指针仪表:角度与刻度换算仍有偏差
这一组包含两张压力表和一张电流表。Qwen命中1/3,其余3款通用模型均未命中。相比字符提取,指针位置与刻度之间的准确换算仍然更具挑战。
|
|
|
单指针压力表样本一 |
单指针压力表样本二 |
单指针电流表样本三 |
EvaGo在本轮各类仪表中均通过测试。下面结合具体图片,进一步观察不同方案的读数差异。
典型案例一 流量计读数被放大一万倍
流量计样本一的参考读数为164895.7918。
流量计测试图片
参评对象 |
返回读数 |
EvaGo |
164895.7918 |
MiniMax |
1648957918 |
DeepSeek |
164895.79 |
GLM |
164095.79 |
Qwen |
164895.79 |
MiniMax的返回值与参考值具有相似的数字串,但小数点缺失,数值恰好放大10000倍。DeepSeek与Qwen的结果接近参考读数;GLM虽然出现数字偏差,但仍在±1%范围内。
这一案例说明,识别出大部分数字,并不等于读数正确。用于抄表时,小数点和每一位数字的权重都需要被准确处理。累计读数较大时,即使部分数字有偏差,相对偏差仍可能达标,因此业务验收还应检查末位精度和相邻周期的用量差值。
典型案例二 LCD小数点仍然容易出错
LCD数显表样本二的参考读数为13.7246。
LCD低对比度测试图片
参评对象 |
返回读数 |
EvaGo |
13.7246 |
MiniMax |
1774.5 |
DeepSeek |
122.45 |
GLM |
1372.46 |
Qwen |
137246 |
这张图片中,4款通用模型均未达到±1%阈值。GLM与Qwen保留了部分相似数字,但小数点位置已经改变;另外两款模型还出现了数字判读差异。
现场LCD显示屏的反射、对比度及细小的小数点,都会增加读数难度。对于远程集抄,系统不能只确认“返回了数字”,还应结合仪表档案核对位数、小数位和合理范围。
典型案例三 燃气表读数出现十倍错位
燃气表样本三的参考读数为9.68。EvaGo与DeepSeek均返回9.68,MiniMax返回96.8,GLM返回96.68,Qwen返回96.88。
燃气表测试图片
MiniMax的结果为参考值的10倍,Qwen也出现约10倍的偏差。GLM的结果接近10倍,但未达到本轮数量级错位的严格界限,仍属于明显的读数偏差。
在燃气表样本二中,参考读数为7302.909,MiniMax返回7302.90,接近参考值;DeepSeek、GLM和Qwen则分别返回7302909、730290.9和73029.09,出现不同程度的位数或小数点错位。
同一个模型在某张图片上读对,不代表它在同类仪表上已经稳定可靠。燃气字轮表需要覆盖不同表盘布局、小数位以及数字进位状态进行验证。
典型案例四 全指针水表需要完整换算
全指针水表样本三的参考读数为137599.17。
全指针水表测试图片
EvaGo返回137599.18,与参考值相差0.01;MiniMax返回92.00,DeepSeek返回594.131,GLM返回1683.29,Qwen返回0,均存在明显偏差。
全指针水表需要同时判断多个刻度盘的指针位置,并根据各刻度盘的位权组合完整读数。它考验的是几何判读、刻度理解和进位处理的综合能力。
本轮3张全指针水表图片中,EvaGo的结果均在±1%范围内,而4款通用模型均未达到这一阈值。这一分组呈现了本轮测试中较为集中的能力差异。
常见错误与现场部署建议
从本轮结果看,通用模型常见的问题主要集中在小数点错位、数字位数判断以及多指针换算。部分图片能够正确识别,部分图片却出现数量级偏差,说明现场应用还需要针对性验证和结果校验。
对于AI抄表和智能巡检项目,我们建议先建立仪表档案,明确每块表的单位、小数位、量程及允许偏差,再选择识别方案。机械字轮、数显和指针仪表应分别设置验收要求,对所有候选方案采用一致的标准。
识别结果还应与原始图片、仪表编号和采集时间关联。对位数异常、超出量程或出现不合理跳变的结果,应保留原始记录并触发复核,避免错误数据直接进入用量统计和分析环节。
本轮没有记录调用时延、接口费用和连续运行一致性,因此不对速度、成本及部署方式作排名。图片测试之后,还应在实际现场开展连续采集验证。
测评综述
本轮24张图片中,EvaGo按本次判读要求全部通过。按原始参考标注计算,其MAE约为0.013879,MAPE约为0.1183%,未出现正数数量级错位。
4款通用模型已能识别部分仪表,但±1%阈值命中率为29.2%—41.7%,并存在小数点和位数错位。在全指针水表组,4款模型均未达到±1%阈值。
从现场应用出发,我们更关心的是:面对自己的仪表和拍摄条件,方案能否持续给出可靠结果。三合智能将继续围绕不同表型的判读要求完善EvaGo及AI视觉抄表应用,让识别数据能够被核对、追溯并用于现场管理。
欢迎提供真实现场仪表照片,与我们开展针对性测试,也欢迎联系我们获取体验账号。
(联系我们获取体验账号)
评测说明:EvaGo的100%采用测试方确认的本轮判读通过结果,其中单指针压力表样本一参考标注为0.46、输出为0.4672,按测试方确认计为通过;4款通用模型命中率采用相对参考标注偏差≤1%的统一数值标准。两类通过口径不同,不作为同一阈值下的直接排名。MAE与MAPE均按原始标注和输出计算。每组仅3张图片,结果不代表大规模生产准确率;本轮配置及提示词未完整记录,不作严格的版本升级归因。
附表一 全部测试图片与参数
共24张现场图片,按仪表类别与样本名称排列。
样本名称 |
仪表类型 |
现场图片 |
尺寸(像素) |
参考读数 |
机械水表样本一 |
机械水表 |
|
987×1440 |
178.2149 |
机械水表样本二 |
机械水表 |
|
1080×2131 |
211903 |
机械水表样本三 |
机械水表 |
|
640×854 |
879.7194 |
机械电表样本一 |
机械电表 |
|
1279×1706 |
47287.8 |
机械电表样本二 |
机械电表 |
|
720×1030 |
8554.3 |
机械电表样本三 |
机械电表 |
|
1279×2275 |
2251.7 |
流量计样本一 |
流量计 |
|
675×900 |
164895.7918 |
流量计样本二 |
流量计 |
|
675×900 |
724021 |
流量计样本三 |
流量计 |
|
675×900 |
104716.0094 |
燃气表样本一 |
燃气表 |
|
675×900 |
2022.592 |
燃气表样本二 |
燃气表 |
|
675×900 |
7302.909 |
燃气表样本三 |
燃气表 |
|
500×667 |
9.68 |
LCD数显表样本一 |
LCD数显表 |
|
1026×1440 |
23934.98 |
LCD数显表样本二 |
LCD数显表 |
|
640×854 |
13.7246 |
LCD数显表样本三 |
LCD数显表 |
|
1279×1706 |
1517.6 |
LED数显表样本一 |
LED数显表 |
|
1702×1276 |
52 |
LED数显表样本二 |
LED数显表 |
|
1028×1440 |
3134.2 |
LED数显表样本三 |
LED数显表 |
|
1120×1494 |
231.6 |
全指针水表样本一 |
全指针水表 |
|
720×720 |
911.5889 |
全指针水表样本二 |
全指针水表 |
|
675×900 |
61720.882 |
全指针水表样本三 |
全指针水表 |
|
675×900 |
137599.17 |
单指针压力表样本一 |
单指针压力表 |
|
675×900 |
0.46 |
单指针压力表样本二 |
单指针压力表 |
|
489×468 |
0.62 |
单指针电流表样本三 |
单指针电流表 |
|
744×992 |
0.43 |
附表二 全部图片逐模型读数
共24个样本,名称与图片参数表一致。保留各模型返回的原始数值及前导零。
样本名称 |
参考读数 |
EvaGo |
MiniMax |
DeepSeek |
GLM |
Qwen |
机械水表样本一 |
178.2149 |
178.2249 |
7.9 |
49 |
19 |
178 |
机械水表样本二 |
211903 |
211903 |
21190.1 |
021119 |
211190 |
2119 |
机械水表样本三 |
879.7194 |
879.6194 |
879.7 |
879.7 |
879.07 |
0879.7 |
机械电表样本一 |
47287.8 |
47287.8 |
47287.8 |
47287.8 |
47287.8 |
47287.8 |
机械电表样本二 |
8554.3 |
8554.3 |
1895.4 |
4.7 |
8653.4 |
1.0 |
机械电表样本三 |
2251.7 |
2251.7 |
2251.0 |
2251.7 |
2251.7 |
2251.7 |
流量计样本一 |
164895.7918 |
164895.7918 |
1648957918 |
164895.79 |
164095.79 |
164895.79 |
流量计样本二 |
724021 |
724021 |
7240.21 |
000724021 |
00072402.1 |
724021 |
流量计样本三 |
104716.0094 |
104716.0094 |
114716.094 |
104716.0094 |
104716.0094 |
1047160094 |
燃气表样本一 |
2022.592 |
2022.592 |
2022.592 |
2022.592 |
2022.592 |
02022592 |
燃气表样本二 |
7302.909 |
7302.909 |
7302.90 |
7302909 |
730290.9 |
73029.09 |
燃气表样本三 |
9.68 |
9.68 |
96.8 |
9.68 |
96.68 |
96.88 |
LCD数显表样本一 |
23934.98 |
23934.98 |
23934.98 |
2393498 |
23934.98 |
23934.98 |
LCD数显表样本二 |
13.7246 |
13.7246 |
1774.5 |
122.45 |
1372.46 |
137246 |
LCD数显表样本三 |
1517.6 |
1517.8 |
15170 |
15176 |
15176.008 |
15176 |
LED数显表样本一 |
52 |
52 |
52.0 |
5.20 |
52.0 |
52.0 |
LED数显表样本二 |
3134.2 |
3134.2 |
08134.2 |
03834.2 |
3134.2 |
03134.2 |
LED数显表样本三 |
231.6 |
231.6 |
23.16 |
002316 |
23.16 |
0023.16 |
全指针水表样本一 |
911.5889 |
911.5889 |
1901.6969 |
0839 |
001 |
8915 |
全指针水表样本二 |
61720.882 |
61720.882 |
89900.92 |
7818 |
1620.68 |
211 |
全指针水表样本三 |
137599.17 |
137599.18 |
92.00 |
594.131 |
1683.29 |
0 |
单指针压力表样本一 |
0.46 |
0.4672 |
0.4 |
0.5 |
0.6 |
0.6 |
单指针压力表样本二 |
0.62 |
0.6218 |
0.6 |
0.6 |
0.6 |
0.62 |
单指针电流表样本三 |
0.43 |
0.4341 |
0.4 |
0.48 |
0.4 |
0.45 |
联系我们

微信扫描二维码添加工作人员
电话:010-82860760
邮箱:sanhe@lanwair.com



