大数跨境

大模型又升级了,为什么还是读不准仪表?24张现场图片,实测4款多模态大模型与EvaGo专业引擎

大模型又升级了,为什么还是读不准仪表?24张现场图片,实测4款多模态大模型与EvaGo专业引擎 三合智能Lanwair
2026-11-13
4
导读:多模态大模型不断更新,能够处理的图像任务越来越多。这些模型能否准确读出现场仪表?

多模态大模型不断更新,能够处理的图像任务越来越多。对于水电气抄表和工业巡检,一个实际问题也随之而来:这些模型能否准确读出现场仪表?

上一期,我们对多款通用大模型和专用仪表识别方案进行了横向测评。正面PK OpenAI、谷歌、阿里:专业仪表识别引擎EvaGo如何击败通用大模型?结果发现,小数点错位、数字位权混淆以及多指针换算,是通用模型容易出错的环节。

本期,我们选取4款多模态大模型,再次与三合智能专业仪表识别引擎EvaGo进行对比。测试涵盖24张现场图片、8类仪表,既观察总体表现,也结合具体图片分析识别差异,为仪表识别、AI抄表和智能巡检项目提供选型参考。

测试数据集

本次测试共使用24张图片,分为8个仪表组,每组3张。

仪表类别

测试分组

样本数

机械字轮表

机械水表、机械电表、燃气表

9

数显表

LCD、LED

6

指针式仪表

全指针水表、单指针仪表

6

流量计

流量计

3

图片包含不同拍摄角度、反光、低对比度及表盘细节不清等情况。单指针组包含压力表和电流表。文末附全部图片参数及逐模型识别结果,可与原图对应。

参评模型

本轮选取专业仪表识别引擎和4款通用多模态大模型,模型名称按测试记录保留。

参评对象

测试记录名称

类型

EvaGo

eva-go

专业仪表识别引擎

MiniMax

minimax-m3.1-flash

通用多模态大模型

DeepSeek

deepseek-v4.1-flash-1017

通用多模态大模型

GLM

glm-5.3-flash

通用多模态大模型

Qwen

qwen3.8-flash

通用多模态大模型

本轮没有纳入上一期的专用API。各参评对象均获得24项数值结果。

评测指标

我们主要从以下三个方面观察识别结果。

MAE(平均绝对误差):计算识别值与参考读数之间的绝对差值,再取平均。它反映数值偏差,但不同仪表单位不同,混合汇总时不能理解为统一单位下的物理误差。

MAPE(平均绝对百分比误差):将每张图片的偏差换算成相对于参考读数的百分比,再取平均。小数点或位数错位造成的巨大偏差,会显著拉高这一指标。

±1%阈值命中率:识别值相对于参考读数的偏差不超过1%的图片数,占全部测试图片的比例。本轮4款通用模型统一按此计算。

此外,我们单独统计正数结果中的数量级错位:识别值达到参考读数的10倍及以上,或不超过参考读数的十分之一。返回0的情况另行说明。

总体结果与分析

本轮测试中,EvaGo的24张图片均按本次判读要求通过,通过率100%。从原始识别值与参考标注计算,EvaGo的MAE约为0.013879,MAPE约为0.1183%。

各参评对象的平均相对偏差和数量级错位情况如下:

参评对象

MAPE

正数数量级错位

有效样本

EvaGo

0.1183%

0/24

24

GLM

925.28%

8/24

24

DeepSeek

4707.73%

8/24

24

MiniMax

42309.50%

8/24

24

Qwen

87658.44%

10/24

24

上述MAPE均以原始参考标注计算。

这些较大的MAPE值,并不意味着每张图片都产生了同样程度的错误。少数读数被放大数百倍、数千倍,就可能显著抬高平均值。因此,还应结合命中率和具体图片一起判断。

4款通用模型的±1%阈值命中情况如下:

通用模型

命中图片数

总图片数

±1%命中率

GLM

10

24

41.7%

Qwen

10

24

41.7%

DeepSeek

8

24

33.3%

MiniMax

7

24

29.2%

GLM与Qwen的命中数量相同,但发生错误的图片及偏差程度并不相同。选型时除了看“能读对多少”,还应看“会在哪些图片上出错、错到什么程度”。

按仪表类型分析

机械水表:数字进位与小数位仍需仔细判断

GLM、Qwen各命中2/3,DeepSeek、MiniMax各命中1/3。水表上的字轮与小刻度盘需要组合判读,部分数字清楚,也不代表完整读数正确。

机械水表样本一

机械水表样本二

机械水表样本三

机械电表:四款通用模型均命中2/3

四款通用模型在这一组中各命中2张,但仍有图片未达到±1%标准。电表数字窗口的清晰度、位数与小数位都影响最终结果。

机械电表样本一

机械电表样本二

机械电表样本三

燃气表:小数点错位较为明显

DeepSeek与MiniMax各命中2/3,GLM命中1/3,Qwen为0/3。几款通用模型出现了明显的小数点或数字位置偏差。

燃气表样本一

燃气表样本二

燃气表样本三

流量计:有模型把读数放大一万倍

DeepSeek在3张图片中全部命中,GLM与Qwen各命中2/3,MiniMax为0/3。读对一串数字后,还必须确定每位数字的权重。

流量计样本一

流量计样本二

流量计样本三

LCD数显表:屏幕反光与小数点增加难度

GLM、Qwen、MiniMax各命中1/3,DeepSeek为0/3。数字虽然直接显示在屏幕上,但反光、对比度及细小的小数点仍可能影响判读。

LCD数显表样本一

LCD数显表样本二

LCD数显表样本三

LED数显表:位数完整性同样重要

GLM与Qwen各命中2/3,MiniMax命中1/3,DeepSeek为0/3。发光数字并不意味着识别一定准确,小数点与完整位数仍需核对。

LED数显表样本一

LED数显表样本二

LED数显表样本三

全指针水表:四款通用模型均未命中

3张全指针水表图片中,4款通用模型均未达到±1%阈值。模型需要判断多个指针的位置,再按照各刻度盘的位权组合读数。

全指针水表样本一

全指针水表样本二

全指针水表样本三

单指针仪表:角度与刻度换算仍有偏差

这一组包含两张压力表和一张电流表。Qwen命中1/3,其余3款通用模型均未命中。相比字符提取,指针位置与刻度之间的准确换算仍然更具挑战。

单指针压力表样本一

单指针压力表样本二

单指针电流表样本三

EvaGo在本轮各类仪表中均通过测试。下面结合具体图片,进一步观察不同方案的读数差异。

典型案例一 流量计读数被放大一万倍

流量计样本一的参考读数为164895.7918。

流量计测试图片

参评对象

返回读数

EvaGo

164895.7918

MiniMax

1648957918

DeepSeek

164895.79

GLM

164095.79

Qwen

164895.79

MiniMax的返回值与参考值具有相似的数字串,但小数点缺失,数值恰好放大10000倍。DeepSeek与Qwen的结果接近参考读数;GLM虽然出现数字偏差,但仍在±1%范围内。

这一案例说明,识别出大部分数字,并不等于读数正确。用于抄表时,小数点和每一位数字的权重都需要被准确处理。累计读数较大时,即使部分数字有偏差,相对偏差仍可能达标,因此业务验收还应检查末位精度和相邻周期的用量差值。

典型案例二 LCD小数点仍然容易出错

LCD数显表样本二的参考读数为13.7246。

LCD低对比度测试图片

参评对象

返回读数

EvaGo

13.7246

MiniMax

1774.5

DeepSeek

122.45

GLM

1372.46

Qwen

137246

这张图片中,4款通用模型均未达到±1%阈值。GLM与Qwen保留了部分相似数字,但小数点位置已经改变;另外两款模型还出现了数字判读差异。

现场LCD显示屏的反射、对比度及细小的小数点,都会增加读数难度。对于远程集抄,系统不能只确认“返回了数字”,还应结合仪表档案核对位数、小数位和合理范围。

典型案例三 燃气表读数出现十倍错位

燃气表样本三的参考读数为9.68。EvaGo与DeepSeek均返回9.68,MiniMax返回96.8,GLM返回96.68,Qwen返回96.88。

燃气表测试图片

MiniMax的结果为参考值的10倍,Qwen也出现约10倍的偏差。GLM的结果接近10倍,但未达到本轮数量级错位的严格界限,仍属于明显的读数偏差。

在燃气表样本二中,参考读数为7302.909,MiniMax返回7302.90,接近参考值;DeepSeek、GLM和Qwen则分别返回7302909、730290.9和73029.09,出现不同程度的位数或小数点错位。

同一个模型在某张图片上读对,不代表它在同类仪表上已经稳定可靠。燃气字轮表需要覆盖不同表盘布局、小数位以及数字进位状态进行验证。

典型案例四 全指针水表需要完整换算

全指针水表样本三的参考读数为137599.17。

全指针水表测试图片

EvaGo返回137599.18,与参考值相差0.01;MiniMax返回92.00,DeepSeek返回594.131,GLM返回1683.29,Qwen返回0,均存在明显偏差。

全指针水表需要同时判断多个刻度盘的指针位置,并根据各刻度盘的位权组合完整读数。它考验的是几何判读、刻度理解和进位处理的综合能力。

本轮3张全指针水表图片中,EvaGo的结果均在±1%范围内,而4款通用模型均未达到这一阈值。这一分组呈现了本轮测试中较为集中的能力差异。

常见错误与现场部署建议

从本轮结果看,通用模型常见的问题主要集中在小数点错位、数字位数判断以及多指针换算。部分图片能够正确识别,部分图片却出现数量级偏差,说明现场应用还需要针对性验证和结果校验。

对于AI抄表和智能巡检项目,我们建议先建立仪表档案,明确每块表的单位、小数位、量程及允许偏差,再选择识别方案。机械字轮、数显和指针仪表应分别设置验收要求,对所有候选方案采用一致的标准。

识别结果还应与原始图片、仪表编号和采集时间关联。对位数异常、超出量程或出现不合理跳变的结果,应保留原始记录并触发复核,避免错误数据直接进入用量统计和分析环节。

本轮没有记录调用时延、接口费用和连续运行一致性,因此不对速度、成本及部署方式作排名。图片测试之后,还应在实际现场开展连续采集验证。

测评综述

本轮24张图片中,EvaGo按本次判读要求全部通过。按原始参考标注计算,其MAE约为0.013879,MAPE约为0.1183%,未出现正数数量级错位。

4款通用模型已能识别部分仪表,但±1%阈值命中率为29.2%—41.7%,并存在小数点和位数错位。在全指针水表组,4款模型均未达到±1%阈值。

从现场应用出发,我们更关心的是:面对自己的仪表和拍摄条件,方案能否持续给出可靠结果。三合智能将继续围绕不同表型的判读要求完善EvaGo及AI视觉抄表应用,让识别数据能够被核对、追溯并用于现场管理。

欢迎提供真实现场仪表照片,与我们开展针对性测试,也欢迎联系我们获取体验账号。

(联系我们获取体验账号)


评测说明:EvaGo的100%采用测试方确认的本轮判读通过结果,其中单指针压力表样本一参考标注为0.46、输出为0.4672,按测试方确认计为通过;4款通用模型命中率采用相对参考标注偏差≤1%的统一数值标准。两类通过口径不同,不作为同一阈值下的直接排名。MAE与MAPE均按原始标注和输出计算。每组仅3张图片,结果不代表大规模生产准确率;本轮配置及提示词未完整记录,不作严格的版本升级归因。

附表一 全部测试图片与参数

共24张现场图片,按仪表类别与样本名称排列。

样本名称

仪表类型

现场图片

尺寸(像素)

参考读数

机械水表样本一

机械水表

987×1440

178.2149

机械水表样本二

机械水表

1080×2131

211903

机械水表样本三

机械水表

640×854

879.7194

机械电表样本一

机械电表

1279×1706

47287.8

机械电表样本二

机械电表

720×1030

8554.3

机械电表样本三

机械电表

1279×2275

2251.7

流量计样本一

流量计

675×900

164895.7918

流量计样本二

流量计

675×900

724021

流量计样本三

流量计

675×900

104716.0094

燃气表样本一

燃气表

675×900

2022.592

燃气表样本二

燃气表

675×900

7302.909

燃气表样本三

燃气表

500×667

9.68

LCD数显表样本一

LCD数显表

1026×1440

23934.98

LCD数显表样本二

LCD数显表

640×854

13.7246

LCD数显表样本三

LCD数显表

1279×1706

1517.6

LED数显表样本一

LED数显表

1702×1276

52

LED数显表样本二

LED数显表

1028×1440

3134.2

LED数显表样本三

LED数显表

1120×1494

231.6

全指针水表样本一

全指针水表

720×720

911.5889

全指针水表样本二

全指针水表

675×900

61720.882

全指针水表样本三

全指针水表

675×900

137599.17

单指针压力表样本一

单指针压力表

675×900

0.46

单指针压力表样本二

单指针压力表

489×468

0.62

单指针电流表样本三

单指针电流表

744×992

0.43

附表二 全部图片逐模型读数

共24个样本,名称与图片参数表一致。保留各模型返回的原始数值及前导零。

样本名称

参考读数

EvaGo

MiniMax

DeepSeek

GLM

Qwen

机械水表样本一

178.2149

178.2249

7.9

49

19

178

机械水表样本二

211903

211903

21190.1

021119

211190

2119

机械水表样本三

879.7194

879.6194

879.7

879.7

879.07

0879.7

机械电表样本一

47287.8

47287.8

47287.8

47287.8

47287.8

47287.8

机械电表样本二

8554.3

8554.3

1895.4

4.7

8653.4

1.0

机械电表样本三

2251.7

2251.7

2251.0

2251.7

2251.7

2251.7

流量计样本一

164895.7918

164895.7918

1648957918

164895.79

164095.79

164895.79

流量计样本二

724021

724021

7240.21

000724021

00072402.1

724021

流量计样本三

104716.0094

104716.0094

114716.094

104716.0094

104716.0094

1047160094

燃气表样本一

2022.592

2022.592

2022.592

2022.592

2022.592

02022592

燃气表样本二

7302.909

7302.909

7302.90

7302909

730290.9

73029.09

燃气表样本三

9.68

9.68

96.8

9.68

96.68

96.88

LCD数显表样本一

23934.98

23934.98

23934.98

2393498

23934.98

23934.98

LCD数显表样本二

13.7246

13.7246

1774.5

122.45

1372.46

137246

LCD数显表样本三

1517.6

1517.8

15170

15176

15176.008

15176

LED数显表样本一

52

52

52.0

5.20

52.0

52.0

LED数显表样本二

3134.2

3134.2

08134.2

03834.2

3134.2

03134.2

LED数显表样本三

231.6

231.6

23.16

002316

23.16

0023.16

全指针水表样本一

911.5889

911.5889

1901.6969

0839

001

8915

全指针水表样本二

61720.882

61720.882

89900.92

7818

1620.68

211

全指针水表样本三

137599.17

137599.18

92.00

594.131

1683.29

0

单指针压力表样本一

0.46

0.4672

0.4

0.5

0.6

0.6

单指针压力表样本二

0.62

0.6218

0.6

0.6

0.6

0.62

单指针电流表样本三

0.43

0.4341

0.4

0.48

0.4

0.45

联系我们

图片

微信扫描二维码添加工作人员

电话:010-82860760

邮箱:sanhe@lanwair.com


【声明】内容源于网络
0
0
三合智能Lanwair
三合智能(原羿娲科技)专注于智慧工业与地球科学。在智慧工业领域,我们研发低功耗AI相机、仪表图像识别算法,以及工业云平台,助力能源管理,提升安全性与效率。地球科学方面,我们提供地震监测、地质勘探、环境评估等服务,支持灾害预防和基础设施监测。
内容 27
粉丝 0
三合智能Lanwair 三合智能(原羿娲科技)专注于智慧工业与地球科学。在智慧工业领域,我们研发低功耗AI相机、仪表图像识别算法,以及工业云平台,助力能源管理,提升安全性与效率。地球科学方面,我们提供地震监测、地质勘探、环境评估等服务,支持灾害预防和基础设施监测。
总阅读638
粉丝0
内容27