炸了!企业文档AI终于有了「能打」的基准:9000+真实文档,16个模型,谁最能打?
「OCR 没解决,文本 RAG 没解决,跟 PDF 聊天这种神话也没解决。」这条推文拿下 1721 个赞、25 万浏览。而就在三天前,Nanonets 发布了 IDP Leaderboard v1.5:用 9000+ 真实文档、3 个开放基准,把 GPT-5.4、Gemini 3.1 Pro、Claude Opus 等 16 个模型拉出来「裸测」。结果炸裂:Opus 价格是 Sonnet 两倍,分数反而更低;GPT-5.4 在文档 AI 上从垫底冲到 Top4;最难的任务不是 OCR,而是稀疏表格和手写识别。更狠的是,他们不只给分数,还把每份文档的「标准答案 vs 模型原始输出」全部公开——这可能是文档 AI 领域第一次有人敢这么透明。
「你以为 OCR 解决了?并没有」
如果你以为 ChatGPT 能聊天就能读懂 PDF,那可能要失望了。
@Dorialexander 的一条推文直击痛点:「不确定是不是过时了,但文本 RAG 完全没解决。OCR 也没解决。还有那个神话般的『跟 PDF 聊天』。」
"Not sure if it's outdated but text RAG is completely unsolved. So is OCR. And so is the mythical chat with pdf."
「文本 RAG 完全没解决,OCR 也没解决,跟 PDF 聊天这种神话也没解决。」
这条推文拿下1721 个赞、25 万浏览。评论区炸了:有人说自己公司的发票识别系统每天要人工修正几百份;有人吐槽扫描件稍微歪一点,AI 就开始胡说八道。
▲ @Dorialexander 的推文:OCR 和文档理解远未解决(1721 赞 / 25 万浏览)
问题在哪?供应商都说自己准确率 95%+,但你一上生产就翻车。
因为「文档 AI」根本不是一个任务——它是 OCR(字识别)、版面理解、表格提取、关键字段抽取、视觉问答、长文档理解的组合拳。你的供应商可能在印刷体 OCR 上 98%,但遇到手写、稀疏表格、20 页合同,立刻原形毕露。
更要命的是:没有统一基准,你根本不知道该信谁。
直到三天前。
9000+ 文档「裸测」16 个模型,结果出人意料
2026 年 3 月 11 日,Nanonets 发布了IDP Leaderboard v1.5(Intelligent Document Processing Leaderboard)。
这次不玩虚的:3 个开放基准、16 个模型、9000+ 真实文档,覆盖 OCR、表格提取、关键信息抽取、视觉问答、长文档理解。
参赛选手包括:
-
OpenAI GPT-5.4 / GPT-5.2 / GPT-4.1 -
Google Gemini 3.1 Pro / Gemini-3-Pro / Gemini-3-Flash -
Anthropic Claude Opus 4.6 / Claude Sonnet 4.6 -
以及一批开源模型(Qwen、GLM-OCR 等)
更狠的是,Nanonets 不只给分数,还做了一个Results Explorer:你可以逐份文档查看「标准答案 vs 模型原始输出」。
"Most benchmarks are opaque... So we built a Results Explorer."
「大多数 benchmark 都是不透明的,所以我们做了 Results Explorer,把每份文档的标准答案和原始预测摆在一起。」
这可能是文档 AI 领域第一次有人敢这么透明。
▲ @Shhdwi 强调透明性:不只给分数,还公开每份文档的原始输出
榜单炸了:Opus 更贵但分更低,GPT-5.4 从垫底冲到 Top4
结果一出,几个「反直觉」的发现立刻引爆讨论。
发现 1:Opus 价格是 Sonnet 两倍,分数反而更低
Overall 排名(三基准均值):
-
#1Gemini 3.1 Pro83.2 -
#2Nanonets OCR2+81.8 -
#3Gemini-3-Pro81.4 -
#4GPT-5.481.0 -
#5Claude Sonnet 4.680.8 -
#6Claude Opus 4.680.3
看到没?Sonnet 排第 5,Opus 排第 6。
@Shhdwi 在推文里直接开炮:
"Claude Opus costs twice as much as Sonnet. Sonnet scored higher."
「Opus 价格是 Sonnet 两倍,但 Sonnet 得分更高。」
这意味着什么?你可能在文档任务上过度付费了。
▲ @Shhdwi 宣布测试结果:Opus 更贵但不如 Sonnet(4 赞 / 199 浏览)
发现 2:GPT-5.4 在文档 AI 上「跨代跃迁」
OpenAI 这次真的猛。
@Shhdwi 的数据显示,GPT-5.4 相比上一代的提升堪称暴力:
- Overall
:70 → 81(+11 分) - 表格提取
:73 → 95(+22 分) - DocVQA(文档视觉问答)
:42% → 91%(翻了一倍多)
"GPT-5.4 went from dead last to top 4 in document AI. The numbers are wild."
「GPT-5.4 从垫底冲到文档 AI Top4,数字很夸张。」
这说明 OpenAI 在文档理解上补课补得很凶。以前 GPT 系列在表格和视觉问答上是短板,现在直接拉平了。
▲ GPT-5.4 的跨代提升:DocVQA 从 42% 飙到 91%
发现 3:便宜模型在「提取」上接近贵模型,差距在「推理」
这是最有意思的发现。
Nanonets 的博文明确指出:在 OCR、版面理解、表格提取这些「提取类」任务上,各家模型的能力正在趋同。真正拉开差距的,是视觉问答(VQA)和推理能力。
举个例子:
- Gemini-3-Flash
在 OmniDocBench(偏结构理解)上拿了90.1 分,全榜最高之一。 -
但它的 Overall 只排第 7,因为在 OlmOCR(偏复杂 OCR)上只有 69.2。
再看Gemini 3.1 Pro:它的优势几乎全来自VQA = 85,远高于其他模型(最接近的 GPT-5.4 也只有 78.2)。
这给企业选型提供了一个清晰的思路:
- 如果你只需要「把文档读出来、转成结构化数据」
,用便宜的提取模型(比如 Nanonets OCR2+、Gemini-3-Flash)就够了。 - 如果你需要「理解文档内容、回答复杂问题」
,才需要上 Gemini 3.1 Pro 或 GPT-5.4 这种推理型模型。
Reddit 评论区有个工程师说得很实在:
"Nanonets 作为提取层很快,提取后再交给便宜的通用 LLM 做最后清洗。"
这就是真实的工程玩法:提取模型 + 通用 LLM 两段式,既快又省钱。
▲ Nanonets OCR2+ 强调成本优势:提取能力接近前沿模型但更便宜
最难的任务不是 OCR,而是这三个
Nanonets 的博文还揭露了几个「硬骨头」任务——即使是顶级模型,也会在这些地方翻车。
硬骨头 1:稀疏、非结构化表格
"Sparse, unstructured tables remain the hardest extraction task."
「稀疏、非结构化表格仍然是最难的提取任务。」
什么叫稀疏表格?就是那种单元格大片空白、跨行跨列、没有明显边框的表格。比如某些老旧的财务报表、手写的实验记录。
博文指出:多数模型在这类表格上准确率<55%,只有 Gemini 3.1 Pro 和 GPT-5.4 能稳定在 87%-94%。
硬骨头 2:手写 OCR
印刷体 OCR 现在能做到 98%+,但手写 OCR 的天花板还在 76% 左右。
最好的模型(Gemini 3.1 Pro)也只有75.5%。这意味着每 4 个手写字就有 1 个可能识别错误。
如果你的业务涉及手写单据、病历、签名,这个数字要记住。
硬骨头 3:图表问答(Chart QA)
这个任务看起来简单,实际上失败模式五花八门:
-
读错坐标轴数量级(把 1000 读成 100) -
选错柱子(问「哪个季度最高」,指向了隔壁的柱子) -
Off-by-one 错误(数组下标搞错)
博文给出的数据:
- Nanonets OCR2+
:87% - Claude Sonnet
:85% - GPT-5.4
:77%
这说明即使是「看图说话」这种人类觉得很简单的任务,AI 也会莫名其妙地犯低级错误。
中文用户最关心的问题:「评测涉及中文吗?」
这个问题在中文社区炸了。
@karminski3 发推介绍 IDP Leaderboard 后,评论区第一个问题就是:
「评测涉及中文吗?」
▲ 中文用户追问:基准是否覆盖中文文档
目前 Nanonets 的官方博文和榜单页面没有明确说明中文覆盖率。从基准名称(OlmOCR、OmniDocBench)和样本描述来看,主要还是英文文档为主。
这意味着:如果你的业务是中文发票、中文合同、中文表格,这个榜单的参考价值要打折扣。
不过 @karminski3 在另一条长推里提到,他自己测试了 Claude-4 在中文文档上的表现,发现:
- 旋转、手写等 OCR 任务
:Claude-4 比较脆弱 - 表格提取
:Claude 4 Sonnet 表现不错,「不是全军覆没」
▲ @karminski3 长推:Claude-4 在旋转/手写 OCR 上较弱,但表格提取尚可(48 赞 / 1 万浏览)
这个榜单可信吗?三个需要注意的点
注意点 1:Nanonets 是赞助方,自家模型排第二
IDP Leaderboard 是 Nanonets 发起的,而Nanonets OCR2+ 在榜单上排第二(Overall 81.8)。
虽然 Nanonets 强调「开放数据、开放预测、可复现」,但写稿时还是要提醒读者:这不是完全中立的第三方 benchmark。
不过公平地说,Nanonets 做了两件事来增加可信度: 1. 用的是公开基准(OlmOCR、OmniDocBench),不是自己闭门造车的数据集。 2. 提供Results Explorer,你可以逐份文档查看原始输出,而不是只给一个总分。
注意点 2:内容审核可能影响某些模型的分数
Nanonets 的博文明确提到:Claude 的某些文档会被内容审核触发过滤,导致在 OmniDoc 和 OlmOCR 上吃亏。
这是因为某些历史文档、扫描件可能包含敏感内容(比如老旧的医疗记录、法律文件),Claude 的安全策略会直接拒绝处理。
这意味着:Claude 的实际能力可能比榜单分数更强,但你需要考虑内容审核对生产环境的影响。
注意点 3:Overall 只是均值,不代表你的业务胜率
榜单给的 Overall 是三个基准的均值,但你的业务可能只对应其中一个基准。
举个例子:
-
如果你做的是高吞吐 OCR/归档,应该重点看 OlmOCR 和 OmniDoc 的分数。 -
如果你做的是发票/单据自动化,应该重点看 IDP Core 里的表格和 KIE(关键信息提取)。 -
如果你做的是合同/长文档理解,应该重点看 VQA 和长文档理解的分数。
正确姿势:先看你业务最接近哪个基准/任务,再去 Results Explorer 看真实输出。
怎么选模型?三个场景的建议
场景 1:高吞吐 OCR/归档(大量页面、成本敏感)
关注指标:OlmOCR + OmniDoc(读得准、结构稳)
推荐模型:
- Nanonets OCR2+
:OmniDoc 89.5 / OlmOCR 82.2,成本约$10 / 1000 pages - Gemini-3-Flash
:OmniDoc 90.1(全榜最高),成本更低
思路:这类场景「读/抄/结构化」优先,推理可以后置给通用 LLM。
场景 2:发票/单据自动化(表格+字段抽取+校验)
关注指标:IDP Core 里的表格和 KIE
推荐模型:
- GPT-5.4
:表格提取 95 分,IDP Core 84.4 - Gemini 3.1 Pro
:稀疏表格处理能力最强
思路:表格是最容易翻车的地方,尤其是稀疏/非结构化表格。供应商宣传的「96%+ 准确率」往往是在结构化表格上测的,遇到脏数据立刻崩盘。
场景 3:合同/长文档(20+ 页)理解与问答
关注指标:VQA + 长文档理解
推荐模型:
- Gemini 3.1 Pro
:VQA 85(遥遥领先),成本约$28 / 1000 pages - GPT-5.4
:VQA 78.2,综合能力均衡
思路:提取能力趋同,推理拉开差距。如果你需要「理解文档内容、回答复杂问题」,必须上推理型模型。
这可能是文档 AI 的「分水岭」
IDP Leaderboard v1.5 做对了三件事:
1.把「文档 AI」拆成具体任务,而不是用一个「95%+ 准确率」糊弄人。 2.公开每份文档的原始输出,让你看到模型到底是怎么翻车的。 3.用真实文档测试,而不是学术界那种「干净得不像话」的数据集。
这可能是文档 AI 领域的一个分水岭。
以前供应商说「我们准确率 99%」,你只能信。现在你可以说:「行,那去 IDP Leaderboard 上跑一遍,让我看看你在稀疏表格和手写 OCR 上能拿几分。」
而对于开发者来说,这个榜单提供了一个清晰的选型框架:
- 提取 vs 推理
:你的任务更偏哪一边? - 成本 vs 精度
:你愿意为 2 分的提升付多少钱? - 单项能力 vs 综合能力
:你是要「全能选手」还是「单项冠军」?
最重要的是:不要只看总分,去 Results Explorer 看真实输出。
因为在生产环境里,一个模型在你的文档上能不能打,比它在榜单上排第几重要得多。
▲ @karminski3:终于有文档类型 AI 测试了(25 赞 / 4265 浏览)
— END —

