点击上方蓝字 · 关注更多游戏法律知识
OCR 是法律行业一个非常常见的工作流程
对方发的证据/案卷都是扫描件不好查找文本，需要OCR
下载的论文、判决书是图片不好看，需要OCR
发给LLM看，不想外挂一个VLM，需要OCR
尤其刑事阅卷，保密需求大，本地OCR是刚需
恰好，OCR模型恰好是本地模型的甜点区，参数不高，硬件需求低，跑起来速度也不慢
恰好，最近几个月各家模型厂商也在卷了一下OCR模型
又恰好，小米开源了一个OCR模型，根据他们的评测，达到了行业领先水平
又又恰好，最近有个叫Ninfer的Nvidia Blackwell专用后端非常火
所以，我做了一点小工作
让 Xiaomi-OCR-0 模型
无损提升了3倍速度
* 本文仅为笔者个人观点，不视为任何法律建议。
一为什么是Xiaomi-OCR-0？
SeerRay-Lab是小米旗下的开源模型实验室，最近开源了一些模型，其中包括了Xiaomi-OCR-0
至于为什么选Xiaomi-OCR-0
首先，无广
其次，主要根据小米的报告，这个模型分数排名还是比较高的，尤其Real5-OmniDocBench排第一，这个榜基于扫描、页面变形、屏幕翻拍、光照变化、倾斜五种条件下进行测试，非常贴合我们日常工作情况（为什么这么多人喜欢屏摄和歪着拍照）
功能上支持文档解析、OCR 相关问答和关键信息提取，非常实用
再者，这个模型基于Qwen3.5-0.8B-Base后训练，参数小，意味着推理快，需要的配置低，而且最重要的是
Qwen3.5！
二为什么用Ninfer?
Ninfer是最近很火的NVIDIA Blackwell（俗称50系）专用推理后端
特点是 快，超级快
比ollama、llama.cpp、vLLM、SGLang都快得多
缺点是目前只支持 Qwen 系列模型，官方只兼容5090，且只有限支持某几个模型
所以拿来推理Xiaomi-OCR-0，等于
没有缺点
兼容性？
只要有Token，就等于没有兼容性问题
三Xiaomi-OCR-0-Ninfer 实际效果
所以，我先把小米官方模型转成了Ninfer版本
然后，因为官方不兼容Qwen 3.5，所以通过一（亿）点点调优：
例如，补齐了模型对应的计算形状、门控计算、视觉位置编码和中文分词
例如，把视觉投影、偏置、残差和激活中能合并的操作融合起来，减少中间结果来回写入、读取；针对小批量推理调整计算安排，再用 CUDA Graph 减少重复启动计算的开销。融合时也保留了需要的舍入步骤，并做数值检查，避免只顾快、悄悄改了计算结果
例如，读取图片和提示词的阶段，还做了分块处理适配等等
成功把模型在我的Ninfer Extended版里面跑起来
最终优化结果
* TF = 用Transformer推理原生BF16模型
在速度最多提升3倍的基础上，正确率完全一致，和原生BF16模型没有任何差异
显卡 |
Transformers 字符正确率 |
NInfer 字符正确率 |
原始输出 一致率 |
字符 差异率 |
|---|---|---|---|---|
RTX 5070 Ti |
100% （CER 0%） |
100% （CER 0%） |
3/3 （100%） |
0% |
RTX 6000D |
100% （CER 0%） |
100% （CER 0%） |
3/3 （100%） |
0% |
如果这样看起来不够直观，那还能看看实测
PPT转录，平均每页0.7秒
论文转录，平均每页1.8秒
法律汇编，平均每页1.1秒
表格，正常识别输出
1126个字符且分为双栏，2秒完成正确解析和输出
1052页法律汇编，不到5分半完成
基本已经满足日常工作需要
四Xiaomi-OCR-0-Ninfer怎么用？
有50系显卡的朋友，把这句话发给各位的Agent即可
请帮我在本地部署ByronLeeee/Xiaomi-OCR-0-Ninfer模型，依据modelscope页面中的说明文档完成构建，并根据我现有的硬件情况进行算子适配优化。
目前已在5070Ti和6000D上完成了适配优化
至于其他显卡，尤其Mac用户，估计要自己适配优化了
（注意，上面演示这个WebUI工具不包含在仓库内，这次只发布了模型和推理后端）
五最后
感谢小米官方收录
就个人而言
比起各种前端软件
还是实打实的数字提升更令人兴奋
现在就等Qwen4-27B发布了
作者简介
李伯阳 律师
北京市隆安(广州)律师事务所高级合伙人、隆安湾区人工智能法律研究中心主任，《法律人ChatGPT应用指南》作者，Word/WPS AI插件 WordOllama 作者。 具有十余年互联网法律实务经验，曾先后为创业板上市互联网企业、全国互联网综合实力50强企业、互联网快时尚零售独角兽等提供法律服务。擅长办理互联网类企业诉讼与合规业务，擅于通过计算机技术手段深度挖掘证据。
往期推荐
> 今天吃什么？友食神，让朋友中的食神为你指明方向 | 自制小程序
> 跳槽别急着提，违反公司规定被炒还能多拿2倍未休年假？| 分享一个案例
> 简单分析一些《关于依法审理涉人工智能纠纷案件的意见》中大家最关注的内容
> AI “破限模型” 可以用来做什么？
> 用同事照片生成了“涩涩”照片、视频，只自己看，违法犯罪吗？
> 用Minimax H3赚钱了要给稀宇分成吗？其他开源模型呢？
> 为接外包删库腾空间，最终被判五年十个月！
> 《著作权法实施条例（征求意见稿）》一图流
> 收到税局的“社保补缴”短信？老板和打工人该如何应对？
> 大家的讽刺和反串，正在成为AI污染的源头
> 人工智能大模型API反向代理的刑事责任与治理路径研究