向AI转型的程序员都关注公众号 机器学习AI算法工程
现在,使用Ultralytics软件包中的solutions.OCR(),就能完成文本检测、识别和排序!
这套流程由Ultralytics YOLO26-Text模型定位文字,再由PaddleOCR的PP-OCRv6识别器读取每个单词。它支持CPU和GPU,能够自动处理页面旋转,并逐行返回识别结果。
侧着扫描的文档、手机拍的招牌、PDF 页面,不用先手动旋转纠偏,solutions.OCR() 一次调用就按人阅读的顺序逐词返回,还附带行号、原图坐标下的多边形,以及检测置信度与识别置信度。
环境门槛不高。默认识别器走 ONNX Runtime,要求 Python 3.11 及以上、ONNX Runtime 1.26 及以上;有 CUDA GPU 时会自动装 onnxruntime-gpu。不需要安装 PaddlePaddle,PP-OCRv6 权重直接从 Ultralytics assets 发布资源下载。
pip install -U "ultralytics>=8.4.211"
pip install pymupdf # 需要处理 PDF 时再装
首次调用 solutions.OCR() 会自动下载 yolo26x-text 检测器与 PP-OCRv6 识别器并安装 ONNX Runtime,第一次会慢一些,之后走本地缓存。图片用 OpenCV 读入即可,PDF 需要先逐页渲染成图像。
四步跑通图片、视频与 PDF
读一张图片,官方示例就是这几行。result.plot_im 是画好框的标注图,result.texts 是已经排好阅读顺序的逐词记录:
import cv2
from ultralytics import solutions
ocr = solutions.OCR() # YOLO26x-Text at imgsz=1280 with PP-OCRv6
im0 = cv2.imread("receipt.jpg")
assert im0 is not None, "Image not found"
result = ocr(im0)
cv2.imwrite("receipt_ocr.jpg", result.plot_im) # annotated image
for word in result.texts:
print(word["line"], word["text"], round(word["confidence"], 2))
视频可以直接走命令行,每帧独立识别,不做跨帧跟踪:
yolo solutions ocr source="path/to/video.mp4"
PDF 需要先渲染。下面用 PyMuPDF 按 200 dpi 逐页转图,再按行号把词拼回纯文本:
import cv2
import numpy as np
import pymupdf # pip install pymupdf
from ultralytics import solutions
ocr = solutions.OCR()
for page in pymupdf.open("document.pdf"):
pix = page.get_pixmap(dpi=200)
rgb = np.frombuffer(pix.samples, np.uint8).reshape(pix.height, pix.width, pix.n)
result = ocr(cv2.cvtColor(rgb, cv2.COLOR_RGB2BGR))
lines = {}
for word in result.texts: # already in reading order
lines.setdefault(word["line"], []).append(word["text"])
print("\n".join(" ".join(words) for words in lines.values()))
每条记录包含六个字段,坐标始终指向原始图像,不是旋转后的页面或识别裁剪:
|
|
|
|---|---|
text |
|
confidence |
|
detection_confidence |
|
detection_index |
|
line |
|
polygon |
|
两套置信度分开是有实际用处的:可以把「框找得很确定,但读得不确定」的词单独送人工复核,而不是整页重看。多边形则能用来做位置判断,例如确认金额是否紧挨着 Total。
检测、识别、排序三段相互独立;检测与识别可分别替换,方向处理与阅读顺序仍由 OCR 方案保留。
歪的、倒着的页面不用先转正
这套流程会根据检测到的文字自己估计页面方向,旧版本则默认页面本来就是正向的。具体三步:统计检测框长边角度并按框的细长程度加权平均,长宽比不足 2:1 的框(例如单个数字)不参与投票;把页面旋转到文字从左到右,裁出正向词图并归行;旋转框本身分不清 0° 与 180°,于是取最宽的 8 个单词各按两个方向识别一遍,保留识别置信度更高的那一向,倒置文字通常会读出低置信度的乱码。
官方把 8 份文档及截图、12 张照片分别旋转 90°、180°、270° 后测试,文档词级 F1 为 0.925、照片 0.654。一份空白 IRS Form 8802 表格在 0°、180°、90° 下分别读出 404 / 401 / 399 个单词,首行内容一致。
分行的规则也写死在方案里:同一基线落在较小文字高度的一半以内算同一行,遇到大于 1.5 倍文字高度的空隙就断开。因此大标题和旁边的小字不会被硬并成一行。
默认参数是怎么定下来的
默认值来自官方基准,不是拍脑袋。测试跑在 RTX PRO 6000 与 Platform 生产镜像上,上传统一为 JPEG、长边不超过 1280 像素。数据包括 Google HierText 的 80 张验证照片(以可辨读单词的转录为参考)、6 页 PDF(以 PDF 文本层为参考:arXiv 论文 4 页,加上空白 IRS Form 1040 与 8802 各 1 页),以及一张合成截图和一张合成图像。指标是词级 F1,计分统一转小写,只统计至少含 2 个字母或数字字符的词。
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
清晰 PDF 页面在所有配置下都明显好于自然场景照片。三个主要默认值由此确定:
|
|
|
|---|---|
yolo26x-text
imgsz=1280
|
|
|
|
|
max_det=1000 |
|
想换轻量检测器,yolo26l-text 在两组测试中与 x 模型相差都不到 0.5 个百分点,是精度损失最小的降档选择。n / s / m / l / x 五种规模均支持自动下载。
左:两组测试集与旋转测试的 F1;右:输入尺寸与识别粒度对分数的影响。数字来自 Ultralytics 官方基准。
几个真正影响体验的可调项
|
|
|
|
|---|---|---|
model |
yolo26x-text |
solutions.OCR(model="yolo26s-text.pt")
|
recognizer |
"paddleocr" |
"tensorrt"、PP-OCRv5 语言模型名、或自定义函数
|
line_width |
|
|
verbose |
|
|
show
show_conf / show_labels
|
|
|
设备不用单独配置:选中 CUDA GPU 且 ONNX Runtime 的 CUDA 执行提供程序可用时,识别器走 CUDA,否则走 CPU,同一份脚本在笔记本和服务器上都能跑。
检测与识别是分开的,可以只换一头。传一个函数给 recognizer,函数接收 BGR 格式的单词裁剪图、返回 (text, confidence),检测、旋转、几何与排序仍由 OCR 方案负责:
def recognize(crop):
# Run any recognition model on the BGR word crop
return "example", 0.95
ocr = solutions.OCR(recognizer=recognize)
自定义识别器有两个容易踩的契约:每次调用只返回一个(text, confidence) 元组,不返回整批结果;用于判定 0°/180° 的那两次双向识别也会调到它。没有检测到文字时 result.texts 为空,识别器不会被调用。传进去的既不是模型名也不是可调用对象,会直接抛 TypeError。
换语言不必自己写识别器
PP-OCRv6 只能输出内置字符集中的 18,708 个字符。YOLO26-Text 检测器不受字符集限制,其他文字照样能框出来,但识别器会把不支持的字符读成外形相近的字符,例如俄文 ТЕКСТ 读成 TEKCT,而且置信度可能仍然很高,靠阈值过滤不掉。
处理这类文字,比自定义函数更省事的是直接传 PaddleOCR 的 PP-OCRv5 语言模型名。这些模型同样从 Ultralytics assets 下载、同样跑在 ONNX Runtime 上、同样不需要 PaddlePaddle:
ocr = solutions.OCR(recognizer="korean_PP-OCRv5_mobile_rec")
result = ocr(im0)
|
|
|
|---|---|
korean_PP-OCRv5_mobile_rec |
|
cyrillic_PP-OCRv5_mobile_rec |
|
eslav_PP-OCRv5_mobile_rec |
|
arabic_PP-OCRv5_mobile_rec |
|
devanagari_PP-OCRv5_mobile_rec |
|
th_PP-OCRv5_mobile_rec
el_PP-OCRv5_mobile_rec
|
|
ta_PP-OCRv5_mobile_rec
te_PP-OCRv5_mobile_rec
|
|
latin_PP-OCRv5_mobile_rec
en_PP-OCRv5_mobile_rec
|
|
官方明确写了两条边界:OCR 不检测语言、也不会自动切换模型,传什么就用什么;没有 PP-OCRv5 模型能读希伯来文,只能走自定义识别器。
18,708 字符集覆盖中文、日文与拉丁字母体系;越南语、希腊语为部分覆盖;其余文字换语言模型。
密集页面用 TensorRT,只加一个参数
官方在密集页面的 GPU 测试里发现,耗时大头是识别而不是检测:一次 250 ms 的请求中检测约占 11 ms,TensorRT 相关 PR 又把其余识别耗时追溯到 33 个小批次的启动开销。8.4.211 为此加了一行开关:
ocr = solutions.OCR(recognizer="tensorrt") # FP16 TensorRT engine on NVIDIA GPUs
首次运行需约 30 秒构建 FP16 引擎并缓存在 PP-OCRv6 模型旁,同一 TensorRT 版本与 GPU 架构只需构建一次,之后加载约 0.05 至 0.2 秒。官方计时用的是 RTX PRO 6000 Blackwell、TensorRT 11.4,每项取 10 次运行的中位数:
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
4 张照片共 757 个单词,ONNX Runtime 与 FP32、FP16 两种 TensorRT 引擎返回的文字和分行结果完全一致。词越密集,摊薄启动开销的收益越明显。
read_words 是检测之后的步骤,包含裁剪、旋转、识别与排序,它的加速比不等于完整 OCR 流程的加速比。评估部署收益要看自己业务的端到端耗时。此外,TensorRT 引擎的 profile 上限是 batch 8,超出会直接报错;官方也注明 TensorRT 10 构建的 FP16 图速度未测。
不想等首次构建、或用的不是 NVIDIA 硬件,就保留默认的 recognizer="paddleocr":不构建任何引擎,约 1 秒启动。PR 里还给出一组服务端数据,4 线程 × 20 页共享一个识别器零不一致,Platform 的 OCR 路由每页从 58~290 ms 降到 41~99 ms。
左:251 词与密集页完整调用的耗时对照;右:按词数变化的加速比。
常见报错与处理
|
|
|
|---|---|
|
|
|
|
|
onnxruntime-gpu
|
|
|
max_det 提到 1000
|
cvtColor 报通道数不符
|
page.get_pixmap(dpi=200, alpha=False),再转 BGR
|
|
|
|
recognizer 后抛 TypeError
|
"paddleocr"、"tensorrt"、语言模型名或可调用对象
|
|
|
(text, confidence) 元组;无文字时返回空字符串,不要返回批结果
|
|
|
|
|
|
|
|
|
|
机器学习算法AI大数据技术
搜索公众号添加: datanlp
长按图片,识别二维码
阅读过本文的人还看了以下文章:
【模型高效部署】tensorrtx 深度解读,yolov11高性能推理实战案例
实时语义分割ENet算法,提取书本/票据边缘
整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主
《大语言模型》PDF下载
动手学深度学习-(李沐)PyTorch版本
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《基于深度学习的自然语言处理》中/英PDF
Deep Learning 中文版初版-周志华团队
【全套视频课】最全的目标检测算法系列讲解,通俗易懂!
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
python就业班学习视频,从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
《Python数据分析与挖掘实战》PDF+完整源码
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加: datayx

