大数跨境

Ultralytics YOLO26 OCR 功能正式上线,四步跑通图片、视频与 PDF

Ultralytics YOLO26 OCR 功能正式上线,四步跑通图片、视频与 PDF 机器学习AI算法工程
2026-11-15
3
导读:向AI转型的程序员都关注公众号 机器学习AI算法工程
图片

向AI转型的程序员都关注公众号 机器学习AI算法工程


现在,使用Ultralytics软件包中的solutions.OCR(),就能完成文本检测、识别和排序!

这套流程由Ultralytics YOLO26-Text模型定位文字,再由PaddleOCR的PP-OCRv6识别器读取每个单词。它支持CPU和GPU,能够自动处理页面旋转,并逐行返回识别结果。


侧着扫描的文档、手机拍的招牌、PDF 页面,不用先手动旋转纠偏,solutions.OCR() 一次调用就按人阅读的顺序逐词返回,还附带行号、原图坐标下的多边形,以及检测置信度与识别置信度。

环境门槛不高。默认识别器走 ONNX Runtime,要求 Python 3.11 及以上、ONNX Runtime 1.26 及以上;有 CUDA GPU 时会自动装 onnxruntime-gpu。不需要安装 PaddlePaddle,PP-OCRv6 权重直接从 Ultralytics assets 发布资源下载。

pip install -U "ultralytics>=8.4.211"
pip install pymupdf   # 需要处理 PDF 时再装

首次调用 solutions.OCR() 会自动下载 yolo26x-text 检测器与 PP-OCRv6 识别器并安装 ONNX Runtime,第一次会慢一些,之后走本地缓存。图片用 OpenCV 读入即可,PDF 需要先逐页渲染成图像。


四步跑通图片、视频与 PDF

读一张图片,官方示例就是这几行。result.plot_im 是画好框的标注图,result.texts 是已经排好阅读顺序的逐词记录:

import cv2

from ultralytics import solutions

ocr = solutions.OCR()  # YOLO26x-Text at imgsz=1280 with PP-OCRv6
im0 = cv2.imread("receipt.jpg")
assert im0 is not None, "Image not found"
result = ocr(im0)
cv2.imwrite("receipt_ocr.jpg", result.plot_im)  # annotated image

for word in result.texts:
    print(word["line"], word["text"], round(word["confidence"], 2))

视频可以直接走命令行,每帧独立识别,不做跨帧跟踪:

yolo solutions ocr source="path/to/video.mp4"

PDF 需要先渲染。下面用 PyMuPDF 按 200 dpi 逐页转图,再按行号把词拼回纯文本:

import cv2
import numpy as np
import pymupdf  # pip install pymupdf

from ultralytics import solutions

ocr = solutions.OCR()
for page in pymupdf.open("document.pdf"):
    pix = page.get_pixmap(dpi=200)
    rgb = np.frombuffer(pix.samples, np.uint8).reshape(pix.height, pix.width, pix.n)
    result = ocr(cv2.cvtColor(rgb, cv2.COLOR_RGB2BGR))

    lines = {}
    for word in result.texts:  # already in reading order
        lines.setdefault(word["line"], []).append(word["text"])
    print("\n".join(" ".join(words) for words in lines.values()))

每条记录包含六个字段,坐标始终指向原始图像,不是旋转后的页面或识别裁剪:

字段
含义
text
识别出的文字
confidence
识别置信度,与检测置信度分开保存
detection_confidence
YOLO 检测器置信度
detection_index
排序前的原始检测序号
line
阅读顺序中的行号,同一行的词共用
polygon
原图坐标下的多边形,框与 OBB 给四角,分割给轮廓

两套置信度分开是有实际用处的:可以把「框找得很确定,但读得不确定」的词单独送人工复核,而不是整页重看。多边形则能用来做位置判断,例如确认金额是否紧挨着 Total。

YOLO26 OCR 三段流程与返回字段

检测、识别、排序三段相互独立;检测与识别可分别替换,方向处理与阅读顺序仍由 OCR 方案保留。

歪的、倒着的页面不用先转正

这套流程会根据检测到的文字自己估计页面方向,旧版本则默认页面本来就是正向的。具体三步:统计检测框长边角度并按框的细长程度加权平均,长宽比不足 2:1 的框(例如单个数字)不参与投票;把页面旋转到文字从左到右,裁出正向词图并归行;旋转框本身分不清 0° 与 180°,于是取最宽的 8 个单词各按两个方向识别一遍,保留识别置信度更高的那一向,倒置文字通常会读出低置信度的乱码。

官方把 8 份文档及截图、12 张照片分别旋转 90°、180°、270° 后测试,文档词级 F1 为 0.925、照片 0.654。一份空白 IRS Form 8802 表格在 0°、180°、90° 下分别读出 404 / 401 / 399 个单词,首行内容一致。

分行的规则也写死在方案里:同一基线落在较小文字高度的一半以内算同一行,遇到大于 1.5 倍文字高度的空隙就断开。因此大标题和旁边的小字不会被硬并成一行。

默认参数是怎么定下来的

默认值来自官方基准,不是拍脑袋。测试跑在 RTX PRO 6000 与 Platform 生产镜像上,上传统一为 JPEG、长边不超过 1280 像素。数据包括 Google HierText 的 80 张验证照片(以可辨读单词的转录为参考)、6 页 PDF(以 PDF 文本层为参考:arXiv 论文 4 页,加上空白 IRS Form 1040 与 8802 各 1 页),以及一张合成截图和一张合成图像。指标是词级 F1,计分统一转小写,只统计至少含 2 个字母或数字字符的词。

测试集
默认配置词级 F1
旋转 90°/180°/270° 后
6 页 PDF(清晰页面)
0.931
文档类 0.925
80 张 HierText 照片
0.722
照片类 0.654

清晰 PDF 页面在所有配置下都明显好于自然场景照片。三个主要默认值由此确定:

默认项
依据
yolo26x-text
 + imgsz=1280
降到 960 时照片 F1 掉 0.042;升到 1920 照片只加 0.002,PDF 反而掉 0.007。小图不会被放大到 1280,按自身尺寸运行并向上对齐到 32 像素步长
逐词识别
照片上比整行识别高约 4 个 F1 百分点
max_det=1000
密集文档页的文字区域常超过常见的 300 个检测上限

想换轻量检测器,yolo26l-text 在两组测试中与 x 模型相差都不到 0.5 个百分点,是精度损失最小的降档选择。n / s / m / l / x 五种规模均支持自动下载。

官方基准词级 F1 与默认配置消融数据

左:两组测试集与旋转测试的 F1;右:输入尺寸与识别粒度对分数的影响。数字来自 Ultralytics 官方基准。

几个真正影响体验的可调项

参数
默认值
用法
model yolo26x-text solutions.OCR(model="yolo26s-text.pt")
 换更小更快的检测器,需在自己的文档上验精度
recognizer "paddleocr"
可传 "tensorrt"、PP-OCRv5 语言模型名、或自定义函数
line_width
2
标注图里框线粗细
verbose
True
每帧打印输入形状、类别数与处理速度
show
 / show_conf / show_labels
False / True / True
窗口显示标注结果与置信度、标签

设备不用单独配置:选中 CUDA GPU 且 ONNX Runtime 的 CUDA 执行提供程序可用时,识别器走 CUDA,否则走 CPU,同一份脚本在笔记本和服务器上都能跑。

检测与识别是分开的,可以只换一头。传一个函数给 recognizer,函数接收 BGR 格式的单词裁剪图、返回 (text, confidence),检测、旋转、几何与排序仍由 OCR 方案负责:

def recognize(crop):
    # Run any recognition model on the BGR word crop
    return "example", 0.95

ocr = solutions.OCR(recognizer=recognize)

自定义识别器有两个容易踩的契约:每次调用只返回一个(text, confidence) 元组,不返回整批结果;用于判定 0°/180° 的那两次双向识别也会调到它。没有检测到文字时 result.texts 为空,识别器不会被调用。传进去的既不是模型名也不是可调用对象,会直接抛 TypeError。

换语言不必自己写识别器

PP-OCRv6 只能输出内置字符集中的 18,708 个字符。YOLO26-Text 检测器不受字符集限制,其他文字照样能框出来,但识别器会把不支持的字符读成外形相近的字符,例如俄文 ТЕКСТ 读成 TEKCT,而且置信度可能仍然很高,靠阈值过滤不掉。

处理这类文字,比自定义函数更省事的是直接传 PaddleOCR 的 PP-OCRv5 语言模型名。这些模型同样从 Ultralytics assets 下载、同样跑在 ONNX Runtime 上、同样不需要 PaddlePaddle:

ocr = solutions.OCR(recognizer="korean_PP-OCRv5_mobile_rec")
result = ocr(im0)
模型名
覆盖文字
korean_PP-OCRv5_mobile_rec
韩文谚文与拉丁字母
cyrillic_PP-OCRv5_mobile_rec
西里尔:俄语、乌克兰语、保加利亚语、塞尔维亚语、哈萨克语、蒙古语
eslav_PP-OCRv5_mobile_rec
东斯拉夫西里尔:俄语、乌克兰语、白俄罗斯语
arabic_PP-OCRv5_mobile_rec
阿拉伯字母:阿拉伯语、波斯语、乌尔都语、维吾尔语
devanagari_PP-OCRv5_mobile_rec
天城文:印地语、马拉地语、尼泊尔语
th_PP-OCRv5_mobile_rec
 / el_PP-OCRv5_mobile_rec
泰文;希腊文(含重音字母与词尾 ς)
ta_PP-OCRv5_mobile_rec
 / te_PP-OCRv5_mobile_rec
泰米尔文 / 泰卢固文
latin_PP-OCRv5_mobile_rec
 / en_PP-OCRv5_mobile_rec
拉丁字母 / 英语,比 PP-OCRv6 更小更快

官方明确写了两条边界:OCR 不检测语言、也不会自动切换模型,传什么就用什么;没有 PP-OCRv5 模型能读希伯来文,只能走自定义识别器。

PP-OCRv6 字符集的语言覆盖三档

18,708 字符集覆盖中文、日文与拉丁字母体系;越南语、希腊语为部分覆盖;其余文字换语言模型。

密集页面用 TensorRT,只加一个参数

官方在密集页面的 GPU 测试里发现,耗时大头是识别而不是检测:一次 250 ms 的请求中检测约占 11 ms,TensorRT 相关 PR 又把其余识别耗时追溯到 33 个小批次的启动开销。8.4.211 为此加了一行开关:

ocr = solutions.OCR(recognizer="tensorrt")  # FP16 TensorRT engine on NVIDIA GPUs

首次运行需约 30 秒构建 FP16 引擎并缓存在 PP-OCRv6 模型旁,同一 TensorRT 版本与 GPU 架构只需构建一次,之后加载约 0.05 至 0.2 秒。官方计时用的是 RTX PRO 6000 Blackwell、TensorRT 11.4,每项取 10 次运行的中位数:

测试
ONNX Runtime CUDA
FP16 TensorRT
一张照片中 251 个单词的读词耗时
249 ms
82 ms
密集页完整 OCR 调用
182 ms
94 ms
3 张 195~263 词的照片 read_words
基准
快 2.5~3 倍
一张 48 词的照片 read_words
基准
快约 1.4 倍

4 张照片共 757 个单词,ONNX Runtime 与 FP32、FP16 两种 TensorRT 引擎返回的文字和分行结果完全一致。词越密集,摊薄启动开销的收益越明显。

read_words 是检测之后的步骤,包含裁剪、旋转、识别与排序,它的加速比不等于完整 OCR 流程的加速比。评估部署收益要看自己业务的端到端耗时。此外,TensorRT 引擎的 profile 上限是 batch 8,超出会直接报错;官方也注明 TensorRT 10 构建的 FP16 图速度未测。

不想等首次构建、或用的不是 NVIDIA 硬件,就保留默认的 recognizer="paddleocr":不构建任何引擎,约 1 秒启动。PR 里还给出一组服务端数据,4 线程 × 20 页共享一个识别器零不一致,Platform 的 OCR 路由每页从 58~290 ms 降到 41~99 ms。

TensorRT 与 ONNX Runtime 的读词耗时和加速比

左:251 词与密集页完整调用的耗时对照;右:按词数变化的加速比。

常见报错与处理

现象
原因与处理
首次调用卡住很久
第一次会自动下载检测器与识别器并安装 ONNX Runtime,属正常;之后走本地缓存
默认识别器装不上或跑不起来
确认 Python ≥3.11、ONNX Runtime ≥1.26;CUDA 环境应装 onnxruntime-gpu
密集页只出 300 来个结果
常见检测上限不够,把 max_det 提到 1000
PDF 渲染后 cvtColor 报通道数不符
渲染时固定三通道,例如 page.get_pixmap(dpi=200, alpha=False),再转 BGR
俄文、韩文读成拉丁形近字且置信度很高
PP-OCRv6 字符集外,换成对应的 PP-OCRv5 语言模型名
传 recognizer 后抛 TypeError
取值只能是 "paddleocr"、"tensorrt"、语言模型名或可调用对象
自定义识别器结果为空或格式错
每次调用返回单个 (text, confidence) 元组;无文字时返回空字符串,不要返回批结果
TensorRT 首次等待、或 batch 超限报错
首次约 30 秒构建引擎属正常;引擎 profile 上限 batch 8,超出需减小批次
导出的检测器拿去部署后读不出文字
导出的 ONNX/TensorRT 检测器不含识别器,需同时部署识别运行时
同页竖排批注识别变差
方案按页面主要方向旋转整页,多方向混排会受影响


机器学习算法AI大数据技术

 搜索公众号添加: datanlp

图片

长按图片,识别二维码


阅读过本文的人还看了以下文章:


YOLO实时定位,Qwen3-VL-Seg深度诊断,两者协同完成从"看见"到"看懂"再到"审断"的AI质检全链路
GPT-4o做大脑,Qwen2-VL做眼睛,让无人机+无人船自动巡检港口
NVIDIA开源LocateAnything深度解读:3B参数,比Qwen3-VL快10倍,最强3B视觉定位大模型来了
本地部署AI Agent,6G显存跑Qwen3.6-35B-A3B 从入门到实战全流程
TexMS-YOLO:纹理感知特征融合 + 多尺度交互实现工业缺陷检测91.99% mAP
汇集所有大模型架构图!大模型架构演进全解析
98%准确率!这个双分支AI模型,精准识别木薯叶病害(附代码)
2026论文解读,ASAHI:自适应切片助力小目标检测,速度提升25%、精度创新高
TexMS-YOLO:纹理感知特征融合 + 多尺度交互实现工业缺陷检测91.99% mAP
14.7M参数,小目标AP达到13.9%!FSDETR用频空融合重新定义目标检测
skill刚开源就斩获 1.7K Star!web-access让AI真正"上网"
Qwen3.5实战教程:从0到1掌握本地部署与微调
引入小目标注意力模块改进YOLO12用于无人机视角下的岸边人员玩水检测
pdf2skill:让计算机视觉初学者把PDF文档变成AI技能包
next-ai-draw-io 用这款AI 画图几十秒就搞定了
10 万文档 RAG 落地实战:从 Demo 到生产,我踩过的所有坑
最强一键抠图19Kstar 的 Rembg 开源神器
YOLO12改进引入DINOv3少样本目标检测精度飙升,分享训练自定义数据集代码
基于DINOv2和SAM2改进的U-Net模型
Ultralytics & lightly-train:简化计算机视觉模型训练,无需标签
最新视觉大模型 DINOv3论文精读(逐段解析)
医学影像数据集汇总(持续更新)150个
【医学影像分割】UN-SAM:一种高效且通用的细胞核分割模型
小目标检测难点分析和解决策略

【模型高效部署】tensorrtx 深度解读,yolov11高性能推理实战案例

实时语义分割ENet算法,提取书本/票据边缘


整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主


《大语言模型》PDF下载


动手学深度学习-(李沐)PyTorch版本


基于40万表格数据集TableBank,用MaskRCNN做表格检测


《基于深度学习的自然语言处理》中/英PDF


Deep Learning 中文版初版-周志华团队


【全套视频课】最全的目标检测算法系列讲解,通俗易懂!


《深度学习入门:基于Python的理论与实现》高清中文PDF+源码


python就业班学习视频,从入门到实战项目


2019最新《PyTorch自然语言处理》英、中文版PDF+源码


《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码


《深度学习之pytorch》pdf+附书源码


《Python数据分析与挖掘实战》PDF+完整源码



不断更新资源

深度学习、机器学习、数据分析、python

 搜索公众号添加: datayx  

图片




【声明】内容源于网络
0
0
机器学习AI算法工程
计算机视觉、自然语言处理、推荐系统、人工智能、大模型、深度学习、机器学习、大数据技术社区,分享各类算法原理与源码、数据处理、可视化、爬虫、竞赛开源代码等资源。
内容 1589
粉丝 1
机器学习AI算法工程 计算机视觉、自然语言处理、推荐系统、人工智能、大模型、深度学习、机器学习、大数据技术社区,分享各类算法原理与源码、数据处理、可视化、爬虫、竞赛开源代码等资源。
总阅读56.3k
粉丝1
内容1.6k