大数跨境
0
0

ONNXRUNTIME C++ 版本推理部署踩坑记录

ONNXRUNTIME C++ 版本推理部署踩坑记录 极市平台
2023-05-20
0
导读:踩坑不易,分享解答造福一方~
↑ 点击蓝字 关注极市平台

作者丨gloomyfish
来源丨OpenCV学堂
编辑丨极市平台

极市导读

 

Faster-RCNN转ONNX踩坑过程全记录,功夫不负有心人,最后得到了解决的办法,附代码详解~ >>加入极市CV技术交流群,走在计算机视觉的最前沿

前言

之前我安装了CUDA10.0跟cuDnn7.6.5 然后我在VS2017中配置了包含路径、库路径跟连接器,把环境变量加上,重启一下就可以运行onnxruntime-1.4 gpu版本,用YOLOv5导出onnx格式模型,跑的很欢畅。

-VS2017
-CUDA10.1
-cuDnn7.6.5
-onnxruntime-1.4-gpu

Faster-RCNN转ONNX

周末的时候我想试试tensorRT+YOLOv5最新版本,就把CUDA升级到11.02了,然后cuDnn改到8.3.2,然后我发现官方没有对应编译好的onnxruntime-gpu版本,就下载了onnxruntime1.7 CPU版本,跟以前的配置又走了一次,结果我得到下面的错误:

(进程 9336)已退出,返回代码为: -1073741701。

-VS2017
-cuda11.0.2
-cudnn8.3.2
-onnxruntime1.7-cpu
-python3.6.5

然后我发现只要不引用onnxruntime就没事,用了就无法启动,百度一搜索各种说法的都有,总结最关键一条,DLL加载失败了,有些依赖没有找到,然后我直接用dumpbin.exe分析依赖一波,发现这些DLL都有啊,怀疑人生ing~~~~~~

然后就开始疯狂各种版本测试,结果还是这个错误!

折腾了一天,到晚上问了两个人,都建议我直接onnxruntime相关的lib跟dll文件copy到编译的exe目录下,还配置个毛线环境变量!然后我照做了,死马当活马医!然后居然奇迹出现了,正常启动了,可以跑了,有图为证

std::shared_ptr<YOLOv5ORTDetector> detector(new YOLOv5ORTDetector());
std::vector<DetectResult> results;
detector->initConfig("D:/python/yolov5-6.1/yolov5s.onnx", 0.4, 0.25f);
cv::VideoCapture capture("D:/images/video/sample.mp4");
cv::Mat frame;
while (true) {
    bool ret = capture.read(frame);
    detector->detect(frame, results);
    for (DetectResult dr : results) {
        cv::Rect box = dr.box;
        cv::putText(frame, classNames[dr.classId], cv::Point(box.tl().x, box.tl().y - 10), cv::FONT_HERSHEY_SIMPLEX, .5, cv::Scalar(0, 0, 0));
    }
    cv::imshow("YOLOv5-6.1 + ONNXRUNTIME1.7 - by gloomyfish", frame);
    char c = cv::waitKey(1);
    if (c == 27) { // ESC 退出
        break;
    }
    // reset for next frame
    results.clear();
}

总结

遇见此错误,直接无脑copy dll跟lib文件到exe目录下就好啦!

必须说三遍!

别多想,操作系统跟VS配置有时候没那么靠谱:

(进程 9336)已退出,返回代码为: -1073741701。

公众号后台回复“对比学习综述”获取最新对比学习PDF资源
极市干货
极视角动态极视角亮相BEYOND Expo,澳门特别行政区经济财政司司长李伟农一行莅临交流极视角助力构建城市大脑中枢,芜湖市湾沚区智慧城市运行管理中心上线!
数据集:60+开源数据集资源大合集(医学图像、卫星图像、语义分割、自动驾驶、图像分类等)
多模态学习CLIP:大规模语言-图像对比预训练实现不俗 Zero-Shot 性能ALBEF:图文对齐后再融合,借助动量蒸馏高效学习多模态表征

点击阅读原文进入CV社区
收获更多技术干货

【声明】内容源于网络
0
0
极市平台
为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
内容 8155
粉丝 0
极市平台 为计算机视觉开发者提供全流程算法开发训练平台,以及大咖技术分享、社区交流、竞赛实践等丰富的内容与服务。
总阅读5.7k
粉丝0
内容8.2k