大数跨境
0
0

基于昇腾AI | 英码科技EA500I使用AscendCL实现垃圾分类和视频物体分类应用

基于昇腾AI | 英码科技EA500I使用AscendCL实现垃圾分类和视频物体分类应用 英码科技
2024-04-25
1
导读:√快速实现应用√降低成本√缩短周期

现如今,人工智能迅猛发展,AI赋能产业发展的速度正在加快,“AI+”的需求蜂拥而来,但AI应用快速落地的过程中仍存在很大的挑战:向下需要适配的硬件,向上需要完善的技术支持,两者缺一不可。

基于此,昇腾推出了系列化行业SDK和参考设计,通过把千行百业细分场景的开发经验和行业知识沉淀下来、水平复制,从而大幅度降低门槛、简化开发、提升效率。而英码科技是昇腾重要的APN合作伙伴、金牌分销商,具有较强的自主设计硬件能力,双方紧密携手,打造软硬结合、更符合行业需求的算力底座,赋能产业快速、低成本数字化转型。

今天来介绍英码科技EA500I边缘计算盒子使用AscendCL快速实现垃圾分类和视频物体分类应用的案例,帮助开发者降低学习成本、简化开发流程,缩短项目周期!



  案例概述

①垃圾分类应用:基于AscendCL,使用EA500I实现对图片中的垃圾类别进行检测,并输出有检测类别的图片;

②视频物体分类应用:基于GoogLeNet分类网络,使用EA500I实现对视频帧中的物体进行识别分类,并将分类的结果展示在PC网页上。


  案例说明

本案例底层原理逻辑请参考华为昇腾AscendCL <垃圾分类>,和<视频物体分类>案例。


  前置条件





基于EA500I实现垃圾分类应用



1

环境安装


注意事项:

➢以下操作以普通用户HwHiAiUser安装CANN包为例说明,推荐使用root用户进行操作,如果是root用户,请将安装准备中所有的${HOME}修改为/usr/local。
➢推荐按照本文档路径进行操作,如安装在自定义路径可能会导致环境冲突等问题

1、配置相关环境

# 以安装用户在任意目录下执行以下命令,打开.bashrc文件。vi ~/.bashrc  # 在文件最后一行后面添加如下内容。source ${HOME}/Ascend/ascend-toolkit/set_env.shsource /home/work/MindX_SDK/mxVision-5.0.RC3/set_env.sh
export CPU_ARCH=`arch`export THIRDPART_PATH=${HOME}/Ascend/thirdpart/${CPU_ARCH} #代码编译时链接samples所依赖的相关库文件export PYTHONPATH=${THIRDPART_PATH}/acllite:$PYTHONPATH #设置pythonpath为固定目录export LD_LIBRARY_PATH=${THIRDPART_PATH}/lib:$LD_LIBRARY_PATH #运行时链接库文件export INSTALL_DIR=${HOME}/Ascend/ascend-toolkit/latest #CANN软件安装后的文件存储路径,根据安装目录自行修改export DDK_PATH=${HOME}/Ascend/ascend-toolkit/latest #声明CANN环境export NPU_HOST_LIB=${DDK_PATH}/runtime/lib64/stub #声明CANN环境# 执行命令保存文件并退出。:wq! # 执行命令使其立即生效。source ~/.bashrc# 创建samples相关依赖文件夹mkdir -p ${THIRDPART_PATH}# 下载源码并安装gitcd ${HOME}sudo apt-get install gitgit clone https://gitee.com/ascend/samples.git# 拷贝公共文件到samples相关依赖路径中cp -r ${HOME}/samples/common ${THIRDPART_PATH} # 拷贝media_mini等so文件以及相关头文件mkdir -p ${INSTALL_DIR}/drivercp /usr/lib64/libmedia_mini.so ${INSTALL_DIR}/driver/ #如路径中没有相关so文件,可跳过该命令cp /usr/lib64/libslog.so ${INSTALL_DIR}/driver/cp /usr/lib64/libc_sec.so ${INSTALL_DIR}/driver/cp /usr/lib64/libmmpa.so ${INSTALL_DIR}/driver/cp /usr/local/Ascend/include/peripheral_api.h ${INSTALL_DIR}/driver/ #如路径中没有相关头文件,可跳过该命令



2、安装python-acllite

# 安装ffmpeg部分依赖sudo apt-get install -y libavformat-dev libavcodec-dev libavdevice-dev libavutil-dev libswscale-dev # 安装其它依赖pip3 install --upgrade pippip3 install Cythonsudo apt-get install pkg-config libxcb-shm0-dev libxcb-xfixes0-dev# 安装avpip3 install av# 安装pillow 的依赖sudo apt-get install libtiff5-dev libjpeg8-dev zlib1g-dev libfreetype6-dev liblcms2-dev libwebp-dev tcl8.6-dev tk8.6-dev python-tk# 安装numpy和PILpip3 install numpypip3 install Pillow# 将acllite目录拷贝到第三方文件夹中。后续编译依赖libmedia_mini.so,编译完成后需替换此处的acllite文件夹cp -r ${HOME}/samples/python/common/acllite ${THIRDPART_PATH}# C码库编译,本库包含Atlas200dk的板载摄像头访问接口,该接口是在C码(lib/src/目录)基础上做的python封装。cd ${HOME}/samples/python/common/acllite/lib/srcmake # 编译生成的libatalsutil.so在../atlas200dk/目录下。# 再次将acllite目录拷贝到第三方文件夹中,保证当前使用的是更新后的代码。cp -r ${HOME}/samples/python/common/acllite ${THIRDPART_PATH}


2

模型获取&转换
# 进入案例路径,samples为前置步骤中下载的案例包cd ${HOME}/samples/python/contrib/garbage_picture# 在model路径下下载原始模型wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com:443/003_Atc_Models/AE/ATC%20Model/garbage/mobilenetv2.air --no-check-certificatewget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/garbage_picture/insert_op_yuv.cfg --no-check-certificate# 使用ATC工具进行模型转换atc --model=./mobilenetv2.air --framework=1 --output=garbage_yuv --soc_version=Ascend310B1 --insert_op_conf=./insert_op_yuv.cfg --input_shape="data:1,3,224,224" --input_format=NCHW


3

测试数据获取
# 创建并进入data文件夹cd ${HOME}/samples/python/contrib/garbage_picturemkdir datacd data# 下载图片数据wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/garbage_picture/newspaper.jpgwget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/garbage_picture/bottle.jpg    wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/garbage_picture/dirtycloth.jpg# 进入案例运行路径 cd ../src



4

运行案例

运行python代码:

# 此处的data为测试数据路径python3 classify_test.py ../data/


➢运行成功后如无报错会显示以下信息:



5

案例展示


在案例根目录out文件夹下会生成带有检测类别的图片:





基于EA500I实现视频物体分类应用



1

环境安装


注意事项

➢以下操作以普通用户HwHiAiUser安装CANN包为例说明,推荐使用root用户进行操作,如果是root用户,请将安装准备中所有的${HOME}修改为/usr/local。
➢推荐按照本文档路径进行操作,如安装在自定义路径可能会导致环境冲突等问题。

1、配置相关环境
# 以安装用户在任意目录下执行以下命令,打开.bashrc文件。vi ~/.bashrc  # 在文件最后一行后面添加如下内容。export CPU_ARCH=`arch`export THIRDPART_PATH=${HOME}/Ascend/thirdpart/${CPU_ARCH}  #代码编译时链接samples所依赖的相关库文件export LD_LIBRARY_PATH=${THIRDPART_PATH}/lib:$LD_LIBRARY_PATH  #运行时链接库文件export INSTALL_DIR=${HOME}/Ascend/ascend-toolkit/latest #CANN软件安装后的文件存储路径,根据安装目录自行修改export DDK_PATH=${HOME}/Ascend/ascend-toolkit/latest #声明CANN环境export NPU_HOST_LIB=${DDK_PATH}/runtime/lib64/stub #声明CANN环境# 执行命令保存文件并退出。:wq!  # 执行命令使其立即生效。source ~/.bashrc # 创建samples相关依赖文件夹mkdir -p ${THIRDPART_PATH}# 下载源码并安装gitcd ${HOME}sudo apt-get install gitgit clone https://gitee.com/ascend/samples.git# 拷贝公共文件到samples相关依赖路径中cp -r ${HOME}/samples/common ${THIRDPART_PATH}# 拷贝media_mini等so文件以及相关头文件mkdir -p ${INSTALL_DIR}/drivercp /usr/lib64/libmedia_mini.so ${INSTALL_DIR}/driver/ #如路径中没有相关so文件,可跳过该命令cp /usr/lib64/libslog.so ${INSTALL_DIR}/driver/cp /usr/lib64/libc_sec.so ${INSTALL_DIR}/driver/cp /usr/lib64/libmmpa.so ${INSTALL_DIR}/driver/cp /usr/local/Ascend/include/peripheral_api.h ${INSTALL_DIR}/driver/ #如路径中没有相关头文件,可跳过该命令


2、安装opencv
# 执行以下命令安装opencv (注:请确保安装的版本是3.x)sudo apt-get install libopencv-dev# 如果安装的opencv版本为4.x,请执行下列命令链接对应头文件sudo ln -s /usr/include/opencv4/opencv2 /usr/include/


3、安装protobuf&presentagent
# 安装protobuf相关依赖sudo apt-get install autoconf automake libtool# 下载protobuf源码cd ${HOME}git clone -b 3.13.x https://gitee.com/mirrors/protobufsource.git protobuf# 编译安装protobufcd protobuf./autogen.sh./configure --prefix=${THIRDPART_PATH}make cleanmake -j8sudo make install# 进入presentagent源码目录并编译cd ${HOME}/samples/cplusplus/common/presenteragent/proto ${THIRDPART_PATH}/bin/protoc presenter_message.proto --cpp_out=./ #该步骤报错可参考FAQ# 开始编译presentagnetcd ..make -j8make install


2

模型转换&获取


注意事项

➢本案例使用基于Caffe的GoogLeNet模型,获取模型的命令已提供,如果开发者需要更多模型信息可参考:<模型链接>
# 进入案例路径,samples为前置步骤中下载的案例包cd ${HOME}/samples/cplusplus/level2_simple_inference/1_classification/googlenet_imagenet_video/model# 在model路径下下载原始模型wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/AE/ATC%20Model/classification/googlenet.caffemodelwget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/AE/ATC%20Model/classification/googlenet.prototxt# 在model路径下下载模型配置文件wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/models/googlenet_imagenet_video/insert_op.cfg# 使用ATC工具进行模型转换atc --model="./googlenet.prototxt" --weight="./googlenet.caffemodel" --framework=0 --output="googlenet" --soc_version=Ascend310B1 --insert_op_conf=./insert_op.cfg --input_shape="data:1,3,224,224" --input_format=NCHW


3

编译运行案例


1、执行编译脚本
# 进入脚本路径cd ${HOME}/samples/cplusplus/level2_simple_inference/1_classification/googlenet_imagenet_video/scripts# 赋予脚本权限 chmod +x sample_build.sh    # 执行编译脚本bash sample_build.sh

➢执行编译脚本后请根据实际情况选择arm/x86格式,在EA500I上进行操作请选择:arm



➢编译脚本中会自动下载相关视频素材:cat.mp4,如开发者使用其它素材,可以在sample_build.sh处删除该命令


➢编译完成后会生成相关文件并提示complete


2、执行脚本运行案例
# 赋予脚本权限 chmod +x sample_run.sh    # 执行运行脚本bash sample_run.sh


➢执行运行脚本后,如果有本设备有多个ip,请选择能连通外网的ip并进行输入,例:10.1.30.111



➢执行成功后,会提示successfully,并提供相关的网页链接



➢运行脚本默认读取cat.mp4素材,如开发者使用其它素材,可以在sample_run.sh处更改素材路径


4

案例展示


打开浏览器输入提供的网页链接与端口号,例:10.1.30.111:7007

➢进入下图界面后,等待状态栏变为绿色,可以单击“Refresh“刷新,当有数据时相应的Channel 的Status变成绿色。

➢状态栏正常后,点击右侧的View Name下的名字 ,例:classify



➢进入视频物体分类界面后,会在视频左上角显示检测的物体类别,视频上方显示视频帧率,开发者可进行截图、录像等功能。


5

相关FAQ


1、安装protobuf&presentagent时执行${THIRDPART_PATH}/bin/protoc presenter_message.proto --cpp_out=./ 
报错:protoc not such file or directory

➢该报错可能是protobuf安装问题:
# 回到protobuf安装路径cd /usr/local/probuf# 再次执行make installmake install# 查看${THIRDPART_PATH}/bin/下是否有protoc

2、执行编译脚本时报错如下图:



➢该报错可能是opencv版本问题:
# 进入报错代码vi ../src/classify_process.cpp# 修改报错代码第279行(请根据实际代码行数修改)修改成:cv::IMWRITE_JPEG_QUALITY# 执行命令保存文件并退出:wq!# 重新执行编译脚本bash sample_build.sh


结语



以上就是英码科技EA500I边缘计算盒子基于昇腾AscendCL快速实现垃圾分类和视频物体分类应用的案例。选购英码科技基于昇腾AI芯片推出的边缘计算产品,即可参照以上流程快速实现相关应用,大幅降低开发学习时间,缩短项目周期!如有技术问题和产品定制需求,欢迎留言交流~


# end




一  往期推荐一

【昇腾产品应用】英码科技EA500I基于昇腾Mind SDK实现实时人体关键点检测

【昇腾系列产品应用】英码科技EA500I边缘计算盒子接口使用示例和目标检测算法演示(附视频)

【技术干货】教你如何基于华为昇腾CANN架构快速实现模型推理应用(内含视频教程)


关于英码科技


广州英码信息科技有限公司成立于2006年,是一家致力提供云边协同的AI算力产品与AI应用解决方案的人工智能企业。公司作为业内较早一批专注研发、生产算力硬件的企业,推出了一系列面向细分应用场景的国产算力硬件产品,包括边缘计算盒子、算法一体机、AI边缘服务器、加速卡等,并已在安全生产、智慧交通、智慧校园等多个AI场景得到成功应用。英码科技以“感知万物,智算赋能”为核心理念,软硬结合赋能千行百业智能化转型,构建无所不及的智能世界。

 扫一扫 

   你的AI咨询师   


/ 英码科技自媒体矩阵 /




戳下面的原文阅读,了解更多

【声明】内容源于网络
0
0
英码科技
广州英码信息科技有限公司以“感知万物、智算赋能”为核心理念,提供行之有效的一站式AIoT产品服务,以自动化生产方式实现AI算法的训练、部署和迭代,构建无所不及的智能世界。
内容 123
粉丝 0
英码科技 广州英码信息科技有限公司以“感知万物、智算赋能”为核心理念,提供行之有效的一站式AIoT产品服务,以自动化生产方式实现AI算法的训练、部署和迭代,构建无所不及的智能世界。
总阅读16
粉丝0
内容123