出品 | 智东西公开课
讲师 | 任杰 元橡科技CTO
提醒 | 点击上方蓝字关注我们，并回复关键词 无人机，即可获取课件。
导读：
本文为元橡科技CTO任杰在智东西主办的“无人机视觉论坛”的演讲内容。任杰老师的演讲主题为《无人机3D视觉感知-双目立体视觉及最新进展》。
本次演讲中，任杰老师首先对无人机视觉感知系统的作用进行分析，并对比了多种视觉感知技术，展示了双目立体视觉技术在无人机中的优势，之后对双目立体视觉的原理、基本框架、关键指标以及现实场景存在的难点展开分析，并介绍了元橡科技相关的产品和技术特色，最后介绍了双目立体视觉在无人机应用上的最新进展。
本文中任杰老师一直致力于将立体视觉领域最新的技术应用到无人机中，双目立体视觉让无人机清楚的感知周围环境，实现自主避障，下面为此次演讲的图文整理：
讲师介绍
任杰，元橡科技联合创始人、CTO，北京大学计算机视觉专业博士，曾任职500强外资公司研究所，为高级研究员，负责视觉计算相关研发工作，自2005年从事图像视觉及计算机视觉计算相关研究15年，其中有近8年立体视觉、车载双目ADAS项目经验；先后发表国际顶级期刊和论文13篇，申请授权国际国内专利10多篇；曾获当届北京大学优秀博士论文（计算机应用专业唯一1篇入选）等。
大家好，首先感谢智东西的邀请，非常荣幸有机会来做演讲，今天演讲的主题为《无人机3D视觉感知-双目立体视觉及最新进展》，内容主要分为以下3个部分：
1、3D视觉的感知技术
2、元像双目立体视觉
3、双目应用的最新进展
3D视觉的感知技术
随着人工智能与计算机视觉的快速发展，无人机视觉的研究和应用日渐兴起，视觉感知系统可以让无人机更清楚的“看清这个世界”，实现更广泛的应用。
上图是无人机在物流、军事领域中的示意图，其中，第一张图片是在物流领域，无人机配合无人小车进行货物的运输。第二图片是在航空和军工上的应用，第三张是在海中的应用。
除了物流和军事领域，无人机在拍摄领域也有应用，其头部厂商已经在4K高清分辨率、画质、防抖等方面做得很好，在农业、消防、巡检等领域同样有很好的应用。元橡更希望进入下一个阶段，具备更好的感知能力和运动控制能力，让无人机能够看清世界，实现规划路线和智能避障。
上图是一个无人机的案例，可以看到其安装了很多双目摄像头，为什么？因为当无人机遇到遮挡，或在山林和楼群里GPS信号不太好时，视觉感知可以提供精准的定位，摆脱无人机对GPS的依赖，实现主动规避防碰撞，还可对人和动物进行辨识、降落环境的判定，以此建立区域地图，合理规划路径。
但无人机行业仍存在的一些痛点：测地高度和自主避障，无论在哪个领域，仍需“飞手”操作，自主性差。对于一些突发的树木或突显的障碍物，没有刹停或绕过的能力，尤其是对细小障碍物，像电线、树干等。而现有的传感器很容易遗漏细小障碍物，激光和毫米波对此更是无法应对，只有双目立体视觉能提供高分辨率的精准测距和避障功能。
对于双目立体视觉，在技术上，相较于传统的红外、超声波激光传感器，双目视觉是被动自然光，由于本身是一个三维传感器，可以感知整个世界三维的尺寸信息和位置信息。相对于激光雷达能提供更丰富的信息，同时成本较低，性价比高。总之，双目立体视觉具备的三维感知、深度分析、抗干扰强、普遍适用等优势。
在感知模块上，对比如上图所示，可知双目立体视觉有很多好处，从对等激光雷达的线速来看，以720P为例，相当于720条线，而激光雷达基本上是4线或8线。虽然激光雷达在测距上更精准，对环境光照的影响更小，但仍有很大的局限性，空中无人机的形态通常需要对周边的环境有很好的稠密化感知，这点双目立体视觉更有优势。
综上所述，双目立体视觉可以提供丰富的信息，应用场景更广泛；其次双目立体视觉在视觉导航、SLAM定位、测量、跟踪、三维重构上也有重要的应用。但它对软硬件、处理器和续航力都有要求，算法复杂会导致功耗增加，同时双目本身需要做非常大量的匹配运算。功能强、功耗低、硬件加速的双目立体视觉感知逐渐成为行业的诉求。
元橡双目立体视觉
-双目立体视觉概述
双目立体视觉（Binocular Stereo Vision）是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。双目立体视觉一般由两个摄像头组成，呈现形式为2的倍数，有双双目、多双目等多个类型。双目立体视觉已广泛用于航空航天、车载、无人机等领域，这其中包括NASA发射到火星的探测器以及车载、大疆无人机等。
- 双目与单目视觉对比
如上图左边所示，当从某一角度看地面上的行为艺术画时，会呈现立体的效果，这是因为大脑有一定的推理性，看到这样的画面会主观想象成立体的，欺骗我们的眼睛。而摄像头可以很精准的推断感知是平面还是立体。如果在单目摄像头前面画一个物体，对于AI识别系统,它可能会识别成某一种障碍物，对整个系统的识别控制造成影响。但对于立体摄像头这种情况是不存在的，因为它能够辨别出来哪些是真的立体、哪些是假的平面。由此可知，双目视觉更符合无人机的需求。
- 双目立体视觉系统简述
上图是双目立体视觉的流程：首先提取图片的立体图对，之后进行内外参标定及矫正，然后做双目立体视觉匹配，最后根据匹配的视差做三角化。
- 双目视觉差计算
双目视觉差计算如上图所示，首先获取两张图片，生成深度图片，越亮的地方代表距离越近，越暗的地方代表距离越远。由于经过计算机处理，使得感知不可能做到完全连续感知视域，相当于对感知范围做一个分层，越近分层越细，越远两个分层距离越远。
- 算法和亚像素
立体视觉的关键在于算法的先进性，算法越高级，边缘会与原始的图像越接近、准确度越高且具体的感知视域为连续的，这也涉及到量化和亚像素，如果只是做整数像素的匹配，视域范围会非常粗糙，当做亚像素时，亚像素对视差进一步精细化，满足高精度的要求。
- 现实场景的复杂性
即使双目立体视觉有诸多优点，但在现实场景中仍面临许多挑战，例如光学的失真和噪声、平滑表面的镜面反射、透视失真、低纹理、重复纹理、透明、重叠和非连续等。
- 元橡简介
元橡科技是一家高新技术企业，专注于双目立体视觉领域，于2017年成立，目前已经能够提供从芯片、硬件、软件、平台到应用等多层的解决方案和产品，我们希望从不同的层级来赋能更多的合作伙伴。
我们的核心技术包括软硬一体化相机的模组，自主研发的立体视觉芯片，还有在芯片基础上做深度智能化，我们希望结合现在的深度学习能力，我们把它称作
D2，高级智能两个D中一个是3D感知，一个是Deep Learning，基于深度感知的深度学习。把这两个方向结合起来做到更高效率、更低功耗、更高性能的三维信息感知和识别能力。
上图是我们的产品概述，在2018年我们就完成了第一代芯片的研发，运用FPGA硬件计算方案，在此基础上，又研发出高性能ASIC芯片，将强大的算法进行硬件加速，实现更高性能、更低能耗，速度更快，成本持续优化。我们自主研发的高性能ASIC芯片第2代已发布，并量产，包括车规级、工业级、消费级。
元橡的产品涵盖双目芯片、内置ISP、深度引擎、内置应用等，从芯片、硬件、双目相机模组到双目视觉产品，可为不同的层级提供配套的解决方案。
技术上双目立体视觉具有深度感知、适配性强的优点，还可实现软硬件结合，并针对行业垂直领域提供深度综合解决方案。
综上，产品特色有以下6方面：
1）远距离，在探测小尺寸的情况下能够探测到很远的距离，因为以前应用在车载上，这是车载环境的基本要求，但在无人机领域这也是比较高的指标。
2）小尺寸，尺寸在车载领域可以做到8厘米,体积小、结构稳定、占用空间少。
3）低时延，基于成熟的FPGA芯片方案，实现低于3ms输出延时。
4）高精度，100m 左右保持精度高于95%，30米内精度达99%，10米内精度达毫米级。
5）低能耗，高精度算法硬件化，实现国内自主突破，能耗降至最低。
6）大角度，纵向分辨率超过1000线，有40°-120°视角。
双目应用的最新进展
双目视觉在无人机的应用有许多，比如高精度SLAM、避障、高度控制、盲区检测、全类型识别、精准测量等。
上图用视觉做三维感知和SLAM构图的过程，可以看到虽然会有噪声的影响，但是看到主体结构，包括整个闭环已经做的非常好，同时可以清楚看到路面上的一些标志。
在避障方面，双目视觉可以对动物、物体和人进行全面检测。当距离越近时，检测精度越高，对于高稠密度，双目立体摄像头的稠密度为1080P，相当于1000+激光雷达。
在精准测量上，通过双目立体视觉，精准扫描并计算复杂不规则地形，建筑风貌等，完成精准的测距。
无人机在其他领域也有一些应用，在电力巡检上，完成空中检测、巡线等任务。虽然技术还不是很成熟，但未来无人机应该有更高的智能、实现避障。
在军工领域，独立的双目立体视觉，采用被动光源，增加隐蔽性。同时，结合红外等主动光源传感器增强感知场景适应能力。
在农业领域，无人机在进行撒药时，森林里信号可能不好，或者各种树遮挡，搭载高清摄像头和先进传感器的农业无人机，能够绘制精确的地块与土壤分析三维地图，为播种制定详密的规划，在播种、喷洒作业、农作物监控等方面起到重要作用。
在消防领域，尤其是森林消防，无人机弥补了现阶段我国森林航空消防有人机的许多不足，并通过搭载不同的任务载荷在林区巡护、卫星热点侦察、火场侦察等方面发挥监测功能。
在消费领域，越来越多的无人机用到感知能力，因为双目的特点是稠密度和环境感知、避障能力强，所以可以看到双目在无人机上有许多的应用。
元橡科技之前一直在车载领域发力，现在我们也想把车载领域好的东西移植迁移到无人机领域，给行业内的合作伙伴带来更好的解决方案。
今天的演讲就到这里，谢谢大家。
