导读：
由人民日报旗下商用车行业权威媒体——商用汽车新闻传媒主办的“2021中国商用车新驱动研讨会”在北京举行。研讨会汇聚政府部门、行业协会，高校、科研机构，整车及零部件企业、商用车终端用户、行业主流媒体等，共同探讨商用车产业未来发展。元橡科技CTO任杰博士，作为商用车智能视觉领域专家，应邀参加研讨会，并在2021商用车安全报告发表题为《面向商用车驾驶安全的智能立体视觉感知系统》主题文章。
原文如下：
面向商用车驾驶安全的智能立体视觉感知系统
元橡科技 任杰
1. 商用车驾驶安全现状
据世界卫生组织统计，交通事故已成为“世界第一杀手”。中国每年交通事故高达50万起，因交通事故死亡人数年均超过10万人，已经连续十余年居世界第一，其中重大交通事故多集中在商用车。以商用车中的货车为例，它拥有非常高的车祸率。根据公安部交管局的统计，2016年全国共发生货车责任道路交通事故5.04万起，占汽车责任事故总量的30.5%，远高于货车保有量占汽车总量的比例。
相关研究表明，事故发生的原因93%是由于人为原因造成的，只有7%是道路环境、车辆本身故障等其他因素造成的。弗吉尼亚理工学院交通运输学院公布了一组实际的驾驶员习惯、分心和碰撞原因的调查数据分析，将近80%的碰撞是由于驾驶员事发前3秒的疏忽造成。研究证明：
•通电话时（增加30%的风险）
•拨打电话（增加300%的风险）
•睡意（增加400%的风险，并占碰撞和轻微碰撞原因的23%）
•用手拿移动的物体（增加900%的风险）
商用车往往因为载重过高, 体积过大, 惯性较大等因素造成的事故伤害也较为严重。
图表 1 交通事故的主要原因及种类
因此, 商用车市场对于降低交通事故的发生概率, 减轻或避免事故的伤害已经引发了全球社会的广泛关注和技术升级需求。 而随着自动驾驶技术的显著发展浪潮, 通过各种车载传感器收集车内外的环境数据，进行静、动态物体的辨识、侦测与追踪, 交通环境场景的综合理解等技术上的处理，从而让驾驶者在最快的时间察觉可能发生的危险，并采取相应的措施，以提升驾乘安全性, 近些年得到了广泛的关注和应用。
根据SAE自动驾驶等级分类的定义, 我们可以将自动驾驶技术划分为两大类别: 高级辅助驾驶系统(ADAS)以及高阶自动驾驶系统(ADS)。
高级辅助驾驶(ADAS)主要覆盖SAE L0~L2级别范围，被普遍认为是实现自动驾驶无人驾驶系统的过渡性技术，通常包括车道保持系统（LKA）、夜视系统、自适应灯光控制、行人保护系统、交通标志识别（TSR）、驾驶员疲劳探测、下坡控制系统和电动汽车报警系统、车道偏离警示系统（LDW）、前向碰撞预警系统（FCW）、盲区监测系统（BSD）、变道辅助系统（LCA）、自适应巡航系统（ACC）、自动紧急制动（AEB）、自动泊车系统（APS）等。而高阶自动驾驶则覆盖SAE L3~L5级别范围, 重点是替代人类在特定环境和无限制环境下的无人驾驶。
目前ADAS系统处于在产业界广泛应用的阶段。 美国公路安全保险协会(IIHS)公布其最新研究的发现：汽车防撞系统会使交通事故的发生率大幅降低。装有预警系统的车辆发生翻车、侧擦和正面碰撞等事故的比例降低了11%，防撞技术让同类伤亡事故的发生率降低了21%。
图表 2 商用车AEB测试
ADAS系统的广泛应用与落地, 得益于全球以及中国法规政策的引导。
2016年12月颁布的《中共中央国务院关于推进安全生产领域改革发展的意见》中，写明生产安全事故责任入刑，以商用车作为重点监管对象的交通安全成为三大重点领域之一。
2017年4月《营运客车安全技术条件》正式实施，明文要求“车长大于9米的客车，应装备前撞预警系统（FCWS）及车道偏离预警系统（LDWS）”。
2017年9月29日，《机动车运行安全技术条件》GB 7258—2017发布，此标准自2018年1月1日开始正式实施，标准的全部技术内容为强制性。
2018年6月，交通运输部办公厅发布关于推广应用智能视频监控报警技术的通知，要求在既有三类以上班线客车、旅游包车、危险货物道路运输车辆、农村客运车辆、重型营运货车上安装智能视频监控报警装置，新进入道路运输市场的“两客一危”车辆前装智能视频监控报警装置，实现对驾驶员不安全驾驶行为的自动识别和实时报警。
2018年4月1日开始强制实施的《营运客车技术条件》，其中对于车长超过9米的新生产车营运客车，需要强制安装LDWS和FCWS，2019年将强制实施安装AEB的要求。
在标准实施的过渡期符合标准规定的车辆，应安装自动紧急制动系统，自标准实施之日起第 37 个月开始对所有新定型车实施，即相应车辆的AEB强制前装时间点在2021年2月1日。关于车长大于 11m 的公路客车和旅游客车应装备符合标准规定的车道保持辅助系统的要求，自标准实施之日起第49个月开始对所有新定型车实施，即2022年2月1日开始实施。
政策措施起到了非常明显的推动作用，一直进度缓慢的商用车ADAS推广开始加速，国内ADAS正式进入强制安装时代。
图表 3 交通部关于ADAS的政策法规文件
商用车高阶自动驾驶领域的目标则是更多从TCO(Total Cost of Ownership)来重塑商用车商业市场运营模式。 从交通事故安全保障, 商业保险与维修成本, 司机人员的成本, 能源形式与能效比等多方面综合考量新的商业模式。 但是上述商业模式重塑的过程中, 最重要的因素始终是安全排在第一位, 即大幅度减少商用车交通事故的概率。 通过单车智能及车路协同等多种方式来推进。 其次是商用车能源利用的合理高效与环保, 车联网络的互连互通与交互, 提升车队随行人员的工作环境舒适性与便捷性。 最后达到整体商业模式的重塑生态。
图表 4 商用车自动驾驶模式生态的演进逻辑
在自动驾驶的发展过程与逐步落地过程中, 自动驾驶技术不同的等级所关注的侧重点亦有所不同。 从辅助人类驾驶向替代人类驾驶以及超越人类驾驶能力的商业演变过程中, 我们逐渐从关注少误报(舒适性考虑)+少数种类目标和场景(技术成熟度和成本考虑)的辅助作用向少漏报(安全性考虑)+全类型目标和场景的预防避免和无人化作用演进。 如图表 5所示。
图表 5 自动驾驶等级关注侧重点演变
但我们也深知, 自动驾驶尤其是无人驾驶系统所面临的现实交通场景是极其复杂多变的。尽管整个交通道路规则设施的设立全是以人类的基本统一全球化认识为基础来设立, 但是不同的城市/郊区/乡村和高速道路环境, 有不同种类的交通参与者甚至动物, 尤其是人作为高等智能生物体所具有的复杂多变的意图都对这一技术领域带来巨大的挑战。 我们称之为自动驾驶场景的”长尾效应”。 推进技术的进步, 带来全新安全高效环保科技的交通系统, 对自动驾驶技术尤其是视觉感知系统提出了深刻而又巨大的挑战与机遇。
图表 6 高阶自动驾驶场景的长尾效应
2. 商用车自动驾驶对视觉感知系统的要求
商用车自动驾驶, 由于面向商用运营领域, 所处的运营环境具有较大的差异, 因此不同环境下的自动驾驶技术也具有不同的特点。
图表 7 自动驾驶场景/技术难度分类
根据场景规模与技术难度, 大致可以划分为三大类场景: 低速封闭场景(低速, 封闭环境如港口,码头和矿区等), 高速城市干道场景(高速, 交通参与种类明显约束, 有较好的道路规则标识和边界等), 城区场景(中低速, 开放环境如城区物流配送, 最后一公里, 快递等, 交通参与者众多)。 低速封闭场景主要关注自动驾驶的准确性, 运营调度的高效性, 目前无人化的落地趋势最为明显。 高速城市干道环境主要关注识别距离远, 看的准确清晰和承受多种天气地理条件的影响。目前全球如图森未来、Waymo、小马智卡、嬴彻科技等均以推出量产卡车L4解决方案来推进落地。 而城区中低速场景则主要解决复杂参与者意图, 道路标记不清, 交通规则复杂等问题。比如商用车视野盲区问题, 城郊道路的限高/限宽可通过性, 路沿边界检测以及精准自动泊车等问题。
图表 8 不同场景面临的交通技术难题
在不同的交通场景中, 对自动驾驶感知系统提出了严苛的需求标准。
例如: 应对多传感器融合失效的问题。 为了引入更好的全工况能力和安全冗余, 多传感器需要在单一传感器失效的情况下仍能继续运行或降低等级保障最低安全程度运行。例如1V1R或1SV1R(SV是Stereo Vision), 1SV1R可以在单一摄像头失效, 毫米波雷达失效的情况下仍能继续安全工作。
需要看得远看得清的超视觉感知需求。 例如能看得清1km的大基线高分辨率双目立体相机。
单一传感器能够提供更加丰富的环境感知数据。 双目立体视觉相机因为可以同时获取丰富的图像以及3D信息而具有较大的优势。
本文接下来将重点介绍双目立体视觉感知传感器技术。
3.双目立体视觉感知系统
在生物智能视觉中, 一个有意思的现象是大多数遗传进化的生物体都具备双目立体视觉的能力。 英语里面有一句谚语: [Eyes on the side, animals hide。Eyes on the front, animals hunt]。
图表 9 蜜蜂, 马, 老虎和猴子的双目视觉。 来自Wikipedia
处于生物链顶端的生物, 更多是捕猎者, 需要更加精准的定位与测距能力, 因此进化成了前视的双目形成较为精准的立体视觉。 而处于生物链中低层的被捕猎者, 则需要看到更多的全景视野来规避威胁。
自动驾驶系统中的双目立体视觉感知理论与技术便是从大自然的生物进化智慧中借鉴而来。
图表 10 双目立体视觉计算理论
通过两只眼睛的成像视差, 可以精准的计算出物体实际的空间位置, 从而实现对三维世界的三维感知能力。 双目立体视觉可以得到精准像素点对齐的颜色图像和深度信息图像, 我们称之为RGB-D图像。 如下图所示。
图表 11 双目立体视觉的RGBD图像。 左: RGB图像; 右: Depth图像
与其他自动驾驶的传感器如(激光雷达Lidar, 毫米波雷达Radar等)相比, 双目立体视觉具有明显的特征和优势。 例如下图所示, 与激光雷达相比, 双目立体视觉具有明显量级优势的视觉感知信息密度优势。 激光雷达为128线扫描, 而双目立体视觉则可以很容易的生成等效720线/1080线甚至2000+线束的深度图像, 同时具有较小的角分辨率能力。 更多的比较双目立体视觉所具有的特色可以参见表1。
图表 12 双目立体视觉与激光雷达(128线)的视觉感知密度的比较
左: 视觉感知密度对比; 右: 夜晚感知对比。 来自Ambarella
表 1 不同的传感器类型的技术对比
通过以上对比可以发现, 双目立体视觉传感器技术能够适应更多场景, 以及更多自动驾驶等级的需求。 具备从ADAS到ADS全场景、全阶段的适配和支持能力。
图表 13 立体视觉方案对多场景的适应性
尤其是, 双目立体3D综合感知视觉具有诸多2D图像视觉所不能完成的功能特性, 例如地形检测, 地面凸起/凹陷检测, 算力高效的可行驶区域检测, 限高限宽检测等。
图表 14 立体视觉独有的3D检测能力
立体视觉在落地的过程中, 会受到运行环境对产品可靠性, 稳定性的考量。 因此, 除了在硬件结构和材料学, 热力学方面进行科学理论分析和实践以外, 通过软件手段来对实际运行环境中高低温, 震动等带来的影响降低和消除。 以下展示了元橡科技(METOAK)的相机在线自校正算法技术达到的效果, 以及通过自动标定实现对场景路面的感知理解。
图表 15 元橡科技的立体视觉在线自动校正系统的效果
图表 16 元橡科技在线自动路面标定系统
4、商用车360°全景驾驶安全立体视觉解决方案
基于双目立体视觉的技术特点和优势, 我们提出了商用车360°全景驾驶安全视觉感知系统, 以立体视觉为核心, 打造一个超安全的商用车自动驾驶系统, 称之为瞰行感知系统。
其包含商用车驾驶舱内/舱位两大功能。 舱内感知以DMS/OMS为主体, 实现驾驶员疲劳检测报警, 打电话/吃东西/左顾右盼等危险动作警示。
图表 17 基于立体视觉的驾驶舱内感知系统
驾驶舱外以ADAS双目立体前视相机, 侧向BSD双目相机, 顶视双目立体视觉和后视双目相机为环绕式360°布局。 如下图所示:
图表 18 元橡科技以立体视觉为核心的360°全景瞰行感知系统
图表 19 盲区视野环境感知系统
5、结语和未来展望
随着自动驾驶场景的不断成熟和细化, 传感器器件的发展和降本, 工艺可靠性的逐步提升, 自动驾驶技术将迎来较大的发展和演进。 对于视觉感知传感器发展未来的趋势, 总体来讲, 我们判断将以更高的分辨率, 更丰富的感知信息密度和波段, 更远的探测距离和更精准微小的探测能力为主要方向。 同时更多的传感器布局在整个商用车360°环绕车身, 对周围环境做到更加真实的三维感知。
图表 20 元橡科技完成双目立体红外视觉感知系统, 大角度高分辨率多波段
