AR（增强现实）本质上是现实之上的一层数据，通常是增加人所看到的东西，甚至是保证得到更为准确的东西。在汽车行业，AR可以为基于位置的内容及服务提供无限的机会。更重要的是，AR技术起到了让乘客对自动驾驶辅助系统提高信任度的作用。
作为可以将系统的规划决策过程进行可视化的有效方式之一，AR技术已成为了智能驾驶中不可或缺的一部分，而汽车制造商也正在接受着让增强现实技术成为车辆配置的一个亮点。
2020年6月，搭载觉非科技增强AR导航引擎的宇通智慧公交车落地河南郑州，开创了自动驾驶技术与载人客运结合的新模式，同时这也是自动驾驶技术在国内商用车市场的首次规模化量产。
这种具备AR融合感知系统的自动驾驶客车，将现实世界与虚拟世界的结合，投影至客车的实际行驶场景之中，更加直观地展现了车辆传感器在道路上究竟“看”到了什么，也让乘客的乘坐体验更具安全感。
这种具备AR融合感知系统的自动驾驶客车，将现实世界与虚拟世界的结合，投影至客车的实际行驶场景之中，更加直观地展现了车辆传感器在道路上究竟“看”到了什么，也让驾乘体验更具安全感。
首先，增强AR导航引擎的系统的输入包括摄像头采集的视频流，同时AD Adapter模块可以接收自动驾驶控制和决策域输出的相关信息，并在AR场景中进行可视化输出，同时可完美适配于中控大屏、仪表盘、HUD等人机交互设备。
增强AR导航引擎采用模块化松耦合的架构方式，其主要模块包括：视觉AI算法，车道级定位，路径规划和导航，3D融合渲染。具备的核心能力包括：
基于图像视觉的目标检测和识别算法
高精度、低延迟的车道级定位
车道级路径规划和导航
3D数据融合渲染
其中，图像目标检测识别和车道定位导航是增强AR导航引擎的基础能力，同时也是系统不可或缺的部分。
而3D数据融合渲染，则承接了直接面向用户的人机交互接口。增强AR导航引擎在真实场景上融合了路径规划、导航和视觉感知的相关信息，同时也可以融合ADAS和自动驾驶控制决策的相关信息，给与车内人员全方位的引导提醒，从而提升整个系统的驾乘体验和安全感。
增强AR导航引擎的3D融合渲染中，融合数据涉及的坐标系包括：地理坐标系（WGS84）、车辆坐标系、相机坐标系和图像坐标系。对于3D渲染引擎，还会涉及OpenGL坐标系（世界坐标、模型坐标、相机坐标、裁剪坐标、屏幕坐标）等。
其中，车辆位置等使用地理坐标系，视觉AI算法识别和检测的结果在图像坐标系下，相机在车辆上的安装位置和方式，决定了相机坐标系和车辆坐标系之间的旋转和平移关系，同时这个关系可以用相机的安装外参进行标定。车辆自身的位置和姿态，则决定了车辆坐标系和地理坐标系之间的变换关系。
因此，在增强AR导航引擎中，如何处理各种坐标系到OpenGL引擎坐标系中的变换关系，以及使虚拟元素与真实场景无缝紧密贴合，成为了3D数据融合渲染需要解决的核心问题。
利用真实摄像头的物理标定参数（内参：图像分辨率、焦距、视场角FOV、畸变参数；外参：相对车辆的安装位置、镜头倾角），可以在虚拟的3D环境中，构建一个内外参数和真实摄像头一致的虚拟相机。车体坐标系下目标点Pv（Xv、Yv、Zv）经过旋转和平移，可以转换到相机坐标系中的Pc（Xc、Yc、Zc），Pc（Xc、Yc、Zc）就可以在AR虚拟相机场景中还原出来，这个过程就是3D透视投影。
对于视觉AI算法输出的二维图像坐标系下的结果，可以根据实际需求，既可以使用正交投影，将结果元素叠加到AR场景中，也可以根据AR相机的参数，进行透视投影变换，渲染成3D效果。
导航引导的信息，比如导向箭头、限速等信息，也可以做上述类似的变换，实现紧贴地面或者立面的3D效果。
在增强AR导航引擎的技术搭建过程中，觉非科技借助深度学习与图像渲染引擎的能力，使来自传感器和导航系统的多种数据与摄像头中的真实世界进行了完美融合，并实时构建出了增强现实的场景。同时根据不同的计算平台和显示设备的类型，可以选择通过GUI图形界面或视频流的方式输出到相应的显示设备上。
增强AR导航引擎与传统AR导航的区别在于，传统AR导航仅运行在车机上，受限于车机本地算力，很难提供更多维度的数据融合。
而增强AR导航引擎可以运行在DCU域控制器中，可以利用更高的算力，输出车辆感知和域的信息，数据来源也更丰富，识别的信息种类更加全面。将增强AR导航引擎应用于智能座舱，相当于来自控制域的降维打击。
增强AR导航引擎内部拥有基于图像视觉的感知模块，自身具备视觉感知的能力，同时也可以通过AD Adapter模块接入其他车辆感知系统输出的信息（例如毫米波雷达、激光雷达感知的目标信息），同时AD Adapter模块也可以接入AD控制和决策系统的相关信息，用于在增强AR场景中进行多维可视化输出。
通过更多维度的数据融合，使智能驾驶车辆感知和控制决策的信息，以增强现实的方式实时呈现给用户，相当于把智能车辆大脑的所感、所知、所思、所为清晰展现给用户。
AD Adapter模块基于车载以太网，通过预先定义的标准proto协议与其他外部模块进行通信，与其他模块充分解耦，因此可以进行快速集成，大幅提升了系统接入的效率。
赋能控制域：增强AR导航引擎+Automotive On Rails
2020年，觉非科技借助高速铁路、飞机场的先进交通控制理念和成功经验，将高速公路的行车道抽象数字化为轨道，通过路面环境信息、定位信息和实时感知信息相组合，形成了数字化高速公路模型，并利用闭塞区间的空闲和占用指导行车规范，建立了智能数字化路权分配机制，即Automotive On Rails。其功能包括并线辅助控制、道路路况提醒、货车编队出行、行驶状态监控、进出匝道辅助等。
增强AR导航引擎与智能数字化路权分配机制的结合，其本质是将知识驱动与数据驱动进行搭载。目前，觉非科技已具备了将数据资产针对道路与车辆的数据进行重组与推理的能力，并可结合边缘端与云端部署，生成高精度语义化感知数据，产品化输出面向车辆、道路，以及云控交通大脑的各类数据解决方案。
而这种搭载方式或将在未来延伸至智能驾驶控制域中，有效保证智能驾驶车辆的安全性及ODD规模化扩展，为产品化输出创造先决条件，加速自动驾驶的落地进程。
随着智能驾驶技术继续向前发展，增强现实技术的价值就越发重要。一方面，在为乘客提供智能驾驶车辆融合信息方面可以发挥更大的作用；另一方面，它也在使驾乘体验变得更有趣、更高效、更安全。
展望未来，该技术将进一步增强与ADAS、V2V与V2X通信技术的融合，为“新基建”智能网联汽车的发展带来更多创新契机。
