近日，第十一届高工智能汽车开发者大会上正式发布了“2020年度商用车智能网联软硬件供应商”榜单。觉非科技凭借稳健的软件技术研发实力，以及快速落地的商业化能力，荣登“商用车智能网联软件供应商TOP10”。
智能驾驶汽车时代，是一个软件定义汽车的时代，也是一个充满挑战和巨变的时代。随着其技术的发展，近期产业中也提出了“软硬分离”的概念，将软件和硬件供应链进行拆分，让专业的人做专业的事。就目前市场来看，软硬分离的道路有待观察。
首先，对于硬件而言，需要摸清模块、算力以及传感器功能之间的逻辑关系。其次，从架构上需要向智能化进行调整，这是一个根源性问题，目前产业进展缓慢。
作为软件和数据为主的AI创新型企业，觉非科技目前正积极布局“软硬分离”，为了适配不同客户的计算设备，2019年觉非推出了泛平台感知框架：“LAMBDA”。
“LAMBDA”是一款人工智能推理中间件，具备灵活部署、异构计算、高性能推理等特性，可以在差异化的端侧平台下采用定制的优化方案，帮助视觉算法在低成本硬件上发挥最大效能具备灵活部署、异构计算、高性能推理等特性，可以在差异化的端侧平台下采用定制的优化方案，帮助视觉算法在低成本硬件上发挥最大效能，为自动驾驶场景感知赋能。
同时，“LAMBDA”可以有效屏蔽不同硬件间的差异，让定位算法和软件逻辑快速地进行移植和适配。
目前，推理任务部署层面，已经有多种推理引擎，但不同的推理引擎针对不同的硬件平台支持与优化程度不一，其受限于操作系统（例如Linux/Android）或硬件平台（Cortex A53/A76）亦或计算单元(CPU/Mali GPU/DSP)。因此，尚未有一款推理引擎，能够适应于各类操作系统、硬件平台和计算单元。
而觉非科技“LAMBDA”的定位是一个推理引擎中间件，它针对常见的推理任务，抽象了整套的推理过程，并提供了可以支持多推理引擎的接口。
通过不断兼容和支持更多的推理引擎，实现在部署时通过选择硬件和推理引擎，以达到获取最优推理效果的目的。最终，使得各种平台部署达到最优推理速度，并降低复杂的硬件适配、模型转换等重复性的开发工作。
整体平台包括统一调度层，输入的统一张量化处理，经过抽象的算子级别的模型实现等功能，与直接使用推理引擎相比，具备以下特点：
首先，“LAMBDA”提供了算子级网络模型实现的方式，针对不同的推理引擎接口，实现对各种骨干网络，如mobilenet、resnet、googlenet、alexnet等的算子级复现，并与标准模型进行效果对比实验，以达到与标准模型相同的精度。在此基础之上，实现针对不同平台、不同硬件的最优推理性能。
其次，针对提供了算子优化接口的推理引擎，提供了自定义算子及替换原推理引擎算子的能力，从而实现针对模型的算子级性能优化，使得达到最优的推理效果。
最后，针对推理过程的前后处理运用的基础库，提供自我复现后的接入能力，从而可以对一些基础操作，如crop、resize，normalize等进行定制化的实现和优化，既摆脱第三方图像处理库如 OpenCV 的依赖，减小部署资源库的大小，又能针对应用做特定的处理操作。
觉非科技“LAMBDA”将整体推理各个环节进行了高度抽象化。首先，在输入层面将推理目标进行统一的Tensor内存表示，并将网络模型做graph表达，从而统一了调度器的输入；其次，在调度层面，抽象为三类配置，分别为任务分配模式、调度模式和硬件选择；任务分配模式分为多任务推理、单任务推理，调度模式分为同步还是异步，硬件选择分为CPU（支持核和频率的指定）、GPU还是DSP；通过对推理输入及调度层面的高度优化，大大减少部署过程中的重复性工作。
3. 完善的资源管理和监控体系，易于发现部署的问题
“LAMBDA”通过内存池，管理输入输出资源，避免第三方调用的内存泄漏和冲突，通过线程池，管理大量的异步资源，提供对线程状态的描述和程序结束时的清理行为。另外，增加了性能优化器，整合了异常信息的报告与处理，提供更好的错误提示等，提供内部数据结构的字符串描述，更好的数据查看方式，便于理解与调试，提供CPU/GPU/DSP 的性能 Profiler 日志系统 (CPU利用率，线程利用率，内存利用，Cache 等)。
本质上，“软硬分离”是为了更好的“软硬结合”，技术将成为桥梁，而数据势能将为技术提供有效保障。作为智能驾驶的“数据引擎”，觉非科技“LAMBDA”的推出，让移动部署软件推理过程的颗粒度更加细致，为硬件节省并延展了更多的算力空间，同时也将为产业软硬融合的未来，奠定坚实的技术基础。
