大数跨境
首页
>
一家法国芯片公司模拟人眼，要让手机、AR/VR领域再展新玩法
>

一家法国芯片公司模拟人眼，要让手机、AR/VR领域再展新玩法

一家法国芯片公司模拟人眼，要让手机、AR/VR领域再展新玩法 问芯
2023-07-17
3
导读：起初，这个十分新颖的技术帮助了视网膜受损的全盲患者恢复视力。这项技术是“基于事件视觉传感器（Event-ba
起初，这个十分新颖的技术帮助了视网膜受损的全盲患者恢复视力。
这项技术是“基于事件视觉传感器（Event-based Vision Sensor; EVS）”，因为可模拟人眼视网膜运作，也被称为是有别于传统传感器的“硅”视网膜。该技术成功帮助了视网膜受损的视障者恢复视力，也是Prophesee于2014年在巴黎成立的灵感来源。
Prophesee副总裁兼大中华区总经理杨雪飞对《问芯Voice》表示，最早是Prophesee欧盟做一个帮助盲人复明的项目，技术来源于仿生学，在人的眼睛里面有机理，视网膜上面有视锥细胞和视杆细胞，视锥细胞负责捕捉色彩，视杆细胞负责捕捉光亮度的变化。如果把RGB传感器比作视锥细胞，Prophesee的传感器就是视杆细胞的机理。
盲人是有很多种不同的起因的，有一种是因为视杆细胞受损造成的视觉上面的障碍，当时欧盟有一个大项目是把EVS传感器作为数据的采集部分，相当于视杆细胞的采集，然后后面会有传输部分、算法部分和人机连接的部分。
“基于事件视觉传感器EVS” 技术的本质在开发模拟人眼的人工模型，可模拟人眼视网膜运作原理，Prophesee将EVS技术在医疗领域实现可行性后，现在积极拓展到工业和消费性电子领域。
2023年初，Prophesee宣布与手机处理器龙头高通达成深度合作，在骁龙平台上集成EVS技术传感器，是该技术的一个重要里程碑。
杨雪飞指出，EVS技术用在手机并不是想取代现有的拍照方式，而是藉由该技术来提升现在的拍照效果。从前年开始，EVS技术就在手机市场找到了一个非常明确的应用目标，也就是去模糊（deblur）的应用场景。
Blur指的是拍照时会出现的模糊的状态，尤其是手机拍照时，大多数的应用场景都不是风和日丽的户外场景，很多情况下是在光线不太充足的室内场景。光线暗的场景通常会增加曝光时间，但是增加曝光时间后，任何的运动都会在曝光时间当中产生模糊，这是手机拍照很常见的问题。
因此，手机厂商就想到了运用EVS技术去做相应的去模糊（deblur）的算法，从而得到非常清晰的照片，给了EVS技术切入手机市场很好的机会。
Prophesee在偌大的手机市场迈开一大步，目前与不止一家厂商签订了相应的合作规划，预计今年会有采用Prophesee的EVS技术的新款手机发布。
杨雪飞对《问芯Voice》表示：“一个技术从问世到成熟商用落地，至少需要十年时间。” 成立将近十年的Prophesee在这个时间点携手高通，所撞出的火花对EVS技术朝消费性电子领域发展很重要。
他解释，以视觉技术为例，在CMOS出现以前，所有的产品当中用的都是电荷耦合器件传感器（CCD sensor），CMOS取代CCD的过程花了10多年的时间。 CMOS虽然有成本低的优势，但是画质差，所以它花了很长一段时间，让半导体工艺逐渐达到了市场需要的水准，才进入了量变到质变的过程。
当前是科技快速巨变的时代，从年初的ChatGPT第一次出现后，AI发展的速度已经超出了人们的想象。 AI要如何帮助手机拍照得到更好的效果？ Prophesee的战略合作伙伴之一高通很早就想到这个趋势，让AI能够在它的硬件平台上面得到非常好的应用，高通已经在平台上为AI准备了相应的硬件基础，所缺少的是如何用软件的应用去把它的硬件资源利用起来。
因此，当Prophesee和手机厂商合作之后，高通非常好的融入了进来，和Prophesee成为了战略合作伙伴。
去年高通开了两场骁龙峰会，一场在夏威夷，一场在中国。峰会上，高通都有专门在台上介绍了和Prophesee之间的合作，因为我们Prophesee的 deblur本身就是一种通过AI的方法或者机器学习（machine learning）的方法去改善画质，彼此的战略很快的匹配在一起。
物联网市场
除了手机市场，物联网也是EVS技术非常重要的市场，例如Prophesee提出一款监控老人跌倒并提供警报的解决方案，就是因应不少在疫情防控期间出现过的老人因为身体原因跌倒的案例。
杨雪飞指出，随着社会老龄化严重，现在很多年轻人和老人不住在一起的，也不在一个城市，能够实时了解到老人有没有发生特殊情况是很重要的。同时，考虑到安装监控有隐私问题，尤其在浴室这样好发老人跌到的场所中，也不太可能安装一个摄像头来监控，EVS技术是非常适合的解决方案。
首先，EVS技术没有隐私问题，因为它不会拍摄图像，它只有物体的边缘（轮廓）信息。
第二，EVS技术可以用AI技术在本地直接在本地的设备上做相应的AI算法运算，来判断这个老人现在是不是跌倒了或者出现了异常的状况，不需要通过云服务。然后再通过手机或平板电脑向子女亲人重复推送，告诉他们有可能出现了紧急状况。
这一整套系统都可以在端这边直接运行，不需要依赖于云，可降低用户的成本，因为云服务是每个月都要付费的。再者，对外输出没有任何图像，只是一个预警信号，可以极大的保护了隐私。
以中长期的应用角度，AR/VR市场会是接下来一个非常爆炸性的赛道，同时也很适合EVS技术发挥。
杨雪飞表示，AR/VR赛道当中有很多应用是可以利用EVS技术来提升效果的。一个比较热门的是眼球追踪，因为在 AR/VR设备当中，需要知道人眼关注的方向，从而去调整改变它的显示。然如果AR/VR的显示器一直显示高清4k或者至少是 HD高清的显示，功耗会非常的大。
对AR/VR设备而言，要如何延长它的续航时间是关键核心之一。所以从显示的层面，它最好只在你眼睛关注的那一小部分区域做清晰显示，其他的区域可以略作模糊，如此一来可以降低它的功耗。要实现上述效果，就要做很好的眼球追踪，让这些AR/VR设备知道你眼球关注的方向。
人的眼睛的转动速度是非常快的，对摄像头的速度有很高的要求，如果用传统的 RGB传感器，拍视频是每秒24帧到30帧。 Meta有相关的论文说要防止晕眩感，让消费者有更好的使用体验，摄像头大概要达到每秒200多帧的速度。从每秒20几帧到200多帧，10倍的速度，摄像头的功耗就变得非常大。
这个时候，由于EVS技术能够高效捕捉动态影像，以及它输出的数据不是全帧输出，只选择那个事件输出，就能够大幅减少数据量。
打个比方，如果一张桌子是我的视线范围，也就是全场景，如果在桌上面什么都没动，EVS传感器不会输出任何数据，但如果眼球动一下的话，只输出眼球的边缘信息。这个数据量相对于传统的传感器来说，有可能不只是几十分之一，甚至有可能几百分之一，相对地功耗也降低了，后端的运算难度也降低了。
另一个情况是，很多用过VR玩游戏或看视频的人都会有头晕的情况。 Meta曾经分析并指出了四个造成晕眩的原因，其中有两个原因都是可以藉由EVS技术而获得很好地解决，一是帧率不够，也就是速度不够，现在只有二十几帧，Meta认为要200帧左右才能够比较好解决这个问题。
第二个是延时，延时不单是采集数据的速度，还有后端运算的速度，就是整体的延时。延时越长就代表着我眼睛移过来了，图像还没有变化，要过一段时间再移过来，这也是一个造成晕眩的重要原因。
针对这种情况，EVS的优势在于，第一它没有帧率，因此采集数据的速度极快；第二是数据量小，这样不仅降低功耗，数据传输的速度也更快了，而且节省算力，运算速度也更快了，可以大幅提升用户体验。
杨雪飞表示，这在方面，Meta一直是Prophesee非常好的合作伙伴，Meta在公开发布的论文里面就有大量关于EVS应用在眼球追踪上面的论述，以及提到使用了Prophesee产品做的一些验证工作。

采用40/28nm制程，与SONY合作生产
Prophesee的EVS传感器目前在索尼Sony位于日本的九州工厂生产，采用40nm制程，目前也在规划28nm或22nm制程的技术。索尼本身也是Prophesee的股东之一，双方在2015年开始合作量产第一代传感器，2017年第二代，2019年合作第三代，到了2021年双方合作第四代传感器时，索尼已经成为股东兼合作伙伴。
针对EVS传感器的制程技术，杨雪飞解释，图像传感器不像传统CPU，有一个非常关键的影响因素，不是电，而是光。因为它要把光转化为电，不是一个纯电的运算。今天的存储技术可能需要5nm、4nm的制程，因为我可以放更多的容量进去，但对于图像传感器来说，如果把它做得很小，进光量就会太小。这就是为什么专业照相机要这么大，光越少拍出来的效果越差。
当在做手机上的传感器的时候，其实要想办法去做一个权衡。专业相机都是用非常大的传感器，但是手机没有办法接受这么大的传感器，所以手机需要在画质和尺寸上面最后要做一个权衡，然后才得到我们现在使用的产品。
因此图像传感器不会一味去追求半导体最先进的制程，没有这个必要，而是要同时考虑到光的接受程度和电讯号，因此现在的22nm、28nm已经非常够用。
Prophesee也对《问芯Voice》完整地解释了“基于事件视觉传感器（Event-based Vision Sensor; EVS）”的技术原理和发展历程。除了上述提到的医疗领域，EVS技术更早之前其实是应用在工业领域。
该技术有几个特点：
第一是速度非常的快，它没有帧的概念；
第二是它受光源的影响小，所以动态幅度范围非常的大。这些特点可以很好的适用于机器视觉，因为机器视觉本身也不是给人看的。
我们常说的传统的视觉领域，首先是满足人眼的要求，不管最早是画画、拍照、拍电影视频，其实都是去取悦人的眼睛。直到后来逐步的发展到了工业自动化的阶段，渐渐发现视觉不单是为人服务，也为机器服务。
人是感知色彩的，色彩很重要，所以过去RGB传感器是传统视觉的主流传感器。但是当进入机器视觉了之后，那就不完全是要通过视觉的色彩去判断东西，很多边缘的人工智能计算法就应运而生。
在这个过程当中，如果色彩不再是机器做判断的核心要素的话， EVS就会成为一个非常好的替代对象。因为EVS提供的就是一个快速的边缘的信息，而且是一个运动的信息，数据会更高效化，性能也会更高效化。
机器视觉的处理单元是类似于CPU、GPU这样高速运转的设备，喂给它东西的速度变快了，时间上更密集，它能够得到的结果也就更高效。所以这是一个非常好的搭配。
Prophesee本身是一家法国公司，欧洲和日本的工业化比较早，因此这样的技术会有一些工业化市场的应用。
手机对EVS技术而言，会带来非常不一样的情况。不同于工业领域的量少但价高，手机属于消费类的产品，数量大且需要很亲民的价格，这是两个特质非常不一样的市场。
杨雪飞表示，半导体技术的未来相信主要还是在消费类的不同应用上面，所以进入到手机市场，对Prophesee的整个业务会是一个新的台阶，从工业领域开始进入到消费领域，是一个非常大的市场面扩展。

【声明】内容源于网络
0
0
问芯
AI、机器人和未来。
内容 628
粉丝 0
问芯 AI、机器人和未来。
总阅读45
粉丝0
内容628