大数跨境

当“神经拟态机器眼”碰撞传统CIS,如何“亦敌亦友”再创AI视觉巅峰?

当“神经拟态机器眼”碰撞传统CIS,如何“亦敌亦友”再创AI视觉巅峰? 问芯
2021-07-08
1
导读:人有五感,但其中 80% 的外在信息都是通过视觉来进入大脑。在人工智能领域,机器视觉所扮演的“眼睛”角色非常


人有五感,但其中 80% 的外在信息都是通过视觉来进入大脑。在人工智能领域,机器视觉所扮演的眼睛角色非常关键,肩负着快速且精准采集与处理终端信息的工作。


传统 CIS 芯片已十分广泛应用在手机、物联网、安全监控、汽车等领域。国内外大厂如 Sony、三星、韦尔(豪威)都是上一代视觉芯片世界里的超级巨头。


国内也有 AI 视觉四小龙:旷视、商汤、依图、云从,它们是中国 AI 领域的拓荒者,耕耘于 AI 视觉算法底层的技术。


还有一种创新型态的视觉技术是神经拟态传感技术,也可理解为神经拟态机器眼,是一种模拟人眼的光学传感器再结合大脑工作原理,也可称为硅基视网膜



神经拟态传感技术最早源于 1990 年代苏黎世联邦理工学院(ETH Zurich),特色是受人眼视网膜和大脑工作原理的启发,将基于图像静止帧的传感器改为基于事件的视觉系统。这也催生了动态视觉传感器(DVS)概念,吸引许多新创公司投入研发。


普诺飞思(Prophesee)是世界上最先进的神经拟态视觉系统的发明者,其原视觉(Metavision)传感器专利和 AI 算法引入了一种全新的基于人眼和大脑工作原理的计算机视觉范例。公司约 年前成立,也是该技术走出实验室,开始进入针对商业化研发的时间点。


日前,普诺飞思宣布 C 融资,由创新工场领投,小米及上海韦豪创芯跟投,其中的上海韦豪创芯由国内 CIS 龙头豪威的母公司上海韦尔半导体发起并投资。此前,普诺飞思已获英特尔资本、雷诺集团、博世创投的投资。



近年,传统 CIS 巨头早已四处卡位这种神经拟态视觉传感器技术。


Sony 在 2019 年收购了总部位于苏黎世的 Insightness,同时也与普诺飞思进行合作; 三星也将这种动态视觉传感器 DVS 技术应用于汽车高级驾驶辅助系统(ADAS; 北京锐思智芯在近期完成的 Pre-A 轮融资中,获得海康威视、舜宇光学等大厂投资。


对 CIS 传感器技术而言,神经拟态视觉传感器还称不上是敌人,甚至可以视为彼此互补的好伙伴,以 AI 技术来补足现有 CIS 传感器不足之处,算是敌亦友关系。



普诺飞思对《问芯Voice》在内的媒体分析该技术指出,当前许多机器视觉技术都遵循传统的成像原则——即机器每秒看到 25 帧的静止图像,通过对每帧图像进行智能解析,做进一步的识别与分析。


可是,这种基于帧的成像方式不仅让机器的大脑速度不匹配,系统响应时间也慢,且机器每一帧都做记录还会储存大量的无用数据,产生大量冗余数据,耗费系统处理资源。


普诺飞思的神经拟态传感器和生物启发算法,是将基于图像静止帧的传感器改为基于事件event-based)的视觉系统。



这种基于事件的视觉传感器特色是:


第一,每个像素都是异步且独立的,能独立感知并记录场景中物体的运动,也就是当场景发生变化时才会进行纪录,不同于传统传感器是产生一帧帧的图像对带宽和传输、存储、计算对网络资源的消耗量都很大。


因此,可以大幅减少产生的数据量,且检测速度变快。估计生成的数据量比传统的图像传感器减少十到千倍。


很多应用像是无人机、机器人等,在观察环境当中的变化时,并不关心静态信息,只有当环境有变化时才需要反应。因此,这类的技术非常适合以 AI 为基础的智能型应用和机器视觉。


事实上,这类技术已应用于移动设备、自动驾驶、物联网、医疗保健、工业自动化等领域。


第二,神经拟态传感器可实现像素级别的曝光调节,即使在极暗或极亮的光照条件下,也可实现  >120dB 的动态范围。



另外,普诺飞思目前与 Sony 合作,利用 Sony 在传感器领域的领先技术工艺,结合制造出世界最小的基于事件的传感器产品。


普诺飞思用了一个比喻,这次的新冠疫情研发疫苗上,德国 BNT 也是结合美国辉瑞的制造工艺才能成功大量生产疫苗,这种先进技术结合制造的合作模式,已经是趋势。


关于这类的神经拟态传感器,普诺飞思也分享该技术已经用在许多场景:


手机等消费型产品:

事件传感器和传统 CIS 传感器结合起来,能有去模糊功能。现在手机相机都是用光学防抖,但当速度过快时,基本上相机不能动,基于这类的事件传感器,可以在弱光下去模糊,当物体奔跑,或是在车内拍车外风景时,这类技术都可以解决拍照模糊的问题。



协助盲人恢复部分视力

在护目镜中植入神经拟态传感器,激发器会将硅基视网膜信号发送到视觉皮层,让盲人恢复部分的视觉能力。



医疗领域:

时时无菌检测的细胞疗法。需要快速寻找血液中的杂质,可以利用这类技术在生产过程中作监控,有别于传统做法到到最后才去看到有没有细菌产生。



驾驶员监控解决方案:

与软件公司 Xperi 合作推出全球首个基于神经拟态视觉系统的驾驶员监控解决方案(DMS),利用原视觉(MetaVision)技术可以高速追踪眼球目光,监控驾驶员眨眼、眼球移动、脸部为表情等,来判断驾驶员是否过劳,因为当人疲劳时,眨眼的速度会改变。


工业应用领域:

侦查震动变化,来预警机器坏掉。或像是半导体制程过程中,利用此传感器技术来精准监测有多少液体喷到晶圆表面。


值得注意的是,普诺飞思是创新工场投资的第一家欧洲企业。目前,创新工场管理着超过25亿美元的基金总额,所投资的著名 AI 独角兽企业包括 Momenta、文远知行(WeRide)、创新奇智(AInnovation)、第四范式(4Paradigm)、地平线机器人( Horizon Robotics)等。


创新工场对《问芯Voice》等媒体表示,他们针对普诺飞思追踪了长达三年半时间才决定投资,就是看中该技术目前正处于应用爆发增长的前夕,规模商用即将到临。


普诺飞思指出,透过这次融资和运营扩张,将进一步加强在中国的商业发展与资源积累,满足市场与客户不断增长的需求,并在半导体、工业、机器人、物联网和移动设备等关键生态领域建立更广泛的合作关系。


目前普诺飞思的总部位于巴黎,并在上海、东京、硅谷和格勒诺布尔设有办事处。公司由约100多名工程师组成,拥有50多项国际专利。



【声明】内容源于网络
0
0
问芯
AI、机器人和未来。
内容 628
粉丝 0
问芯 AI、机器人和未来。
总阅读45
粉丝0
内容628