大数跨境

模仿人脑注意力机制,中国团队将“类脑芯片”做到毫瓦级

模仿人脑注意力机制,中国团队将“类脑芯片”做到毫瓦级 Chinait在前沿看世界
2024-06-21
1


随着光电行业下游的发展,光电的应用领域越来越受重视,光电杂志将重点聚焦光电在面向信息通信/信息处理与储存、消费电子、先进制造、国防安防、半导体加工、能源、传感及测试测量、照明显示、医疗等九大应用领域的内容。更多应用干货,请持续关注


现有的人工智能系统想要运行复杂且庞大的神经网络,需要消耗巨大的能量,而如果把人脑也看作一个人工智能系统,以人脑神经网络的复杂度来说,所要消耗的能量将是海量的,而实际人脑的功耗仅仅只有20W,因此借鉴人脑的低功耗特性发展新型智能计算系统是一个极具潜力的方向。


近日,中国科学院自动化研究所与时识科技公司等单位的联合团队,共同设计了一套能够实现动态计算的算法-软件-硬件协同设计的类脑神经形态SoC系统——Speck,在典型视觉场景任务下其功耗低至 0.7mW,并且其静息功耗仅为0.42mW。


Speck类脑神经形态SoC


人脑的一个重要功能就是能够根据所需的需求动态地分配其资源,即“动态计算”,其包含两层含义:没有输入时能耗最小,而随着输入的变化能耗会显著变化。而这种动态计算的实现是基于注意力机制,也就是显著的刺激往往会受到更多的关注,主要表现为与刺激相关的大脑区域或神经元的脉冲活动的增强。


人脑中的注意力机制


研究人员正是出于这种理解,模仿神经系统的这种机制设计了Speck,作为一款异步感算一体类脑神经形态SoC,其采用全异步架构,尺寸大小仅为6.1×4.9mm,在一块芯片上集成了动态视觉传感器(DVS相机)和类脑神经形态芯片。Speck能够以微秒级的时间分辨率感知视觉信息,而以全异步方式的设计抛弃了全局时钟控制信号,有效地避免了时钟空翻带来的能耗开销,仅在有事件输入时才触发稀疏加法运算。从而在硬件层面做到“没有输入,没有功耗”,在算法层面做到“有输入时,根据输入重要性程度动态调整计算”。 


Speck设计框架


针对脉冲神经网络(SNN)的相关难题,研究团队基于注意力机制的神经形态脉冲动态计算框架,在多种粒度上实现对不同的输入进行有区分地动态响应,同时Speck提供了完整的软件工具链,包括数据管理、模型模拟、主机管理等,来支持各种类型的动态计算SNN算法训练和部署。


实验结果表明,注意力机制可使SNN具备动态计算能力,在DVS128 Gesture数据集上,融合了脉冲动态计算的Speck在显著降低功耗(平均功耗由9.5 mW降低至3.8 mW)的同时,大幅提升了任务性能(任务精度提升9%)。


研究人员表示:“该工作的实践证实高、低抽象层次大脑机制的融合能进一步激发类脑计算潜力,为未来将大脑进化过程中产生的各种高级神经机制融合至神经形态计算提供积极启发。”

版权申明:凡本公众号内容注明【原创】的,内容版权归本作者所有,未标注【原创】的图片与文字内容均转载自网络,版权归原创者所有,图片和文字如有侵权烦请告知我们,我们会立即删除。谢谢!


【声明】内容源于网络
0
0
Chinait在前沿看世界
1234
内容 1011
粉丝 0
Chinait在前沿看世界 1234
总阅读62
粉丝0
内容1.0k