研究背景
传统基于帧的图像传感器以固定的帧率传输绝对光强度-无论特征是否发生变化-因此产生大量冗余的视觉数据，但信息有限。受生物视网膜的启发，事件驱动的视觉传感器只对场景中的相关变化做出反应。这些传感器只在事件发生的时间和地点发出脉冲，减少冗余数据的数量，同时保留稀疏但重要的信息(图1a)。然而，在事件驱动相机和后续信息处理单元之间通常存在物理距离。现有的事件驱动相机，如动态视觉传感器(DVS)，以模拟形式监测亮度变化，并将其发送到数字神经形态处理器或峰值神经网络(SNN)。为了进行运动识别，必须在分布式交换机和处理单元之间转换足够的视觉数据，这会导致时间延迟和能耗，从而抵消了分布式交换机概念的一些好处。在传感终端内直接处理视觉信息可以在时间和能效方面提供优势。传感终端的视觉预处理可以增强对比度、降低噪声、适应视觉等，从而提高图像识别的准确性。为了执行高级计算，例如传感器内的图像识别，光电探测器可以用于人工神经网络(ANN)，其中可调的光响应率(R)可以模拟突触权重。在这些例子中，所有像素根据绝对光照强度连续输出一个恒定的光电值。通过串联光传感器构建传感器内神经网络，实现静态图像识别。这些传感器内人工神经网络可以响应绝对光照，但缺乏事件驱动特性，因此在处理动态运动时产生了大量冗余信息。
成果介绍
有鉴于此，近日，香港理工大学柴扬教授和华中科技大学何毓辉教授（共同通讯作者）等合作报道了计算事件驱动的视觉传感器，它捕获并直接将动态运动转换为可编程、稀疏且信息丰富的脉冲信号。这些传感器可以用来形成一个用于运动识别的脉冲神经网络。每个视觉传感器由两个极性相反的平行光电二极管组成，时间分辨率为5 μs。为了响应光强度的变化，传感器通过对其各自的光响应率进行电编程，产生具有不同振幅和极性的脉冲信号。视觉传感器的非易失性和多电平光响应率可以模拟突触权重，并可用于构建传感器内峰值神经网络。本文中计算事件驱动的视觉传感器方法消除了传感过程中的冗余数据，以及传感器和计算单元之间的数据传输需求。文章以“Computational event-driven vision sensors for in-sensor spiking neural networks”为题发表在顶级期刊Nature Electronics上。
图文导读
图1. 事件驱动的传感器内脉冲神经网络。（a）基于帧和基于事件的视觉传感器比较。（b）结合事件驱动特性和传感器内计算的优点，设计的传感器内脉冲神经网络。（c）当光强度保持不变时，两个互补支路的输出光电流为零，而当光强度改变时，两个支路光响应时间的差异导致产生脉冲。（d）输入光强度与输出脉冲的关系。
本文报道了一个事件驱动的像素单元，它可以在不断变化的光强度下产生具有可编程振幅的稀疏脉冲序列，这反过来又允许在像素阵列内进行视觉数据计算(图1b)。本文设计了一个像素单元(图1c)，当光强度变化时产生脉冲信号，表现出事件驱动的特性。该单元是由两个分离的分支并联而成的。两个分支中的光电二极管分别具有相反且对称的构型(PN和NP)。此外，由于电容器造成的时间延迟，有电容器支路(C)的光响应比没有电容器支路要慢。两个分支(PN和NP)具有相反的光电流和不同的响应时间。在恒定光强度照射下的稳态，即静态场景下，两个支路|Iph1|和|Iph2|产生的光电流绝对值完全相同，净输出电流为零(Itotal)。当光强度变化时，两个支路产生瞬态相反的光电流变化，响应速度不同。当光强度增加时，无电容的NP支路光电流增大，而另一有电容的NP支路光电流瞬间减小。无电容的PN支路的光响应比有电容支路的光响应快。因此，在瞬态光强度增加的瞬间，单元内产生一个正的脉冲信号(图1d)。相反，当光强度降低时，产生负的脉冲信号。该设计单元具有由光强度变化触发的事件驱动特性。
图2. WSe2光电二极管的非易失性和可编程光响应率。（a）由两个局部栅极控制的WSe2器件的结构示意图和光学显微镜图像。（b）当两个底栅极电压设置相等时，漏极电流IDS与栅极电压的关系。（c）四种不同掺杂结构下WSe2器件的电流-电压(IDS-VDS)曲线。（d）WSe2器件在PN或NP配置下不同Pin(520 nm波长)下的IDS-VDS曲线。（e）ISC与Pin的线性关系。（f）在一系列栅极电压脉冲下的非易失性和可编程光响应率R。
在之前关于传感器内计算的工作中，研究人员需要施加恒定的栅极电压来保持光响应率，这不可避免地会导致额外的能耗。本文设计了一个具有浮动分离栅极结构的WSe2光电二极管，用于降低后续传感器内计算的功耗。2D WSe2是一种原子薄半导体，具有平衡的能带结构、强的光-物质相互作用和优异的静电可调性。这些特性使得通过静电调制有效地调节WSe2沟道的载流子极性和光响应率。为了提高功率效率和可扩展性，本文设计了非易失性可编程光电二极管，即使在去除栅极电压后，也可以在光电二极管中本地存储突触权重。栅极电介质采用厚度为7/5/20 nm的Al2O3/HfO2/Al2O3浮栅堆叠。Al2O3(1.5 eV)和HfO2(2.5 eV)之间的电子亲和能差为HfO2层的长期电荷存储提供了高隧穿势垒。与采用金属栅极存储电荷的传统浮栅技术相比，HfO2层具有显著的电荷俘获能力、优异的热稳定性和良好的可扩展性。图2a(i)和(ii)分别为WSe2光电二极管结构的器件结构横截面示意图和俯视图光学显微镜图像。为了控制WSe2沟道不同区域的载流子类型和密度，制作了一对间隙距离为300 nm的局部底栅。通过设置两个相同的局部栅极电压VG1和VG2，可以测试WSe2场效应晶体管的特性(图2b)。大正和负栅极电压下的两个分支表明WSe2存在双极性输运。在前后栅极扫描过程中出现了一个迟滞窗口，这可以理解为电荷陷阱层HfO2中电荷存储行为的结果。在VG1,G2向大正值的扫描过程中，电子在WSe2沟道中积累。HfO2层具有比WSe2更高的电势，这使得WSe2中的电子穿过Al2O3薄势垒层隧穿到HfO2层，从而产生带负电荷的浮栅(图2b)。当VG1,G2被扫描回时，俘获在HfO2中的电子屏蔽了电场，导致漏极电流IDS降低。因此，浮栅结构可以实现存储器窗口，通过栅极电压表明了WSe2沟道的非易失性可调谐载流子类型和密度。
通过进一步将两个分离的栅极配置成不同的极性，WSe2沟道左右部分的载流子类型和密度被独立调制，呈现出四种不同的传导状态(图2c)。在正负栅极电压下，器件表现出几乎对称的行为，因为两个栅控区域都是电子或空穴掺杂(NN或PP)。相反，通过相对偏置两个分离栅极，该器件作为PN或NP结显示出强大的整流行为。漏-源电压偏置绝对值VDS=1.5 V时，两个结的整流系数>105，反向电流<10 pA。即使在去除栅极电压后，由于HfO2层中的长期电荷存储，这种电流整流特性仍然保持。随着栅极电压脉冲数逐步增加，更多的电荷在电荷俘获层中逐渐积累/耗尽，从而在结中产生多级电流。当激光激发波长λ=520 nm时，在不同入射激光功率强度(Pin)下，PN和NP二极管表现出明显的光电流(图2d)。在VDS从-1 V扫至1 V的完整IDS-VDS曲线中，PN和NP之间表现出不对称整流行为。在光照下，光激发的电子-空穴对可以被PN结的内建电场分离，从而在零VDS偏置下产生自驱动短路光电流ISC。图2e显示了ISC与入射光强度(Pin)的关系。ISC几乎线性依赖于PN和NP结中的Pin，这表明光伏效应在光电二极管的光电流产生中占主导地位。WSe2光电二极管的空间分辨光电流成像表明，ISC主要贡献于WSe2与金属电极之间的结面积，而不是接触面积。根据它们的线性关系，可以提取出光响应率，R=50 mA W-1与报道的WSe2光电二极管相当。更重要的是，ISC和Pin之间的线性关系是光电二极管中光伏效应的结果，这表明该范围内R与外部光强度无关。与光电晶体管中光电流和光强度之间的亚线性关系相比，具有线性关系的光电二极管更适合实现传感器内计算。为了模拟神经网络中的突触功能，需要用多电平和非易失性状态调节光响应率来代表突触权重。通过耦合具有相反电压偏置的两个栅极，能够以模拟方式调制光电二极管的光响应率R(图2f)。在写入过程中，VG2=-VG1，VDS=0。在读取过程中，所有施加到源极、漏极和栅极端的电压都为零。通过施加一系列振幅为-6 V、脉宽为5 μs的VG1脉冲，在负VG1调制侧积累空穴，在正VG2调制侧积累电子。在此过程中，NP结逐渐转变为PN结。因此，R逐渐从负值调节到正值，具有超过64个离散状态。反之，正VG1脉冲加负VG2使器件从PN态转变到NP态，R又变回负值。正负值连续可调的R证明了在神经网络中使用R作为正和负突触权重的可行性。
图3. 基于WSe2光电二极管的单元中可调谐的事件驱动特性。（a）像素电路中一个支路的示意图。（b）一系列光脉冲下的光响应。（c&d）通过在WSe2光电二极管的PN和NP结中引入具有不同电容的电容器来调节光响应时间。（e）具有两个互补支路的像素电路示意图。（f）在相同的光脉冲(光强度为25 mW cm-2，光脉冲宽度为300 μs)下，通过对光电二极管进行不同的光响应率编程，实现了可调的峰值振幅。（g）随着光强度逐步增加(减少)，产生两个正(负)脉冲。（h）实现负突触权重的像素电路示意图。（i）通过将光电二极管编程成更大的光响应率来实现更多的负权重。（j）当光强度增加(减少)时产生负(正)脉冲。
图3a显示了用于表征光电二极管在光脉冲下光响率的测量设置。在光强度为50 mW cm-2、波长为520 nm的一系列光脉冲下，电路中产生的光电流会导致电阻RL(Vout)上的压降发生相应的变化(图3b)。此外，通过调节与电阻器并联的电容器C，可以以可控的方式连续调节光响应时间。当施加光脉冲时，电容范围为0~300 nF，上升时间从20 μs变化到100 μs(图3c)。TIA不仅提高了像素电路的信噪比，而且有效地隔离了光电二极管和负载电阻RL。因此，可调光响应时间仅取决于固定的C和RL，而不取决于光电二极管的电阻。通过将光电二极管编程为NP结配置，该器件在相同的瞬态光脉冲下显示相反的光响应，具有可调的响应时间(图3d)。可调的光响应极性和响应时间能够直接在传感终端产生可编程事件驱动的尖峰信号。
与传统基于固定光响应率的化学掺杂硅光电二极管的事件驱动相机不同，本文设计的具有浮动分离栅极配置的WSe2光电二极管(图3e)能够非易失性地调制WSe2沟道中的载流子类型和密度，从而实现可编程的光响应。这种可编程的非易失性光电二极管使得能够精确地调制像素单元中峰值信号的幅度，并实现事件驱动的传感和突触功能。随着光电二极管光响应率增加，在相同的变光条件下，输出脉冲幅值A单调增加(图3f)。这可以用光电二极管产生的光电流增加来解释。R可以通过电脉冲来调节，从而允许调制脉冲信号的幅度。在SNN中，不同的脉冲幅度可以代表神经网络中不同的突触权重。通过对每个像素预编程不同的R并实现不同的突触权重，训练阵列识别特定的输入光条件并执行传感器内计算。因此，本设计成功地实现了基于事件的传感和传感器内计算功能。图3g为520 nm外部光激发下Itotal的实时变化，具有事件驱动特性。当光强度从黑暗到25 mW cm-2，再到50 mW cm-2时，在光变化的瞬态时刻产生两个正脉冲信号。由于光强度变化的量相同，两个脉冲信号的振幅大致相同。当每个分支回到稳定状态后，输出电流回到零。相反，当光强度从50 mW cm-2下降到25 mW cm-2，然后再回到暗时，会产生两个振幅相同的负脉冲信号。无论光强度绝对值如何，当光刺激不变时，像素单元的输出电流始终为零。与采用绝对光强度Peff作为输入向量的ANN相比，本文设计的SNN仅在光强度变化时才产生输出脉冲。零电压偏置的光电二极管在光伏模式下工作，I和Peff呈线性关系。ΔI和ΔPeff也符合线性关系，可以在SNN中实现矩阵向量乘积运算。图3f和g显示当ΔPeff为正(负)时的正(负)ΔI，表明了正突触权重的实现。通过重构具有相反配置的两个支路(图3h)，产生的脉冲极性被反转。当外界光强度增加(减小)时，输出电流为负(正)脉冲(图3i和j)，表明了负突触权重的实现。通过施加栅极电压脉冲并读取产生的光电流，光响应率可以根据施加的栅极电压脉冲数量被调制到不同的值。通过对光电二极管进行编程，使其具有不同的光响应率，就可以测量输出的光电流。在本设计中，负权重的成功实现不需要额外的器件来形成差分输出。同样值得注意的是，DVS相机和本文的设计都显示出事件驱动的特性。与DVS相机相比，本文设计的传感器内SNN有效地消除了模数转换和数字处理器组件，显示出简单的电路结构和低时间延迟。
图4. 用于运动识别的传感器内SNN。（a）事件驱动的SNN像素阵列示意图及对应单个像素和输出神经元的电路图。（b）像素传感过程后的输出光电流Itotal。（c）训练后各子像素阵列的光响应率分布。（d）依次进行左挥、右挥和手臂旋转时，输出神经元生成的输出脉冲。
为了执行实现运动识别的计算任务，可以将光电二极管阵列设计成交叉开关结构，形成脉冲神经网络(图4a)。每个像素扩展成n个子像素，其中n代表要区分的运动类别。如图4a所示，构建的传感器内SNN共包含m个像素和m×n个子像素。将每个像素单元中第n个子像元产生的输出电流并联，产生n种输出光电流IN。当光照不变时，输出电流保持零。然后，将求和后的ΔIN输入到输出神经元中。在动态和静态信息并存的情况下，光电二极管阵列可以有效地处理动态运动，并产生备用的事件驱动脉冲信号。在运动发生的区域，相应的像素根据光强度的变化输出正或负的脉冲。如图4b所示，当手移动时，由于光强度的变化，在128×128光电二极管阵列中会产生一系列输出脉冲。连续的输出脉冲序列实时再现了手摆动的轨迹。在本文设计的基于事件的传感器内SNN中，只有发生光强度变化的像素才能产生数据，每50 µs只有200个数据。与传统基于帧的传感器相比，减少了98%的数据量，大大提高了数据计算效率。
根据执行任务的不同，SNN设计为128×128像素，这也是SNN中的输入层维度。每个像素由三个子像素组成，分别代表三种运动类型和SNN的输出层维数。采用监督学习方法离线训练神经网络中的突触权重。经过100次训练后，传感器内SNN的识别准确率达到92%。然后，突触权重由子像素阵列的光响应率表示(图4c)。每个子像素阵列都有特定的权重分布模式，表示对不同运动的特定响应。当进行运动时，三个子像素阵列的总输出光电流不同，从而导致输出神经元的膜电压(Vmem)充电次数不同。最后，导致到达输出神经元阈值电压(Vth)的时间不同，即输出神经元的脉冲时间不同。因此，可以根据神经元的输出尖峰时间对三种类型的运动进行分类。图4d显示了按顺序执行三种运动时每个神经元的输出脉冲情况。每个输出神经元只对特定的运动类型有响应(图4d)，表明传感器内SNN成功实现了运动识别任务。本文设计的传感器内SNN的运动识别也适用于不同速度的运动。移动速度越慢，输出脉冲频率越低。
总结与展望
本文报道了一种计算事件驱动的视觉传感器，该传感器仅在光强度变化时产生可调谐的电流脉冲，时间分辨率为5 μs。WSe2光电二极管具有非易失性、可编程和线性光强相关的光响应率，可以模拟神经网络中的突触权重。通过进一步集成输出神经元，可以构建一个具有92%运动识别准确率的传感器内SNN。事件驱动的传感终端内部的直接运动识别有望用于开发实时边缘计算视觉芯片。
文献信息
Computational event-driven vision sensors for in-sensor spiking neural networks
（Nat. Electron., 2023, DOI:10.1038/s41928-023-01055-2）
文献链接：https://www.nature.com/articles/s41928-023-01055-2
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理，所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号。
