文章导读
二维时间拉伸各向异性突触实现传感器内跨强度视觉特征融合
高动态范围（HDR）视觉环境同时包含极亮和极暗的区域，这对依赖多帧曝光融合和基于云端后处理的传统成像系统构成了重大挑战。这些方法通常存在高延迟、效率低下和隐私问题，使其难以适用于实时或边缘级智能视觉应用。本文报道了一种二维时间拉伸各向异性突触（2DTSAS），该器件能够仅从单帧图像中实现传感器内的跨强度特征融合。2DTSAS独特地结合了NbOI2材料的两个关键特性：面内各向异性，可产生偏振分辨的光学响应；以及由多通道跃迁-弛豫过程引起的时间拉伸光电响应。这种双模机制能够在光激发过程中直接对空间-偏振和亮度特征进行编码和时间积分。利用这一特性，构建了一种神经形态预处理策略，用于跨越极端亮度域的单次拍摄视觉学习。该系统实现了模型的加速收敛和极小的训练损失，在NWPU-RESISC45数据集上识别准确率达到约95.41%，在MNIST数据集上达到约95.39%。本研究为复杂真实环境中的对比度自适应智能视觉提供了一种紧凑且高效的解决方案。
研究背景
HDR视觉场景在同一画面内存在剧烈的亮度变化，在众多现实应用中长期构成挑战，例如夜间摄影、强日照下的自动驾驶、反射表面之上的航空与遥感观测，以及存在强烈明暗对比的监控场景。传统方法严重依赖多帧曝光融合、高比特深度传感器或片外神经网络处理，以捕捉和解析这种跨亮度范围的场景。然而，这些策略计算成本高昂、耗时且能效低下，且通常依赖云端资源，由此引发了关于延迟、隐私和可靠性的关键问题，尤其在边缘端或关键任务环境中更为突出。
为解决上述局限，研究者提出了一种2DTSAS，可在单帧图像内实现传感器内的学习与对比度自适应的特征融合。2DTSAS的独特功能源于其底层二维NbOI2材料中两种关键物理机制的协同集成。
研究内容
图1. 2DTSAS的理论设计。A)二维NbOI2材料的晶体模型，分别为顶视图（上图）和侧视图（沿c轴方向，中图）。其各向异性的晶体结构导致了偏振依赖性的响应（下图）。B)二维NbOI2的能带结构，包含多个弛豫路径（上图），从而产生突触响应（下图）。C)基于NbOI2的二维TSAS示意图（上图），其综合响应特性如A和B的下图所述（下图）。D)利用A和B下图所述特性，采用跨强度与特征融合策略实现的神经形态图像处理示意图。
首先，NbOI2表现出显著的面内结构各向异性，从而具有偏振依赖性的光学特性，可建立可区分的响应状态（例如状态1（S1）和状态2（S2），见图1A）。其次，该材料展现出时间拉伸的光电响应特性，即一种由多个光学跃迁通道调控的持续性激发-弛豫过程（见图1B）。这种时间持续性使得光刺激能够逐步累积，模拟了视觉的短期与长期记忆行为，并能在传感器层面直接融合空间上差异显著的亮度模式。这种各向异性响应使突触器件在不同线偏振光照射下能够产生显著不同的电流水平（见图1C，其中S1和S2对应于图1A）。
利用这种双模光电突触行为，其AR可在约1.58至约2.75范围内调节，我们展示了一种跨强度的神经形态图像预处理策略，支持在传感器内直接进行视觉学习（见图1D）。该方法能够在无需多帧采集或片外计算的情况下，高效融合多个灰度级内的特征。所构建的系统实现了神经网络的快速收敛和极小的训练损失，在NWPU-RESISC45遥感数据集上的识别准确率达到约95.41%，在MNIST手写数字数据集上达到约95.39%。
图2. 晶体不对称性诱导的二维NbOI2各向异性光学特性。A）偏振角分辨吸收光谱（测试零点与c轴平行，插图为0°/90°吸收比）；B）平行（蓝色）和垂直（红色）配置下，偏振角分辨拉曼光谱提取的P2峰（≈209cm-1）偏振图；C）偏振角分辨二次谐波（SHG）光谱提取的总SHG强度偏振图（泵浦波长λ=820nm）；D-F）分别为总配置、平行配置和垂直配置下的波长依赖SHG光谱（各插图为提取的SHG强度与泵浦波长的关系，λ泵浦：800-1080nm）。
文章中针对二维NbOI2做的偏振角分辨紫外 - 可见 - 近红外吸收光谱，使用南京迈塔光电科技有限公司的 “ MStarter ABS 深紫外-近红外显微吸收光谱测试系统 ” 测试完成。
MStarter ABS深紫外-近红外显微吸收光谱测试系统
角分辨拉曼光谱和角分辨SHG光谱测试，南京迈塔光电科技有限公司的 “ MStarter100显微光谱扫描测试系统 ” 、“ ScanPro Advance高分辨高速多物理量扫描综合测试系统 ” 等设备可以进行以上的所有测试。
欢迎通过文末联系方式与我们了解更多设备详情~
为阐明二维NbOI2中结构各向异性与光学各向异性之间的关联，首先开展了偏振角分辨吸收光谱测量，以揭示二维NbOI2的线性二向色性（图2A）。考虑到Nb原子沿晶格b轴方向发生离心位移而产生巨大的自发极化，因此将b轴定义为极轴方向，而与b轴垂直的c轴则定义为非极轴方向。测量时的零度方向与非极轴方向平行（即偏振角为0°）。波长依赖的线性二向色性定义为这两个正交方向吸收强度的比值，在≈544nm处达到最大值≈3.9（图2A插图）。值得注意的是，在0°测得的两个吸收峰随着偏振角旋转至90°时逐渐衰减并最终消失，这两个峰对应于非极轴方向特有的两个激子吸收峰。随后通过偏振角分辨拉曼光谱揭示二维NbOI2的各向异性声子振动。垂直配置下，材料呈现5个特征峰（P1-P5），均表现为四叶偏振图案（图2B）。≈209cm-1处的P2属于面内Ag模式，在平行配置下呈二叶偏振图案（图2B），证实不同晶格取向具有显著的面内振动各向异性。二维NbOI2的非中心对称晶体结构使其具有二阶非线性光学效应，包括二次谐波产生（SHG，λ泵浦=2λSHG），其强度与激发功率呈二次相关。在820nm激发下进行偏振角分辨SHG测量，仅改变激发偏振方向收集总SHG信号，结果显示总SHG强度呈二叶偏振图案（图2C），极轴方向强度最大，这源于上述Nb原子沿极轴的偏心位移，增强了反演对称性破缺。进一步在800-1080nm波长范围（步长10nm）收集总SHG信号，发现其强度具有显著波长依赖性，820nm激发时达最大值（图2D）。二维范德华半导体的波长依赖SHG通常与激子共振相关，但激子活性的晶轴依赖性使直接归属复杂化（图2A）。添加检偏器的后续SHG测量显示出不同光谱响应（图2E、F）：平行配置下870nm激发（对应λSHG=435nm，≈2.851eV）时强度最大（图2E），与较高能量的吸收峰（图2A，≈440nm，≈2.818eV）对应。需注意，激发波长>870nm时，平行配置下总SHG强度变化趋势一致，而垂直配置下SHG逐渐减弱并最终消失（图2F），表明此时激子共振主导总SHG。然而，总SHG强度最大值的位置与垂直配置结果一致，说明激发波长<870nm时，Nb原子位移导致的对称性破缺起主导作用。综上，二维NbOI2表现出显著的激子各向异性，非极轴方向观测到强烈的激子效应，为目标TSAS的激发波长选择和偏振依赖分析奠定基础。
图3. 二维NbOI2的光电突触特性 A）不同功率密度（0.05、0.06、0.07、0.08、0.09、0.10mW・mm-2）触发兴奋性突触后电流（ΔEPSC）；B）逐步增大功率密度（0.02、0.09、0.31、0.58mW・mm-2）触发的ΔEPSC；C）双脉冲易化（PPF）指数与光脉冲间隔的关系（功率密度0.07mW・mm-2，插图为两次连续光脉冲触发的PPF行为，脉冲宽度和间隔均设为1s）；D）不同光脉冲宽度触发的ΔEPSC（功率密度0.07mW・mm-2）；E）不同光脉冲数量触发的ΔEPSC（功率密度0.10mW・mm-2，脉冲宽度设为1s）；F）10Hz和20Hz光脉冲触发的ΔEPSC（左图，功率密度0.10mW・mm-2），为不同光脉冲频率触发ΔEPSC的局部放大结果（右图）；G）不同漏源电压（Vds）下的ΔEPSC（功率密度0.07mW・mm-2，脉冲宽度设为1s）；H）不同栅压（Vg）下的ΔEPSC（漏源电压Vds=50mV，功率密度0.07mW・mm-2，脉冲宽度设为1s）。
文章中针对二维NbOI2做变功率EPSC测试，变脉冲数EPSC测试，变频率EPSC测试，输出转移曲线，角分辨EPSC测试，南京迈塔光电科技有限公司的 “ MStarter 200 光电流扫描测试显微镜 ” 、 “ ScanPro Advance综合光电扫描测试系统 ” 等设备可以进行以上的所有测试。
ScanPro Advance 综合光电扫描测试系统
欢迎通过文末联系方式与我们了解更多设备详情~
基于上述特性，实现了光剂量依赖的EPSC调制，其幅度和持续时间反映突触传递效率及突触前神经元神经递质释放强度。器件表现出EPSC模拟所需的时延展光响应（图3），与输出和转移特性中的显著弛豫现象一致。在漏源电压（Vds）=50mV条件下，ΔEPSC随功率密度增加逐步增强，光照移除后仍保持明显偏离暗态的残余电流水平（图3A）。在EPSC未完全恢复至基线时再次施加光刺激，未完全弛豫的载流子累积会增强后续响应（图3B），从而模拟短时程可塑性（STP）的一种形式——PPF。PPF指数定义为：
其中A1和A2分别为第一个和第二个脉冲的峰值电流，其随脉冲间隔Δt呈双指数衰减：
式中τ1和τ2分别为快弛豫和慢弛豫时间常数，k1和k2为初始易化幅度。PPF指数随脉冲间隔增加而降低，模拟了生物突触特性（图3C）。
通过系统调控光照参数（脉冲宽度、数量和频率），观察到EPSC的动态演变，反映器件记忆行为的变化（图3D-F）。延长脉冲宽度导致EPSC呈亚线性增长（图3D），这归因于缓慢的光响应瞬态过程，可通过脉冲参数工程实现可编程调控；通过脉冲数量控制也观察到类似现象（图3E），且EPSC的衰减时间延长，表明记忆从STP向长时程可塑性（LTP）强化。恒定光剂量下的频率依赖测试显示，不同频率下电流水平相当（图3F）；20Hz刺激下测得的EPSC上升时间短至25ms，与我们此前的报道一致。提取电流衰减数据发现，峰值EPSC随频率增加而降低，这与高频脉冲下光生载流子累积效率下降相关。
光电记忆行为还表现出电学可调性（图3G、H）：偏压增大使暗电流和ΔEPSC均不同程度增强（图3G），而负栅压升高对ΔEPSC的增幅产生显著抑制作用（图3H）。这些结果表明，通过调控沟道载流子浓度可实现电可控的STP-LTP转变。综上，二维NbOI2具有受限的激发-弛豫特性，表现出时延展光响应，是突触模拟的理想平台。
图4. 用于跨强度运算的二维靶向突触各向异性器件（TSAS）A-D）偏振角0°、30°、60°、90°下，不同功率密度触发的ΔEPSC（脉冲宽度设为1s，测试零点与c轴平行）；E-H）分别对应A-D中光功率条件下，由偏振角分辨I-t曲线提取的ΔEPSC偏振图；I-L）基于偏振角分辨突触行为的跨强度处理结果；M-P）分别为I-L对应的像素强度分布直方图。
功率密度逐步增大时，所有偏振配置下的ΔEPSC峰值均普遍增强（图4A-D），与图3A中功率依赖的记忆增强行为一致。值得注意的是，固定功率密度下，电流水平随θ增大单调降低，偏振方向与极轴一致时达到最小值（图4E-H），与图2A所示的偏振角分辨吸收各向异性相符。受各向异性激子主导，ΔEPSC表现出显著角度依赖性，可用以下公式描述：
其中EPSCmax和EPSCmin分别为拟合的最大和最小EPSC峰值，φ为相位偏移（<1°），均用于AR计算。AR（EPSCmax/EPSCmin）始终大于1，但随功率密度增大而减小，与EPSC的亚线性增长相关（图3D）。
对图4A-D提取的电流衰减数据采用双指数衰减模型拟合：
式中t1和t2分别为快弛豫和慢弛豫时间，C1和C2为对应的弛豫幅度。偏离非极轴的角度越大，幅度比C2/C1越高，表明慢弛豫过程由偏振选择光跃迁主导。进一步提取弛豫过程中的AR发现，其随衰减时间延长而增大，最大值达≈2.75，这是由于初始阶段t1占主导，该时间依赖的比值在完全衰减前最终趋于稳定。
图5. 基于跨强度的特征融合学习A）特征融合学习的卷积神经网络（CNN）模型示意图（Conv1、2、3分别为卷积层1、2、3；Pools1、2、3分别为池化层1、2、3；FC为全连接层）；B）基于偏振角分辨突触行为的遥感图像数据集跨强度处理示例；C）处理后数据集的特征分布与融合示意图；D、E）分别为有无特征融合学习时的遥感图像识别精度与损失函数曲线。
图5A展示了用于识别任务的CNN架构。验证实验采用NWPU-RESISC45遥感数据集，该数据集对光照覆盖范围要求较高，传统系统在此类场景中常因曝光不足或过度导致特征丢失（如强光下的建筑物、阴影覆盖的地形等）。跨强度处理后的图像灰度层次更丰富（图5B），每幅图像均包含特定强度范围的独特特征。然而，仅靠跨强度运算不足以提升识别精度，需通过多范围特征融合实现空间跨域特征模式学习（图5C）。
对融合数据集与非融合数据集（仅经跨强度处理）的对比训练结果显示出显著性能差异（图5D、E）。非融合数据集的识别精度中等（0°：≈90.04%；30°：≈89.29%；60°：≈88.30%；90°：≈87.75%），但缺乏全局特征学习限制了精度的进一步提升（图5D）。相比之下，跨强度特征融合学习的识别精度达95.41%，且训练损失持续保持较低水平（图5E）。
原文链接
2D Time-Stretching Anisotropic Synapse Realizing In-SensorIntensity-Spanning Visual Feature Fusion
https://advanced.onlinelibrary.wiley.com/doi/10.1002/adma.202507168
咨询电话：17766428931
迈塔光电售前及测试专员（微信同号）