研究背景
整合不同感官信息（如视觉，触觉等）对于生物体执行决策、学习记忆等行为功能至关重要。基于电子器件构筑人工多模态感知系统对于实现高效人机交互具有重要意义。在传统感知系统中，多种类型传感器从周围环境接收不同的感官信息，这些原始的信息将首先存储在存储单元，接着在处理单元中进行后续的分析和处理。这一传统系统中涉及到的模数转换（ADC）及数据传输过程会不可避免地造成海量的冗余数据及超高能耗，严重影响系统整体的效率。因此，发展可实现多模式信息整合的器件单元对于实现高能效多模式感知至关重要。忆阻器作为新兴的两端无源器件由于其与生物突触在功能结构方面的相似性，被认为是发展神经形态感知系统的理想纳米智能器件。目前忆阻器能够实现光、压力、声音等多维度信号的感应，结合新兴感存算一体化架构的设计，为高效多模式感知提供了良好硬件基础。
成果简介
本文系统地总结了多模态调控忆阻器件的最新研究进展，并概述了其在神经形态感知方面的应用现状。在器件层面，多模态调控忆阻器件可以对多维度信号产生响应，包括光、声音、压力、气体信号等。本文结合器件相应的操作模式详细介绍了内在的运行机制，并进一步介绍其在神经形态多模式感知方面的应用。最后概括了多模态调控忆阻器件目前面临的挑战，并展望了未来在器件与集成、多模式整合和生物结合等方面的发展方向。
忆阻器件及其多模式神经形态感知应用
图1. 基于忆阻器件的多模式感知系统。(a-b) 具备彩色图像识别及图像预处理功能的人工视觉系统；(c-d) 基于忆阻器件实现声源动态感知及声音定位；(e-f) 可实现气体分辨及维持氧平衡的人工嗅觉系统；(g-h) 基于忆阻器的神经形态触觉系统
神经形态视觉感知系统
图2. (a) h-BN/WSe2结构光神经突触器件及人类视觉系统示意图；(b) 在不同光照条件下的长时增强和抑制行为；(c) 用于彩色数字图像识别的光神经网络；(d) 传统神经网络和光神经网络的识别率的对比；(e) 基于氧化钼材料光电忆阻器结构示意图；(f) 基于氧化钼光电忆阻器阵列实现的图像对比增强功能
图3. (a) 全光调控忆阻器示意图；(b) 利用蓝光和近红外光实现器件电导的可逆调控；(c) 脉冲时序依赖可塑性；(d) Ag-TiO2忆阻器的结构示意图及截面TEM图；(e-f) 利用紫外光和可见光实现突触增强/抑制功能；(g) 兼具图像感知，低阶预处理和高阶处理功能的神经形态视觉系统；(h) 视网膜拟态预处理前后的图像识别过程
神经形态触觉感知系统
图4. (a) 氧化铌材料阈值器件的电流-电压曲线；(b) 多模神经元电路示意图；(c) 不同温度下的输出电压脉冲；(d) 基于多模式整合神经元阵列实现物体识别
图5. (a) 压电-忆阻单元工作原理示意图；(b) 施加压力前后的电流-电压行为；(c) 压力脉冲和电压脉冲下的电学阻变置位及复位行为；(d)基于压电-忆阻单元的人工神经网络实现图像预处理和识别；(e) 预处理前后压力图像识别结果
图6. (a) 组合压力传感器和忆阻器阵列的近传感器计算系统；(b) 人工皮肤系统实物图像；(c) 氧化铪材料忆阻器的电流-电压曲线；(d-f) 对于压力刺激的实时感知和噪声降低处理
神经形态嗅觉感知系统
图7. (a) TGS2610传感器对一氧化碳和甲烷的响应和恢复曲线；(b) 基于忆阻器的储备池计算示意图；(c) 器件对不同脉冲序列的响应结果；(d) 储备池计算系统提取得到的甲烷特征图；(e) 特征提取示意图；(f-g) 减少时间和空间维度信息的识别精确度
图8. (a) PTCDI-C8/CuPc/PTCDI-C8结构氧敏人工突触器件；(b) 不同氧浓度下正向/负向电压脉冲诱导的突触后电流响应；(c) 负反馈系统用于维持氧气平衡
神经形态听觉感知系统
图9. (a-c) 单层硫化钼材料人工突触器件及其在焦耳热驱动下的电导增强行为；(d) 声音定位示意图；(e) 类脑计算实现声音定位工作原理；(f-g) 不同条件下的频率和数量输出结果
图10. (a) 刺激过程中高通滤波和触发过程；(b) 触发/非触发操作的实验条件；(c) 多普勒测速电路设计；(d-e) 不同延迟时间下的脉冲频率依赖电导变化特性；(f) 多普勒测速实验结果
人工多模式感知系统
图11. (a) MXene-ZnO忆阻器阵列示意图；(b-c) 不同光照和湿度条件下的电流-电压曲线；(d) 基于MXene-ZnO器件的感存算一体化处理；(e) 不同湿度环境下的识别结果
总结与未来展望
目前多模态忆阻材料与器件仍面临诸多挑战，包括以下几点：
(1) 现有的多模式感知系统通常需要集成多种不同的传感器或堆叠不同功能层。需要进一步优化相关材料选择及器件结构设计来降低制备工艺差异对系统整体集成度的影响。
(2) 进一步提升器件的性能（如信噪比等）降低周围环境的影响，实现高精度识别。同时对于不同感官信息的分析和整合需要建立统一标准。
(3) 目前的研究大多集中在信息的感知层面，后续相关驱动系统的研究仍然较少。相信随着忆阻材料、器件制备和电路系统的不断发展，以上问题将会得到逐步解决。届时，多模式忆阻器将会将会进入新的发展阶段。
责任编辑｜
周菲迟 南方科技大学
蔡乐娟 松山湖材料实验室
通讯作者
徐海阳
东北师范大学物理学院教授，博士生导师，国家杰出青年科学基金获得者。主要从事氧化物半导体信息功能材料与器件研究，近年来在忆阻材料与突触器件、发光材料与发光物理等方面取得系列研究进展，在Nat. Commun.、Adv. Mater.、Adv. Funct. Mater.等期刊发表SCI论文100余篇，入选爱思唯尔2020中国高被引学者，先后获得2019年和2015年度“国家自然科学奖二等奖”(排名：第2和第3位)，担任《The Innovation》、《InfoScience》等国际高水平期刊编委。
