

文章来源:FUTURE | 远见
近日,北京大学人工智能研究院、集成电路学院研究团队在Nature Communications杂志上在线发表了题为「An emergent attractor network in a passive resistive switching circuit」的研究论文。该论文入选Nature Communications的「Editors' Highlights」栏目,通讯作者孙仲研究员应邀在Nature Portfolio社区撰写论文背后的故事。论文的第一作者是北京大学人工智能研究院23级博士研究生李永祥,通讯作者是北京大学人工智能研究院孙仲研究员,共同作者包括北京大学博士研究生王识清、杨可(已毕业)和杨玉超教授。这项研究工作获得国家重点研发计划、国家自然科学基金、北京市自然科学基金、111计划、集成电路高精尖创新中心等项目支持。

工作简介

2010年左右,在忆阻器概念与阻变物理现象联系起来后的不久,电子器件和神经形态计算的交叉领域研究者们便意识到这种具有可编程电导状态的器件可以用作人工突触。在随后的十几年里,忆阻器阵列经常被用来加速矩阵向量乘法 (MVM),而MVM操作又是许多经典算法的支柱,例如神经网络、科学计算中的方程求解等。基于忆阻器阵列和运算放大器构建反馈回路,形成的模拟计算电路甚至可以实现一步求解矩阵方程,如线性方程组、最小二乘、特征向量等。目前该领域已经得到充分的研究,部分研究成果已接近实际应用,它通常被归类在模拟存内计算的范畴。
2010年,由惠普实验室R. Stanley Williams博士带领的团队提出,忆阻器的动态阻变特性可用于布尔逻辑计算。他们证明了由两个并联忆阻器和一个负载电阻组成的简单电路本质上可以实现蕴含(IMP)逻辑门。根据不同的输入组合,忆阻器可能发生阻变,操作后的状态对应于逻辑输出。由于输入和输出均由忆阻器的非易失性电导态表示,因此这种逻辑门被称为是Stateful的,即状态性逻辑。这个概念与MVM的情况形成鲜明对比:在MVM运算中,忆阻器状态仅表示两个输入操作数(矩阵/向量)中的一个,而另一个输入以及输出均被编码为电压。因此,有些人将有状态性逻辑视为真正的存内计算方案,而MVM仅部分地实现存内计算。
2018年,孙仲研究员与Daniele Ielmini教授(IEEE Fellow)发现,由三个并联忆阻器和一个负载电阻组成的电路(图1b)本质上是一个单层感知机神经网络。网络的神经元由忆阻器构成,突触权重由外部施加的电压编码,特别是器件由低导态至高导态的阻变可以看作是忆阻器神经元固有的非线性激活函数。与状态性逻辑相似,网络输入和输出均为忆阻器的状态,因此这个概念被称为状态性神经网络。得益于感知机强大的表示能力,状态性神经网络可以通过施加不同的电压组合来实现所有线性可分的逻辑门,如NAND和NOR。而对于线性不可分逻辑门,例如XOR,则可以通过对忆阻器电路进行两次顺序操作实现。
很容易注意到,在状态性神经网络中,仅利用了器件正电压方向的SET转变,而忽略了负电压方向的RESET过程。在这样的情形下,忆阻器可以看作是一个McCulloch-Pitts(MP)神经元。如果同时考虑SET和RESET特性,那么忆阻器将成为怎样的神经元,以及能够用来做什么,是一个待回答的问题。
研究团队在论文中证明,忆阻器的非易失性双向阻变事件可以构成一个表征回滞型非线性激活函数,由并联忆阻器组成的电路可以相应表示为一个吸引子网络(图1c)。在该模型中,忆阻器仍然构成人工神经元,这虽然与状态性神经网络的情况相似,但它们的激活函数不同,成对电压的差则定义了一个反对称权重矩阵。器件之间的连接关系通过电路中的基尔霍夫电流定律描述,直观地说,某个器件的状态阻变会改变电路中电位的整体分布,从而产生反馈并触发进一步的阻变事件,使得器件的状态矢量不断更新并最终稳定在吸引子状态。
研究团队成功地为该网络构建了一个能量函数并表明电路中的每次状态阻变都会导致网络能量的降低。由于忆阻器特有的非易失性回滞函数,该网络实现位翻转的能量变化是受阈值限制的,这与经典的Hopfield网络截然不同。该模型允许电路存储更多稳定的状态(吸引子),代表了一种高度紧凑和高效的联想记忆解决方案。
--北京大学人工智能研究院


