大数跨境

前沿:基于忆阻器的新型吸引子网络模型登上Nature子刊

前沿:基于忆阻器的新型吸引子网络模型登上Nature子刊 两江科技评论
2024-10-02
2
导读:北京大学人工智能研究院、集成电路学院研究团队

文章来源:FUTURE | 远见 

近日,北京大学人工智能研究院、集成电路学院研究团队Nature Communications杂志上在线发表了题为「An emergent attractor network in a passive resistive switching circuit」的研究论文。该论文入Nature Communications「Editors' Highlights」栏目,通讯作者孙仲研究员应邀在Nature Portfolio社区撰写论文背后的故事。论文的第一作者北京大学人工智能研究院23级博士研究生李永祥通讯作者北京大学人工智能研究院孙仲研究员共同作者包括北京大学博士研究生王识清、杨可(已毕业)和杨玉超教授。这项研究工作获得国家重点研发计划、国家自然科学基金、北京市自然科学基金、111计划、集成电路高精尖创新中心等项目支持。



工作简介


该工作首次揭示了无源忆阻器电路为一个循环神经网络,是多个忆阻器件相互作用的涌现结果。研究团队构建了相应的吸引子网络模型和能量函数,并完成了实验证明和联想记忆应用的演示,通过理论和实验两个层面深入分析了忆阻器吸引子网络相比经典Hopfield网络在存储容量、硬件实现和性能等多方面的优势。


进入后摩尔时代,基于忆阻器的计算具有极其重要的研究意义,它可以利用一种新的物理变量——即器件的电导(或电阻)作为信息载体,实现新型计算范式。这种能力归因于器件的非易失性电导态和不同状态之间的阻变动力学。总的来说,基于忆阻器的计算可以分为三个层次,即:


第1层次:仅使用器件的静态电导特性,将其视为可编程的人工突触,并通常集成为交叉阵列的形式(图1a)。


第2层次:除静态电导以外,还利用两种状态之间的动态单向阻变特性,从而以非易失性的方式模拟整合发放(IF)神经元(图1b)。


第3层次:综合考虑静态电导和两种状态之间的动态双向阻变特性,形成一个新的人工神经元概念——回滞神经元(图1c),即研究团队在本论文中所提出的概念。

图1 | 忆阻器计算的三个层次。

2010年左右,在忆阻器概念与阻变物理现象联系起来后的不久,电子器件和神经形态计算的交叉领域研究者们便意识到这种具有可编程电导状态的器件可以用作人工突触。在随后的十几年里,忆阻器阵列经常被用来加速矩阵向量乘法 (MVM),而MVM操作又是许多经典算法的支柱,例如神经网络、科学计算中的方程求解等。基于忆阻器阵列和运算放大器构建反馈回路,形成的模拟计算电路甚至可以实现一步求解矩阵方程,如线性方程组、最小二乘、特征向量等。目前该领域已经得到充分的研究,部分研究成果已接近实际应用,它通常被归类在模拟存内计算的范畴。


2010年,由惠普实验室R. Stanley Williams博士带领的团队提出,忆阻器的动态阻变特性可用于布尔逻辑计算。他们证明了由两个并联忆阻器和一个负载电阻组成的简单电路本质上可以实现蕴含(IMP)逻辑门。根据不同的输入组合,忆阻器可能发生阻变,操作后的状态对应于逻辑输出。由于输入和输出均由忆阻器的非易失性电导态表示,因此这种逻辑门被称为是Stateful的,即状态性逻辑。这个概念与MVM的情况形成鲜明对比:在MVM运算中,忆阻器状态仅表示两个输入操作数(矩阵/向量)中的一个,而另一个输入以及输出均被编码为电压。因此,有些人将有状态性逻辑视为真正的存内计算方案,而MVM仅部分地实现存内计算。


2018年,孙仲研究员与Daniele Ielmini教授(IEEE Fellow)发现,由三个并联忆阻器和一个负载电阻组成的电路(图1b)本质上是一个单层感知机神经网络。网络的神经元由忆阻器构成,突触权重由外部施加的电压编码,特别是器件由低导态至高导态的阻变可以看作是忆阻器神经元固有的非线性激活函数。与状态性逻辑相似,网络输入和输出均为忆阻器的状态,因此这个概念被称为状态性神经网络。得益于感知机强大的表示能力,状态性神经网络可以通过施加不同的电压组合来实现所有线性可分的逻辑门,如NAND和NOR。而对于线性不可分逻辑门,例如XOR,则可以通过对忆阻器电路进行两次顺序操作实现。


很容易注意到,在状态性神经网络中,仅利用了器件正电压方向的SET转变,而忽略了负电压方向的RESET过程。在这样的情形下,忆阻器可以看作是一个McCulloch-Pitts(MP)神经元。如果同时考虑SET和RESET特性,那么忆阻器将成为怎样的神经元,以及能够用来做什么,是一个待回答的问题。


研究团队在论文中证明,忆阻器的非易失性双向阻变事件可以构成一个表征回滞型非线性激活函数,由并联忆阻器组成的电路可以相应表示为一个吸引子网络(图1c)。在该模型中,忆阻器仍然构成人工神经元,这虽然与状态性神经网络的情况相似,但它们的激活函数不同,成对电压的差则定义了一个反对称权重矩阵。器件之间的连接关系通过电路中的基尔霍夫电流定律描述,直观地说,某个器件的状态阻变会改变电路中电位的整体分布,从而产生反馈并触发进一步的阻变事件,使得器件的状态矢量不断更新并最终稳定在吸引子状态。


研究团队成功地为该网络构建了一个能量函数并表明电路中的每次状态阻变都会导致网络能量的降低。由于忆阻器特有的非易失性回滞函数,该网络实现位翻转的能量变化是受阈值限制的,这与经典的Hopfield网络截然不同。该模型允许电路存储更多稳定的状态(吸引子),代表了一种高度紧凑和高效的联想记忆解决方案。


论文链接:
https://www.nature.com/articles/s41467-024-52132-9


--北京大学人工智能研究院

免责声明:本文旨在传递更多科研资讯及分享,所有其他媒、网来源均注明出处,如涉及版权问题,请作者第一时间后台联系,我们将协调进行处理,所有来稿文责自负,两江仅作分享平台。转载请注明出处,如原创内容转载需授权,请联系下方微信号。

【声明】内容源于网络
0
0
两江科技评论
聚焦“光声力热”超构材料、凝聚态物理、生物医学、智能制造等领域,打造科研人便捷的交流平台,发布优质新鲜的科研资讯。
内容 6001
粉丝 0
两江科技评论 聚焦“光声力热”超构材料、凝聚态物理、生物医学、智能制造等领域,打造科研人便捷的交流平台,发布优质新鲜的科研资讯。
总阅读9.2k
粉丝0
内容6.0k