全光神经网络实现深度学习——光并行计算的新方法- 大数跨境

两江科技评论

2019-08-30

导读：来自香港科技大学的研究团队展示了一种全光学神经网络（AONN），它具有可调线性操作和光学中的非线性激活函数。研究人员使用空间光调制器（SLM）和傅里叶透镜来实现线性操作。

导读

人工神经网络（ANN）已经得到了广泛的应用，并在基础研究中发挥了重要的作用。尽管大多数ANN硬件系统都是基于电子的，但是光学系统由于其固有的并行性和低能耗，从而成为ANN的一个潜在的优良平台。近日，来自香港科技大学的研究团队报道了一种功能齐全的全光神经网络（AONN），通过分类统计ISING模型的有序和无序相，从而确认了其在机器学习应用中的可行性。这种AONN方案对于构建全光ANN架构具有重要应用价值。

研究背景

机器学习技术，特别是人工神经网络（ANNs），在过去十年中取得了显著的进步。在图像识别、医学诊断和机器翻译等各个领域，机器学习技术都具有强大甚至超越人类智能的能力。人工神经网络也显示出在科学研究领域的应用潜力，尤其是在发现新材料、材料分类、求解变分波函数以及加速蒙特卡罗模拟等方面。它们可用于解决传统方法难以处理的问题。然而人工神经网络的计算能力来自于大量神经元之间的广泛互连，因此当它们以电子方式实现时需要巨大的计算资源（时间和能耗）。

与计算机芯片中的电子载体不同，光子作为非相互作用的玻色子，可以自然地用于实现光速的多重互连和同时并行计算。人工神经网络的关键成分是人工神经元，它对输入信号执行线性和非线性变换。在大多数混合光学神经网络（ONN）中，光学主要用于线性操作，而非线性函数通常以电子方式实现。最近，基于纳米光子电路和光波线性衍射和干涉的ONN已被证明可用于高效的机器学习，但深层网络中仍然缺乏非线性光学激活函数。尽管已经提出了实现非线性光学激活函数的建议，但实验实现较困难，这已经成为在实际应用中进一步扩展ONN的瓶颈。

创新研究

全光神经网络

图1. （a）双层神经网络结构示意图。（b）光学神经元以及其中的线性操作和非线性操作。

来自香港科技大学的研究团队展示了一种全光学神经网络（AONN），它具有可调线性操作和光学中的非线性激活函数。研究人员使用空间光调制器（SLM）和傅里叶透镜来实现线性操作。非线性光学激活函数是基于电磁感应透明度（EIT）——原子跃迁之间的光诱导量子干涉效应实现的。

图2. 光学神经网络中的线性操作

在线性运算过程中，SLM中不同区域的入射光功率代表不同的输入层节点。通过叠加多个相位光栅，入射光会照射到不同的方向并且具有一定的权重。SLM位于透镜的后焦面并进行傅立叶变换，将所有衍射光束在同一方向上叠加到其前焦平面的点上，从而实现线性求和功能。通过一定的迭代反馈算法能够获得线性矩阵元素，在少于10次迭代中就可以实现超过95%的高精度。这种方法的优点在于只要SLM的分辨率足够高，取样点的误差就不依赖于取样点的总数，这与以前的研究相比有本质的区别。

图3. 光学神经网络中的非线性激活函数

基于EIT的非线性光学激活函数由激光冷却的⁸⁵Rb在两维磁光量子阱（MOT）中实现。原子位于基态，圆偏振耦合激光束横向入射到原子云中，并与中间态到激发态之间的跃迁相耦合，而反向输入的探测激光束对应基态到激发态之间的跃迁。在没有耦合光束的情况下，原子介质对探测光束是不透明的，其最大程度的被原子吸收。相反，当存在耦合光束的情况下，中间态之间的量子干涉导致EIT光谱窗口，并且其带宽由耦合激光强度控制。探测光束的强度由耦合光束的强度非线性控制，因而可以通过将耦合强度作为输出并将发射的探测强度作为输入，来实现非线性激活函数。通过将反向传播耦合探测光束放置在MOT的不同位置，就能够为不同的神经元实现不同的非线性激活函数。显然，来自不同非线性激活函数的误差也是独立的，结合SLM和透镜实现的线性操作的优点，AONN方案有望扩展到大尺寸，并且误差控制在较小的范围之内。

应用实例

图4. 全功能双层AONN示意图。

将线性和非线性操作相互组合，结合SLM、透镜、MOT等元器件，即可组成一个功能齐全的AONN系统。研究人员将正方形点阵上的二维ISING模型作为演示范例。通过分类统计ISING模型的有序和无序相，从而确认了其在机器学习应用中的可行性。

实验中双层AONN由一个输入层一个隐藏层和一个输出层组成，具有16个输入和2个输出。光信号通过光学操作单元逐层传递。在隐藏层，光学信号由光学非线性激活函数处理。通过应用双层AONN来识别临界相变温度，并绘制了在不同温度下的整个相图。即使只在远离临界温度的条件下训练AONN，当取样点数量足够时，实验相变温度的值接近分析热力学极限。这表明AONN能够成功区分有序和无序两种不同的相。实验结果证明这种AONN的设计具有较大的应用价值。

结论及展望

研究人员展示了具有可调线性光学操作和非线性光学激活功能的AONN方案。由于人工神经网络的计算能力来自大量神经元之间的广泛互连，人工神经网络具有容错性和对小局部随机误差的鲁棒性，这意味着即使局部参数不精确，只要神经元的数量足够大，人们仍然可以获得非常好的结果。对于大多数问题，人工神经网络中的更多神经元通常会提供更好的性能。而文章所提及的全光人工神经网络设计最终误差对神经元的总数不敏感，并且误差可以保持在与单个神经元相似的水平，即使对于大规模的AONN也是如此。这是该系统的一个巨大的优势，从而使得这种研究方案有望扩展到具有复杂架构的大规模全光学深度神经网络，从而满足图像识别等复杂实际应用。