近日，上海理工大学臧小飞教授、朱亦鸣教授、庄松林院士团队联合英国赫瑞瓦特大学陈献忠教授，在方向性衍射神经网络（D-D2NN）研究中取得重要突破，该团队创新性地结合自旋解耦型超构表面的镜像双极性特性，通过联合改变光的传播方向和多层超构表面的层间距，实现了在传播方向上的多功能全光智能信息处理。相关研究成果以“High-capacity directional information processor using all-optical multilayered neural networks”为题发表于《Science Advances》期刊。该研究工作得到国家自然科学基金、上海市科学技术委员会基金等支持。上海理工大学光电信息与计算机工程学院硕士研究生王冠南为论文的第一作者，臧小飞教授、朱亦鸣教授与陈献忠教授为通讯作者，庄松林院士对该工作进行了悉心指导。
全光信息处理以光子作为信息载体，被公认为现代计算系统最具潜力的技术方向之一。多年以来，科研人员持续研究开发类脑光学神经计算框架以实现对光的精准调控，其中衍射深度神经网络（D2NN）作为一种自由空间处理平台，借助深度学习（AI）算法设计衍射表面，在全光计算任务与视觉处理等领域展现出前所未有的卓越性能。由于D2NN具有光速处理和高能效等特性，基于该方法的全光信息处理器已在多个领域取得突破，例如图像分类器、逻辑运算器、扩散介质成像处理器以及通用线性变换等。尽管D2NN已取得显著进展，人们对于能将多种功能与应用集于一体的D2NN的需求日益迫切，这将推动具有高容量信息处理能力的D2NN的研发。
为增强D2NN的功能集成，超表面作为超材料的二维形式，为亚波长尺度电磁波操控提供了超紧凑的处理平台。偏振是光的基本属性，利用超表面对电磁波偏振态的灵活操控能力，可以设计偏振复用的衍射神经网络，从而通过切换入射偏振态处理多任务。此外，基于超表面平台，科研人员还提出了提出了波长复用衍射神经网络和旋转角度复用衍射神经网络等。然而，目前的衍射神经网络架构均只能在单一的光传播方向上实现功能，如何在正反传播方向上实现方向依赖功能（即双向多功能）仍是一项重大挑战。
自旋解耦型超表面能够独立调控电磁波的两个正交螺旋分量。因此，结合超表面的镜像双极性特性，从前后方向传播的圆偏振光束将经历不同的波前调制，这为实现方向依赖功能提供了一种巧妙的构思。针对传统衍射神经网络在光传播方向上的功能局限性问题，上海理工大学团队提出基于全光多层神经网络的高容量方向性信息处理器新架构（图1）。通过将光传播方向作为新自由度引入神经网络设计，实现网络的方向性模式识别切换、类计算处理及高容量信息加密，为D2NN的多功能集成和全光智能信息处理开辟新的途径。研究团队创新性地使用多层自旋解耦型超构表面，实现双向多任务（手写数字分类和时尚产品分类）可切换的D-D2NN；进一步，通过联合控制光传播方向和超表面层间距，使D-D2NN产生四个复用功能通道。结合基于图像转换的模型训练方法，实现一种类计算处理器（加法、减法、乘法和除法）。最后，通过将明文信息编码为密文并划分多个信息传输通道，基于D-D2NN实现一种高容量、高安全性的信息加密平台。
图1 具有高容量信息处理功能的方向性D2NN示意图。当两个相邻超表面之间的距离为d1时，对于相同的输入密文“2，7，8，…”，在正/反传播方向上解码出不同的明文信息“S，E，C，…”/“R，E，T，…”。当距离切换为d2时，对于相同的输入密文“2、7、8…”，在前后传播方向上解码出明文信息“太阳、云、雷声…”/“半月、满月、星星…”。
1.D-D2NN设计原理
图2A对比了D-D2NN与传统D2NN的区别，其中传统的D2NN仅在正向实现单一功能，而D-D2NN能够在正反两个传播方向上中实现不同功能。具体设计原理如图2B所示，对于正向LCP THz波入射，衍射场将反别由1到3层超表面的Phase1_L（LCP通道相位）、Phase2_R（RCP通道相位）和Phase3_L相位调制。相反，当LCP THz波从反向入射，衍射场受到相位调制的顺序变为Phase1_R、Phase2_L和Phase3_R。由于每个隐藏层都由自旋解耦的超表面构成，因此这三个隐藏层的相位（图2D）可以分别由两个正交偏振通道独立控制，在相反传播方向上分别经历两个不相关的相位调制过程，最终产生不同的神经网络功能。
研究团队使用120×120的各向异性超原子阵列构成自旋解耦型超表面，每个超原子具有不同的长度（l）、宽度（w）和平面内取向（θ）（图2C）。图2D展示了隐藏层自旋解耦相位中的几何相位（2θ）和传播相位（φx, φy），以及构造的超表面样品。研究团队通过近场扫描太赫兹显微镜（NSTM）进行实验验证，如图2E。
图2 机制、设计和实验装置。（A）传统D2NN和D-D2NN对比图。（B）D-D2NN在正向和反向传播方向上的工作原理。（C）超表面中的超原子示意图，以及在x和y偏振THz波照射下的仿真相移（Φx，Φy）和透射系数（Tx，Ty）。（D）相自旋解耦超表面的相位和样品图。（E）实验装置。
2.具有两个复用功能通道的双向图像分类器
研究团队设计了一种由三层级联自旋解耦型超表面构成的D-D2NN，在两个相反传播方向上实现方向依赖功能。在正向传播方向上（LCP THz波入射），利用手写数字（来自MNIST数据集）识别进行实验验证（图3A）。在反向传播方向上（LCP THz波入射），使用时尚产品（来自Fashion-MNIST数据集）识别进行实验验证（图3B）。该模型经历100轮迭代训练（图3C），手写数字和时尚产品的仿真识别准确率分别为96.2%和98.5%，实验准确率分别达到93.3%和93.3%（图3D）。
图3 D-D2NN用于0.7 THz的方向性手写数字和时尚产品分类器。（A）在LCP THz波的正向照射下，对于“6”、“7”和“8”三个手写数字输入，仿真和实验的电场强度分布和输出能量分布。（B）在LCP THz波的反向照射下，对于“运动鞋”、“外套”和“裤子”三种时尚产品输入，仿真和实验的电场强度分布和输出能量分布。（C）手写数字（蓝色曲线）和时尚产品（橙色曲线）的训练曲线。（D）仿真和实验的混淆矩阵。
3.具有四个复用功能通道的类计算处理器
通过改变D-D2NN的输入平面、超表面和输出平面之间的层间距离，联合训练多个神经网络，能够在前向和后向通道中进一步复用多个功能（图4）。研究团队实验演示了一种在四个方向通道中具有四种不同功能（即加法、减法、乘法和除法）的类计算处理器。设置第一种层间距离，在正向和反向LCP THz波照射下输入手写数字“62”/“71”，得到加法计算结果“8”/“8”和减法计算结果“4”/“6”。设置第二种层间距离，在正向和反向通道得到乘法计算结果“12”/“7”和除法计算结果“3”/“7”。
图4 D-D2NN用于具有类加法、减法、乘法和除法功能的类计算处理器。（A）输入数字“62”，当层间距为d11 = d14 = 5 mm和d12= d13 = 10 mm，LCP THz波从前/后方向入射，可以获得类似加法/减法的功能；当层间距为d21 = d24 = 10 mm和d22= d23 = 5 mm，可以在前/后通道中实现类似乘法/除法的功能。（B）输入数字“71”，两种层间距下，在前/后通道中实现类似加法，减法，乘法和除法的功能。
4.高容量信息加密处理器
具有方向性处理能力的D-D2NN提供了一个多通道平台，可以将明文信息编码为密文并并划分多个信息传输通道，从而实现一种高容量、高安全性的信息加密处理器。与具有特定照射模式（例如高斯光束、TE/TM模式光束）和有限信息加密功能的传统超表面平台不同，D-D2NN可以通过深度学习处理多样化输入（即各种类别和不同外观的预定义密文），从而实现高容量的信息加密功能。为解码目标密文，所设计的四个方向-层间距离相关的密钥如图5B所示。对于预定义的输入密文“7”和“2”（图5A），使用密钥和D-D2NN（图5C）可以解码出明文“M”、“E”、“T”、“A”和“4”、“H”、“8”、“f”（图5D）。最后，得到重建的真实信息“META”和“4H8f”，实验结果如图5E所示。值得注意的是，除非四个通道中的数据同时泄漏，否则攻击者只能窃取到误导信息。
图5 D-D2NN用于高容量信息加密。（A）输入的预定义密文。（B）用于解码的四个方向-距离相关密钥。（C）D-D2NN示意图。（D）在四个方向通道中解码出的明文。（E）重建的真实信息。
上海理工大学研究团队首次提出并验证了一种由级联自旋解耦型超表面构成的D-D2NN架构，该方法可以在正向和反向传播方向上同时处理多个任务，从而实现方向性全光智能信息处理。由于前向和后向通道中自旋相关相位的独立控制，实验证明了手写数字和时尚产品在相反方向上分类的方向相关通用功能。D-D2NN虽基于线性光学变换，但引入传播方向作为新自由度，为全光神经网络提供了重要思路。研究团队指出，通过非线性整合，其能力可以进一步增强。该项技术目前在THz波段得到验证，因金掩模制造和THz探针逐点扫描而耗时，不过D-D2NN可扩展至红外和可见光范围，通过使用商用空间光调制器生成输入图像，以及使用CCD相机实时记录电场，可以解决相关技术挑战。该研究为大规模并行处理，光计算，信息安全和人工智能系统开辟了新的应用前景。
论文链接：
https://doi.org/10.1126/sciadv.adu0904
撰稿|课题组
