撰稿|由课题组供稿
近日，浙江大学陈红胜/钱超教授团队提出一种生成-淘汰神经网络，实现第三类超表面智能设计范式，完成复杂频谱的相互关联。相关成果以“Correlating metasurface spectra with a generation-elimination framework”为题发表在期刊Nature Communications，浙江大学硕士生陈捷挺为论文第一作者，钱超研究员和陈红胜教授为论文的通讯作者。
近年来，以深度学习为代表的人工智能算法深刻改变了超材料的设计和工作方式，相比于传统的数值仿真和物理模型，超材料智能设计摆脱物理直觉限制，极大地节省了重复性人力工作和昂贵的计算资源。目前，超材料智能设计主要分为两类：1. 正向设计，根据特定的超表面结构，通过训练好的神经网络模型快速批量地预测出相应的光学响应 2. 逆向设计，与正向设计相反，根据所需要的光学响应通过网络模型逆向设计出超表面结构参数。这两类设计已经被大量研究，广泛用于波导、光栅、光子晶体和超材料等物理场景。然而，还有一种设计范式被忽略，即光学响应之间的相互关联（例如，用低频响应关联高频响应）。方便起见，可以将其列为第三类超表面设计，它以低成本的方式预测出所需的图像、频谱、材料特征等信息，在通讯、拉曼光谱、蛋白质光谱分析等领域可用于高频信息的修复。
不同于正向和逆向设计，探索频谱到频谱的转换涉及棘手的多对多映射关系，如果直接用现有网络，会导致训练无法收敛。针对该难题，课题组提出了基于条件变分自编码器（CVAE)的生成-淘汰网络，如图1所示，生成网络以低频段
响应作为输入，自主生成大量的高频候选输出
待后续淘汰网络和树状结构对候选解进行进一步的筛选。
图1 | 超表面频谱响应相关联示意图。现有的超表面智能设计旨在建立物理结构与频谱的“高速公路”，包括正向（一对一）或逆向（一对多）的映射过程。课题组首次探索了第三类超表面设计，以低频到高频的光学响应预测为例，其中涉及新的双向非唯一性问题（多对多）。
图2 | 网络架构示意图。a，整体的网络架构由两个串联的子网络组成，即生成网络和淘汰网络，每个子网络由编码器、潜在空间和解码器组成。b，两个子网络之间的互联。对于给定的低频输入（label input），生成网络生成多种高频候选解（candidate），淘汰网络会逆向地将每个候选解映射回原始低频空间，通过计算输入和二次候选项(secondary candidate)之间的欧式距离，筛选出最佳候选解。c，生成网络的层级结构。特征提取模块（feature extraction module）与三个连接层相结合构成编码器，重建模块（reconstruction module）与Concat4层相结合构成解码器，来自两组高斯分布（即变分后验分布）的采样变量构成了潜在空间。
为了验证生成-淘汰网络对提取数据分布的有效性和可解释性，陈红胜/钱超课题组对生成网络的潜在空间（图2a中的latent space 1）中的二维高斯变量分布（即变分后验）进行了可视化，每个点代表一组低频与高频的输入组合。通过用自分编码器（AE）分别对低频和高频数据进行特征压缩至一维变量(e1和e2),然后用得到的两种特征变量分别对潜在空间中的点进行上色。可以看到图3a中的每种特定颜色的点提取出来后（比如e1≈0.4所代表的紫色）都近似标准正态分布，证明了在推理阶段，以任意低频作为输入时，从标准正态分布中采样潜在变量的合理性，都可解码为高频候选解；另外，图3b中以高频特征（e2）进行上色的点都清晰地分为不同的簇，这表明基于CVAE的子网络能够自主学习和区分不同特征的高频频谱曲线。
图3 | 特征提取后的潜在空间可视化。a，600个编码后的训练数据的二维变量分布，根据40~60 THz的低频特征进行着色。通过AE将999维的输入压缩为1维的频谱表示（e1），其值范围从0（淡黄色）到1（深紫色），当e1≈0.4时，潜在空间中的11个点被圈出，每个点相应地解码为图c中的结果。b，当e1=0.4时，对应的低频输入频谱。d，相同的600个编码后的训练数据的二维变量分布，根据60~100 THz高频特征进行着色。2004维的高频数据通过另一个经过训练的AE压缩为1维的频谱表示（e2），所有点都清晰地分为不同的簇，具有相似值的点往往具有类似的频谱曲线（例如point 1和point 2），反之亦然。
课题组从测试集中随机选取三个太赫兹超表面样本，并在图4a中绘制了它们在40至60 THz范围内的输入光谱。作为对比，课题组首先评估了全连接网络（FCN）的性能，面对频谱相关联问题时，传统的全连接网络在真实光谱（实线）与预测光谱（虚线）之间产生了明显的不一致，如图4b所示，说明它在处理双向非唯一性问题时无法收敛；相反，本论文提出的生成网络在图4c中生成了多样且更精确的候选解，其中不同颜色深度的曲线代表不同解，待进一步在淘汰网络和树状结构中进行筛选。图中给出了三组候选解，其中至少有一个与实际情况非常吻合，这证实了生成网络在解决这种非收敛问题时的优越性。
图4 | 不同神经网络架构下的结果对比。a，来自测试数据集的三个随机选择的样本输入频谱，每个样本绘制了三条反射系数曲线，即Rxx，Rxy和Ryy。b，传统的全连接层网络处理该多对多映射问题时产生的结果无法收敛，实线和虚线分别表示真实值和来自全连接层网络的预测结果。c，使用基于CVAE的生成网络得到的结果，虚线表示在潜在空间中进行采样生成的不同候选解，可以看到至少有一个候选解与实线几乎完全匹配。
课题组使用树状图来解释生成-淘汰网络筛选的机制。如图5a所示，由生成网络生成的父节点（father node）与输入的根节点(root node)相连，每个父节点又通过淘汰网络生成叶节点（leaf node），即二次候选解，通过计算所有叶节点与输入根节点的欧氏距离，具有最小距离的叶节点所属的父节点即为最终筛选后的结果。
为了量化结果，研究定义了三种评价指标：1.MSE:预测值与真实值之间的均方误差；2.平均精度(1-eave)*100%,其中eave定义为预测值与真实值之间的L1平均相对误差；3.相似性，即两个曲线之间的皮尔逊相关系数。图5c展示了在测试数据集上，基准模型与提出的框架分别训练后，在三个定量标准上的统计结果。在均方误差（MSE）损失上，基准模型几乎比提出的框架大一个数量级，另外，平均精度和相似性两个指标提供了更加直观的比较。
图5 | 树状图解释生成-淘汰机制。a，经过四个步骤，最终计算叶节点（optimal leaf node）与输入根节点（root node）的最小距离，筛选出最佳父节点（father node）。b，淘汰网络输出的最终结果，以图4a中的测试数据作为输入，实线和虚线分别表示真实值和淘汰网络筛选后的结果。c，三个评价标准对基准模型FCN与生成-淘汰网络进行定量比较。
研究团队提出了生成-淘汰网络来应对复杂的双向非唯一性映射难题，应用于第三类超表面设计，并展示了它在频谱相关联中的重要性，准确率高达98.77%。通过随机采样的潜在变量与输入频谱相结合，生成多样的候选解，并将候选解通过淘汰网络映射回输入空间，计算差值来保留最佳候选解。除了预测高频频谱外，所提出的生成-淘汰框架可以轻松扩展到其他光子设计领域，甚至可以反向促进计算机科学领域研究，为同样面临双向非唯一性困境的领域提供一种通用且有效的方法。展望未来，随着神经网络对物理可解释性的深入研究和保留，可以进一步促进实际应用，例如幻觉、隐身、成像和无线通信等。
论文链接：
https://www.nature.com/articles/s41467-023-40619-w
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理，所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号。
