文章来源:光子盒、FUTURE | 远见
埃德霍尔姆带宽定律预言了通信数据速率与频谱带宽将呈指数级增长。鉴于深度神经网络算力需求呈指数上升而摩尔定律日趋放缓,面向6G等未来先进通信系统亟需新型计算范式。光学神经网络(ONN)是极具潜力的加速器,但在可扩展性和系统开销方面面临挑战。6月11日,由麻省理工大学、南加州大学、NTT Resrarch组成的研究团队在Science Advances期刊发表题为「RF-photonic deep learning processor with Shannon-limited data movement」(具有香农极限数据移动能力的射频光子深度学习处理器)的研究论文。

本文介绍了乘法模拟频率变换光神经网络(MAFT-ONN),这是首个无需数字化或预处理即可直接对原始射频信号执行推理的AI硬件加速器,可通过实验对原始射频(RF)信号进行全模拟深度学习计算。在调制分类任务中,其准确率可快速收敛至95%。MAFT-ONN还展现出良好的可扩展性,在MNIST数字分类任务中,能够完成近400万次全模拟运算。由于模拟数据移动受香农容量限制,MAFT-ONN的处理速度比传统射频接收器快数百倍。其延迟性能优于FPGA,同时兼具光学器件在成本、尺寸、重量及功耗方面的优势。此外,当充分利用光学带宽与空分复用时,该处理器的吞吐量可比肩其他最先进AI硬件加速器。未来工作将重点通过波分复用与空分复用技术进一步提升MAFT-ONN的规模。
研究背景
随着人工智能技术的飞速发展,其在射频(RF)信号处理和先进通信领域的应用逐渐成为研究热点。在频谱资源日益紧张的环境中,传统的手工设计系统已难以满足复杂频谱环境的处理需求。人工智能能够高效处理复杂的频谱环境,满足对更高无线数据速率的需求,为下一代通信技术(如6G)中的认知无线电、指纹识别和动态资源分配等功能提供支持。
然而,当前先进的AI方法在处理RF信号时存在明显缺陷。这些方法通常先将IQ数据数字化,再将信号转换为特定形式后输入深度学习模型,但这一过程会引入大量延迟,导致数字处理器无法进行实时频谱处理。此外,为了满足高性能需求,通常需要使用FPGA、GPU等高性能设备,这导致成本、尺寸、重量和功耗的增加。
光系统凭借在光场中编码、路由和处理模拟信号的能力,展现出低噪声、高带宽和低能耗的优势,有望成为下一代人工智能硬件加速器的关键技术。光神经网络(ONN)方案通过光学组件的物理特性进行线性代数运算或在线非线性变换,但要充分发挥光子学的超低延迟和能耗优势,需同时实现线性和非线性操作,且尽可能减少系统开销,同时保持高硬件可扩展性和性能,这一直是该领域亟待解决的难题。在这样的背景下,研究团队提出了乘法模拟频率变换光神经网络(MAFT-ONN)架构,为解决上述问题带来了新的希望。
MAFT-ONN架构概述
MAFT-ONN架构巧妙地将DNN层与光电乘法相结合,每一次光电乘法都对应着全连接(FC)层或1维卷积(CONV)层的计算,为实现高效的神经网络运算奠定了基础。在这个架构中,神经元的值被编码在频率模式的幅度和相位中,利用光电乘法技术,能够一次性完成矩阵-向量乘积的计算,大大提高了计算效率。

图1 | MAFT-ONN架构概览。
对于每一层的非线性激活,MAFT-ONN充分利用电光调制器的非线性区域来实现,这种设计使得整个架构成为一个可扩展的端到端光子硬件加速器,为深度学习任务提供了强大的支持。从信号处理的角度来看,MAFT-ONN具备卓越的能力。它能够在频域中计算任意有限脉冲响应(FIR)型线性时不变(LTI)操作,通过对权重信号的精准编程,实现与输入信号的任意频域FIR LTI 卷积,无论是实值信号还是复值信号,都能得到有效的处理。
在处理实际信号时,MAFT-ONN的优势得以充分体现。以维纳滤波器为例,它可以对遭受频率串扰和加性高斯白噪声(AWGN)的信号进行恢复;线性最小二乘估计器(LLSE)则适用于处理非广义平稳(WSS)随机过程的信号,能够有效解决不同频率带具有不同编码和噪声特性的信号恢复问题;匹配滤波器功能更是强大,一次光电乘法就能实现对整个RF频谱的扫描,快速检测目标信号。这些技术的有机结合,使得MAFT-ONN在信号处理和深度学习任务中展现出强大的适应性和高效性。
实验方案
为了全面验证MAFT-ONN架构的性能,研究团队设计并开展了一系列实验。在MNIST数字推理实验中,构建了一个三层的DNN。输入层将14×14的 MNIST图像编码为包含196个频率的信号,这些频率代表神经元。通过与具有19,600个频率的权重CONV核进行卷积,得到包含39,100个神经元的隐藏层。利用双平行马赫-曾德尔调制器(DPMZM)实现非线性激活后,隐藏层再与第二个具有1000个频率的权重CONV核卷积,最终得到10个神经元的输出层,对应MNIST数字的10个类别。该实验通过计算大量的乘积累加运算(MACs),对10,000张MNIST图像进行推理,以评估MAFT-ONN在图像分类任务中的表现。

图2 | MAFT-ONN实验验证。
LTI信号处理实验中,针对不同的信号处理需求设置了多种实验场景。在维纳滤波器实验中,先生成具有1000个频率模式的频率信道化信号,人为引入串扰和AWGN使其失真,然后利用MAFT-ONN实现的维纳滤波器对原始信号进行估计,通过比较原始信号和估计信号的均方误差(MSE),来验证滤波器的有效性。

图3 | MAFT-ONN信号处理能力实验。
LLSE估计器实验则针对非WSS随机过程的信号,在不同频率带具有不同特性的情况下,构建LLSE滤波器进行信号恢复,并同样通过MSE评估性能。匹配滤波器实验通过对不同信号进行扫描,观察是否能检测到目标信号的频率特征,以验证其功能。
调制分类实验使用与MNIST分类相同的硬件设置,输入信号包含五种不同调制方式的合成波形,同时考虑了信道衰落、相位和频率偏移等实际因素。通过三层DNN对输入信号进行处理,实现调制分类,并对比单次推理和多次测量取多数投票结果的准确率,探究提高分类准确性的方法。
研究成果
MNIST数字推理实验中,三层实验DNN对10,000张14×14的MNIST图像进行推理,虽然实验DNN的准确率达到86.85%,略低于数字DNN的92.52%,但这依然证明了MAFT-ONN在图像分类任务中的可行性。实验不准确的部分原因在于非线性激活函数存在波纹,未来可通过引入电压驱动器或在硬件上原位训练等方法提高准确性。
在LTI信号处理方面,MAFT-ONN展现出强大的能力。维纳滤波器实验中,对失真信号的恢复使MSE平均改善了37.69%,接近理论值38.78%;LLSE估计器实验中,MSE平均改善了59.68%,与理论值63.17%相近,有效证明了其在不同信号处理场景下的有效性。匹配滤波器实验也成功实现了对目标信号的检测。
调制分类实验中,三层DNN在单次推理下对原始RF信号的调制分类准确率达到85.0%,与数字单次准确率89.2%较为接近。通过多次测量采用多数投票方案,准确率可快速提升,仅需5次测量就能达到95%,显示出该架构在实际信号处理中的潜力。

图4 | 系统级延迟分析。
https://www.science.org/doi/10.1126/sciadv.adt3558

