撰稿 | Blair（西湖大学 博士生）
自从2016年谷歌旗下Alpha Go在围棋上战胜人类顶级棋手李世石以来，人工智能从多方面逐渐融入并改变着我们的生活。然而，需要注意的是，Alpha Go背后的计算机拥有1202个CPU和176个GPU，总功率约为200KW，其功耗是人脑20W左右功率的一万倍。特别是面向未来万物互联、万物智能的智能社会，降低实现人工智能的功耗和提高人工智能的计算效率成为学界和业界亟待解决的挑战。
对于这一问题，经过近半个多世纪发展的光子计算，成为解决这一挑战的有力候选方案。得益于其高带宽、低损耗、低延时、可高度并行的优势，光子计算有望在多方面解决目前人工智能应用中面临的能耗和计算效率挑战，成为未来人工智能计算的主流方式。
近期，来自美国斯坦福大学David A. B. Miller、范汕洄、Gordon Wetzstein、UCLA的Aydogan Ozcan、MIT的Dirk Englund和Marin Soljačić等，联合法国、德国和瑞士的等科研人员共同以Inference in artificial intelligence with deep optics and photonics为题在Nature上发表了展望文章（Perspective）。
艺术效果图 / 图源：长春光机所，Light学术出版中心,，新媒体工作组
本篇文章系统总结了光子计算在过去70年间的发展历程（图1），分析了光子计算用于人工智能神经网络运算的优势与挑战，并对光子计算的未来前景做了展望。
图1.人工智能及其相应光学实现发展中里程碑事件的时间线
自从1980年以后，学术界对神经形态计算的研究就活跃起来。在早期的开创性工作之后，Rumelhart，Hinton和Williams于1986年发表了一篇具有深远影响力的论文，描述了用于训练多层网络的误差反向传播方法。
由于神经网络的模拟实现在处理训练和读取大型神经网络中的高计算量方面非常有前途，因此在上世纪80年代后期，若干种模拟超大规模集成电路相继实现，并同时进行了模拟光学演示。第一个实验实现的光学神经网络是32个具有反馈的神经元的完全连接网络，该进展激发了学术界关于光神经网络的研究。
光学神经网络的下一个主要阶段是动态非线性晶体的引入，这样可以实现平面排列的光电神经元之间的自适应连接。除了其动态特性之外，非线性晶体因为其三维（3D）器件的属性，它们可以存储更多的权重信息。例如，在1993年发表的一项的演示中，研究人员训练了一个光学两层网络，通过在单个光折射晶体中存储约10亿个权重，可以非常准确地识别人脸。
尽管有关于模拟硬件实现的研究很有前景，但在1990年代学术界对定制光学硬件的兴趣仍在下降。造成这种情况的原因主要有三个：
模拟加速器的优势（功率和速度）仅适用于非常大的网络；
非线性激活函数的光电实现技术不成熟；
控制模拟权重的困难使得难以可靠地控制大型光网络。
在随后的几年中，情况发生了变化。深度神经网络（Deep Neural Networks， DNN）（名词解释⏬）已成为许多应用程序中占主导地位的算法方法之一。此外，光电子学和硅光子学的重大改进，特别是伴随着超大型网络的出现，促使许多研究人员重新审视以光学方式实现神经网络的想法。
光子电路的另一种实现方式是直接在通过自由空间或某种介质传播的光场上建立计算能力（见图2）。
从数学上讲，自由空间中的波传播由基尔霍夫的衍射积分来描述，这相当于将场与固定核进行卷积。这种卷积操作是卷积神经网络（Convolutional Neural Networks, CNN）（名词解释⏬）的基本构建块之一，同时卷积神经网络是大多数视觉计算应用程序选择的神经网络体系结构。但是，要使波传播成为光学计算的有用工具，我们需要可编程性。这样的可编程性可以通过卷积核来设计。因为光学装置的特定透镜配置可以将物理正向或逆傅立叶变换应用于波场，所以我们可以利用傅立叶光学器件来实现卷积核的设计。插入到设备的傅立叶平面中的光学元件可以实现了输入场与光学元件的幅度和相位的逐元素相乘。通过卷积定理，我们就能实现利用透镜和其他光学元件以光速将图像的波场与任意卷积核进行卷积。
进一步地，人们可以针对特定任务联合优化物理透镜和深度神经网络，具体任务由损失函数和训练数据集定义（见图3）。
这样的损失函数一旦优化，就可以制造物理层（在此示例中为镜头），并用于执行推理任务，从而实现比常规数字层更强大，更快或更省电地对捕获的图像进行分类。
这种光学和图像处理的“端到端光学”端到端优化称为“深度光学”。这种“深度光学”的设计方法适用于优化传感器滤色器阵列的空间布局，新兴神经传感器的像素曝光，用于显微镜和深度感应的结构化照明图案以及用于扩展景深，图像分类，平坦的自由曲面透镜的形状相机，高动态范围成像，波长多路分解或传统2D相机的深度感应等等。
深度感知对于包括自动驾驶，机器人视觉，医学成像和遥感在内的许多任务至关重要。在光学中实现神经网络具有变革性的潜力，可改善系统延迟，内存使用，电源效率，抗噪声或其他测量性能下降的鲁棒性以及执行任务的准确性。
在过去的二十年中，光学和光子计算系统取得了长足的进步，给光学图像分类、显微应用、成像和语音识别领域提供了全新的发展机遇（见图4）。
比如说，对于显微成像应用，根据特定显微成像任务的性质，优化将光照、样品与光电检测器阵列连接的前端计算光学接口，从而使光学前端，光电探测器和后端电子计算构成了一个完全可训练的显微镜。通过深度学习方法全面优化显微镜的设计，特定任务的显微镜可以以更少的像素（或三维体素），更高的帧速率和更低的功率执行所需的推理或成像操作，同时也大大降低了数据存储需求。具有深度学习功能的显微镜不会遵循传统的图像形成、数字化然后进行处理的顺序，而是可以合并和分散所有这些功能，包括推断其设计的各个方面，并作为单个任务优化系统工作。
挑战与展望
光学和光子计算系统在过去半个多世纪的发展中取得了长足的进步，并已探索出一些最具挑战性问题的创新解决方案，包括全光非线性，大型光子网络的可靠控制，电光转换效率和可编程性。然而，在可预见的将来，开发通用光学计算系统可能仍然具有挑战性。但是，AI的出现及其要求，尤其是推理任务的要求，为光学计算的实现创造了新的机会。在物理，工程和计算机科学的融合中，光学计算仍然是令人兴奋的研究领域。
为了使光学计算机发挥最大潜力，仍然面临着许多挑战：
第一，如何在较宽的光带宽和自然光信号的低强度级别下运行的全光非线性的有效实现。
第二，数字电子系统是当今计算系统的主要平台。到目前为止，光学计算机还只是模拟的，大多数实现都是以纯被动模式运行的，它们的模拟性质使光学计算机从根本上受到散粒噪声的限制。散粒噪声与电子加速器的热噪声限制不同，使光子计算在管理上更具挑战性。同时，光子器件的无源特性使光学计算机类似于纯电阻电子电路。通过光增益或更有效的电光转换机制恢复信号的全光方法是有前途的研究方向，可以解决光学计算系统所面临的一些挑战。
第三，人们对光子计算系统能耗低的乐观估计通常建立在光无损介质内进行线性变换、而且没有考虑电光转换损耗的前提上。尽管存在针对这些挑战的可能解决方案，但在讨论光学计算机可能带来的能源收益和其他优势时，应仔细考虑这些问题。但是，高能效集成光电子技术的变革性潜力可以解决此类电光转换能量问题。
面向未来，光电混合计算系统是智能计算领域最有前景的研究方向。光电混合计算系统将光学计算的带宽和速度与电子计算的灵活性相结合，并且可以在模拟和数字光学/光电/电子系统中利用通用的节能技术基础。在未来万物互联的智能社会中，光电混合计算系统可以在光学视觉，机器人技术，显微镜和其他视觉计算领域的人工智能运算中发挥出重要作用。
文章信息
Wetzstein, G., Ozcan, A., Gigan, S. et al. Inference in artificial intelligence with deep optics and photonics. Nature 588, 39–47 (2020).
论文地址
ttps://doi.org/10.1038/s41586-020-2973-6
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理（按照法规支付稿费或立即删除），所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号。
