AM:智能深度感知超构元件

撰稿|由课题组供稿

近日，香港城市大学电机工程系蔡定平教授课题组以“A Meta-Device for Intelligent Depth Perception” 为题，在Advanced Materials上发表论文。香港城市大学助理教授Mu Ku Chen和香港城市大学博士生Xiaoyuan Liu为该论文共同第一作者，蔡定平教授为该论文通讯作者。该项目研究的主要参与者还包括蔡定平教授课题组的Yongfeng Wu, Jingcheng Zhang, Jiaqi Yuan和Zhengnan Zhang。为了解决由于单镜头成像获得的有限且特定的光场信息进而导致深度导致认知错误这个问题，蔡定平教授课题组展示了一种智能紧凑的深度传感超构透镜阵列，该设备小型化、集成化，适用于各种光照水平的不同场景。超构透镜阵列可以作为明亮条件下的光场成像系统或黑暗条件下的结构光投影系统的核心功能部件。两种方式的深度信息都可以通过卷积神经网络进行分析和提取。这项工作为自动驾驶、机器视觉、人机交互、增强现实、生物识别等应用提供了新的途径。

由于单镜头成像获得的光场信息是有限的，视错觉会影响深度感应。不完整的深度信息或视觉欺骗会导致认知错误。视错觉可以分为两类。一种是看起来像 3D 的 2D 艺术，另一种是从某些角度观看时看起来像 2D 的 3D 对象。视错觉最著名的例子是魔法楼梯（Magic Stairs），也被称为不可能的楼梯，指的是一个楼梯循环，总能找到更高或更低的楼梯。通过从特定角度拍摄螺旋楼梯，可以在现实生活中实现类似魔法楼梯的视觉错误。这种2D照片的视觉效果会欺骗人们。与立体视觉相比，信息获取过程中缺少一维信息。人类根据场景的 2D 信息在大脑中进行 3D 填充和重建，因此会得到一种不真实的 3D 感知。这些视错觉有时会给人带来美妙的艺术享受。但是对于像自动驾驶这样涉及真实深度信息的任务，这样的错误会给我们的日常生活带来严重的麻烦和安全问题。

获取深度信息的方法有很多种，根据其工作原理，它们各有优缺点。一般来说，这些方法分为被动和主动深度检测两种。被动方法不需要额外的光源支持。深度信息是从环境光中收集的，因此被动类型的深度感应无法在没有光线或光线不足的情况下工作。例如，基于深度学习的单目深度估计[1, 2]需要通用的硬件设备。通常，这种深度感知方法依赖于数据驱动的学习，依赖于数据集的特征。主动类型的深度检测方法[3, 4]独立于对象的纹理，尤其是在弱光条件下。问题是在强环境光下，主动方法的性能急剧下降，甚至无法工作。基于结构光的深度相机就是一个典型的例子。通常可用于纹理低、光线不足（甚至没有光线）的场景；然而，在户外强光下，深度映射相对嘈杂。

目前，自主系统的机器视觉强烈要求低功耗、小尺寸、轻量化和简单的光学深度成像系统，而快速发展的超表面纳米光子学进一步完善了距离传感技术[5]。超表面[6-8]是一种先进的平面光学元件，由亚波长人工结构组成，可以控制光的相位[9]、偏振[10]、和振幅[11]。可以针对整个光波段和通信波段的需求设计传入的电磁波特性。超构透镜是可以聚焦光和成像的超表面之一。超透镜具有超越传统光学透镜组件的功能，通过定制设计提供新颖的功能。

本文所提出的超构透镜阵列设备集成了多透镜光场相机和用于所有光照水平的有源结构光系统，即强光、适当光、弱光或无光。该系统可以在有或没有目标对象和背景的纹理的情况下有效地工作。利用深度学习，两种量身定制的算法将用于高级深度映射和成像。

图1：消色差超构透镜阵列深度传感系统示意图。

一种由 GaN 制成的具有 3600 个消色差超构透镜的阵列，由超过 3300 万个纳米天线组成。超构透镜阵列作为核心被设计、制造并且用于这种新颖的光学系统。每个消色差超透镜的直径为21.65 µm，设计焦距为49 µm。消色差超透镜的设计原理基于 Pancharatnam-Berry 相位、相位补偿和集成谐振单元方法。消色差超透镜阵列的分步制造方法包括电子束光刻和硬掩模辅助干法蚀刻工艺。图1显示了具有不同放大倍率和平铺角度视图的消色差超透镜阵列的扫描电子显微镜 (SEM) 图像。超构透镜中纳米柱结构的高度为 800 nm。具有各种方向和尺寸的纳米天线被设计和排列以在可见光区域提供串行相位补偿。测量的平均消色差焦距为 48.6 µm，在整个可见光范围内从 400 到 660 nm 的平均效率为 33.6%。

图2：消色差超构透镜阵列的SEM图像

为了克服全深度成像和映射的挑战，团队设计的超构透镜阵列光学系统将光场成像和结构光系统集成在一起。光场系统可以应用于充足的光照条件下。对于低光照或黑暗环境条件，结构光系统可用于深度成像和映射。一个 3D 测试样本由 6 个图案楼梯组成，深度分别为 22、24、27、31、38 和 46 厘米。光场和结构光系统的深度成像和映射数据通过两组量身定制的数据处理方法进行收集和处理。每种数据处理方法都包括一个独特的预处理程序、一个新的卷积神经网络 (CNN) 和一个后处理程序。

图 3显示了用于光场成像和深度传感的消色差元透镜阵列。带有黄点图案的 3D 六阶梯测试样品分别位于 22、24、27、31、38 和 46 厘米处。图 3e显示了每个楼梯的 3D 颜色图的结果，它与它们的实际距离完全匹配。颜色的均匀性和每个楼梯的平整度反映了系统的抗干扰能力和鲁棒性。

图3：在光照环境中使用超构透镜阵列光场系统进行深度感知的结果

对于弱光或黑暗环境条件，消色差元透镜阵列结构光系统的深度映射和实验成像设置如图4 所示。532 nm 激光器的光源用于通过由 3600 个消色差透镜组成的超透镜阵列产生结构光。与图3所示的成像结果类似， 可以轻松获得六个具有不同结构光点成像的楼梯，而且深度结果与实验模型相吻合。

图4：在微弱光照或暗环境下使用超构透镜阵列结构光系统进行深度感知的结果。

以超构透镜阵列为核心的深度映射和成像系统，将光场收集和结构光投影模式相辅相成。在神经网络和深度学习的支持下，在光场成像收集模式和主动结构光模式下的深度传感实验演示清楚地显示了在 21.0-50.5 cm 工作范围内的准确深度映射。真正的深度感应可用于解决视错觉问题，并且可以广泛应用于工业检测、机器视觉、人机交互、增强现实、虚拟现实、生物识别、自主系统等多种领域。

《Advanced Materials》是德国Wiley出版集团旗下在工程与计算大学科、材料与化学大领域的顶级期刊，在国际材料领域科研界上享誉盛名。 该期刊收录材料研究领域最前沿的高端论文，是材料科学领域最具影响力的期刊之一。 目前最新影响因子为32.09，接收率仅有10%-15%。

https://onlinelibrary.wiley.com/doi/abs/10.1002/adma.202107465

参考文献

1.      Godard, Aodha, O. M., & Brostow, G. J. (2017). IEEE Conf. on CCVPR.

2.        Tateno, Tombari, F., Laina, I., & Navab, N. (2017). IEEE Conf. on CVPR.

3.        Geng. (2011). Advances in optics and photonics, 3.

4.        Zhang. (2018). Optics and lasers in engineering, 106.

5.        Kim, Martins, R. J., Jang, J., Badloe, T., Khadir, S., Jung, H. ‐Y., Genevet, H., & Rho, P. (2021). Nature nanotechnology, 16.

6.        Sun, Yang, K. Y., Wang, C. M., Juan, T. K., Chen, W. T., Liao, C. Y., He, Q., Xiao, S. Y., Kung, G. Y., Guo, L., & Zhou, D. P. (2012). Nano letters, 12.

7.        Hsiao, Chu, C. H., & Tsai, D. P. (2017). Small Methods, 1.

8.        Su, Chu, C. H., Sun, G., & Tsai, D. P. (2018). Optics express, 26.

9.      Zhao, M., Chen, M. K., Zhuang, Z. P., Zhang, Y., Liu, A., & Tsai, D. P. (2021). Light: Science & Applications, 10(1), 1-11.

10.     Guo, Huang, X., Li, M., Pu, P., & Gao, J. (2019). Advanced optical materials, 7.

11.     Akselrod, Huang, J., Hoang, T. B., Bowen, P. T., Su, L., Smith, D. R., & Mikkelsen, M. H. (2015). Advanced Materials, 27.