前沿 | 深度学习使单帧高精度结构光三维成像成为可能- 大数跨境

两江科技评论

2022-06-09

导读：Opto-Electron Adv 5, 210021

封底文章 | Li YX, Qian JM, Feng SJ, Chen Q, Zuo C. Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3D shape measurement. Opto-Electron Adv 5, 210021 (2022).

共同第一作者：李艺璇、钱佳铭

通信作者：陈钱教授、左超教授

1 研究背景

随着光电信息技术的快速发展，三维成像与传感已成为光学计量和信息光学领域的最重要的研究方向之一。“二维摄像”向“三维传感”的演变也将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态影像后的“第四次影像革命”。结构光投影技术因其非接触、高分辨、高速和全场自动化等优点，成为目前最具代表性的三维成像技术之一。而其中对于宏观物体三维测量的方法中，基于相位测量的条纹投影轮廓术（Fringe projection profilometry，FPP）[图1] 的测量精度最高，因此在智能制造、逆向工程、工业检测、文物保护等众多领域得到广泛应用。

近年来，数字光投影器、空间光调制器、高速光探测器等光电器件，高性能计算机、嵌入式处理器等运算处理单元得到了跨越式发展，人们也随之对条纹投影轮廓术提出了更高的期许——既要“精度高”，又要“速度快”。尽管二者似乎天生就是一对矛盾体，但“速度”已经逐渐成为采用条纹投影轮廓术时所要考虑的“必要因素”。因为对于许多领域，如工业制造——“速度”就代表着“效率”，而“效率”就代表着“生产力”。

图1 条纹投影轮廓术的基本原理

条纹投影轮廓术的三维测量速度取决于两方面重要因素：①硬件：即条纹投影/图像拍摄速度；以及②软件（算法）：即单幅三维重建所需的图案数量。二者在大多数情况下并不冲突，采用高速投影仪与相机，并尽可能减少单次重建所需的条纹数量，才能使三维成像变得更“快”。以前者为出发点，普渡大学张松教授课题组做出了大量创新工作，基于DLP投影仪二值条纹的离焦投影技术¹，突破了投影灰度正弦条纹数字微镜阵列器件（DMD）所固有的时域脉冲宽度调制所致的时域延展效应，使投影速度达到DMD的固有极限频率（20~30 kHz）。以后者为出发点，南京理工大学陈钱、左超教授课题组建立了条纹结构光相移²、时域相位展开³理论体系框架，提出双频相移法⁴、2+2步相移⁵、几何约束复合相移法⁶、散斑复合傅里叶法⁷、微频移傅里叶变换法⁸等系列复合编码方法。上述方法去除了传统格雷码与多频时间相位展开法中条纹序列的编码冗余，有效将单次三维重构所需的条纹图像从接近10幅降低至5、4、3、甚至2幅，首次实现了速度为10 kHz的瞬态三维传感⁸。

尽管如此，针对结构光三维成像而言，仅采用一幅投影图案实现高精度三维重建才是研究人员永恒追求的终极目标。1983年，Takeda等⁹提出了傅里叶变换条纹投影轮廓术(Fourier transform profilometry，FTP)，通过频域滤波从单幅条纹图像中恢复出被测物相位信息。该项工作具有划时代意义，使单幅条纹图案相位解调甚至单帧条纹投影三维重构成为可能[图2(a)]。针对此项技术，四川大学苏显渝、张启灿教授课题组¹⁰展开了深入系统的研究工作，实现了测量速度达kHz级别的单帧三维成像[图2(b)]。然而，FTP技术成立的前提条件是物体表面调制的高频信息能够与背景在频谱域相分离，因此其仅能用于测量较平缓的面型，难以实现对复杂物体的高精度三维重构；此外，FTP恢复的包裹相位存在周期歧义性，通常需采用多频时域相位展开技术，即获取多组不同频率的条纹图像来去除相位歧义并获取绝对相位分布³。

图2 傅里叶变换条纹投影轮廓术(FTP)。(a) FTP基本原理⁹ ；(b) 鼓面与微飞行器翅膀的kHz FTP三维成像结果¹⁰

为了解决相位歧义性问题，早在1997年Takeda等¹¹就开创性地将频分复用技术（Frequency multiplexing, FM），一种在电信领域颇为经典的信道信息复用技术，引入条纹投影轮廓术。该技术将两个具有不同频率空间载波的条纹图案编码到一幅图像中，从单帧复合条纹中解调出两组不同频率的包裹相位信息，并基于此去除相位的周期歧义性[图3(a)]。2010年，河北工业大学张宗华教授课题组¹²通过将三幅不同频率的正弦条纹编码分别编码到一幅彩色图像的红绿蓝三个通道中，利用彩色相机拍摄被物体表面调制后的变形单帧彩色条纹，进行颜色分离以获得三组不同频率的包裹相位信息[图3(b)]。然而由于这些技术本质上都属于FTP的衍生物，严重受到频谱混叠、频谱泄漏、通道串扰等因素影响，三维重建的精度、分辨率与可靠性等方面都还达不到实际应用的要求[图3]。

图3 基于频分复用的FTP¹¹ (a)及基于三通道彩色条纹复用的FTP¹² (b)

2 研究亮点

最近，南京理工大学陈钱、左超教授课题组采用深度学习技术来解决双频复用结构光条纹解调中的诸多挑战，并实现了单帧无歧义高精度结构光三维成像[图4]。成果以“Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3D shape measurement”为题作为封底文章发表于Opto-Electronic Advances 2022年第5期。文章的共同第一作者为博士研究生李艺璇与钱佳铭。该方法构建了两个结构相同的并行U型网络，U-Net1和U-Net2。

1) U-Net1基于输入的双频复合条纹图像，并结合传统相移法的物理模型，将包裹相位反正切函数的分子项和分母项作为U-Net1网络的输出，并以此计算出高质量的包裹相位分布。该方法可以看作是之前该课题组所提出的基于深度学习的条纹分析技术¹³的拓展：既规避了直接采用端到端结构预测包裹相位所存在的难以准确还原2π相位截断的难题，后续反正切运算中分子分母相除还可有效抵消物体表面反射率的影响，从而可有效提升重建相位的精度。

2) U-Net2基于输入的双频复合条纹图像预测包含正确条纹级次信息的低精度绝对相位。尽管U-Net2输出的绝对相位信息较为“粗糙”，但精度足以用于辅助U-Net1输出的高质量的包裹相位进行相位展开，最终获得高精度的绝对相位分布。结合系统标定参数即可获得高精度的三维几何点云数据，进而实现单帧结构光三维成像。

图4 基于深度学习的双频复用条纹轮廓术原理

网络通过采用传统多频相移和时间相位展开法所获得的高精度相位（12步移相+三频时间相位展开）作为标签（真值）进行监督训练[图4(a)]。通过对大量数据样本的“学习”，训练后的神经网络即可从单帧复合条纹中“解耦”出高分辨率、高精度、无频谱串扰的绝对相位信息。在实验中，研究人员对不同具有复杂表面的三维模型进行了相位提取与三维重建。实验结果表明：基于深度学习的双频复用结构光条纹解调技术能显著提升传统傅立叶变换法的测量精度，重构质量接近于双频（非复用）12步相移法所给出的真值[图5]。其单帧重建的优点又使其从根本上对物体的运动所引起的相移误差所免疫，适用于对运动物体进行动态三维成像[图5(k)]。由此可见，该方法能够有效克服频谱混叠、频谱泄漏、通道串扰等因素的不良影响，实现了真正意义上的单帧高精度结构光三维成像。

图5 不同场景下的三维重构结果。（第一列）三个不同静态场景下的复合条纹图像；（第二列）端到端深度学习方法重构结果；（第三列）我们方法的重构结果；（第四列）动态场景下的复合条纹图像以及我们方法的重构结果

3 展望

条纹投影轮廓术是一项极具发展潜力与应用前景的三维传感技术。对比当下迅猛发展二维高速摄影技术（百万像素级下十万帧成像速度），现阶段的三维传感技术不论在速度和分辨率上仍存在一定差距。基于深度学习的双频复用结构光条纹解调技术有望填补二者间的“鸿沟”，实现了真正意义上的单帧高精度无歧义三维重构，为复杂、高速运动物体的三维面型准确的测量开辟了新途径。另一方面，我们可喜地发现，当前深度学习技术已全面“渗透”进了光学测量这一学科中¹³，在条纹分析^14-15、条纹去噪¹⁶、相位展开^17-19等方面展现出令人惊叹的性能以及强大的应用潜力。诚然现阶段这些“漂亮”甚至“华丽”结果背后的深层次原因仍不明晰，许多学者针对深度学习重建结果的精度和可靠性等方面仍然存疑。但我们可以乐观地相信，随着人工智能理论与技术的进一步发展、计算机硬件水平与性能的不断提高、光学信息处理技术与方法的不断改进，这些问题在不远的将来会迎来突破并逐步得到解决，深度学习技术也将在光学与光子学领域发挥更为重要的作用，产生更为深远的影响。

上下滑动查看参考文献

1. Lei, S. & Zhang, S. Flexible 3-D shape measurement using projector defocusing. Opt. Lett. 34, 3080 (2009).

2. Zuo, C. et al. Phase shifting algorithms for fringe projection profilometry: A review. Opt. Lasers Eng. 109, 23–59 (2018).

3. Zuo, C., Huang, L., Zhang, M., Chen, Q. & Asundi, A. Temporal phase unwrapping algorithms for fringe projection profilometry: A comparative review. Opt. Lasers Eng. 85, 84–103 (2016).

4. Zuo, C. et al. High-speed three-dimensional shape measurement for dynamic scenes using bi-frequency tripolar pulse-width-modulation fringe projection. Opt. Lasers Eng. 51, 953–960 (2013).

5. Zuo, C., Chen, Q., Gu, G., Feng, S. & Feng, F. High-speed three-dimensional profilometry for multiple objects with complex shapes. Opt. Express 20, 19493–19510 (2012).

6. Tao, T. et al. Real-time 3-D shape measurement with composite phase-shifting fringes and multi-view system. Opt. Express 24, 20253–20269 (2016).

7. Feng, S., Chen, Q. & Zuo, C. Graphics processing unit–assisted real-time three-dimensional measurement using speckle-embedded fringe. Appl. Opt. 54, 6865–6873 (2015).

8. Zuo, C. et al. Micro Fourier Transform Profilometry (μFTP): 3D shape measurement at 10,000 frames per second. Opt. Lasers Eng. 102, 70–91 (2018).

9. Takeda, M. & Mutoh, K. Fourier transform profilometry for the automatic measurement of 3-D object shapes. Appl. Opt. 22, 3977–3982 (1983).

10. Su, X. & Zhang, Q. Dynamic 3-D shape measurement method: a review. Opt. Lasers Eng. 48, 191–204 (2010).

11. Takeda, M., Gu, Q., Kinoshita, M., Takai, H. & Takahashi, Y. Frequency-multiplex Fourier-transform profilometry: a single-shot three-dimensional shape measurement of objects with large height discontinuities and/or surface isolations. Appl. Opt. 36, 5347–5354 (1997).

12. Zhang, Z. H. Review of single-shot 3D shape measurement by phase calculation-based fringe projection techniques. Opt. Lasers Eng. 50, 1097–1106 (2012).

13. Zuo, C. et al. Deep learning in optical metrology: a review. Light Sci. Appl. 11, 39 (2022).

14. Feng, S. et al. Fringe pattern analysis using deep learning. Adv. Photonics 1, 025001 (2019).

15. Feng, S., Zuo, C., Hu, Y., Li, Y. & Chen, Q. Deep-learning-based fringe-pattern analysis with uncertainty estimation. Optica 8, 1507–1510 (2021).

16. Yan, K., Yu, Y., Sun, T., Asundi, A. & Kemao, Q. Wrapped phase denoising using convolutional neural networks. Opt. Lasers Eng. 128, 105999 (2020).

17. Wang, K., Li, Y., Kemao, Q., Di, J. & Zhao, J. One-step robust deep learning phase unwrapping. Opt. Express 27, 15100–15115 (2019).

18. Qian, J. et al. Deep-learning-enabled geometric constraints and phase unwrapping for single-shot absolute 3D shape measurement. APL Photonics 5, 046105 (2020).

19. Qian, J. et al. Single-shot absolute 3D shape measurement with deep-learning-based color fringe projection profilometry. Opt. Lett. 45, 1842–1845 (2020).

研究团队简介

南京理工大学智能计算成像实验室（SCILab: www.scilaboratory.com）隶属于南京理工大学副校长、长江学者陈钱教授领衔的“光谱成像与信息处理”教育部长江学者创新团队，实验室学术带头人左超教授为国家“优青”、江苏省“杰青”获得者，入选Elsevier中国高被引学者、斯坦福World’s Top 2% Scientists “终身影响力”和“年度影响力”榜单。实验室致力于研发新一代计算光学成像与传感技术，在国家重大需求牵引及重点项目支持下开展新型光学成像的机理探索、工程实践以及先进仪器的研制工作。

团队在SCI源刊上发表论文160余篇，包括JCR一区论文100余篇。其中20篇论文被选作Light、Optica等期刊封面文章，17篇论文入选ESI高被引/热点论文，论文被引超过8600次。研究成果获中国发明专利68项、PCT专利20项、美国专利9项。获江苏省科学技术奖一等奖、中国光学工程学会技术发明奖一等奖。实验室研究生3人曾获全国光学工程优秀博士论文提名与江苏省优秀博士论文，获 “挑战杯”、“互联网+”、“创青春”等大赛全国金奖，“研电赛”、“物联网”全国第一名。

论文原文

Li YX, Qian JM, Feng SJ, Chen Q, Zuo C. Deep-learning-enabled dual-frequency composite fringe projection profilometry for single-shot absolute 3D shape measurement. Opto-Electron Adv 5, 210021 (2022).

‍https://www.oejournal.org/article/doi/10.29026/oea.2022.210021‍

DOI:10.29026/oea.2022.210021‍

长按识别此二维码，直达全文

免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理，所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号。

【声明】内容源于网络