左超1,2，张晓磊3，胡岩1,2,3，尹维1,2,3，沈德同3，钟锦鑫1,2,3，郑晶3，陈钱2*
1. 南京理工大学电子工程与光电技术学院智能计算成像实验室 (SCILab)
2. 南京理工大学江苏省光谱成像与智能感知重点实验室
近年来，数字光投影器、空间光调制器、光探测器等光电成像器件，高性能计算机、嵌入式处理器等运算处理单元，数字信号处理、计算机视觉、机器学习等研究领域跨越式的发展，为光学三维成像与传感技术的进一步发展开启了更广阔的空间和机遇，相关的新机理、新体制、新技术、新应用不断涌现。
尤其是随着人脸识别、AR/VR等应用在生活中的不断深入，结构光三维传感技术将迎来爆发期。三维传感技术不仅孕育着一个被低估的市场，它也将是未来基建的重要组成部分，为人们带来更加智慧的人工智能、精确安全的人脸支付、身临其境的游戏体验、安全高效的社会运转以及更加有温度的虚拟社交等。它还有望颠覆性地改变人与机器、人与人的交互形式，成为无处不在的一种生活方式。那么，三维光学传感技术和典型应用有哪些？未来发展方向如何？今天，让我们一起走进三维结构光的精彩世界。
01
何为三维光学传感技术？
三维传感技术从感知方式上分类可以分为接触式测量和非接触式测量。
接触式测量主要依靠标定的被动机械臂直接接触物体表面，逐点对物体轮廓数据进行釆集，对其形态信息进行三维测量。这种方法的优点是测量精度高，可达到微米级别。但是其缺点也包括了测量效率低，不适合形态复杂物体测量，对测量环境要求较高等。
非接触式测量主要指依靠光、声、电磁学等方式接触物体表面以获取物体三维信息的方法。而其中基于光学的三维测量技术是目前最典型也是应用最广泛的三维传感技术。
如图1所示，典型的光学三维传感技术主要包括光度立体视觉、双（多）目立体视觉、飞行时间法、激光线扫法、散焦恢复形状法、结构光投影法等，而结构光投影法又包括条纹投影法与散斑投影法等。
图1 典型的光学三维传感技术
光度立体视觉法：设备较简单，但对环境要求严格，并需要待测物表面为严格平滑的漫反射朗伯体，对于具有陡变或者反射特性较为复杂的物体难以适用。
（被动）立体视觉法：结构简单，易实现。其主要难点在于立体匹配，实际应用中由于遮挡或阴影的影响，可能会产生视觉信息不足的问题，导致误匹配。另外，对于无明显表面特征的物体，也难以从多个视角中找到对应点，因而无法进行准确的三维重建。
飞行时间法 (ToF)：通过记录光束传播时间来计算被测物体表面的深度距离。该方法可避免阴影和遮挡带来的问题，但由于设备装置的限制，测量精度一般在毫米级。若想达到更高的精度，就需要更加复杂、昂贵的设备。虽然许多学者尝试将飞行时间法与多视几何相结合来提高测量空间分辨率与测量精度，但与高精度测量方法相比，飞行时间法还存在一定的差距。
激光线扫法：是一种最简单的结构光三维测量技术。该方法的优点是其数据采集不依赖外部光照环境，对目标场景要求低，操作简单直观，自动化程度高。但由于激光扫描仪本身技术的限制，它也存在以下不足：扫描速度较慢，激光扫描仪造价高：其最高精度和最大扫描距离是固定的，无法像摄影测量那样通过方案设计来得到提高：无法获取高质量纹理数据等。宽泛意义上来说，激光线扫法其实是结构光投影法的一种极端特例。但由于投影图案就是一条直线，所以测量效率要比全场结构光技术低得多。
散焦恢复形状法(SfD)：是通过处于不同深度方向物体在图像中离焦的程度来恢复物体的深度值，测量过程中需要移动被测物或是相机，拍摄至少两张不同聚焦程度的图像。利用该方法测量时很少会受到遮挡与阴影的影响，并且计算过程较为简单，在不依赖于高性能硬件条件下便可以实现实时动态三维面形测量（图2）。然而，该方法的深度测量精度还有待进一步提升。
结构光投影法：这是一种非常流行的非接触式三维形貌测量技术，其具有硬件配置简单、测量精度高、点密度高、速度快、成本低等优点，已在工业和科学研究中得到广泛应用。从本质上讲，结构光投影法可以看作是立体视觉法的一种改进形式。但相比于立体视觉法，其最大优点在于可以很容易地克服立体视觉中的立体匹配问题。在过去的几十年中，基于结构光投影法的三维形状测量技术在计算机视觉和光学测量领域得到了迅速发展。在计算机视觉领域中，结构光投影技术通常被称为3D扫描。
此外，还有学者提出使用红、绿、蓝三通道的彩色图案或彩色多路复用结构光投影法，来提高编码效率并减少三维重建所需的结构光图案。由于数字光学投影仪的快速发展，使得所投影的面结构光可以通过计算机编程更为灵活地进行选择，并最大限度地提高测量精度和速度，这些优点使结构光投影技术成为最具潜力的三维面形测量技术之一。
1）条纹投影轮廓术
在光学测量领域，最具代表性的结构光投影技术被称为条纹投影轮廓术（FPP），具有结构简单、精度高、速度快、成本低、易实现等优点，其在工业和科学研究领域都有较广泛的应用。（时域）相移轮廓术（PSP）和（空域）傅里叶变换轮廓术（FTP）是FPP中两种主要的相位测量技术。随着高帧率图像传感器、高性能处理器和高速数字投影技术的发展，PSP已逐渐应用于动态场景的高速实时三维测量。由于现代电子设备的高速发展，数字投影设备和采集设备的速度越来越快，结构光条纹投影技术的应用可完全满足三维面形的高速实时测量要求。
2）散斑结构光投影法
02
散斑结构光三维传感技术的典型应用
人脸识别
目前人脸识别市场（图3）的解决方案主要是二维人脸识别，但由于人的脸部并非平坦，因此二维人脸识别在将三维人脸信息平面化投影的过程中存在特征信息损失。三维人脸识别使用三维人脸立体建模方法，可最大程度保留有效信息，因此三维人脸识别技术更为合理并拥有更高精度。以散斑结构光为代表的3D摄像头技术与人脸识别技术需求最为匹配。
图3 无处不在的刷脸支付终端
人机交互
回顾人机交互发展，它实际上是一段不断改造机器解放人的历程。现如今，大尺寸触控显示屏已经是大多数智能终端的标配。但是，触控显示屏的局限性非常明显：手指必须接触于屏幕表面，无法离开屏幕工作，这极大地限制了用户的使用空间和灵活性。三维传感器技术正响应了手势输入的需求，利用3D摄像头获取影像深度信息，通过算法处理对用户手势进行识别，从而实现用户手势输入（图4）。
图4 3D手指追踪器Leap Motion
场景建模
随着VR/AR技术的不断成熟，以及VR/AR产品的不断普及。不管是VR还是AR，都需要将实体场景进行数字化，这需要借助摄像头扫描现实物体，从而构建虚拟的图像画面。基于传统的2D摄像头通过不同角度的二维图像重建场景中的三维模型，真实感低；传统的三维建模需要较高的时间及人力成本。而3D摄像头的出现则解决了以上问题，使得三维重建效率、效果有了很大提升。目前，3D场景建模，在房产、旅游、电商等行业已经逐渐开始应用（图5）。
图5 3D相机空间猎者N500
03
散斑结构光三维传感技术现存问题
目前为止，散斑结构光三维测量的基本原理与理论问题都已得到了较好的解决，发展到了成熟阶段，算法层面引入的较大计算量也可以通过专用的处理芯片解决。现如今散斑3D结构光传感器在消费级市场的进一步发展与应用主要面临以下几个方面的挑战。
匹配算法上全局唯一性与精度的权衡
散斑结构光全局唯一性与空间分辨率之间的矛盾是限制其精度的一大关键技术瓶颈。实际上，目前也有许多算法针对该问题进行了改进优化，如根据不同的区域自适应地选取的窗口大小来在分辨率与测量鲁棒性上保持良好的折衷。但是3D结构光传感器在消费级市场的发展，实际的挑战在于将PC端的成熟算法移植到移动端平台；又因为要在实际应用中需要保证匹配结果比较鲁棒，所以算法中会增加大量的错误剔除策略，因此进一步增加了可靠商用的难度。
小型化、低成本与高精度之间的制约
3D结构光传感器在消费级市场的发展，特别是手机这种移动设备，由于尺寸的限制，3D传感器的尺寸无法做大。另一方面，由于3D结构光传感器涉及较多的硬件部分，需要红外发射激光器、红外接收摄像头、可见光摄像头、图像处理芯片四大部分的协同合作。特别是红外光的发射与接收之间的匹配，对整个3D视觉方案的识别效果和准确度至关重要，因此整个系统模组的封装和集成是非常关键的。
而在算法硬件平台方面，虽然目前已经较多的国内厂家向市场投入了几款通用的投影组件，但其标准化的投影图案并不能满足所有用户的需求，特别是在算法上有具体要求的客户。另外，全定制化ASIC具有较高的技术壁垒，全球范围内可以提供ASIC芯片方案的公司只有少数的几家。实际上，有许多供应链厂家可以根据客户需求订制某个零部件，但是一个模组的设计先后要经历整套光学参数设计，性能仿真，散斑设计。如果想根据自主需求订制特殊的投影模组，则需要足够专业的团队与供应链上下游协同配合。
来自于ToF等其它技术的挑战
结构光技术功耗小，深度图分辨率较高，适合短距离场景（特别在1 m内有很大优势），可兼容输出二维纹理图，但结构较为复杂、尺寸较大，在应用上更适于前摄，不适用于远距离深度信息采集。ToF方案尺寸小、干扰性较好，视角较宽（中长距离使用），缺陷是功耗高，精度及深度图分辨率较低，比较适合于选择作后摄。
ToF从算法、生产成本以及Diffuser的设计制作难度，更受众多国内手机厂商的青睐。但从产业链来看，ToF技术对光学传感芯片要求更高，而目前国外传感器芯片厂商在国内ToF产业链中占据着主导地位。期待国内企业自主研发的ToF传感器能够早日占领市场，并能够提供高分辨率、高精度的3D数据。
本文经获作者授权，改编自《红外与激光工程》期刊上发表的“3D真的来了吗？——三维结构光传感器漫谈”一文，原文请点击文末的“阅读原文”查看。
特色栏目
免责
声明