光谱成像旨在获取目标场景空间-光谱三维数据立方体，可以显著提高对目标的识别和分类能力，广泛应用于诸多军事和民用领域。传统光谱成像技术多基于奈奎斯特采样理论构建，受制于三维数据立方体和二维传感器阵列之间的矛盾，难以兼顾空间、光谱和时间分辨率。计算光谱成像基于压缩感知理论体系，首先通过光学系统对三维数据立方体进行光场编码压缩投影，然后通过光谱重建算法实现三维数据立方体解码，可实现兼顾空间、光谱和时间分辨率。光场编码和算法解码是计算光谱成像中最重要的两个方面，也是不同研究提出的方法之间的主要差异。随着光学加工、数值优化和机器学习等领域的不断创新和进步，各种计算光谱成像方法不断涌现，内容纷繁复杂。鉴于此，该文对近十几年来的计算光谱成像研究进行了详细地归纳整理，在统一的理论框架下分别阐述了不同的光场编码和重建算法类别以及它们之间的区别与联系。旨在让读者系统、全面地认识，同时也希望为该领域的创新和发展带来启发。

计算光谱成像系统的主要组成及工作原理如图1所示。目标场景发出的光谱分布经过具有编码功能的光学系统调制后，图像传感器采集被压缩、编码的光信号并将其转换为电信号，最后由光谱重建算法从测量到的数据中重建完整的光谱图像。

图1 计算光谱成像系统的主要组成及工作原理

光场编码和算法解码是计算光谱成像的两大关键技术，通过光学端的光场编码，传感器上所成的图像蕴含着丰富的光谱信息，最后通过光谱重建算法从被编码的二维测量图像中解码出三维光谱图像。

为了从二维测量图像中重建光谱图像，计算光谱成像的光学系统必须在空间上复用光谱信息，即进行光场编码。根据编码方式的不同，计算光谱成像可以分成三类：像面编码、点扩散函数编码和光谱响应编码。

像面编码

像面编码的主要思路为：先由物镜将景物成像至某一中间像面，在该像面上通过遮挡像素的方式剔除一部分冗余信息，然后在空间上复用光谱信息，以便于进行光谱重建。在实际系统中采用各种空间光调制器实现像素遮挡的功能，主要包括透射式的镀铬石英玻璃板，以及反射式的数字微镜阵列和硅基液晶等；其共同特点是划分为一个二维像素阵列，每个像素可独立决定是否透光（对反射式来说，是否反射到后续光路）。像面编码中最经典的是编码孔径快照式光谱成像仪（Coded Aperture Snapshot Spectral Imager，CASSI），如图2所示。CASSI 类系统除了在中间像面进行空间编码外，还利用色散元件对数据立方体进行剪切，以实现光谱信息的空间复用。

点扩散函数编码

点扩散函数（Point Spread Function，PSF）编码指的是通过额外的光学元件改变系统的 PSF，利用 PSF 随波长变化的特点实施编码，进而重建数据立方体（见图3）。PSF 编码主要基于波动光学，物理实现上一般利用具有一定微结构的衍射光学元件（Diffractive Optical Element，DOE）来改变入射光波的振幅或相位分布，进而得到有利于进行光谱重建的 PSF。除此以外，也可采用不规则散射介质或简单的色散元件实现随波长显著变化的PSF。PSF 编码的优点是不需要实现显式编码的各种光学元件，光学系统简单紧凑，可以实现系统的小型化、轻量化，甚至可以直接将现有日常使用的成像设备改造为光谱成像设备。

光谱响应编码

图像传感器本身只能记录每个像素位置的总光强，并不能区分不同波段光的强度，输出的是单张二维灰度图像。为了实现彩色成像，可以将每个像素分配到某个颜色通道，并在每个通道的像素上覆盖一种滤光器件，使其具有特定的光谱响应函数（Spectral Response Function，SRF）。各个通道采用窄带滤波或者特殊设计的光谱响应形成了光谱滤波阵列（spectral filter array，SFA），根据不同通道提供的互补信息重建光谱图像。除SFA外，也可以通过采用多孔径同时成像实现的空间复制、或切换滤光片实现的分时采集来获取多通道图像，如图4所示。作为此类方法的主要关注对象，SRF 的设计方法是研究的重点。研究人员可以通过设计端到端协同优化框架来对SRF和光谱重建网络同时进行优化，提高编码效率和分辨率。

光谱重建算法的任务是从传感器记录的信息反推出光谱信息，这一般是一个高度欠定的问题，但在 CS 理论的支撑及机器学习的帮助下是可行的。现有的光谱重建算法可以分为基于物理模型与先验知识的方法，和基于深度学习的端到端重建两类。

所谓先验知识，即某种对目标信号固有规律的、不依赖于特定光谱图像实例的假设。在满足或近似满足光谱成像的物理模型基础上，可以找出与先验知识符合最好的一个解、以解决欠定问题。数学上，一般以正则化（Regularization）项的形式设定先验，这些先验知识包括号的稀疏性、图像梯度的稀疏性、局部相似性等，由此被设计出的算法有稀疏逼近、全变分约束、低秩结构、张量分解和先验学习等。

随着深度学习技术的快速发展，神经网络的拟合能力越来越强大，这使光谱图像的高质量端到端重建成为可能。端到端重建利用神经网络直接从被编码的图像中重建三维光谱图像。由于不需要迭代地进行高维线性代数运算，端到端重建的速度极快，常见的神经网络在 GPU 上进行单次重建所需时间的数量级约为数 0.01~10 秒。如何设计神经网络架构，是此类方法中最核心的问题。研究中使用最多的是卷积神经网络（Convolutional Neural Network，CNN），用若干卷积核与输入的特征图卷积以提取特征。早期的端到端重建方法将这些组件堆叠在一起组成简单 CNN，就可以得到不错的效果。之后又出现了如U-Net这样的多尺度CNN，在卷积处理特征的同时不断下采样，取得了较高的重建质量。此外，生成对抗网络、注意力机制等也被研究人员应用到光谱重建算法中去，并取得了良好的重建效果。（见图5）

经过近二十年的发展，计算光谱成像技术已经取得了长足进步，然而我们也应认识到，从现有技术到商业化落地仍有一定距离。多数研究的结果仍然局限于特定应用场景、实验室甚至是模拟中，它们在实际应用中的效果还需要大量的实验印证。另外，许多实现光场编码的器件需要复杂技术加工，或具有高昂的成本，或导致系统变得庞大笨重，系统的校准和鲁棒性也需要改善；而端到端光谱重建算法尽管已经显著提高了重建速度，但神经网络的计算量对资源受限的设备来说仍然难以接受。这些问题都阻碍了相关技术的实际应用。但作为当今光学成像、特别是计算成像领域最受关注的研究方向之一，计算光谱成像仍然具有广阔的发展空间，近几年的发展尤其迅猛。光学、数学、计算机科学和人工智能等交叉学科的最新进展都可能提供新颖的理论工具和技术手段，特别是超表面等先进器件和深度学习的发展前沿都为上述问题提供了解决方案。

同济大学精密光学工程技术研究所始建于2002年，面向世界科技前沿和国家重大需求，在X射线器件与系统、强激光薄膜与应用、光学纳米计量与测试、微纳光学与智能感知四个研究方向上取得了突出的研究成果。近五年，研究所承担了国家自然科学基金委创新研究群体、重大项目、国家科技重大专项、国家重点研发计划项目等一批国家和地方重大重点科研任务；并在Nature系列子刊、Advanced Materials、Science Advances、Optica等期刊发表多篇学术文章；获国家发明专利100余项，实现专利技术转移转化8项；先后获2016和2019年度国家技术发明奖二等奖、2018年度国家发明专利金奖等科技奖励。

香港大学计算成像和混合呈现实验室（WeLight@HKU）由香港大学电气与电子工程系和计算机科学系助理教授 Yifan (Evan) Peng任PI，研究方向为硬件-软件协同设计在成像、感知、显示、虚拟和增强现实等领域的应用。实验室PI担任包括IEEE, ACM, OPTICA, SPIE, SID等数个领域内多个顶级国际会议程序主席、程序委员、分场主席等，发起计算光学领域新锐学术公众号 IntelligentOptics，担任图形学领域期刊Computers & Graphics编委，图形学和增强现实线上交流平台GAMES执委。