近日，中国科学院长春光机所李炜团队联合纽约市立大学Andrea Alù教授、吉林大学白天教授等合作者，提出了一种尺寸选择性图像处理的光学解决方案，通过选择合适的k空间带通光学传递函数（OTF）对不同频率下的信息进行调制，实现了高分辨率的尺寸选择性边缘检测和实时动态去噪。相关成果以“Nonlocal flat optics for size-selective image processing and denoising”为题发表于《Nature Communications》。
边缘检测是全光学图像处理中的重要环节，同时也是目标识别及机器视觉领域的关键预处理步骤，其能够突出图像中的主要信息，有助于更高效地识别特定目标。然而，利用纳米光子器件实现的空间微分器会对整个图像的物体进行并行边缘检测，导致与背景噪声和杂波相关的边缘可能放大，导致误报或识别性能下降。因此，如何针对特定尺寸目标进行选择性地增强，同时排除不需要的噪声和杂波是当前该技术领域的主要难题之一。
针对上述难题，研究团队提出了一种实时尺寸选择性图像处理的光学解决方案——用k空间带通光学传递函数对不同频率下的信息进行调制，可以实现尺寸选择性图像处理。基于该思路，团队以简单的非局域MDM薄膜为例，实现了人造目标和动态活生物细胞的实时尺寸选择性边缘检测和去噪，拓展了非局域平面光学元件在模拟图像处理中的应用范围，为超紧凑、低成本、多功能图像处理器开辟了新道路。
1 一种尺寸选择性图像处理的光学解决方案
研究团队发现利用k空间带通光学传递函数对不同频率下的信息进行调制，可以实现尺寸选择性图像处理。如图1所示，不同的k空间矩形带通光学传递函数（H（kr）），能够调制与不同尺寸目标相关的特定空间频率——这种调制通过配置带通数值孔径（NA）的范围（NA1-NA2）实现。该方案便于实现差异化图像处理，包括尺寸选择性边缘检测（红色、黄色和绿色部分）和针对不同尺寸目标的定制去噪（蓝色部分）。
图1 实现k空间矩形带通滤波器运算的尺寸选择性成像处理器
2 矩形带通滤波器设计
值得注意的是，这一类基于k空间带通光学传递函数的尺寸选择性图像处理器能够很容易地用各类光子结构实现。如图2所示，研究团队以非常简单的金属-介质-金属（MDM）结构为例，模拟了650nm波长下不同入射波矢处的电场，只有当相位匹配（NA = 0.5）时才能得到最大透射率，且所设计的OTF在三个工作波长下表现出高斯型带通滤波。计算结果表明，三个选定工作波长下的透射系数的振幅实现了近似矩形带通功能，同时，实验测量的波矢相关透射光谱结果也与仿真结果非常吻合。
图2 基于非局域MDM薄膜的尺寸选择性图像处理器
3 人造目标尺寸选择性成像
研究团队通过成像实验，进一步验证了处理器在选择性边缘检测与去噪方面的性能：红光和绿光下的空间分辨率优于前人工作，蓝光可有效抑制<0.3 μm噪声，并进一步展示了红光和绿光下各种字母和形状的人造目标的尺寸选择性边缘检测能力。对“RGB”字母、“卫星”、二维码以及具有各种形状的图案中尺寸为0.3 μm噪声的去噪效果也进一步表明：相较于明场成像，所提出的处理器有效地实现了对目标周围的噪声消除。与传统的光学去噪方法相比，这种方式能对较大尺寸范围内不同大小的噪声均实现去噪，同时具有易于对准和制造等优势，此外，去噪效果不受噪声的位置影响，使得该处理器在大面积实时动态去噪场景中具有潜力，如图4所示。
图3 利用人造目标表征尺寸选择性成像处理器
图4 噪声位置不同目标的去噪效果
4 活体生物细胞实时尺寸选择性成像和目标识别
研究团分别对不同尺寸的酵母细胞（~3 μm）与西塔尔牛精子细胞（~1 μm）在单独及混合状态下的进行了尺寸选择性边缘检测，其中：红光下酵母细胞边缘被显著增强，而绿光下精子细胞的边缘则得到显著增强。同时，进一步验证了所提出选择性图像处理器的实时去噪功能：针对银颗粒包围酵母细胞，当未在光路中插入处理器时噪声显著，插入后则噪声大幅降低。不同时刻下，针对酵母细胞内外的纳米细菌的尺寸选择性去噪，体现了处理器的实时去噪与成像增强能力。
图5 针对动态生物细胞中实时尺寸选择性成像表征
5 尺寸选择性处理提升目标识别性能
边缘检测和去噪在目标识别中至关重要，研究团队利用VGG-16构建了字母识别模型，分析了该模型对全边缘提取和尺寸选择性边缘检测处理后识别目标的训练效果，以及未去噪和去噪后识别目标的训练效果，结果表明在目标识别任务中，尺寸选择性成像可以有效提高目标识别任务的训练效率。
图6 通过尺寸选择性图像处理和去噪提高目标识别效率
研究团队通过引入k空间带通光学传递函数，提出了一种基于目标尺寸的选择性图像处理器。利用非局域薄膜对k空间带通光学传递函数进行模拟，成功实现对人造目标与动态活体生物细胞的高分辨率尺寸选择性边缘检测与实时动态去噪，其在生物成像与目标识别领域具有巨大的应用潜力。同时，该处理器可与显微物镜等成像系统轻松集成，实现无需对准的超紧凑图像处理系统。得益于非局域薄膜的连续调制特性，该方法可以实现对工作波长数目与k空间带通滤波范围的任意扩展，还可利用光子晶体、超表面等各类光子结构来取代薄膜，进而提升光传递函数性能，并为特定数值孔径场景提供更高操作灵活性。结合波矢域响应调控能力，该方法可与高维光场探测、空间压缩与距离测量等功能相集成，实现更高集成度的图像处理系统。
本研究获国家自然科学基金重点项目和西蒙发展基金会等支持。
