南京大学的研究团队开创性地将超表面金属透镜与Transformer神经网络相结合，开发出了一种超紧凑、大视野、高分辨率的智能显微镜系统。
这项研究成果突破了传统显微镜的空间带宽积限制，在不改变硬件的前提下，通过计算成像方法实现了3倍的空间采样密度提升，分辨率接近0.87微米，为便携式医疗诊断带来了全新可能。
第一作者：Shanshan Hu (胡珊珊)
其他作者：Zihan Wang, Jian Li, Junyi Wang, Wenjing Shen, Jiacheng Sun, Jitao Ji, Xian Long, Xu Liu, Shining Zhu。
本文的核心方法是构建一个超透镜集成显微镜系统，并训练基于Transformer的神经网络进行图像重建。系统设计如图1所示，采用超透镜阵列与CMOS图像传感器直接集成，实现单位放大成像，从而最大化视场利用率。为了克服传感器像素尺寸导致的欠采样问题，作者设计了一种数据采集策略，使用两个不同数值孔径（NA）的超透镜分别捕获低分辨率（单位放大）和高分辨率（三倍放大）图像对，构建首个实验性超透镜采集的甲状腺病理切片数据集。这一数据集为神经网络训练提供了真实世界的配对样本，确保了模型的实用性。
图 1 为所提出的配备基于变压器的神经网络的超紧凑型金属透镜显微镜的示意图。CIS 指的是 CMOS 图像传感器。
数据采集设备的架构如图2所示，系统采用多层集成设计，超透镜和圆偏振滤波器固定在CMOS传感器上，通过光学透明胶带调节成像距离。超透镜基于Pancharatnam-Berry相位设计，纳米柱结构在470纳米波长下实现高偏振转换率。作者表征了超透镜的调制传递函数（MTF）和分辨率，显示其与理论衍射极限一致，其中单位放大透镜的分辨率受像素尺寸限制为1.74微米，而三倍放大透镜达到0.87微米，为神经网络训练提供了可靠的地面真值数据。
图 2 数据集采集设备架构及金属透镜特性描述
神经网络模型采用混合注意力Transformer（HAT），其架构如图3所示，该模型通过自注意力、通道注意力和重叠交叉注意力机制捕获长程依赖性和局部细节，实现从低分辨率输入到高分辨率输出的端到端映射。训练使用绝对误差损失和梯度损失组合，确保重建图像在结构和边缘细节上的保真度。模型训练基于实验数据集，通过图像配准和数据增强优化对齐精度，最终实现快速单帧重建，每张图像处理时间约0.2秒。
图 3 混合注意力 Transformer 模型的架构。该模型由自注意力机制、通道注意力机制以及一种新的重叠交叉注意力机制组成，旨在激活更多像素以实现更出色的重建效果。该网络采用端到端的方式进行训练，使用的是通过金属透镜（1 倍放大）和金属透镜（3 倍放大）获取的实验图像对。
实验结果显示，训练后的神经网络在测试数据集上表现出色。如图4所示，低分辨率输入图像通过模型重建后，结构相似性指数（SSIM）达到0.91，峰值信噪比（PSNR）提升至30分贝，显著优于双三次插值算法。重建图像清晰揭示了细胞亚结构，如细胞核和空泡细节，梯度图比较表明模型有效恢复了高频信息，而插值方法则存在伪影。这一结果验证了模型在亚像素分辨率重建上的高保真度，分辨率接近地面真值的0.87微米。
图 4 a 由金属透镜捕获的网络输入图像（放大倍数为 1 倍）
作者进一步将模型扩展至超透镜阵列系统，实现宽场成像。系统如图5a所示，包含20×30子透镜阵列，视场达4毫米×6毫米。通过9次扫描拼接，重建的全场图像（图5c）分辨率与奥林巴斯10倍物镜（NA=0.25）相当，但视场扩大约14.5倍。图5d-f的对比显示，模型输出清晰呈现了甲状腺组织的细胞形态，正常区域细胞稀疏伴大空泡，而疑似癌变区域细胞核密集，证明了系统在病理诊断中的潜力。这一成果凸显了计算成像在保持紧凑设计的同时，实现高通量生物医学应用的可行性。
图 5 a 一款集成了 20×30 金属透镜阵列的紧凑型显微镜的照片。b 从金属透镜阵列的一部分获取的显微镜图像。c 由网络输出重建的染色甲状腺病理切片的最终拼接全视野图像。蓝色突出显示的区域表示标准 10×/0.25NA 奥林巴斯物镜的视场。d 基于金属透镜阵列的集成显微镜获取的原始图像对应于奥林巴斯物镜的视场。e 网络输出对应于奥林巴斯物镜的视场。f 标准 10×/0.25NA 奥林巴斯物镜获取的图像。
总结
本文成功演示了一种计算成像框架，通过神经网络提升超透镜显微镜的分辨率，而无需复杂硬件升级。该方法在保持系统紧凑性的同时，实现了宽场亚像素成像，为便携式诊断设备提供了实用方案。作者指出，未来工作可优化超透镜设计以提升地面真值质量，或结合跨模态训练增强模型泛化能力。尽管模型在多数组织上表现良好，但对形态差异样本的适应性仍需进一步探索。总体而言，这项工作为智能紧凑成像系统设立了新标杆，在生物医学成像和即时诊断等领域具有广阔前景。
文献信息
Hu, S., Wang, Z., Li, J. et al. Transformer-based neural network enabled subpixel-resolution in wide-field meta-microscope. PhotoniX 6, 52 (2025). https://doi.org/10.1186/s43074-025-00213-3
免责声明
本文旨在传递和分享科研资讯，仅供个人学习、参考和学术交流使用，不作为商业用途，文中所引用文献已指明作者及来源。本文中所出现的所有图片均为转载，由于水平有限可能存在解读不准确等问题，仅代表作者个人观点。如有侵犯原作者/共作任何相关利益，请联系公众号删除。