论文基本信息
标题：
Transformer-based neural network enabled subpixel-resolution in wide-field meta-microscope
作者：
Shanshan Hu（南京大学 工程与应用科学学院）
Zihan Wang（南京大学 工程与应用科学学院）
Jian Li（南京大学 工程与应用科学学院）
Junyi Wang（南京大学 工程与应用科学学院）
Wenjing Shen（南京大学 工程与应用科学学院）
Jiacheng Sun（南京大学 工程与应用科学学院）
Jitao Ji（南京大学 工程与应用科学学院）
Xian Long（南京大学 工程与应用科学学院）
Xu Liu（浙江大学 光学科学与工程学院）
通讯作者： Chen Chen（南京大学 工程与应用科学学院）
祝世宁院士（南京大学 工程与应用科学学院）,详细介绍可见：[超表面领域大牛-2]南京大学-祝世宁-中国科学院院士
通讯作者： 李涛（南京大学 工程与应用科学学院），详细介绍可见[超表面领域大牛-16] 南京大学-李涛-国家杰青|南大现代工学院院长
发表时间：
2025年12月3日（其中2025年6月19日投稿，2025年10月22日返修，2025年11月24日接收）
发表期刊：
PhotoniX（JCR-Q1，IF=19.1）
论文重要图文
摘要：
在显微成像系统不断向微型化、片上化发展的过程中，最大瓶颈来自两个物理限制：其一，成像系统越小，往往越难同时兼顾视场和分辨率；其二，当超构透镜直接贴合在图像传感器上时，虽然可以省去传统显微镜中厚重的物镜组，但成像分辨率随之被严格锁死在传感器像素尺寸上，像是“用一支极细的笔在方格纸上作画”，再高的光学质量也会被像素采样不足所限制。现有方案若想提升分辨率，要么增加物镜放大倍率、牺牲视场；要么更换更小像素的传感器，成本高昂；要么引入复杂的多级光路，违背了微型化初衷。针对这些看似无法兼得的限制，南京大学陈晨|李涛|祝世宁院士团队提出了一种由超构透镜与Transformer神经网络协同实现的“计算式亚像素分辨显微框架”，让成像系统像“在固定像素网格下自动补绘细节的智能画师”，在单帧成像的前提下突破像素分辨率极限。论文中，团队首先构建了全球首个由超构透镜采集的真实甲状腺病理切片数据集，通过一对1×与3×超构透镜成像系统采集3000组成对图像，使网络学习“低分辨输入→高分辨真值”的映射关系。实验结果显示，在110 微米×110 微米视场内，Transformer模型可在约0.2 秒内完成单帧重建，结构相似度可达0.91，峰值信噪比达30 dB，相比双三次插值提升7.24 dB；重建的细胞结构与3×超构透镜真实成像分辨率（0.87 微米）高度一致。进一步地，当模型应用于20×30超构透镜阵列后，仅用9次平移扫描便获得4 毫米×6 毫米的大视场图像，其有效成像面积约为传统10×/0.25 NA奥林巴斯物镜的14.5倍，而局部分辨率与其表现近乎一致，实现了“超大视场＋高分辨率＋超薄光学”的统一。同时，该系统还成功区分了正常与疑似癌变的甲状腺区域，为未来的片上病理诊断提供了实证基础。该成果以 Transformer-based neural network enabled subpixel-resolution in wide-field meta-microscope 为题，于2025年12月3日发表于《PhotoniX》。
重要图片：
图1. 所提出的超紧凑超构透镜显微镜及其所配备的基于Transformer的神经网络的示意图。
CIS表示CMOS图像传感器。
图2.数据集采集装置架构及超构透镜表征
(a) 数据集采集成像系统的示意图。
(b) 超构透镜在1×和3×倍率下的显微镜图像，左下角插图分别显示两个透镜对应的相位分布。
(c) 数据集采集装置的照片，右下角插图为SiNx超构透镜的扫描电子显微镜图像。
(d) 超构透镜（1×）和超构透镜（3×）的实验与理论极限MTF。e 使用超构透镜（1×）和超构透镜（3×）拍摄的USAF分辨率测试卡的成像结果。
图3.混合注意力Transformer模型的结构
其由自注意力、通道注意力以及一种新的重叠交叉注意力组成，以激活更多像素以实现更佳的重建。网络使用通过超构透镜（1×）和超构透镜（3×）获取的实验图像对进行端到端训练。
图4.
(a) 由超构透镜（1×）拍摄的网络输入图像。高亮区域为两个具有代表性的兴趣区域（ROI）。
(b) 经双三次插值算法增强后的图像，其对应的PSNR和SSIM值标注于右上角。
(c) 网络输出图像，其对应的PSNR和SSIM值标注于右上角。
(d) 由超构透镜（3×）拍摄的真实图像。
（a1, a2）为输入图像（a）的放大ROI。
（b1, b2）为双三次插值图像（b）的放大ROI。
（c1, c2）为神经网络输出图像（c）的放大ROI。
（d1, d2）为真实图像（d）的放大ROI。
（a3-d4）呈现对应于放大ROI（a1-d2）的梯度图。
图5.
(a) 集成20×30超构透镜阵列的紧凑型显微镜的照片。
(b) 从部分超构透镜阵列获取的显微镜图像。
(c) 由网络输出重建得到的染色甲状腺病理切片的最终拼接全视场图像。蓝色高亮区域表示标准10×/0.25NA Olympus物镜的视场。
(d) 由基于超构透镜阵列的集成显微镜获取、对应于Olympus物镜视场的原始图像。
(e) 对应于Olympus物镜视场的网络输出。
(f) 由标准10×/0.25NA Olympus物镜获取的图像。
(g, h) 原始图像（d）的放大ROI。
(i, j) 网络输出图像（e）的放大ROI。
(k, l) 物镜图像（f）的放大ROI。
参考文献
Hu, S., Wang, Z., Li, J. et al. Transformer-based neural network enabled subpixel-resolution in wide-field meta-microscope. PhotoniX 6, 52 (2025).
https://doi.org/10.1186/s43074-025-00213-3
