近日，来自加州大学洛杉矶分校的Aydogan Ozcan团队，提出了一种基于深度学习的对体内皮肤组织进行虚拟染色的方案。该方案在非侵入性的光学成像技术的基础上，能够将未染色的体内皮肤组织细胞图像快速转换为具有微观分辨率的染色组织图像，从而实现表皮，真皮-表皮交界处以及浅表真皮层的可视化。这种方案有助于更快速地诊断恶性皮肤肿瘤并同时减少侵入性的皮肤活检。
在过去的几十年间，医学成像技术的进步显著减少了在医疗实践中对侵入性活检和探查手术的需求。然而，用于无创诊断皮肤病的成像技术则进展缓慢。皮肤癌是最常见的癌症种类，并且也是在晚期被发现时致死率最高的癌症之一。全球每年用于区分基底细胞癌，良性皮肤肿瘤，黑色素瘤以及良性黑色素细胞痣的侵入性活检占了全球活检总量的很大一部分。因此，针对皮肤病的非侵入性成像能够防止不必要的皮肤活检，同时改善皮肤癌的早期检测过程。
目前，许多先进的光学技术被开发用于皮肤癌的非侵入性成像，包括反射共聚焦显微镜（Reflectance Confocal Microscopy, RCM）、光学相干断层扫描（Optical Coherence Tomography, OCT）、多光子显微镜（Multiphoton Microscopy）等等。目前，RCM 被认为是临床上最有效的光学成像技术，大量的皮肤科医生使用它来区分良恶性皮肤病变。但是，对RCM图像的准确解释仍然存在一些困难，虽然黑白对比图像可用于区分细胞类型和微观结构细节，但体内RCM 不会以类似于传统组织学显微评估的方式显示皮肤细胞的核特征。尽管利用多模态离体荧光可以使用荧光造影剂产生具有核形态的数字彩色图像，然而这些试剂并未在体内与RCM一起使用。如果没有核造影剂，对于评估细胞学异型性至关重要的核特征是无法辨别的。此外，RCM技术的灰度图像输出和水平成像轴给习惯于在垂直平面上用核形态解释组织病理学的医生群体带来了额外的挑战。结合起来，与标准护理活检和组织病理学相比，这些基于可视化的局限性对 RCM 的广泛采用构成了障碍。
因此，对于基于RCM的皮肤组织成像在可视化方向的改进，有利于更多的医生群体以更方便快捷的方式来诊断皮肤病变情况，具有重大的社会价值与现实意义。
苏木精伊红染色（Hematoxylin and Eosin, H&E）方法是评估皮肤病理最为常见的可视化手段。因此，将通过非侵入性皮肤组织成像和诊断设备获得的图像转换为类似H&E染色形式的虚拟“光学活检“能够有效增强诊断皮肤病理状况的可解释性，且无需传统H&E染色所需的活检过程。
本研究提出了一种基于深度学习的皮肤组织染色框架，以快速实现对未染色皮肤组织的虚拟组织成像。在该框架的训练阶段，研究团队使用带有和不带有醋酸核对比染色的皮肤组织的RCM图像来训练深度卷积神经网络（Convolutional Neural Network, CNN），并使用生成性对抗网络（Generative Adversarial Network, GAN）与注意力门模块（Attention Gate Module）处理皮肤组织的三维空间结构（图一）。
研究团队首先在醋酸染色过程中获得了离体皮肤组织标本的延时 RCM 图像堆栈，以标记细胞核。通过将神经网络在此数据集上进行高度有监督训练，神经网络得以将无标签 RCM 图像中的 3D 特征映射到其组织学对应物，最终实现无标签、未染色的皮肤组织图像准确地配准到相应的醋酸染色的三维皮肤组织图像。经过训练后，这种虚拟染色框架能够将体内皮肤组织的RCM 图像快速转换为正常皮肤、基底细胞癌和具有类似H&E染色对比度的色素沉着黑素细胞痣的虚拟染色的三维显微图像（图二-图四）。
与传统的组织化学处理和染色的组织切片相比，研究团队所提出的框架展示了在 H&E组织成像中观察到的类似形态特征。通过 RCM 等非侵入性成像技术对未经处理的皮肤进行体内虚拟染色，这对于快速准确诊断恶性皮肤肿瘤具有变革性意义，同时还可以减少不必要的皮肤活检，显著节约了临床的时间与医疗材料成本，具有重要的社会意义与应用前景。
图一：皮肤病理学的常规（上）与无需活检的虚拟组织学染色程序（下）。（上）标准组织活检，组织固定，处理核显微镜载玻片观测染色结果，最终用于病理解释。（下）通过使用训练好的深度神经网络，该网络将一堆未染色完整皮肤的 RCM 图像作为输入，并立即生成相应的虚拟染色组织图像。据报道，基于深度学习的皮肤虚拟组织学可以提供一种独特的免活检途径，无标签的临床皮肤病学诊断。每次将一堆 7 个轴向相邻的 RCM 图像输入到经过训练的深度神经网络VSAA中，并转换为与输入堆栈中心图像相对应的醋酸虚拟染色组织图像，这样 N个图像的堆栈就可以用于生成轴向相邻的 N-6 虚拟染色 3D 输出图像。在这种醋酸虚拟染色之后，经过训练的深度神经网络 (VSHE) 进一步执行伪 H&E虚拟染色步骤。
图二：真皮-表皮交界处周围皮肤组织区域的 3D虚拟染色结果及其与真实情况、实际醋酸染色的比较。（a-d）无标记 RCM 图像显示了真皮-表皮交界处不同深度的离体皮肤组织区域，没有任何染色，用作网络输入。(b)(c)和(d)的深度分别比(a)深12.16，24.32以及36.48微米。（e）组织区域的 RCM 图像的横截面，包括（a-d）。用不同颜色的线表示（a-d）的位置深度。（f-i）深度神经网络VSAA生成的与(a-d)相同组织面积和深度的醋酸虚拟染色结果。（j）是醋酸虚拟染色结果的图像横截面，包括使用醋酸虚拟染色生成的组织图像 (f-i)。（k-n）使用醋酸虚拟染色得到的组织图像 (f-i) 生成的伪H&E虚拟染色结果。这些类似 H&E的图像由伪H&E 虚拟染色网络VSHE生成，该网络将未染色组织的 RCM 图像 (a-d)和醋酸虚拟染色的组织图像(f-i)作为输入（由图中实心箭头示意）。（o）伪 H&E 虚拟染色组织图像的横截面，包括 (k-n)。（u-x）在实际醋酸染色过程后与 (a-d) 相同组织面积和深度的 RCM 图像，作为(f-i)的真实图像。（y）显示了用乙酸染色的组织图像的横截面，包括 (u-x)。（p-s）使用实际醋酸染色图像(u-x)生成的伪 H&E虚拟染色结果。这些类似 H&E 的图像由相同的伪 H&E 虚拟染色网络VSHE生成，该网络将未染色组织的RCM图像(a-c)和实际醋酸染色图像(q-s)作为输入（由虚线箭头示意）。（t）显示了伪 H&E虚拟染色组织图像的横截面，包括使用实际醋酸染色图像生成的(p-s)。底部图像提供了图像某些部分的放大视图，以便更直观地比较细节。
图三：对皮肤组织样本的虚拟醋酸染色结果进行定量分析。（a-e）虚拟醋酸染色的皮肤组织图像（蓝色）与使用实际醋酸染色获得的相应真实图像（橙色）之间测量的核形态参数的统计分布的定量比较。图中展示了五个用于比较的指标：（a）核大小，（b）对比度，（c）离心率，（d）浓度和（f）紧密度。统计结果涵盖了从共计176 个正常皮肤的离体组织图像中检测到的 96,731 个细胞核。（f-g）显示了 PCC 和 SSIM 值的统计分布，这些值是通过将虚拟染色（醋酸）组织图像与其相应的实际醋酸染色地面实况图像进行比较来测量的。在上面展示的所有图中，从上到下的虚线分别代表 75%、50%（中位数）和 25% 的四分位数。
图四：不同类型的离体皮肤组织区域的虚拟染色结果及其与真实情况、实际醋酸染色的比较。（a-c）三种不同类型的离体皮肤组织区域的无标记 RCM 图像，包括（a）正常皮肤，（b）黑色素细胞痣和（c）含有基底细胞癌的皮肤，用作虚拟染色神经网络的输入.（d-f）深度神经网络VSAA生成的（a-c）中相同组织区域的醋酸虚拟染色结果。（g-i）使用醋酸虚拟染色的组织图像(d-f)生成的伪H&E虚拟染色结果。这些类似H&E染色的图像由伪H&E虚拟染色网络VSHE生成，该网络将未染色组织的RCM图像(a-c)和醋酸虚拟染色的组织图像(e-g)作为输入（由图中下方实线箭头示意）。（m-o）实际醋酸染色后与(a)-(c)相同组织面积和深度的 RCM图像，作为(d-f)的真实图像。（j-l）使用实际醋酸染色图像(m-o)生成的伪 H&E虚拟染色结果。这些类似 H&E的图像由相同的伪 H&E 虚拟染色网络VSHE生成，该网络将未染色组织的RCM图像(a-c)和实际醋酸染色图像(m-o)作为输入（由图中下方的虚线箭头示意）。底部提供了图像某些部分的放大视图，以便更直观地比较细节。
该文章发表在国际顶尖学术期刊《Light: Science & Applications》，题为“Biopsy-free in vivo virtual histology of skin using deep learning”, Jingxi Li为论文的第一作者，Gennady Rubinstein，Philip O. Scumpia，Aydogan Ozcan为论文的通讯作者。
论文全文下载地址：
https://doi.org/10.1038/s41377-021-00674-8
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理，所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号
两江科技评论