撰稿 | 蔡淼
近日，来自麻省理工学院的科学家Iksung Kang、Alexandre Goy、George Barbastathis 报道了一种基于机器学习方法的物体内部体成像方案，成功实现了在受限角度情况下的物体体层析成像。该团队利用递归神经网络，对有限观测角度下的物体内部信息进行了动态学习，并成功地对物体内部的结构信息进行了重建。
鉴于有限角度下的体成像技术在医学，生物学，制造业等诸多领域的重要性，本文报道的利用神经网络进行动态学习从而实现体成像的方案无疑具有重要的创新与应用价值。
该文章发表在国际顶尖学术期刊《Light: Science & Applications》，题为“Dynamical machine learning volumetric reconstruction of objects’ interiors from limited angular views”, Iksung Kang为论文的第一作者。
光学层析成像技术（Optical tomography）是一种通过以多个角度扫描样品，并对原始扫描图像进行处理以重建物体的三维信息的体成像技术，具体的体成像方案则取决于研究对象的散射模型。比如若穿过样品的光线可以近似为直线，那么就可以采用投影或者Radon变换近似来重建样品的三维信息。
而当物体的可扫描角度受到限制时，体层析成像的难度就显著增加了，这种情况也被称为有限角度下的层析成像（Limited angle tomography），当考虑光线衍射与多重散射时，此问题的复杂性则会进一步增加。一般而言，求解Lippmann-Schwinger方程是解决这一问题的一种可靠方法，然而这种解决方案需要进行迭代计算，并且需要大量的计算，尤其是对于较为复杂的三维几何结构。另一种可行的方案是束传播方法（Beam propagation method，BPM），该方法将样本沿传播方向z分成多个切片，假定每个切片的散射符合薄透明模型（thin transparency model），然后将光场从一个切片传播到下一个切片。这种方案尽管降低了部分准确度，但是显著减少了计算量。由于BPM方法的计算结构与神经网络的结构具有一定的相似性，学者们接着在BPM方法中引入了梯度下降算法和卷积神经网络等机器学习方法来学习物体的三维结构。
尽管现有的工作在有限角度的层析体成像上取得了很大的进展，但是通过多重散射模型来实现三维信息重建仍然很困难，在实验中经常出现成像失真与伪影的问题。因此，如果能够找到一种创新性的解决方案来有效地解决这些缺陷，无疑是体成像研究领域的重要突破。
在本研究中，研究团队结合机器学习方法，创新性地提出了一种独立于物体散射模型的体信息重建方案。在有限角度的层析体成像中，随着照明角度的改变，光会通过相同的散射体积，但是散射的强弱的顺序则会发生改变。并且，从新的照明角度所获得的图像会带来新的信息，但是该信息与旧有角度所获得的图像具有关联（信息不正交）。
对于上述的基本过程，研究团队将其视为一种类动力学系统，也即系统的输出受到较早时刻输入的影响。基于层析成像过程与动力学系统的这种相似性，研究团队提出了利用递归神经网络（Recurrent Neural Network, RNN）来进行体信息重建，团队将处于不同照明角度下的多个原始图像作为一个时间序列来进行处理（图一），用不同的照明角度代替了动力学系统中的时间。
利用这种创新性的动态机器学习方案，研究团队成功地在多种散射模型中实现了有限角度下的体信息重建。团队首先通过数值模拟证明了动态机器学习方法在常用的弱散射模型（也即Radon变换假设）下的适用性，以及相对其他方案的显著优势（图二，图三）。接着，团队将该方法应用于强散射假设下的有限角度层析体成像中，以证明本研究提出的基于动态机器学习的方案相较于传统的基于静态卷积神经网络（Convolution Neural Network, CNN）的信息重建方案的显著改进，结果显示，本研究提出的方案在直观上以及多个定量指标上都展示出了明显的改进（图四，图五）。
图一：每个照明的角度（图中用角向轴表示）都对应于类似动力学系统中的时间轴上的时间步。
图二：利用数值模拟数据来进行投影层析成像（即经过Radon变换近似）的动态方案。每个模拟样本都包含随机生成的椭球。图中从上到下分别展示了xz，yz和xy截面上的真实图像，以及通过滤波反投影（filtered backprojection, FBP）方法，TV正规化滤波反投影方法和本研究所提出的基于RNN的动态机器学习方法的重建结果。图中底部一栏中的红色虚线表示了绘制一维横截面轮廓的位置。
图三：三种重建方案（本文提出的基于RNN的方案，FBP+TV方案，FBP方案）的性能的定量比较。图中数据展示了均值和95%的置信区间大小。
图四：(a)基线方案（也即(b)基于静态CNN的3D-DenseNet重建方案）以及本研究提出的 (c)基于RNN的方案在特征尺寸和跨域泛化学习性能方面的定量测试结果，其中，21M为神经网络的训练参数的数量。(d)对于不同的特征大小的情况下的体信息重建的定性比较结果。
图五：(a)基线方案（也即(b)基于静态CNN的3D-DenseNet重建方案）以及本研究提出的 (c)基于RNN的方案在稀疏性和跨域泛化学习性能方面的定量测试结果。(d)对于不同的稀疏性情况下的体信息重建的定性比较结果。
该研究成果以"Dynamical machine learning volumetric reconstruction of objects’ interiors from limited angular views"为题在线发表在Light: Science & Applications。
https://doi.org/10.1038/s41377-021-00512-x
免责声明：本文旨在传递更多科研资讯及分享，所有其他媒、网来源均注明出处，如涉及版权问题，请作者第一时间后台联系，我们将协调进行处理（按照法规支付稿费或立即删除），所有来稿文责自负，两江仅作分享平台。转载请注明出处，如原创内容转载需授权，请联系下方微信号。
两江科技评论