基于深度学习和随机图案的相位层析方法及装置与流程

本发明涉及深度学习技术领域，特别涉及一种基于深度学习和随机图案的相位层析方法及装置。

背景技术：

对于细胞生物学领域的研究来说，观察活细胞和它们的亚细胞结构是至关重要的。为此，学者们发明了许多三维成像的方法来实现这一目的。荧光显微镜是当前使用最广泛成像手段，它可以通过对细胞用荧光蛋白或染料进行特异性标记，实现亚微米成像。基于荧光显微镜，各种各样的成像方法被发明出来，如共聚焦显微镜、双光子荧光显微镜、光片显微镜和光场显微镜等，然而荧光显微镜只能对被标记的细胞或结构进行成像，所以其应用在某些场合受到了限制。

与此同时，相位层析显微镜作为另外一种成像模式，可以在无标记和无侵入的前提下测量透明或半透明生物样本的折射率分布。相位层析显微镜基于光的衍射传播理论，通过用不同入射角度的光照射样本，得到若干波前相位，继而重建出样本的三维折射率分布，但是通常来讲完成一次三维折射率重建需要改变数十次入射光角度。相位层析显微镜通常使用振镜来改变入射光角度，但这种方式会引入机械振动误差。使用数字微镜阵列代替振镜来产生改变光线入射角可以减少机械误差和提高成像速度，但与振镜相比，数字微镜阵列会带来额外的衍射噪声。在基于数字微镜阵列的相位层析显微镜系统中使用时间复用技术可以减少数字微镜阵列造成的衍射噪声，但是这种方法依然需要多次改变入射光角度才能进行有效的三维折射率重建。

技术实现要素：

本发明提供一种基于深度学习和随机图案的相位层析方法及装置，以解决多次改变入射光角度才能进行有效的三维折射率重建的技术问题。

本发明一方面实施例提供一种基于深度学习和随机图案的相位层析方法，包括以下步骤：

搭建多层神经网络；

利用数字微镜阵列产生随机图案，所述随机图案对样本进行调制，得到预设数量的全息图；

根据样本的实际参数和所述全息图设定所述多层神经网络的训练参数，并对所述多层神经网络进行训练；

利用所述训练参数计算样本的实际三维折射率；以及

根据所述实际三维折射率对样本进行三维层析重建，得到三维层析图像。

本发明另一方面实施例提供一种基于深度学习和随机图案的相位层析装置，包括：

搭建模块，用于搭建多层神经网络；

调制模块，用于利用数字微镜阵列产生随机图案，所述随机图案对样本进行调制，得到预设数量的全息图；

训练模块，用于根据样本的实际参数和所述全息图设定所述多层神经网络的训练参数，并对所述多层神经网络进行训练；

计算模块，用于利用所述训练参数计算样本的实际三维折射率；以及

重建模块，用于根据所述实际三维折射率对样本进行三维层析重建，得到三维层析图像。

本发明的技术方案，至少实现了如下有益的技术效果：

(1)系统精确、稳定。本发明的光学系统没有类似振镜的振动机械器件，使用数字微镜阵列对光束进行调制，因此光路精确而稳定。

(2)简单的系统设计。相比于其他使用数字微镜阵列的相位层析技术，本发明在光路上无需对数字微镜阵列产生的高阶衍射级次进行处理，并且多层神经网络的设计不依赖于输入的波前复数场，因此在不同的光学系统和不同的照明图案下普适性更强。

(3)超快层析速度。传统相位层析技术完成一次三维折射率重建通常需要采集数十次不同入射光角度的数据，而本发明无需设计和产生倾斜的照明光束，最少仅需改变两次数字微镜阵列图案即可完成重建，从而大幅提高了成像的时间分辨率。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例所提供的基于深度学习和随机图案的相位层析方法流程图；

图2为本发明实施例所提供的多层神经网络的网络架构图；

图3为本发明实施例所提供的实验数据采集系统光路图，其中，m代表平面反射镜，laser代表激光器，sf代表空间滤波器，bs代表分束镜，tl代表套筒透镜，obj代表物镜，cam代表相机；

图4为本发明实施例所提供的光线投影在数字微镜阵列上的图案，其中，a1-a4是正弦图案，条纹相对于水平方向的偏转角度分别为0°，45°，90°，135°，b1-b4是四张随机图案；

图5为本发明实施例所提供的基于深度学习和随机图案的相位层析方法工作原理流程图；

图6为本发明实施例具体示例的仿真结果图；

图7为本发明实施例所提供的基于深度学习和随机图案的相位层析装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例的基于深度学习和随机图案的相位层析方法和装置，首先将参照附图描述根据本发明实施例提出的基于深度学习和随机图案的相位层析方法。

图1为本发明实施例所提供的一种基于深度学习和随机图案的相位层析方法流程图。

如图1所示，该基于深度学习和随机图案的相位层析方法包括以下步骤：

在步骤s101中，搭建多层神经网络。

在本发明的一个实施例中，根据光束传播模型搭建出复数光场在空间中传播的多层神经网络，其中，多层神经网络中构建了数据输入层、衍射传播层、折射传播层和低通滤波层。

具体地，本发明所使用的卷积神经网络根据ulugbeks.kamilov提出的光束传播模型(bpm，beampropagationmodel)构建。bpm是一个计算光波在散射介质中的衍射效应的前向传播模型，它的推导基于各向同性亥姆霍兹方程，辅以合理的简化和近似计算，最终得到下面的平面波前向传播公式：

其中，δz是一个足够小但有限的轴向步长，ωx和ωω表示傅里叶域的角频率坐标，k0＝2π/λ是真空中的波数，n0是介质折射率，δn(r)表示空间坐标r处折射率与介质折射率之差，a(：，：，z)表示在z位置的二维复数场，*表示卷积算子，表示二维傅里叶变换。

将待重建的样本微元化，x、y、z方向分别分成nx、ny、nz个微元，认为每一微元中的折射率是相同的，其中z轴微元δz的大小体现了层析分辨率的大小。

对于物理传播过程中的相邻两层波前a(：，：，z)和a(：，：，z+δz)，其运算关系可以分成下面两个部分：

两个公式分别代表光在传播过程中的衍射和折射，而在神经网络中可以分别用卷积和点乘操作来实现。

本发明搭建多层神经网络使用的深度学习框架为tensorflow，网络中构建了数据输入层(inputlayer)、衍射传播层(diffractionlayer)、折射传播层(refractionlayer)以及低通滤波层(lowpasslayer)，其中衍射层和折射层分别对应上述的衍射运算和折射运算，低通滤波层对应于光学系统的频域低通特性。折射层中包含待求参数δn(r)，即对应样本的三维折射率。

定义多层神经网络的损失函数(lossfunction)表达式如下：

其中，ypredict表示网络生成的图片，ytrue表示真值图片，第一个约束项γ1∑|w|为对训练结果的1范数约束，w表示权重，即δn(r)，以确保结果的稀疏性，第二个约束项为一阶导数约束，以确保结果的连续性，γ1和γ2为两种约束项的权重因子。

如图2所示，将样本空间进行离散化，在光线传播方向分成多个薄层，每两个薄层之间的间隔为δz，然后将每个薄层视为卷及神经网络的一层。在每层之内，将二维图像离散采样为nx×ny个神经元，横向采样间隔为δx和δy。卷积神经网络的输入为入射到样本上的复数场，然后如光束传播模型公式，神经网络上每一层都要进行一次卷积运算和点乘运算，在最终输出之前，还需要对复数场进行一次低通滤波，对应实际光路中的光学传递函数的频域限制。卷积神经网络权重δn(r)可以用adam优化器训练得到。

在步骤s102中，利用数字微镜阵列产生随机图案，随机图案对样本进行调制，得到预设数量的全息图。

具体地，如图3所示，在本发明的一个实施例中，首先搭建实验数据采集系统，其中，关键器件的型号及规格描述如下：二极管激光器(λ＝532nm，50mw，thorlabs，inc.，newjersey，usa)、分光棱镜(bs028，thorlabs，inc.，newjersey，usa)、数字微镜阵列上(v-9001vis，vialux，saxony，germany)、套筒透镜(f＝180mm，thorlabs，inc.，newjersey，usa)、照明物镜(na＝1.4，uplsapo100xo，100×，olympus，inc.，japan)、采集物镜(na＝1.4，uplsapo100xo，100×，olympus，inc.，japan)、scmos相机(dhyana95，tucsen，inc.，china)。

其中，光路过程为：激光从二极管激光器出射，经过小孔滤波后用分光棱镜分成物光和参考光两束光。物光经过反射入射到数字微镜阵列上，然后经过套筒透镜和物镜缩束后入射到样本上。经过样本的出射光被另一个同样的物镜所采集，经过套筒透镜成像至像面。最后物光和参考光在像面上发生干涉形成一幅空间调制的干涉图，用科学相机进行采集。

实验系统搭建完成后，即可开始采集数据。如图4所示，在数字微镜阵列上以01模式投射图样(正弦条纹或随机图案均可，其中，随机图案经过调制的入射光可以对频谱进行搬移，从而在光纤中耦合更多的高频信息)，对光线进行强度调制，穿过样本的物光在相机感光面上与参考光发生干涉，便可采集到一张全息图；改变数字微镜阵列上投射的图样，对照明样本的光线进行不同图案的调制，可得到不同的全息图。通过改变数字微镜阵列上的图案，采集到数张不同的全息图作为相位层析的原始数据。

在本发明的一个实施例中，全息图像的预设数量根据实验要求设定，但至少两张才能重建出样本的基本形态，并且预设数量与实际三维折射率的精度成正比关系。

具体而言，对于每次重建，需要采集的全息图的数量可自主选定。最少2张全息图即可通过后续的神经网络训练算法重建出样本的基本形貌，随着全息图数量的增多，相位层析精度会不断提升，至多大约50张全息图时可以达到最佳层析精度。

需要说明的是，采集到全息图之后需要使用频域移动算法恢复物光相位，为了补偿实际实验中的光线相位畸变，通常需要在将待层析样本移走之后，再次采集相同数量、相同图案的去掉待层析样本的全息图。与此同时，这组全息图在用相位恢复算法处理之后可以得到经过不同调制的入射光的复数场，这也是多层神经网络训练的输入之一。

又因多层神经网络的输入是物光相位图和参考光的复数场，因此采集到全息图后需要对物光和参考光进行相位恢复，本发明中采用频域移动算法来实现。具体来讲，将待恢复全息图进行二维傅里叶变换，得到的频域图像将出现-1级、0级和+1级三块主要的频域成分，将其中+1级成分移至频谱中心，再经过低通滤波滤去其他两级成分，最后进行二维逆傅里叶变换，即可完成相位恢复。

在步骤s103中，根据样本的实际参数和全息图设定多层神经网络的训练参数，并对多层神经网络进行训练。

具体地，利用步骤s101中搭建的多层神经网络，按照实际样本的尺度、分辨率需求、采集端的放大倍数及实际介质折射率等，设定神经网络的参数，如网络的层数(影响轴向分辨率)、批处理大小(影响训练速度)、初始学习率(影响训练效果和速度)以及迭代次数(影响算法收敛位置)等，然后开始训练网络。所使用机器配置为：cpu(intelcorei7-6850k)、gpu(titanxp×2)，批处理规模为30，迭代次数为300次，训练时间10分钟左右。

在步骤s104中，利用训练参数计算样本的实际三维折射率。

在步骤s105中，根据实际三维折射率对样本进行三维层析重建，得到三维层析图像。

也就是说，网络训练完毕后，依据训练参数δn(r)计算样本实际三维折射率，然后对其进行三维层析绘制，即实现了对样本的相位层析。

综上，如图5所示，本发明实施例使用数字微镜阵列产生随机图案光照，结合深度学习优化算法，以高时空分辨率实现三维折射率重建，基本原理是亥姆沃兹方程、光的角谱传播模型以及深度学习参数优化方法，其具体过程为：根据波的亥姆沃兹方程、光的角谱传播模型以及一系列合理的假设推导出光在介质中传播时衍射场和折射场的分布，并依据推导公式，仿照物理过程搭建出复数光场在空间中传播的多层神经网络；使用数字微镜阵列对光进行调制，使得光束携带随机图案之后照射样本；使用经过不同随机图案调制的光对样本进行多组照射，并在输出端用参考光与物光进行干涉，采集形成的干涉图样；使用频域移动方法对物光进行相位恢复，以得到物光相位图作为输入训练神经网络；通过训练得到的神经网络权重求解样本三维折射率分布，实现对样本的层析重建。

下面结合具体示例对本发明的相位层析方法做进一步说明。

选择三个直径为2微米、折射率为1.548的小球进行成像，小球浸泡在折射率为1.518的油介质中。

在仿真计算中，使用的图片尺寸为256×256个像素，像素尺寸为0.0585微米；物镜放大倍数为100，数值孔径为1.4；激光波长为532纳米。对于每一次折射率重建，仿真中使用12张干涉图来完成重建。

如图6所示，完整仿真流程为：首先仿真生成12张正弦条纹或者随机图案的图样作为入射波前，称此波前为参考光，然后运用前述提及的光束传播模型以及小球、介质的折射率参数计算出参考光经过样本之后的复数场分布，称这束光为物光，接着将参考光斜入射到像面与物光发生干涉，从而得到干涉图，这对应实际实验系统中相机采集到的全息图。利用这些全系图和相应相位恢复算法可以从这12张全息图得到相应的12张相位图。最后将12个仿真生成的参考光图样和这12张相位图作为神经网络的输入和输出进行训练，训练过程大约耗时10分钟，训练完成得到网络参数即为样本的折射率分布。

根据本发明实施例提出的基于深度学习和随机图案的相位层析方法，利用数字微镜阵列对光快速调制的能力，结合人工智能中的深度学习方法，提供一种快速且简易的对透明或半透明样本进行相位层析的方法，达到简化数据采集流程、减少数据采集量、提高层析速度的目的，且不依赖于输入的波前复数场，普适性强，无需设计和产生倾斜的照明光束，最少仅需改变两次数字微镜阵列图案即可完成重建，从而大幅提高了成像的时间分辨率。

为了实现上述实施例，本发明还提出了一种基于深度学习和随机图案的相位层析装置。

图7是本发明一个实施例的基于深度学习和随机图案的相位层析装置的结构示意图。

如图7所示，该基于深度学习和随机图案的相位层析装置10包括：搭建模块100、调制模块200、训练模块300、计算模块400和重建模块500。

其中，搭建模块100，用于搭建多层神经网络；

调制模块200，用于利用数字微镜阵列产生随机图案，随机图案对样本进行调制，得到预设数量的全息图；

训练模块300，用于根据样本的实际参数和全息图设定多层神经网络的训练参数，并对多层神经网络进行训练；

计算模块400，用于利用训练参数计算样本的实际三维折射率；以及

重建模块500，用于根据实际三维折射率对样本进行三维层析重建，得到三维层析图像。

需要说明的是，前述对基于深度学习和随机图案的相位层析方法实施例的解释说明也适用于该装置，此处不再赘述。

根据本发明实施例提出的基于深度学习和随机图案的相位层析装置，利用数字微镜阵列对光快速调制的能力，结合人工智能中的深度学习方法，提供一种快速且简易的对透明或半透明样本进行相位层析的方法，达到简化数据采集流程、减少数据采集量、提高层析速度的目的，且不依赖于输入的波前复数场，普适性强，无需设计和产生倾斜的照明光束，最少仅需改变两次数字微镜阵列图案即可完成重建，从而大幅提高了成像的时间分辨率。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。