基于多层衍射模型的多LED复用3D-FPM重建算法

基于多层衍射模型的多led复用3d-fpm重建算法
技术领域
1.本发明涉及计算成像技术领域，具体涉及基于多层衍射模型的多led复用3d-fpm重建算法。


背景技术：

2.傅立叶叠层显微成像(fpm)是一种新开发的成像方法，旨在规避空间带宽积(sbp)的限制，并获得宽视场，高分辨率的复杂图像。傅里叶叠层成像技术自2013以来，被应用于光学显微、生物医学、生命科学等领域，获得大视场、高分辨率的显微图像。同时在对于厚样品的3维重建上也有一定的进展，但是对于3维重建，光源的led数量要大大增加，这会导致系统的采集时间过长，对于活样品的观测如体外培养的生物细胞并不适用，目前只能观测静态的染色样品或其他非生物样品。


技术实现要素：

3.为了解决傅里叶叠层成像在3维重建中由于光源led个数较多导致的采集速率过慢的问题，本发明提出多led复用编码照明策略下(即同时点亮多个led进行照明，在保证采集信息量一致的情况下降低所需要的图片个数)搭建了基于多层衍射模型的多led复用3d-fpm重建算法。
4.本发明为解决技术问题所采用的技术方案如下：
5.基于多层衍射模型的多led复用3d-fpm重建算法，包括如下步骤：
6.步骤一、构建多层衍射模型得到的低分辨率图片与相机实际采集的低分辨率图片之间的损失函数；所述相机实际采集的低分辨率图片为多张低分辨率图片；
7.基于多层衍射模型，能够根据第n层薄样品层的样品折射率函数和第n层薄样品层的入射光复振幅计算第n层薄样品层的出射光复振幅，能够通过fpm系统的光瞳函数和厚样品的出射光复振幅模拟得到所述fpm系统相机相面上接收到的低分辨率图片；所述厚样品为n层薄样品层从上至下顺次叠加组成，n为大于2的整数，n为整数且n∈[1,n]，根据所述多层衍射模型能够计算出每一个薄样品层的样品折射率函数；
[0008]
步骤二、对于步骤一中相机实际采集的所有低分辨率图片均进行如下步骤：利用最新的损失函数、最新的薄样品层入射光复振幅和最新的薄样品层样品折射率函数，采用梯度下降法从第n层至第1层的薄样品层更新薄样品层的样本折射率函数，再利用梯度下降法对最新的光瞳函数的相位部分进行更新；
[0009]
步骤三、判断完成步骤二的次数是否超过预设次数或步骤二中得到的损失函数变化量是否小于预设阈值，若完成步骤二的次数超过预设次数或损失函数变化量小于预设阈值，则输出每个低分辨率图片对应的每一层薄样品层的更新后的样品折射率函数，否则，以每个低分辨率图片对应的更新后的薄样品层的样本折射率函数作为步骤一的薄样品层的样品折射率函数和更新后的光瞳函数作为步骤一的光瞳函数重新进行步骤一。
[0010]
本发明的有益效果是：
[0011]
本发明提出了基于多层衍射模型的多led复用3d-fpm重建算法，可以在保证重建精度的基础上，大幅度减少所需采集的lr图片个数，即减少了图像采集所需的时间提高了采集速度，同时算法中嵌入的光瞳函数修复过程可以有效减少系统像差对重建结果的影响，进一步提高算法的重建精度。采用本发明提出的基于多层衍射模型的多led复用3d-fpm重建算法，能够使fpm系统不仅适用于对于活样品的观测如体外培养的生物细胞，而且具有较好的观测效果。
附图说明
[0012]
图1是基于多层衍射模型的多led复用3d-fpm重建算法模拟的真实3d样品的x-y，x-z,y-z横截面图以及单led重建结果对比图。
[0013]
图2是在有无像差影响、单多led、有无光瞳修复下的重建结果对比图。
[0014]
图3是在有无像差影响、单多led、有无光瞳修复下的重建结果立体对比图。
[0015]
图4是本发明重建得到的系统像差以及模拟预先设置的系统像差的对比图.
[0016]
图5是无像差影响下多led复用、在有像差影响的多led复用以及有像差影响且加入光瞳函数时的多led复用重建结果对比曲线图。
具体实施方式
[0017]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
[0018]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0019]
基于多层衍射模型的多led复用3d-fpm重建算法
[0020]
本发明提出了一种结合多led编码照明的3d重建算法，同时算法内嵌入了对系统像差的修复过程，可以消除系统像差对重建结果的影响，同时在保证重建精度的前提下减少所需要的低分辨率图片数量，其算法的具体流程如下：
[0021]
步骤一、构建多层衍射模型得到的低分辨率图片与相机实际采集的低分辨率图片之间的损失函数，进行步骤二；所述相机实际采集的低分辨率图片为多张低分辨率图片，多层衍射模型得到的低分辨率图片和相机实际采集的低分辨率图片一一对应；
[0022]
基于多层衍射模型，能够根据第n层薄样品层的样品折射率函数和第n层薄样品层的入射光复振幅计算第n层薄样品层的出射光复振幅，能够通过fpm系统的光瞳函数和厚样品的出射光复振幅模拟得到所述fpm系统相机相面上接收到的低分辨率图片；所述厚样品为n层薄样品层从上至下顺次叠加组成，n为大于2的整数，n为整数且n∈[1,n]，根据所述多层衍射模型能够计算出每一个薄样品层的样品折射率函数。第a层薄样品层的出射光复振幅等于第a+1层薄样品层的入射光复振幅，a为整数且a∈[1,n-1]。
[0023]
步骤二、对于步骤一中相机实际采集的所有低分辨率图片均进行如下步骤后进行步骤三：利用最新的损失函数、该低分辨率图片对应的最新的薄样品层入射光复振幅和该低分辨率图片对应的最新的薄样品层样品折射率函数，采用梯度下降法从第n层至第1层的薄样品层更新该低分辨率图片对应的薄样品层的样本折射率函数得到更新后的薄样品层
的样本折射率函数，再利用梯度下降法对该低分辨率图片对应的最新的光瞳函数的相位部分进行更新，得到该低分辨率图片对应的更新后的光瞳函数。
[0024]
步骤三、判断完成步骤二的次数是否超过预设次数或步骤二中得到的损失函数变化量是否小于预设阈值，若完成步骤二的次数超过预设次数或损失函数变化量小于预设阈值，输出每个低分辨率图片对应的每一层薄样品层的更新后的样品折射率函数，结束操作；否则，以每个低分辨率图片对应的更新后的薄样品层的样本折射率和每个低分辨率图片对应的更新后的光瞳函数更新步骤一的多层衍射模型，并重新和执行步骤一。
[0025]
下面对基于多层衍射模型的多led复用3d-fpm重建算法进行详述。
[0026]
根据亥姆霍兹方程推导出厚样品的多层衍射模型，多层衍射模型包括每一个薄样品层的出射光复振幅的计算、每一个薄样品层的样品折射率函数的计算、fpm系统相机相面上接收到的低分辨率复振幅的模拟，多层衍射模型通过傅立叶叠层显微成像系统的光瞳函数和厚样品的出射光复振幅(即最后一层薄样品层的出射光复振幅)模拟得到相机相面上接收到的低分辨率复振幅(即低分辨率图片)。具体为：首先基于亥姆霍兹方程推导出厚样品的散射光复振幅关于样品折射率函数的方程，再根据厚样品的散射光关于样品折射率函数的方程推导出薄样品层的散射光复振幅的方程，根据born近似条件和薄样品层的散射光复振幅的方程得出薄样品层的出射光复振幅的方程，根据薄样品层的出射光复振幅的方程和光瞳函数推导出fpm系统相机相面上接收到的低分辨率图片。
[0027]
厚样品为多个薄样品层从上至下顺次叠加组成，本文中将薄样品层从上至下的遍历称为正向，从下至上的遍历称为反向。样品泛指厚样品和薄样品层。
[0028]
首先构建针对厚样品的多层衍射层析模型(即多层衍射模型)作为本发明算法中的一个基础模型，该模型考虑一个厚样品(厚度为10～20um)为多个薄样品层(薄样品层的厚度小于1um，优选的是中薄样品层的厚度为400～500nm，本实施方式中薄样品层的厚度为450nm左右)的叠加，薄样品层等厚，每层薄样品层厚度设为δz，共n层，n为大于2的整数，同时上一层薄样品层的出射光为下一层薄样品层的入射光。对于每个薄样品层采用衍射层析的理论分析，首先基于亥姆霍兹方程推导出样品散射光关于样品折射率函数的方程公式(1)，本发明主要考虑born近似(玻恩近似)，对于rytov近似(利托夫近似)和born近似公式的大体相同，对于born近似。基于亥姆霍兹方程推导出厚样品的散射光方程如下：
[0029][0030]
其中us(r，z)表示散射光的复振幅，r表示散射光场处的xy平面坐标，z表示散射光场处的z轴空间坐标，r
′
表示入射光到散射光的积分路径上的xy平面坐标，z
′
表示入射光到散射光的积分路径上的z轴空间坐标，进而r-r’和z-z’分别表示散射光坐标与积分坐标在xy平面以及z轴上的距离。g(r-r
′
，z-z
′
)表示积分中的格林函数，v(r
′
，z
′
)表示在(r
′
，z
′
)处的样品折射率函数，u
in
(r
′
，z
′
)表示入射光在(r
′
，z
′
)处的复振幅，g(r-r
′
，z-z
′
)和v(r
′
，z
′
)的具体表达如下所示：
[0031]
[0032]
其中，表示样品中的波矢量，n0为样品周围介质的折射率，λ表示led照明波长，n(
·
，
·
)表示样品的复折射率函数，即n(r
′
，z
′
)表示样品在(r
′
，z
′
)处的复折射率函数，k
xy
表示散射光在xy平面方向的波矢分量，表示散射光在z轴方向的波矢分量，进而将(1)式化简得到每一层薄样品层的散射光的复振幅关于具有厚度δz的薄样品层的折射率函数v(r，z)的方程，薄样品层的散射光复振幅表示如下：
[0033][0034]
其中，表示第n层薄样品层的散射光复振幅，为方便起见，k
xy
用u表示，f表示二维傅里叶变换；表示公式(2)中格林函数g(r-r
′
，z-z
′
)的二维傅里叶变换，表示第n层薄样品层的入射光复振幅，v(r，n
·
δz)表示第n层薄样品层的样品折射率函数。
[0035]
最后考虑bom近似条件，第n层薄样品层的出射光复振幅可以表示成第n层薄样品层的入射光在厚样品中传输δz距离后的复振幅与上述散射光复振幅的和，并且这个第n层的出射光等效于第n+1层的入射光，第n层薄样品层的出射光复振幅为：
[0036][0037]
由于傅立叶叠层显微成像系统中与相面共轭的平面往往不是样品的最后一层，而是厚样品中间的一层(厚样品的中间厚度所对应的薄样品层)，故需要将最后一层薄样品层的出射光反向传输到的中间层，即有一个距离为的反向传输因子，同时结合傅立叶叠层显微成像系统的光瞳函数可以得到相机相面上接收到的低分辨率复振幅u(r)，u(r)为：
[0038][0039]
也就是通过公式(3)能够模拟出相机拍摄的图像，相机实际采集的图片称为低分辨率图片。其中p(k
xy
)为傅立叶叠层显微成像系统的光瞳函数，表示最后一层薄样品层的出射光复振幅，最后一层薄样品层为厚样品中距离相机最近的薄样品层。
[0040]
公式(4)和公式(5)为得到的多层衍射模型，根据多层衍射模型进行损失函数的构建。损失函数为多层衍射模型模拟得到的低分辨率图片与相机实际采集的低分辨率图片之间的损失函数，利用损失函数、每一个薄样品层的入射光复振幅和每一个薄样品层的样品折射率函数，从第n层至第1层的薄样品层，采用梯度下降法更新薄样品层的样本折射率函数。
[0041]
也就是需要结合该多层衍射模型以及实际fpm系统对厚样本采集的图片来对3d样
品折射率函数v(r，nδz)(第n层薄样品层的样品折射率函数)进行反向更新重建，那么首先需要构建重建算法所用的损失函数，对于多led照明的情况，构建多层衍射模型得到的低分辨率图片与实际采集的低分辨率图片之间的损失函数，即本发明重建算法采用的损失函数h如下：
[0042][0043]
其中，t表示在多led复用照明策略下，一共需要相机拍摄t张lr图片(lr表示低分辨率)，t为t张lr图片的序号，即i
t
(r)表示相机实际采集的第t张lr图片的光强，t、t和m均为正整数，t＞2，l
t
表示拍摄第t张lr图片所需要的led序列，m表示该led序列中的第m个led，um(r)表示通过上述多层衍射模型公式(5)模拟得到的第m个led照明下的低分辨率复振幅，
[0044]
采用梯度下降的更新算法，从第n层至第1层的薄样品层逐层的将上述损失函数h关于薄样品层的样品折射率函数进行求导。将损失函数h关于第n层薄样品层的样品折射率函数进行求导得到关于第n-1层的梯度信息，根据第n-1层的梯度信息能够得到更新后的第n-1层薄样品层的样品折射率函数。
[0045]
首先考虑最后一层(第n层)薄样品层的更新过程，其由损失函数得到的梯度为：
[0046][0047]
为表述方便，该公式以第t张lr图为例，其中vn表示第n层薄样品层的样品折射率函数，遂利用(5)式将展开为：
[0048][0049]
其中，某一符号右上角位置的*表示共轭，p
*
(u)为p(u)的共轭。
[0050]
公式(8)结合式(4)得到：
[0051][0052]
其中，表示的共轭，表示的共轭，表示第n层的入射光复振幅，即通过公式(4)得到的第n-1层的出射光复振幅即本算法需要在每次迭代(完成一次步骤二后定义完成一次迭代)中保存正向模拟过程中的每一层的入射光复振幅，至此结合式(7)、式(8)以及式(9)可以得到多led复用下对最后一层样品的更新梯度，根据均结果进而可以得到更新后的第n层样品折射率函数
[0053]
接下来考虑第n-1层薄样品层的更新梯度，由于此时厚样品的出射光与该第n-1层薄样品层之间有第n层薄样品层的作用，即此时对第n-1层薄样品层的样品折射率函数更新中应有第n层薄样品层的更新结果即第n-1层薄样品层的样品折射率函数的更新梯度如下表示：
[0054][0055]
其中，v
n-1
表示第n-1层薄样品层的样本折射率函数，表示的共轭，表示第n-1层的入射光复振幅，即通过公式(4)得到的第n-2层的出射光复振幅
[0056]
其中表示为：
[0057][0058]
其中，即为
[0059]
其中结合式(7)、式(8)可得：
[0060][0061]
即此时得到关于第n-1层的梯度信息，进而可以得到更新后的第n-1层薄样品层的样品折射率函数同时以此依次向第一层薄样品层类推，一直向后更新到第一层，其中每一层的更新都需要用到上一层薄样品层更新后的样品折射率函数以及正向模拟得到的该层的入射光复振幅。
[0062]
然后利用梯度下降对fpm系统的光瞳函数的相位部分进行更新，即只考虑系统的像差对重建带来的影响。
[0063]
同时考虑傅立叶叠层显微成像系统像差对重建结果的影响，由于像差对应光瞳函数中的相位部分，故在算法中插入对光瞳函数的修复过程，具体公式如下：
[0064][0065]
其中，pq(k
xy
)表示原有的光瞳函数复振幅，p
q+1
(k
xy
)表示根据pq(k
xy
)更新得到的光瞳函数复振幅，α表示对于光瞳函数的更新步长，δ表示防止公式(13)中分母出现零值的正则化小量，其中w
n，m
(k
xy
)指代公式(5)中的这一部分。
[0066]
光瞳函数的更新和薄样品层的样本折射率函数的更新过程交替进行，即更新完每
个低分辨图片对应的所有薄样品层后就更新一次光瞳函数。光瞳函数的更新加入对光瞳函数的复振幅约束来加快其收敛。
[0067]
由于本发明需要采集t张低分辨率图片，进而对于每一张采集的lr图片均要用步骤二对所有薄样品层的样品折射率函数以及光瞳函数进行更新，并在所有的lr图片均用于上述更新后视为一次迭代，当迭代次数超过预设或损失函数变化量很小后算法停止，并输出重建后的样品3d折射率函数，即最终输出每个低分辨图片对应的每一层薄样品层的更新后的样品折射率函数。基于现有技术，根据本发明得到的每个低分辨率图片对应的每一层薄样品层的更新后的样品折射率函数能够得出每个低分辨率图片对应的高分辨率图片。
[0068]
下面详述本发明的具体应用示例。
[0069]
首先，依据提前设定好的多led复用策略，依次点亮led阵列光源中的led，并通过fpm系统在相机上采集对应不同复用led照明下的低分辨率图像。
[0070]
其次，依据当前fpm系统参数，在程序中设定对应每个led的波矢以及光瞳函数p(u)，初始的光瞳函数假定为fpm系统的相干传递函数(ctf)，初始的光瞳函数如下式所示：
[0071][0072]
其中，na为fpm系统物镜在竖直方向的孔径，λ为所用的照明波长。
[0073]
同时设定重建后的样品整体3d折射率函数的三维尺寸，包含一共多少薄样品层以及每一薄样品层的二维尺寸大小，并在多led复用3d-fpm重建算法开始时将其值设为0。
[0074]
将初始假定的样品的3d折射率函数经过born近似的多层衍射模型进行正向传输，并利用公式(4)，得到该传输下每层薄样品层的出射光复振幅，并记录下来以用于后面的反向梯度推导。
[0075]
当传输过程进行到最后一层时，利用公式(5)得到经过该多层衍射模型下对应不同led照明的模拟低分辨率图像。同时，结合多led照明下的复用策略，得到对应单次复用照明下得到的模拟低分辨率图像：
[0076][0077]
其中，l
t
是单次复用照明下所点亮的led序号列表。
[0078]
构建通过多层衍射模型模拟得到的低分辨率图片与实际采集的低分辨率图片之间的损失函数
[0079][0080]
根据损失函数、每一个薄样品层的入射光复振幅和每一个薄样品层的样品折射率函数，从第n层至第1层的薄样品层，采用梯度下降法更新样本的折射率函数。
[0081]
光瞳函数的更新和样品的更新过程交替进行，同时加入对光瞳函数的振幅约束来加快其收敛。对于每一个lr图片均要用步骤二对厚样品的所有薄样品层的折射率函数以及光瞳函数进行更新，并在所有的lr图片均用于更新后视为一次迭代。保存这一次迭代后的样品3d折射率函数(即每个薄样品层的折射率函数)以及光瞳函数返回到公式(4)，将新的
样品3d折射率函数作为初始v(r，n
·
δz)，重新计算公式(4)，并利用新的光瞳函数重新计算公式(5)，然后再进行损失函数构建。最后当迭代次数超过预设次数或损失函数不在变小或者变化趋于平稳时(变化量小于预设阈值)，输出当前迭代重建后的样品3d折射率函数以及更新后的光瞳函数。
[0082]
本发明中使用的傅里叶叠层成像技术为经典的fpm系统结构，系统参数的设置包括一个na＝0.6的40x物镜，一个6.5μm像素尺寸的ccd传感器(即上文所述相机)和一个可编程的led矩阵，
[0083]
图1是本发明算法模拟的真实3d样品折射率函数的x-y，x-z，y-z横截面图以及单led(利用187张低分辨率图片)重建后结果对比，左半侧为多层衍射模型的处理结果即模拟真值，右半侧为重建算法计算后得到的重建结果。
[0084]
图2是在没有像差影响下的单led重建结果、无像差影响下的利用多led复用情况下的重建结果、在有像差影响的多led重建结果以及有像差影响并且加入本发明中提到的光瞳修复算法时的多led复用重建结果对比，其中四张图片各自的左上、右上、左下以及右下分别表示重建结果折射率函数的的x-y横截面图、x-z横截面图、y-z横截面图以及第一层折射率函数。
[0085]
图3是在无像差影响下的单led重建结果、无像差影响下的利用多led复用情况下的重建结果、在有像差影响的多led重建结果以及有像差影响并且加入本发明中提到的光瞳修复算法时的多led复用重建结果的3d结果立体图。
[0086]
图4是本发明重建得到的系统像差以及模拟预先设置的系统像差的对比，图中横纵坐标为重建像差的尺寸大小，变色条为像差图的像差pv值，即单位为2π。
[0087]
图5是无像差影响下的利用本发明提到的多led复用情况下的重建结果、在有像差影响的多led重建结果以及有像差影响并且加入光瞳修复算法时的多led复用重建结果曲线对比，其中横坐标为算法的迭代次数，纵坐标为算法每次迭代模拟得到的低分辨率图片和实际测得的低分辨率图片之间的均方根误差值。
[0088]
根据图1至5可知，本发明提出了基于多层衍射模型的多led复用3d-fpm重建算法，可以在保证重建精度的基础上，大幅度减少所需采集的lr图片个数，即减少了图像采集所需的时间，提高了采集速度，同时算法中嵌入的光瞳函数修复过程可以有效减少系统像差对重建结果的影响，进一步提高算法的重建精度。采用本发明提出的基于多层衍射模型的多led复用3d-fpm重建算法，能够使fpm系统不仅适用于对于活样品的观测如体外培养的生物细胞，而且具有较好的观测效果。