一种傅里叶光场显微镜超分辨成像方法及系统

本发明属于生物光子领域，更具体地，涉及一种傅里叶光场显微镜超分辨成像方法及系统。

背景技术：

1、最近，人们对傅里叶光场显微镜(flfm)的发展越来越感兴趣，它可以在单次曝光中记录样本的空间和角度信息，然后利用后续的重建算法便可以重建出样本的三维体积。该策略有效地克服了传统光场显微镜(lfm)在重建伪影和计算成本方面的基本限制，显著提高了重建质量。

2、然而，傅里叶光场显微镜为获取较高的横向空间分辨率以及视场，会损失其视角信息，而获得更多的角度信息又是获得高分辨率、高保真的三维重建图的关键。例如在光学投影层析成像(opt)技术中，研究人员企图获得样本更多角度的投影视图来得到更高分辨率的三维重建图。但这在傅里叶光场显微镜中并不容易实现，考虑到傅里叶光场显微镜的视场以及孔径(大透镜)的空间阻隔限制，无法在无视角串扰的情况下同时同时获得更多角度图像，导致其成像分辨率无法进一步提高。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种傅里叶光场显微镜超分辨成像方法及系统，其目的在于采用超分辨方法模拟提高角向分辨率，模拟实际无法排列的傅里叶广场显微成像的微透镜阵列，从而重建出超分辨的傅里叶广场显微图像，由此解决傅里叶广场显微镜的市场以及孔径的空间阻隔限制、视角串扰导致分辨率难以进一步提高的技术问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种傅里叶光场显微镜超分辨成像方法，包括以下步骤：

3、(1)将傅里叶光场显微镜获取的低角向采样率的单张多视角光场图像，输入角度差值网络，获得高角向采样率多张单视角光场图像；

4、(2)将步骤(1)获得的高角向采样率的多张单视角光场图像，逐视角重建为三维图像，并按照与所述角度差值网络的训练样本采样数据中多张单视角图像排序相同的顺序进行叠加，获得所述傅里叶光场显微镜超分辨成像的。

5、优选地，所述傅里叶光场显微镜超分辨成像方法，其步骤(1)具体为：

6、将低角向采样率的多视角光场图像及其中相邻视角的角向插值图像作为初始高角向采样率的多视角光场图像进行迭代；所述相邻视角的角向插值图像，采用相邻视角的光场图像进行双三插值等插值算法在角向维度上进行插值获取；

7、所述角度差值网络基于深度学习模型，包括融合通道、以及卷积通道组成，其中：所述融合通道用于将原始低角向采样率图像堆栈以及插值图像堆栈进行通道维度上的叠加，并通过多次卷积处理提取高维信息，包括多个融合模块；所述的卷积通道，包括多个卷积模块，用于对前端的融合模块进行进一步信息提取，由多层卷积层组成。

8、优选地，所述傅里叶光场显微镜超分辨成像方法，其所述基于深度学习模型角度差值网络，按照如下方法训练：

9、(1-1)获取训练样本：

10、(1-1-1)以静态或动态样本为目标，采用高分辨率三维成像显微镜对其进行实际拍摄，获得高分辨率的事实三维图像；所述高分辨率三维成像显微镜，包括但不限于宽场显微镜、共聚焦显微镜；

11、(1-1-2)根据硬件傅里叶光场显微成像系统的光学参数获取硬件傅里叶光场显微成像系统的点扩散函数，采用该点扩散函对步骤(1-1-1)获得的高分辨率的事实三维图像进行低角向采样率波动光学仿真，获得关于硬件傅里叶光场显微成像系统的单张点扩散函数图像，所述单张点扩散函数图像包括低角向采样的多视角点扩散图像阵列，所述多视角点扩散图像阵列与所述硬件傅里叶光场显微成像系统的微透镜阵列相应；

12、优选方案，对实际拍摄的图像进行像素重采样，获得所述高分辨率的事实三维图像；

13、(1-1-3)根据假想傅里叶光场显微成像系统的光学参数获取假象傅里叶光场显微成像系统的点扩散函数，采用该扩散函对步骤(1-1-1)获得的高分辨率的事实三维图像进行高角向采样率波动光学仿真，获得关于假想傅里叶光场显微成像系统的多张单视角点扩散函数图像，其中每一张点扩散函数图像包括高角向采样的一个视角的点扩散图像；所述多张点扩散函数图像与所述假想傅里叶光场显微成像系统的微透镜阵列相应；

14、(1-1-4)对步骤(1-1-1)获得的高分辨率三维图像分别与步骤(1-1-2)获得的单张多视角的点扩散函数图像、以及步骤(1-1-3)获得多张单视角的点扩散函数图像进行逐视角卷积，获得事实三维图像进行前向投影的单张多视角的低角向采样率光场图像和多张单视角的高角向采样率光场图像，将单张多视角的低角向采样率光场图像作为一个训练样本的输入，将其对应多张单视角的高角向采样率光场图像作为所述训练样本的输出；

15、单张多视角的低角向采样率光场图像，各个视角的图像表示为：

16、projectionlow＝{resize(o(x,y,z))*|e(x,y,v,z)|2}v＝1,2,...,v0

17、多张单视角的高角向采样率光场图像，各个视角的图像表示为：

18、projectionhigh＝{resize(o(x,y,z))*|e(x,y,v,z)|2}v＝1,2,...,ratio·v0

19、其中projectionhigh与projectionlow分别为高/低角向采样率的光场投影图像，resize为重采样，o(x,y,z)为三维图像，e(x,y,v,z)为前文所述的微透镜后的传播函数，v0为在原始角向采样率下的视角数量；

20、(1-2)模型训练。

21、优选地，所述傅里叶光场显微镜超分辨成像方法，其所述假想的傅里叶光场显微成像系统模拟的微透镜位置为所述硬件傅里叶光场显微成像系统微透镜位置的整倍率差值排布.

22、优选地，所述傅里叶光场显微镜超分辨成像方法，其根据角向插值倍率可计算得所述高角向采样率的多视角光场图像模拟的微透镜间距为：

23、δd＝d/ratio

24、其中d为实际微透镜间距，也即所述低角向采样的多视角光场图像模拟的透镜阵列的微透镜间距，ratio为角向插值倍率。

25、优选地，所述傅里叶光场显微镜超分辨成像方法，其对于任一傅里叶光场显微成像系统，根据其光学参数获取该成像系统给的点扩散函数，具体为：

26、s1、通过微透镜间距、微透镜排布方式，获得多视角光场图像模拟的透镜阵列中所有微透镜空间位置。

27、s2、根据微透镜的光学参数确定其透过率函数tmla，并按照波动光学理论，计算不同微透镜后的点扩散函数psf(x,y,v)，即：

28、psf(x,y,v)＝|e(x,y,v；z))|2

29、＝fresnell1(e1(x,y；z)×tmla(x,y,v；xv,yv))

30、其中e1为点源o(x,y,z)传播到微透镜平面的电场分布，tmla为单个模拟微透镜的透过率函数，xv,yv为密集采样微透镜阵列中某个微透镜的中心坐标，fresnell1为菲涅尔衍射传播l1距离，l1微透镜平面到相机平面的距离。

31、优选地，所述傅里叶光场显微镜超分辨成像方法，其所述傅里叶光场显微成像系统采用的微透镜排列方式为：六边形排列、正方形正交排列。

32、优选地，所述傅里叶光场显微镜超分辨成像方法，其所述步骤(1-2)具体为：

33、通过密集残差网络进行前向传播，最终获得与高角度采样率图像尺寸一致的网络输出，并通过优化以下损失函数loss，完成网络模型迭代收敛；

34、

35、其中n为视角图像堆栈像素数量，y与分别为步骤(1-1-1)获得的高分辨率的事实三维图像、以及所述基于深度学习模型角度差值网络输出的高角向采样率多张单视角光场图像重建的三维图像。

36、优选地，所述傅里叶光场显微镜超分辨成像方法，其所述重建为三维图，具体为：将单张单视角光场图像以及其对应的视角的点扩散函数图像进行迭代反卷积运算获得该视角的三维图像；

37、所述将三维图像按照训练的顺序叠加，具体为：按照空间位置，将各视角三维图像按照训练的顺序叠加拼接，不仅能避免视角之间的串扰，同时能有效的校正三维图像，从而提高成像质量。

38、按照本发明的另一个方面，提供了一种傅里叶光场显微镜超分辨成像系统，包括角度差值网络、以及逐视角重建模块；

39、所述角度差值网络，用于将傅里叶光场显微镜获取的低角向采样率的单张多视角光场图像，进行智能插值获得高角向采样率多张单视角光场图像；

40、所述逐视角重建模块，用于将所述角度差值网络输出的高角向采样率的多张单视角光场图像，逐视角重建为三维图像，并按照与所述角度差值网络的训练样本采样数据中多张单视角图像排序相同的顺序进行叠加，获得所述傅里叶光场显微镜超分辨成像的。

41、总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

42、本发明提供的一种傅里叶光场显微镜超分辨成像方法，通过深度学习算法在实际拍摄的光场图像中内插更多的视角图像而不会产生串扰，同时获得与之匹配的光场psf，再利用三维重建算法获得高质量的重建结果。

43、本发明结合光场成像原理，基于多视角生成算法以及角向插值算法，将低角向采样率的多视角图像转化为视角密集采样的多视角图像，从而减

44、缓了传统反卷积算法在低角向采样率图像的重建伪影的问题，提升了其轴向层析能力，克服传统光场成像技术在观察高速动态生物学过程中的限制。