一种基于深度学习的结构光超分辨显微成像方法和系统

本发明属于荧光显微成像，特别是一种基于深度学习的宽场照明模式与结构光照明模式相互融合的进行活细胞动态长时间超分辨显微成像的方法和系统。

背景技术：

1、在生命科学研究中，荧光显微镜由于具有特异性可标记性、能够对活体细胞进行实时成像等优点，被广泛应用。但由于荧光显微镜受衍射极限的限制，其在生命医学研究领域的使用被大大局限。近些年来，科研人员提出了能够突破衍射极限的超分辨显微技术，包括受激发射损耗显微技术，光激活定位显微技术，随机光学重建显微技术与结构光照明显微技术等。其中，结构光照明显微技术通过调制的条纹结构光照明样品，再通过图像重建可以实现两倍于衍射极限的分辨率。相较于其他超分辨成像技术，结构光照明显微技术具有较高的时间分辨率(约80hz)，对标记样品的荧光染料无特殊要求，且光毒性较低(照明强度约10w/cm2)，这些优点对于活细胞的动态观察来说十分重要。因此，结构光照明显微镜主要被用于观测亚细胞水平的活体观测，包括线粒体动态变化，细胞骨架动态变化，染色体动态变化，细胞内小囊泡运动，病毒在细胞内的移动等。然而，结构光照明显微技术需要多次测量来重构一张超分辨图像，并且在结构光显微技术的重建算法中，包含了对频域信息分离、频域信息拼接等复杂操作。然而，这种重建算法对原始荧光图像的信噪比要求较高。否则，若采用低信噪比的原始荧光图像进行超分辨率重建的话，则最终的超分辨率图像会存在大伪影。这些伪影的存在会严重影响最终超分辨率重建图像的质量，使得无法区分真实的样本信息与重建过程中产生的伪影，进而影响显微观测效果。

2、为了解决上述缺陷，基于深度学习的结构光照明超分辨显微成像方法应运而生。基于深度学习的方法在根据大量示例数据学习端到端的图像变换关系方面取得了很大的成功。自2019年深度学习首次被应用于结构光超分辨显微成像，已有不少学者基于u-net、生成对抗网络(gan)、残差通道注意力网络(rcan)等提出相应的结构光照明超分辨重建算法。这些算法主要解决了两类问题：1)改善低信噪比条件下的成像质量，降低光毒性；2)减少重建所需原始图像数量。上述问题的解决均可有效提高结构光照明显微成像的时间分辨率，降低成像过程中的光漂白与光毒性，为长时间活细胞实时动态成像提供可能。

3、但基于深度学习方法直接从宽场图像到结构光调制下获得的超分辨图像依旧难以获得理想的效果，并且重建出的超分辨结构并不可靠。宽场成像能够进一步降低活细胞动态成像过程中的光毒性与光漂白，延长活细胞动态成像时间。由于衍射受限的宽场图像不包含可解析的超分辨信息，传统的基于wiener反卷积等分析模型的算法无法通过宽场图像得到超分辨图像。而基于深度学习的方法无需显式分析模型，这些基于数据驱动的方法不仅可以逼近图像退化过程的伪逆函数还可以逼近超分辨解的随机特性。因此，研究如何借助深度学习方法从宽场图像中直接获取高质量的可靠的超分辨图像对于活细胞亚显微结构的长时间动态观察至关重要。

技术实现思路

1、本发明的目的在于针对上述现有技术存在的问题，提供一种宽场成像与结构光照明相融合的超分辨显微成像技术与系统，以降低结构光照明超分辨显微成像过程中的光毒性与光漂白，实现对活细胞亚显微结构的长时间超分辨动态观测。

2、实现本发明目的的技术解决方案为：一方面，提供了一种基于深度学习的结构光超分辨显微成像系统，所述系统包括沿光路方向依次分布的光源、第一透镜、偏振分光棱镜、空间光调制器slm、第二透镜、照相模式切换模块、第三透镜、显微物镜、三维电动载物台、二向色镜、筒镜、滤色片和相机；

3、光源发出的光经过第一透镜和偏振分光棱镜，垂直入射到空间光调制器slm，从空间光调制器slm出来的衍射光沿原路返回，由偏振分光棱镜反射进入第二透镜，经透镜准直后进入照明模式切换模块，所述照明模式切换模块用于根据具体的成像需求进行不同照明模式的切换；照明模式切换模块的出射光经第三透镜后由二向色镜反射至显微物镜，由显微物镜聚焦后激发放置在三维电动载物台上的样本产生荧光，荧光信号由显微物镜收集后通过二向色镜透射，经过筒镜和滤色片组合，由相机采集并成像。

4、进一步地，所述照相模式切换模块包括沿光路依次设置的多孔掩模板、偏振调节装置以及第四透镜。

5、进一步地，所述多孔掩模板用于进行空间滤波，包括2n个旋转对称分布的针孔，或为这些针孔分布模式的组合，其中n为整数。

6、进一步地，所述偏振调节装置包括但不限于偏振旋转器和液晶位相补偿器组合，或两个半波片的组合。

7、进一步地，所述照相模式切换模块包括三种模式：

8、1)3d-sim模式：该模式允许0级以及正负1级衍射光通过；

9、2)2d-sim模式：该模式仅允许正负1级衍射光通过；

10、3)宽场模式：该模式仅允许0级，正1级或负1级三者中的一束衍射光通过，或通过破坏光束干涉条件实现，或通过在相机单次曝光时间内切换结构光条纹照明模式实现。

11、另一方面，提供了一种基于深度学习的结构光超分辨显微成像方法，所述方法包括以下步骤：

12、步骤1，切换所述结构光超分辨显微成像系统为3d-sim模式或2d-sim模式，采集获取n帧被结构光照明模式调制的原始图像；

13、步骤2，基于所述原始图像，通过算法重建获得一幅超分辨图像，作为一个关键帧；

14、步骤3，切换所述结构光超分辨显微成像系统为宽场模式，采集当前时刻的宽场图像；

15、步骤4，将所述关键帧、宽场图像输入至神经网络，获得当前时刻的超分辨图像；

16、步骤5，采集下一时刻的宽场图像，

17、步骤6，将所述关键帧，以及下一时刻的宽场图像输入至神经网络，获得当前时刻的超分辨图像；

18、步骤7，重复执行步骤5至步骤6，直至完成超分辨成像。

19、进一步地，所述步骤5至步骤7可替换为：

20、步骤5，判断生物结构的形态变化是否超过预设变化阈值，若是，则执行步骤1和步骤2，再获得一个关键帧，之后采集下一时刻的宽场图像，执行下一步；否则采集下一时刻的宽场图像，执行下一步；

21、步骤6，若当前关键帧数目为一，则执行：将所述关键帧以及下一时刻的宽场图像输入至神经网络，获得当前时刻的超分辨图像；否则执行：将任意一个或多个关键帧，以及下一时刻的宽场图像输入至神经网络，获得当前时刻的超分辨图像；

22、步骤7，重复执行步骤5至步骤6，直至完成超分辨成像；

23、进一步地，步骤5中的判断条件可替换为：是否出现新的生物结构。

24、进一步地，步骤5中的判断条件可替换为：当前时刻与初始时刻的时间差是否达到预设时间间隔阈值。

25、进一步地，步骤6中神经网络的输入还包括一个或多个之前时刻神经网络输出的超分辨图像，且其与关键帧的存在关系为和或关系。

26、本发明通过利用生物样本的时间连续性，结构光照明显微成像技术时间分辨率高，光毒性低等优势，以及相邻帧之间的强关联性，提出了一种基于深度学习的在关键帧辅助下的结构光照明超分辨显微成像方法与系统，与现有技术相比，其显著优点为：

27、1)在所获取的包含真实超分辨结构信息的关键帧的辅助下，使得基于深度学习的从宽场到超分辨的重建结果质量更佳且更真实可靠。

28、2)整个成像过程的光剂量与宽场成像相当，有效降低了结构光超分辨显微成像过程中的光毒性与光漂白，更有利于对活细胞亚显微结构的长时间动态超分辨观察。

29、下面结合附图对本发明作进一步详细描述。