一种双模态实时显微成像装置及方法

本发明涉及显微成像领域，更具体的涉及一种双模态(相位/荧光)实时显微成像装置及方法。

背景技术：

1、光学显微成像技术具有无损、非接触、高特异性、高灵敏、高活体友好以及能够提供功能信息动态成像等突出优势，成为生物活体和活细胞成像的首选。自从2008年诺贝尔化学奖颁发给荧光蛋白的发现者日本科学家下村修以及突出贡献者美国科学家martychalfie和钱永健后，荧光标记技术在生物医学上得到了长足的发展和广泛的应用。特别是结合荧光显微镜、荧光共聚焦显微镜以及近年发展的随机光学重构超分辨成像(storm)、结构光照明成像(sim)等超分辨荧光显微成像技术，在对生物标志物及靶标分子的动态活体标记显微观察方面已经延伸到了生物医学研究的方方面面。然而与宽场的超分辨成像技术的结合，在多色标记成像的实时性方面均存在不足。

2、基于单分子定位方法的storm技术具有高空间分辨率和大视场的优势，但高精度的单分子定位要求限制了标记的荧光染料分子密度，为了重构一张超分辨像通常需要几千帧到上万帧的图像采样进行重构，时间分辨率太低，无法做到成像的实时性。

3、sim技术的时间分辨率仅受探测器采样帧率的限制，而且能够实现大视场和低光照强度，使得sim技术在时间分辨率、视场和光照强度三个指标上具有一定领先优势，但空间分辨率受成像机制的约束被限制在100nm。sim技术能够实现单色成像的实时性，但需结构光照明和多帧重构成像。

4、目前的多色成像为了避免多色串扰问题主要通过多波长激光分时序激发配合着旋转滤波片使用，但目前旋转滤波片最快切换速度在35-50ms，这严重影响生物活细胞多色成像的实时性。

5、目前，发明人团队前期已经发展出了基于稀疏约束鬼成像(gisc)的宽场荧光超分辨显微成像技术，将量子成像技术与现代信息理论的压缩感知技术相结合，相比sim和storm技术具有更高的图像信息获取效率，使得超分辨荧光显微镜的空间分辨率、时间分辨率和视场的三角制约空间可以得到不断提升；并且演示了该技术具有单帧实现超分辨成像的能力，分辨率达到80nm。同样的与storm技术相结合，可将storm成像所需的帧率降低百倍以上。特别是gisc超分辨成像技术具有调制编码成像的特点，可整合多色编码技术实现单帧多色超分辨成像，解决多色成像速度慢的问题。gisc成像技术获得了国家专利授权(中国专利号：zl201510394995.9)；同时还提出基于gisc成像技术的核酸检测和基因测序方案，并获国家专利授权(中国专利号：zl202010982860.5)，并申请国际专利pct/cn2021/114636。

6、另外，光学显微技术在活细胞成像和生物芯片方面的实时观察不单需要荧光标记后的功能观测，还希望对细胞整体的无标记动态演化观察。目前对透明的活细胞无标记显微观察，主要发展了各类光学相位显微成像技术，主要有基于干涉的相位成像技术如相衬显微镜、微分干涉显微镜和全息显微技术等等。但获取细胞的真实形貌信息需要对探测的相位进行定量，通常需要探测具有多个预设相位的光照成像，多次重构获得定量相位信息，使得基于干涉技术的相位成像很难实现实时观察。另一类技术是基于相干衍射的相位恢复算法，主要有相干衍射成像技术(cdi)和傅里叶叠层成像技术(fpm)，通常为了增加相位恢复的算法收敛性，需要探测多个角度照明以及叠层成像，然后孔径合成恢复相位，在相位成像的实时性方面同样存在不足。

7、发明人团队前期自主研发了全光场相机成像技术，通过实像面和傅里叶面的强约束，实现物像的相位恢复，从而获得光场的相位信息，同样具有单帧采样实现相位恢复成像的能力，使得光学相位显微成像同样可实现实时性，并已申请(申请号：202111548124.x)核心专利。

8、在双模态显微成像方面，2020年，北京大学分子医学研究所陈良怡与施可彬团队合作，将无标记光学odt(optical diffraction tomography)技术与sim荧光成像技术相结合，实现了一种新的双模态超分辨率显微镜(sr-fact)，申请了公告号为cn111610621b的相关专利。其中，荧光超分辨分辨率优于100纳米，而无标记三维成像的分辨率为xy方向200纳米，z方向500纳米左右，双模态活细胞超分辨率成像的时间分辨率可以达到0.8hz，还不能实现实时成像。

9、同时，北京大学施可彬团队将双光子荧光成像和fpm技术的结合也申请了公告号为cn113702288b的与双模态显微成像相关的专利。

10、综上，现有技术在双模态成像的方式基于odt技术和sim或双光子荧光成像技术。但由于双模态超分辨率显微镜(sr-fact)技术实现相位成像技术需要多角度照明、多帧采集、sim技术需要照明光源的复杂调制且分辨率只能提升衍射极限的两倍，因此现有技术双模态成像导致成像时间长、仪器构造复杂、分辨率低、无法同步实时成像等缺点。

11、全光场相机无需多角度照明、多帧采集的方式，仅采用两个二维阵列探测器同时采集实像面与傅里叶面强度信息，即可实现相位成像。gisc多色编码超分辨显微技术的优势在于超分辨成像可在无需调制照明光源的基础上实现，具有单帧80nm的超分辨能力，且单次曝光即可完成多色成像。

12、因此，有必要提出一种整合全光场相机技术与gisc多色编码超分辨显微技术的双模态显微成像技术，以解决现有双模态成像时间慢、结构复杂、分辨率低等问题，并实现实时成像。

技术实现思路

1、本发明的目的是提供一种双模态实时显微成像装置及方法，从而解决现有双模态相位和荧光成像中的空间分辨率低、无法双模态同时实时成像以及多色实时成像困难等等难题。

2、为了实现上述目的，本发明提供一种双模态实时显微成像装置，包括：照明组件，其设置为照射待测样品；成像组件，其设置为接收来自待测样品的光信号，并将散射光信号和荧光信号以不同的光路出射；全光场相机，其设置为接收自成像组件出射的散射光信号；荧光成像二维阵列探测器和gisc相机，其设置为可彼此切换地接收自成像组件出射的荧光信号；以及图像运算处理器，其与全光场相机、荧光成像二维阵列探测器、gisc相机均电连接。

3、所述照明组件包括多个激发光源、与多个激发光源相连的一个光纤合束器以及通过单根光纤与光纤合束器相连的一个光纤准直器。

4、述照明组件设置为通过多个激发光源中的一个来发射单色光，或者通过多个激发光源按照时序发射或者同时发射多色光；并将激发光源的激光输出通过光纤合束器合束到单根光纤中，并通过所述光纤准直器准直照射待测样品。

5、所述待测样品安装于位移台上，所述位移台为二维位移台。

6、所述全光场相机设置为利用全光场相机分束器对散射光信号进行分光，被分为两路的散射光信号一路在成像面上直接被第一全光场相机二维阵列探测器探测，另一路通过全光场相机成像透镜变换后在其后焦面被第二全光场相机二维阵列探测器探测，随后通过傅里叶迭代算法进行重构恢复来得到物体的散射光信号的相位。

7、所述gisc相机包括在距离荧光信号成像面第一距离z1处放置的随机相位调制器，以及在随机相位调制器后第二距离z2处放置的gisc相机二维阵列探测器，以记录荧光散斑信号，第一距离z1与第二距离z2满足散斑探测最优化条件；所述gisc相机设置为将得到的荧光散斑信号与预置的定标矩阵进行关联运算重构得到多色超分辨荧光信号。

8、所述成像组件设置为将所述散射光信号出射至第一光路，且所述全光场相机位于第一光路上；所述成像组件设置为将所述荧光信号可切换地出射至第二光路和第三光路，所述荧光成像二维阵列探测器位于第二光路上，所述gisc相机位于第三光路上。

9、所述成像组件包括沿光路的走向依次排布的物镜、二向色镜和切换转镜；所述二向色镜设置为使得光信号中的散射光信号反射并出射至第一光路并使得光信号中的荧光信号透过并出射至第二光路；所述切换转镜设置为在转动至第一位置时将沿第二光路传播的荧光信号反射至第三光路上，在转动至第二位置时使得沿第二光路传播的荧光信号继续沿第二光路传播；切换转镜位于第二光路上。

10、所述成像组件设置为将所述散射光信号出射至第一光路，且所述全光场相机位于第一光路上；所述成像组件设置为将所述荧光信号出射至第二光路，所述荧光成像二维阵列探测器和所述gisc相机可彼此切换地位于第二光路上。

11、所述图像运算处理器具有数据处理模块；所述图像运算处理器设置为：

12、s1：输出全光场相机和gisc相机或全光场相机和荧光成像二维阵列探测器同步进行采集的信号；

13、s2：缓存采集到的数据，将数据传输至图像运算处理器的数据处理模块；

14、s3：利用数据处理模块中预制全光场相位恢复算法以及gisc超分辨算法对采集信号进行计算重构，得到重构结果；

15、s4：输出重构结果。

16、另一方面，本发明提供一种单色照明下相位和荧光显微双模态成像方法，包括：

17、a0：搭建根据上文所述的双模态实时显微成像装置；

18、a1：利用照明组件发射单色光，将荧光成像二维阵列探测器切换至接收自成像组件出射的荧光信号；

19、a2：利用图像运算处理器，控制全光场相机和荧光成像二维阵列探测器同步进行采集信号，缓存采集到的数据，并利用数据处理模块对采集到的数据进行计算重构，得到重构结果；随后输出重构结果。

20、另一方面，本发明提供一种单色照明下相位和gisc荧光超分辨双模态成像方法，包括：

21、b0：搭建根据上文所述的双模态实时显微成像装置；

22、b1：利用照明组件发射单色光，将gisc相机切换至接收自成像组件出射的荧光信号；

23、b2：利用图像运算处理器，控制全光场相机和gisc相机同步进行采集信号，缓存采集到的数据，并利用数据处理模块对采集到的数据进行计算重构，得到重构结果；随后输出重构结果。

24、另一方面，本发明提供一种多色时序照明下的全彩相位与gisc多色荧光超分辨双模态成像方法，包括：

25、c0：搭建根据上文所述的双模态实时显微成像装置；

26、c1：利用照明组件按照时序每次发射单色光以发射不同波长的光，将gisc相机切换至接收自成像组件出射的荧光信号；

27、c2：利用图像运算处理器，控制全光场相机和gisc相机同步进行时序采集信号，缓存采集到的数据，并利用数据处理模块对时序采集到的数据进行计算重构，得到时序图像作为重构结果；随后输出重构结果；根据时序图像合成全彩相位图像与多色荧光图像。

28、另一方面，本发明提供一种多色同时照明下全彩相位与gisc多色荧光超分辨双模态成像方法，包括：

29、d0：搭建根据上文所述的双模态实时显微成像装置；其中，所述的双模态实时显微成像装置的全光场相机中的第一全光场相机二维阵列探测器和第二全光场相机二维阵列探测器均为rgb彩色阵列探测器，使得所述全光场相机构成彩色全光场相机；

30、d1：利用照明组件同时发射多色光，将gisc相机切换至接收自成像组件出射的荧光信号；

31、d2：利用图像运算处理器，控制彩色全光场相机和gisc相机进行同步采集信号，缓存采集到的数据；利用图像运算处理器，将彩色全光场相机输出的数据按rgb三色通道分解以得到分解的三色通道信号，并利用数据处理模块对分解的三色通道信号分别进行计算重构，得到重构结果，对重构结果重新叠加生成全彩相位图像；利用图像运算处理器，对gisc相机输出的数据进行计算重构，得到多色荧光图像；由此得到全彩相位图像与多色荧光图像。

32、本发明的双模态实时显微成像装置及方法将全光场相机成像技术和gisc多色编码超分辨显微技术进行整合，采用统一的光纤合束准直宽场照明方式。其中，相位成像方式采用双面约束傅里叶迭代相位恢复，仅需单次曝光即可恢复相位信息，荧光超分辨成像方式采用gisc技术，该成像方式在宽场照明下可实现80nm的空间分辨率。因此，本发明通过将全光场相机成像技术和gisc超分辨显微技术进行整合，替代了需对激发光进行调制和多角度照明、难以对生物多色显微实时成像的现有的双模态成像方式，设计简单、结构紧凑、成本较低、无需对激发光进行调制和多角度照明，具有单帧的高分辨成像能力，实时性更好。

33、现有的相位成像方法往往需要2倍以上的奈奎斯特采样率才能对相位进行恢复。本发明的双模态实时显微成像的实现方法及装置中全光场相机模块，依靠的全光场相机内分束器对散射信号分光处理，实现实像面与傅里叶面的强度信号同时采集，通过实像面与傅里叶面的双面约束可以获得足够多的信息求解相位，进行相位恢复，可以在接近一倍奈奎斯特采样的条件下实现相位物体重构成像，使得全光场相机较于传统方式具有更低的采样率。其中，通过透镜变换实现的实像面与傅里叶面信号采集，不仅形成了双面的强度约束，而且引入成像系统本身带来先验约束(透镜傅里叶面变换性质带来的实像面的解析性约束、物镜的对傅里叶面的截断带来的傅里叶面的带限约束、物体本身尺寸在实像面成像带来的有界约束等等)。

34、现有双模态荧光成像实现多色往往需要切换滤光片，本发明采用光纤合束器可将不同波长的光耦合至单根光纤，可实现多色光的同时照明，并且采用的gisc多色超分辨成像相机模块可以通过将光场高维空间的信息压缩编码至二维阵列探测器，该方式可以单次曝光实现多色成像，大大的减少了多色成像所需要的采样时间，具有单帧多色成像能力，为多色生物成像的实时性提供了最佳的技术路线。

35、综上，本发明的双模态实时显微成像的装置及方法将全光场相机成像技术的相位恢复能力和gisc超分辨显微技术的超分辨成像能力进行整合，配合多色照明实现单次曝光多色成像的高效的荧光激发方式，具有能够有效降低探测器的采样要求、简化光路，提高成像信息获取效率等优势，为多色标记和无标记双模态实时生物(荧光、相位)成像提供了功能强大的成像手段。