一种双物镜三维结构光照明超分辨显微成像装置与方法

1.本发明属于荧光超分辨显微成像领域，特别涉及到一种基于照明干涉和荧光干涉的双物镜三维结构光照明超分辨显微成像装置与方法。


背景技术：

2.作为一种非接触且低损伤的观察方式，荧光显微成像一直是生物医学领域的研究重点。然而，由于阿贝衍射极限的存在，荧光显微成像光学分辨率被限制在了荧光的半波长，使得细胞内更精细的结构无法分辨。因此，近几十年来，科学家们一直致力于对荧光显微镜分辨率的提升。进入二十一世纪，荧光超分辨显微成像技术取得了重大进展，出现了几种主流的超分辨显微成像方法，其中结构光照明显微成像技术由于其成像速度快，光毒性和光漂白程度轻等优点在超分辨显微成像尤其是活细胞成像领域受到了广泛关注。
3.传统的结构光照明显微成像技术通过使用激发光干涉所产生的调制照明条纹激发荧光样品，利用傅里叶变换对图像频谱进行处理，将普通显微镜无法观测到的高频分量移动到低频范围内，从而提高了图像分辨率。结构光照明显微镜需要获取的图像数量较少，成像速度高，适用于实时活细胞成像；所需荧光标记密度较低，无需特异荧光染料，但受限于原理最多只能提升一倍分辨率，大约在100nm量级。然而，传统的结构光照明显微镜通常只能实现横向超分辨，在轴向上，其分辨率与普通的宽场显微镜并无区别，因此在二维成像技术的基础上，研究人员相继发明了使用三束光干涉的单物镜三维结构光照明显微成像技术和使用了六束光的双物镜4pi结构光照明显微成像技术。这两种技术分别将结构光照明显微成像的轴向分辨率提高到了约300nm和100nm。
4.现有技术中，公开后为cn107014793b的专利申请提供一种基于双振镜双物镜多模式宽场超分辨显微成像系统，包括沿光路依次布置的激光器和分束镜，由分束镜分束为透射光路和反射光路，还包括：沿透射光路依次布置的第一扫描振镜系统和第一显微物镜，由第一显微物镜将光束入射至样品的下表面并激发荧光；沿反射光路依次布置的第二扫描振镜系统和第二显微物镜，由第二显微物镜将光束入射至样品的上表面并激发荧光；用于收集两路荧光信号的成像光路模块；和计算机，用于控制第一扫描振镜系统和第二扫描振镜系统对样品进行扫描，并根据收集的两路荧光信号进行数据处理和图像重构。
5.以及公开号为cn113835207a的专利申请提出一种基于三维照明调制的双物镜单分子荧光显微成像装置，包括激发光路模块和成像光路模块，激发光路模块包括依次布置的：激光器，发出激光光束；分束与扫描系统，用于将光束分为独立选通或截止的四束线偏振光，并进行成像位置扫描及改变光程差；双物镜系统，用于将激发光分成对称的两组在像面上干涉并收集荧光；成像光路模块包括依次布置的：相位调制系统，用于将两路荧光按照s和p偏振分为四束干涉光且引入指定的相位延迟；相机，用于收集荧光强度信号；计算机，用于控制分束与扫描系统和相机，改变干涉条纹相位、方向和拍照，并处理采集的数据得到超分辨图像。
6.然而，随着生物医学技术的不断发展，100nm的轴向分辨率已经不能满足如今对亚
细胞结构的三维观测需求，但目前能够达到更高轴向分辨率的技术往往需要更长的成像时间(如单分子定位显微成像技术)或造成更大的光毒性(如受激辐射损耗显微成像技术)；而结构光照明显微镜凭借其较快的成像速度和较低的光毒性，依然在生物医学领域得到广泛应用。因此目前的结构光照明显微镜需要在原有轴向分辨率的基础上实现进一步的提升以满足更高的成像质量要求。


技术实现要素：

7.本发明提供了一种基于照明干涉和荧光干涉的双物镜三维结构光照明超分辨显微成像装置与方法。本装置将4pi结构光照明技术与荧光干涉轴向定位技术结合，使分辨率可以在4pi结构光显微成像技术的基础上提升3倍以上，实现优于20nm的超高分辨率，对亚细胞结构的实时观测和生命活动研究具有重要意义。
8.本发明采用的具体技术方案如下：
9.一种双物镜三维结构光照明超分辨显微成像方法，包括：
10.照明激光光束分为可快速改变方向的多束激发光；
11.所述多束激发光分为等光强的两部分，同时经过两个上下两个物镜后在样品平面发生干涉，形成调制照明的条纹图样；
12.样品在照明调制情况下产生的荧光被双物镜接收经过分束和相位延迟后在探测器平面形成四幅相位差依次为π/2的图像；
13.依次旋转结构光照明图样的干涉条纹的方向，在不同条纹方向下多次改变干涉条纹的相位，得到各干涉条纹方向不同对应相位下的多幅荧光强度图像；
14.将采集到的四幅子图进行配准并相加，利用不同干涉条纹方向和相位的产生的荧光强度图像重构出一幅结构光超分辨显微图像。
15.本技术提出的显微成像方法，将荧光干涉轴向定位技术与4pi结构光照明显微成像技术相结合，在空间不同方向上通过记录干涉条纹相位变化引起的调制宽场荧光图像强度变化并在傅里叶域实现图像的横向超分辨和初步的轴向超分辨，再结合荧光干涉产生的具有固定相位差的4幅子图像实现更加精确的轴向定位，从而显著提升显微镜的三维分辨能力。
16.本发明成像方法提升成像分辨率的原理如下：传统结构光照明成像技术利用两束光在样品面产生正弦分布的干涉条纹，通过移相和傅里叶域处理获得宽场荧光显微镜所不能接收到的高频信息，并利用移频的原理使特定条纹方向的分辨率得到提升；通过改变条纹方向(通常为互成120度的三组条纹)来实现整个横向各向同性的分辨率提升。在传统结构光照明显微镜的基础上，通过增加一束光在样品面产生三束光的三维照明条纹，可以使系统的光学传递函数探测范围在轴向上实现延拓从而在提高横向分辨率的同时显著提高轴向分辨率。
17.本发明提出的成像方法引入了第二个物镜和荧光干涉相位的轴向定位来进一步提高轴向分辨率。通过分束器使原本只能会聚在一个物镜背焦面并在其焦面处产生三维干涉条纹的激发光束分为能量均等的两部分并对称地会聚在两个相对放放置的物镜背焦面上，从而在两个物镜之间产生了新的三维干涉条纹以激发样品。由于参与构成三维干涉条纹的激发光束的数量和传播方向均实现了加倍，因此在傅里叶域其轴向的移频量也大大增
加，同时由于两个物镜均参与了荧光的收集，因此其宽场的光学传递函数在轴向上也获得了延展，天然提高了轴向分辨率。通过维纳滤波或者梯度下降等算法在傅里叶域和空域进行处理，可以获得横向的超分辨和轴向的初步光学层切效应。
18.进一步的，还包括分别将每个子图各自不同的干涉条纹方向和相位的荧光图像相加形成四幅宽场图像，利用其π/2固定相位差提高轴向分辨率。利用探测模块相位调制系统产生的四幅子图像提取局部发光区域的发光强度从而根据四幅子图对应区域的强度分布计算出相位，将相位转换为上下物镜荧光的光程差从而得出每个小区域所代表的亚细胞结构偏离焦平面(z＝0)的距离从而获取更加精确的轴向位置。
19.优选的，所述多束激发光包括两束光强度相等且偏振方向一致的线偏振光和一束圆偏振光。
20.作为优选的，在样品面上参与干涉的激发光数量应为6束(上物镜三束、下物镜三束)，方向应为0
°
、120
°
和240
°
，每一个维度需控制干涉条纹相移5次，其中，位于6束光中心的2束激发光相移应为π/5、2π/5、3π/5、4π/5、π；位于同一侧的2束激发光相移应为2π/5、4π/5、6π/5、8π/5、2π；位于另一侧的2束激发光不移项。此处仅限于作为最优的实例，从理论上来说，参与干涉的激发光最多可以是八束，此时可以做到x和y方向同时移相；作为可选的，八束光双物镜照明产生的三维干涉条纹也可以用于该成像过程。
21.本发明还提供一种双物镜三维结构光照明超分辨显微成像装置，包括激发光路模块和成像光路模块，其中：
22.所述的激发光路模块包括依次布置的：
23.激光器，发出激光光束用于激发荧光；
24.分束与扫描系统，用于将激光光束分为最多四束独立可快速选通或截止的线偏振光完成干涉条纹生成，并可以通过成像位置扫描改变干涉条纹周期、通过光程差调控改变干涉条纹相位；
25.双物镜系统，用于将激发光分成对称的两组在像面上生成干涉条纹，并收集荧光；
26.所述的成像光路模块包括依次布置的：
27.相位调制系统，用于将两路荧光按照s和p偏振分为四组干涉光，且引入指定的相位延迟；
28.scmos相机，用于收集所述的荧光强度信号；
29.计算机，用于控制所述的分束与扫描系统和相机，以精确的时序分别改变干涉条纹相位、方向并拍照，并对采集的荧光强度信号进行数据处理，得到超分辨图像。
30.本发明提出的双物镜三维结构光照明超分辨显微成像装置，采用模块化设计为系统预留了多功能应用接口，可以方便的改为典型的4pi结构光照明显微成像系统和4pi单分子显微成像系统。装置采用压电位移台驱动的反射镜通过改变光程差的方式实现照明条纹的相位变化，采用电光调制器与偏振分束器的组合实现照明条纹方向的快速选通，采用高速扫描振镜实现三个维度照明条纹的切换与干涉条纹周期的调节。
31.优选的，所述的分束与扫描系统包括：
32.依次设置的第一半波片和第一偏振分束器，所述第一半波片用于将入射光的偏振方向变为沿s光和p光角平分线方向，再经过第一偏振分束器分为强度相同的反射光和透射光；
33.设置在所述第一偏振分束器反射光路上的第一电光调制器和第二偏振分束器，所述第一电光调制器用于对入射光引入指定的相位延迟，并配合所述第二偏振分束器光路的快速选通与截止，且第二偏振分束器还将第一偏振分束器的反射光分束为两路；
34.设置在所述第一偏振分束器透射光路上的第二电光调制器和第三偏振分束器，所述第二电光调制器用于对入射光引入指定的相位延迟，并配合所述第三偏振分束器光路的快速选通与截止，且第三偏振分束器还将第一偏振分束器的透射光分束为两路；
35.依次设置在所述第二偏振分束器透射光路上的第二半波片和第一扫描振镜；依次设置在所述第二偏振分束器反射光路上的第一压电陶瓷驱动的反射镜和第二扫描振镜；
36.依次设置在所述第三偏振分束器透射光路上的第三半波片和第三扫描振镜；依次设置在所述第三偏振分束器反射光路上的第二压电陶瓷驱动的反射镜和第四扫描振镜；
37.第一分束器，用于将第二偏振分束器分开的光合束；第二分束器，用于将第三偏振分束器分开的光合束；和第三分束器，用于将第一分束器和第二分束器出射的光合束并分为强度相等的两路，进入双物镜系统实现干涉条纹生成。
38.优选的，所述第一分束器与第三分束器间设置有拼接半波片，用于生成与两光斑连线垂直方向相同的线偏振光；所述第二分束器与第三分束器间设置有第一四分之一波片，用于将光束变为圆偏振光。
39.本技术中的拼接半波片由三对快轴方向不同的扇形半波片组成，可以提高三个方向的干涉条纹对比度。
40.优选的，所述的激光器和分束与扫描系统之间依次放置有单模保偏光纤，用于将激光器发出的线偏振激光传递到分束与扫描系统内且保证其线偏振特性。
41.优选的，所述的双物镜系统包括：设置在成像位置上下的下物镜和下物镜，所述第三分束器的反射光和透射光分别经下物镜和下物镜产生照明样品的干涉条纹；与下物镜和下物镜对应的二向色镜，二向色镜用于将照明激光的波长反射进入物镜且透过从物镜收集到的荧光使其进入探测模块。
42.优选的，所述的相位调制系统包括：
43.设在下物镜荧光光路上的第二四分之一波片，依次设置在上物镜荧光光路上的第三四分之一波片和第四四分之一波片，用于引入发生荧光干涉所需的相位差；
44.位于上下荧光光路交汇处的第四分束器，用于分别将上下荧光光路中的偏振光分为光强相等的两部分，并通过透射和反射分束为上光路s干涉光、上光路p干涉光、下光路s干涉光和下光路p干涉光；
45.第四偏振分束器，用于控制下光路p干涉光反射进入下光路、下光路s干涉光透射进入上光路、上光路p干涉光反射进入上光路、上光路s干涉光透射进入下光路；
46.第一成像透镜和第二成像透镜，用于分别会聚下光路和上光路的干涉光进入scmos相机。
47.与现有技术相比，本发明具有以下有益的技术效果：
48.(1)将三维结构光照明技术与荧光干涉相位轴向定位相结合，轴向分辨率提升3倍以上；
49.(2)本装置除用于本专利所述方法外，还可适用于传统的4pi结构光照明显微成像和4pi单分子显微成像等宽场显微成像相关的实验研究；
50.(3)采用电光调制器与偏振分束器的组合实现照明条纹方向的快速选通，采用扫描振镜实现三个维度照明条纹的切换与干涉条纹周期的调节，提高了系统成像速度。
51.(4)采用了定制的拼接波片保证了三维照明条纹的对比度。
附图说明
52.图1为本发明一种基于照明干涉和荧光干涉的双物镜三维结构光照明超分辨显微成像装置示意图；
53.图2为双物镜后焦面成像位置与干涉条纹示意图；
54.图3定制拼接半波片示意图。
具体实施方式
55.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
56.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
57.实施例1
58.如图1所示的基于照明干涉和荧光干涉的双物镜三维结构光照明超分辨显微成像装置，包括：激光器1、单模保偏光纤2、第一半波片3、第一偏振分束器4、第一电光调制器5、第二偏振分束器6、第二半波片7、第一反射镜8、第二反射镜9、第一扫描振镜10、第一压电陶瓷驱动的反射镜11、第三反射镜12、第二扫描振镜13、第一分束器14、第二电光调制器15、第三偏振分束器16、第三半波片17、第四反射镜18、第五反射镜19、第三扫描振镜20、第二压电陶瓷驱动的反射镜21、第六反射镜22、第四扫描振镜23、第二分束器24、拼接半波片25、第一四分之一波片26、第三分束器27、第一二向色镜28、第一筒镜29、下物镜30、第二二向色镜31、第二筒镜32、上物镜33、双物镜压电调整台组34、第三二向色镜35、第四二向色镜36、第二四分之一波片37、第三四分之一波片38、第四四分之一波片39、第四分束器40、第一双胶合透镜41、第二双胶合透镜42、第七反射镜43、第八反射镜44、第三双胶合透镜45、第四双胶合透镜46、第四偏振分束器47、第九反射镜48、第十反射镜49、第一成像透镜50、第二成像透镜51、三角反射棱镜52、scmos相机53。使用该装置可以产生6束光的三维结构光照明条纹并结合荧光干涉相位轴向定位，得到三维超分辨显微图像。
59.激光器1发出的线偏振光经过单模保偏光纤2进入系统中，经过第一半波片3可以调整偏振方向后被第一偏振分束器4分为两路，第一电光调制器5可以通过控制偏振方向实现下光路两路光的选通与截止。
60.第一偏振分束器4的反射光进入第一电光调制器5和第二偏振分束器6后继续被分为两路，第一电光调制器5起到快速选通两路光的作用。第二偏振分束器6的透射光经过第二半波片7使其与反射光的偏振方向相同，然后经过第一反射镜8和第二反射镜9入射至第一扫描振镜10，第二偏振分束器6的反射光经过第一压电陶瓷驱动的反射镜11和第三反射镜12入射至第二扫描振镜13，其中三个普通反射镜的作用是调节光路指向，确保光线垂直
入射到扫描振镜上，特别地压电陶瓷控制的反射镜还可以通过驱动反射镜沿径向实现波长量级的精确位移改变光程差从而起到改变干涉条纹相位的作用。第一扫描振镜10和第二扫描振镜13可以在一定角度范围内快速精确控制光线反射方向，配合第一电光调制器5快速选通截止光路可以起到产生特定的干涉条纹图案的作用，两个扫描振镜的出射光通过第一分束器14合束继续传播至第三分束器27。在本实施例中，经过第一扫描振镜10和第二扫描振镜13的两束光强度相等且偏振方向一致，在经过第一分束器14后通过拼接半波片25并在其作用下，生成与两光斑连线垂直方向相同的线偏振光。在本实施例中，拼接半波片由三对快轴方向不同的扇形半波片组成，快轴方向分别与水平方向成90
°
、30
°
和60
°
，条纹产生时两光斑之间的连线方向分别为0
°
、60
°
和120
°
。
61.第一偏振分束器4的透射光进入第二电光调制器15和第三偏振分束器16后也被分为两路。第一偏振分束器4的透射光路与反射光路完全对称分布，第三扫描振镜20和第四扫描振镜23的出射光经第二分束器24合束后继续传播至第三分束器27与第一扫描振镜和第二扫描振镜的光一起被第三分束器27分为两部分。在本实施例中，第三偏振分束器16的透射光被截止，反射光被选通以在样品面产生六束光干涉的三维照明条纹。同时，第三偏振分束器的反射光在经过第二分束器24反射后通过第一四分之一波片26变为圆偏振光，使得在样品面发生干涉时，中心的两束光均为圆偏光，以保证个方向条纹的对比度基本一致。
62.第三分束器27的反射光和透射光中包含了三个扫描振镜的出射光，分别经过第一二向色镜28、第一筒镜29和第二二向色镜31、第二筒镜32汇聚在下物镜30和上物镜33的后焦面上。二向色镜的作用是使照明模块中照明波长的光反射进入物镜，使物镜收集的荧光波长的光透射进入探测模块。二向色镜透过的光分别经过第三二向色镜35和第四二向色镜36进入探测模块。
63.下物镜荧光和上物镜荧光分别经过第二四分之一波片37、第三四分之一波片38和第四四分之一波片39引入可控的相位差和后经过第四分束器40并发生荧光干涉，上下光路中上下物镜的s和p偏振荧光分别产生干涉记为上光路s干涉光、上光路p干涉光、下光路s干涉光、下光路p干涉光，分别经过第一双胶合透镜41、第七反射镜43、第三双胶合透镜45和第二双胶合透镜42、第八反射镜44、第四双胶合透镜46后进入第四偏振分束器47，下光路p光反射进入下光路、下光路s光透射进入上光路、上光路p光反射进入上光路、上光路s光透射进入下光路。经过第九反射镜48、第十反射镜49后，被第一成像透镜50和第二成像透镜51会聚并经三角反射棱镜52反射后被scmos相机接收形成四幅子图。
64.系统工作之前，需要提前标定扫描振镜出射角度对应的物镜后焦面成像位置，物镜后焦面成像位置对应的干涉条纹示意图如图2所示，当物镜后焦面会聚光斑沿横向排布时产生0
°
的三维横向干涉条纹，当物镜成像光斑沿与横向成60
°
、120
°
排布时分别产生120
°
和240
°
的三维干涉条纹。改变背焦面上边缘光斑和中心光斑的间距可以调整干涉条纹周期，作为优选的，成像光斑距离物镜后焦面边缘越近，即边缘光斑与中心光斑距离越远，产生的干涉条纹间隔越小，对成像分辨率提升越大。完成扫描振镜标定后，可以通过扫描振镜与电光调制配合实现不同方向干涉条纹的快速变换。
65.系统工作时，电光调制器保持恒定电压输出不变，控制扫描振镜产生先后三个方向的三维干涉条纹，两个压电陶瓷驱动反射镜移动进行五步移相，期间进行五次报告形成五幅图像(每幅图像包含四幅子图像)；如此进行控制，采集共计15张照明调制下的图像(60
张子图像)。作为优选的采用图像匹配算法，可以得到四幅子图之间的映射关系，从而实现子图之间的配准。
66.系统完成工作后，以三个方向共十五帧数据(60幅子图像)作为原始图像，将每一帧的子图进行相加，得到十五张结构光照明显微成像数据，利用维纳滤波或梯度下降算法迭代重建出4pi结构光显微成像的超分辨图像；将每一个子图的对应15张图像相加，得到四幅具有特定相位差的荧光干涉宽场图像并以上一步得到的超分辨图像作为虚拟掩膜mask，得到具有真实强度分布的超分辨图像，并结合各个局部区域的荧光干涉强度计算其对应的精确轴向位置，从而实现轴向分辨率的进一步提升。
67.实施例2
68.基于实施例1的显微成像装置，本技术还提供一种双物镜三维结构光照明超分辨显微成像方法，包括：
69.照明激光光束分为可快速改变方向的多束激发光；
70.所述多束激发光分为等光强的两部分，同时经过两个上下两个物镜后在样品平面发生干涉，形成调制照明的条纹图样；
71.样品在照明调制情况下产生的荧光被双物镜接收经过分束和相位延迟后在探测器平面形成四幅相位差依次为π/2的图像；
72.依次旋转结构光照明图样的干涉条纹的方向，在不同条纹方向下多次改变干涉条纹的相位，得到各干涉条纹方向不同对应相位下的多幅荧光强度图像；
73.将采集到的四幅子图进行配准并相加，利用不同干涉条纹方向和相位的产生的荧光强度图像重构出一幅结构光超分辨显微图像。
74.传统结构光照明成像技术利用两束光在样品面产生正弦分布的干涉条纹，通过移相和傅里叶域处理获得宽场荧光显微镜所不能接收到的高频信息，并利用移频的原理使特定条纹方向的分辨率得到提升；通过改变条纹方向(通常为互成120度的三组条纹)来实现整个横向各向同性的分辨率提升。在传统结构光照明显微镜的基础上，通过增加一束光在样品面产生三束光的三维照明条纹，可以使系统的光学传递函数探测范围在轴向上实现延拓从而在提高横向分辨率的同时显著提高轴向分辨率。
75.本发明提出的成像方法引入了第二个物镜和荧光干涉相位的轴向定位来进一步提高轴向分辨率。通过分束器使原本只能会聚在一个物镜背焦面并在其焦面处产生三维干涉条纹的激发光束分为能量均等的两部分并对称地会聚在两个相对放放置的物镜背焦面上，从而在两个物镜之间产生了新的三维干涉条纹以激发样品。由于参与构成三维干涉条纹的激发光束的数量和传播方向均实现了加倍，因此在傅里叶域其轴向的移频量也大大增加，同时由于两个物镜均参与了荧光的收集，因此其宽场的光学传递函数在轴向上也获得了延展，天然提高了轴向分辨率。通过维纳滤波或者梯度下降等算法在傅里叶域和空域进行处理，可以获得横向的超分辨和轴向的初步光学层切效应。
76.在另一个实施例中，还包括分别将每个子图各自不同的干涉条纹方向和相位的荧光图像相加形成四幅宽场图像，利用其π/2固定相位差提高轴向分辨率。
77.在另一个实施例中，多束激发光包括两束光强度相等且偏振方向一致的线偏振光和一束圆偏振光。
78.本实施例中，在样品面上参与干涉的激发光数量应为6束(上物镜三束、下物镜三
束)，方向应为0
°
、120
°
和240
°
，每一个维度需控制干涉条纹相移5次，其中，位于6束光中心的2束激发光相移应为π/5、2π/5、3π/5、4π/5、π；位于同一侧的2束激发光相移应为2π/5、4π/5、6π/5、8π/5、2π；位于另一侧的2束激发光不移项。此处仅限于作为最优的实例，从理论上来说，参与干涉的激发光最多可以是八束，此时可以做到x和y方向同时移相；作为可选的，八束光双物镜照明产生的三维干涉条纹也可以用于该成像过程。
79.以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。