利用光开关和驻波照射技术提高显微镜轴向分辨率的系统和方法与流程

本文一般涉及提高显微镜中的轴向分辨率，特别地，涉及使用光开关和驻波照射技术提高即时构造照射显微镜(instantstructuredilluminationmicroscopy)中的轴向分辨率的系统和方法。

背景技术：

在传统的宽场荧光显微镜中，一种已知的提高可用轴向空间频率(从而提高分辨率)的方法是使用驻波照射。在这种方法中，两个反向传播的相干光束叠加在成像焦平面上。所述光束之间的干涉产生清晰的周期性照射条纹，周期由λ/(2ncosθ)给出，其中λ是照射波长，n是介质的折射率(index)，θ是光束的“交叉角”，即相对于图1a中所示的垂直方向的角度。如所示，两个光束以公共角θ与垂直轴(虚线，也表示垂直光轴)相交。参照图1b，示出了示例性显微镜设置10，其具有物镜12和反射镜14的布置，物镜12和反射镜14形成反向传播的光束，其中所产生的干涉图案显示清晰的暗/亮强度条纹。例如，对于θ＝0，n＝1.33和λ＝405nm，条纹之间的周期为152nm，而暗/亮条纹之间的间距仅为～76nm——这意味着，原则上可以观察到这种长度尺度上的结构。这样的干涉图案16可以通过引导彼此相干的光束经过相对的物镜(或引导单个准直光束经过物镜并用反射镜将其折回自身，从而在照射的相干长度内形成条纹图案)来设置。这些(或概念上相似的)照射图案构成驻波显微镜、4pi显微镜和超分辨率i5s显微镜的基础。

在薄样品(厚度<λ)中，如上所述引入驻波照射图案可以产生有价值的次折射信息。相对于样品移动驻波图案(即，改变驻波图案的相位)会导致焦平面内交替的样品区域发光，从而允许比点扩散函数的轴向扩散更细微的轴向特征被识别。然而，对于相当厚的样品，会出现三个问题。首先，离焦荧光可淹没聚焦信号。其次，高频干涉图案的轴向重复性意味着关于“哪个条纹是哪个”的模糊性，即，点扩散函数(psf)内的条纹在重建图像中产生振铃效应(对这个问题的另一种解释是，照射的高频被混叠到显微镜的通带中)。第三，由于驻波的频率f处于显微镜的光学传递函数(otf)的频带限制之外，因此在重建图像中存在中间频率“间隙”。

图2a和图2b中示出了使用驻波照射时的频率间隙。参照图2a，示出了使用即时sim照射时xzotf(kz，竖向，kx，横向)的示例。轴向衍射限制由实心白色椭圆的边界给出。参照图2b，使用驻波照射时的otf，例如，通过首先利用具有空间频率f和不同相位的驻波光激活分子(解决混叠问题)，使用即时sim系统成像光激活分子，然后对所产生的图像进行反卷积。目前，除了直流分量处的原始otf(红点)外，还存在以+/-f为中心的otf的附加副本。轴向空间分辨率得到提高；然而，因为f位于频带限制之外，在中间空间频率处存在大量间隙-这些间隙未被底层显微镜的检测otf“覆盖”。

后面的这两个问题在传统的4pi显微镜中未解决，而是在i5s系统中得到解决，该系统使用复杂的三光束干涉图案(即，激发光和发射光的干涉)以及每个焦平面处的多个图像来“填充”缺失的轴向空间频率，并将它们重新分配到频率空间中的适当位置。

然而，i5s系统引入了以下问题。首先，i5s系统迄今为止需要双物镜干涉测量和复杂的光束设置，这使得所述系统很难对准和构建，因为需要保持光学元件沿着两条单独的路径(每个物镜一条)对准达到远优于的空间精度。其次，i5s系统需要每个焦平面有15个图像来实现轴向分辨率改进，这大大减缓了成像过程，因此目前限制了固定细胞的成像。第三，i5s系统没有采用共焦针孔，使得在密集标记的样品中，来自离焦光的泊松噪声将限制焦平面的对比度。最后，i5s系统的光束照射方案是高度专业化的，因为相同的照射方案被用于产生轴向分辨率改进和横向分辨率改进。由于分辨率改进是耦合的，因此这种方法不容易适应共焦几何。

技术实现要素：

正是考虑到这些观察结果，本文的各个方面得以构思和发展。

附图说明

图1a是示出相对于垂直轴以公共角度交叉的两个光束的图示，图1b是示出具有物镜和反射镜布置的示例性显微镜设置以及所产生的干涉图案的简化图示。

图2a是使用即时sim时的xz光传递函数的图像，图2b是使用驻波照射时的xz光传输函数的图像。

图3是驻波显微镜系统的简化图示。

图4是示出使用多个图案以“填充”中间空间频率的图示，多个图案各自具有不同的周期。

图5是示出显微镜系统的实施例的简化框图。

图6a至图6e示出由图5的显微镜系统产生的模拟图像，其示出轴向分辨率增加。

图7是示出显微镜系统的实施例的简化框图，该系统具有用不同周期的驻波照射的照射器/反射光学元件。

图8a是不同相位的清晰正弦照射的图像(左)与均匀照射的图像(右)；图8b示出蓝色圆圈代表物镜后焦平面，红色点表示后焦平面的照射图案；图8c是在样品处引入更清晰照射图案的图像。

图9是示出驻波显微镜系统的实施例的简化图示，该系统用于提供产生驻波的中等和最佳周期的轴向照射结构。

相应的附图标记表示附图的视图中的相应元件。图中使用的标题不限制权利要求的范围。

具体实施方式

众所周知，传统的宽场荧光显微镜的轴向分辨率被限制在～500-700nm之间的范围。在荧光显微镜中，能够进一步提高轴向分辨率的系统和方法是非常有意义的，因为这样的改进可以在生物样品中观察到更多的细节。本文公开了与该系统和方法相关的各种实施例，这些系统和方法通过在每个焦平面上仅获取四个额外图像(每个焦平面总共五个图像(而不是一个图像))来实现低至～100nm的轴向分辨率，以解决这些缺陷。考虑到提高图像的轴向分辨率所需的附加图像的数量适度，本系统和方法的实施例可应用于活体细胞中的持续体积成像(“4d成像”)，这是目前其他显微镜技术不可能实现的。此外，本发明的系统和方法是灵活的，并且可以与其他超分辨率显微镜相结合，这允许进一步提高这类显微镜系统的横向分辨率。在一些实施例中，显微镜系统包括空间光调制器，该空间光调制器定位在与被照射的样品共轭的位置，以使用驻波激活样品。在一些实施例中，公开了一种用于为驻波提供中间和最佳周期的轴向照射结构的方法和相关系统。在一些实施例中，三光束分离装置被用于从单个光束生成三个彼此相干的光束，其在样品处干涉，以产生用以实现较高轴向分辨率所需的较低空间频率轴向条纹。参考附图，示出和公开了使用光开关和驻波照射技术的显微镜系统的实施例，在图3至图9中将其一般表示为100、200、300和400。

光开关驻波照射

本发明的系统和方法旨在使用光开关技术将驻波照射与荧光激发和读出相解耦，并利用紧凑的驻波反射器和照射器布置。这些元件一起使轴向超分辨率远高于先前的各种可能。尽管本发明的系统和方法可以应用于一大类显微镜(例如，旋转圆盘共焦显微镜和宽场显微镜)，但是本文举例描述了本发明构思应用于即时构造照射显微镜(isim⁴)，由于将isim与光开关和驻波照射技术相结合实现了共焦三维超分辨率显微镜，其具有与活体细胞成像一致的～100nm轴向分辨率和高帧速率。

使用光开关技术来将驻波照射与荧光激发和读出相解耦

通过使用可逆转换荧光分子，诸如rsegp2，并采用驻波照射器/反射器布置(下文进一步描述)，可使用多种共焦(或其他)显微镜几何结构(其激发光学元件和照射相对于基础显微镜几乎保持不变)执行荧光激发和读出，因为轴向分辨率增强可“添加”到底层显微镜上。此外，除了典型的荧光激发波长外，通过使用激活波长，由于λ激活<λ激发，轴向分辨率略有提高。

驻波照射器/反射器

参照图3，用于利用光开关和驻波照射技术的显微镜系统的第一实施例，标示为100，将准直光束102透射通过物镜104，并使用反射镜106将准直光束102反射回来。在两个准直光束102——发射的准直光束102a和反射的准直光束102b之间生成的干涉图案108产生驻波。在一些实施例中，通过平移(translate)附在反射镜106上的压电器件110来实现对驻波图案的相位的精细控制。

如进一步所示，例如，照射光束102a(深蓝色光线)透射通过物镜104和盖玻片114，并且平行于盖玻片114的反射镜106反射回准直光束102b(较浅光线)。两个光束之间的干涉在光束重叠的区域中产生驻波图案116(红线)。在一些实施例中，附在反射镜106上的压电器件110平移反射镜106，这提供了对驻波图案116的相位的精细控制。

如上所述，产生明显小于λ激活的亮/暗条纹间距(例如，上述76nm间距)的单轴驻波图案以空间频率间隙为代价实现更高的分辨率，这进而会导致重建图像中的伪影。然而，如果使用位于中间频率间隙中的具有更稀疏间距的附加图案，则可以如图4所示“填充”频率间隙，其中，本发明的系统和方法通过使用各自具有不同周期的多个图案来“填充”中间空间频率。图4的最左列示出，在传统的即时sim系统(未示出)中，光传递函数(otf，椭圆)将轴向分辨率限制在～500nm。图4的左中列示出，使用周期为150nm的驻波会增加轴向空间频率，但也会在中间空间频率处产生间隙，因为周期(蓝点)位于即时sim截止点之外。图4的右中列示出，由于otf复制了频率空间中的重叠，因此使用更稀疏的驻波图案(例如，300nm)会产生没有频率间隙的更高分辨率。但是，最大分辨率低于使用更精细的图案。图4的最右列示出，使用较精细和较稀疏的图案在不丢失空间频率的情况下获得最佳的轴向分辨率。

目前的问题是如何生成和应用适当周期的附加图案。根据本发明的系统和方法，一种改变条纹间距的简单方法是改变θ。例如，对于405nm照射(即，λ激活)，n＝1.33，θ＝0度表示152nm的周期(条纹间距76nm)，θ＝60度表示304nm的周期(条纹间距152nm)。为了快速改变样品平面上的θ，构思了以下照射设置，如下所述。

如图5所示，用于利用光开关和驻波照射技术的显微镜系统的第二实施例，标示为200，包括照射源202、例如激光器用于产生激光束204，激光束204在被最终聚焦在样品218上之前，从第一振镜扫描器(g1)205被反射通过第一透镜206，并且在被中继通过由第二透镜208和第三透镜ftube212组成的望远镜到达物镜(fobj)216的后焦平面之前从第二振镜扫描器(g2)207反射。然后，如图4所示，反射镜220将照射反射回样品。在一种布置中，第一振镜扫描器(g1)205定位在与样品218共轭的位置，即，首先通过由第一透镜f1206和第二透镜f2208构成的一对透镜成像至中间图像平面iip210(以4f配置)，然后通过由ftube212和fobj216构成的一对透镜成像至样品218(也以4f配置)。重要的是，扫描第一振镜扫描器(g1)205使样品平面218处的驻波图案倾斜(改变θ)，从而改变驻波周期。中间透镜f2208和ftube212确保第二振镜扫描器(g2)207与物镜(bfp)214的后焦平面共轭，从而使准直光束在bfp214处倾斜或使该准直光束在样品218处平移，并确保驻波处于样品218的中心。位于iip210附近的二向色镜(未示出)耦合至即时sim路径之内/之外，例如，用于提供不同波长和空间图案的激发照射，并将荧光从样品导向成像系统(未示出)。

在一些实施例中，第一振镜扫描器(g1)205和第二振镜扫描器(g2)207提供对准直光204在后焦平面214处的位置和角度的独立控制，从而分别改变样品平面中的角度或位置。通过适当地改变第一振镜扫描器(g1)205的角度，显微镜系统200可以在样品平面218处创建周期为λ激活/2n至λ激活/(2ncosθmax)的图案，其中θmax是物镜允许的最大半角(例如，对于60x的1.2na水透镜，为64.5度)。通过适当地改变第二振镜扫描器(g2)207的角度，可以在样品平面218处平移图案，确保这些图案照射样品220。

具有反射镜的显微镜系统200的这种“单物镜”设置的另一优点是，显微镜系统200的对准可能比经典的双物镜设置(例如，如在i5s或4pi显微镜系统中使用的)更稳定并且更耐机械/热漂移：因为直射光束和反射光束都采用公共光路，仅样品到反射镜的距离必须稳定在λ之内。然而，所述设置可受益于在一些实施例中可添加到物镜或样品台的自动对焦或“对焦锁定”模块(自制或商用)。

最后，下文更为详细地描述以上列出的能够将光开关技术和显微镜系统200的照射/反射器设置结合的获取和处理方案的一些实施例。

i.利用可逆转换的荧光标识(例如，rsegp2)来标记样品。

ii.然后，通过适当调整g1和g2，利用中间周期的驻波激活样品。

iii.使用基础光学显微镜，例如即时sim，对样品成像。

iv.在通过平移压电致动器/反射镜布置所实现的驻波的其他两个相位，重复步骤ii)和iii)。

v.样品也被具有最大周期的驻波激活(即，θ＝0度的准直入射和反射光束)。

vi.然后，使用基础光学显微镜，例如即时sim显微镜系统，对样品成像。

vii.对于通过平移压电致动器/反射镜所实现的驻波的附加相位，重复步骤v、vi。

viii.根据需要，在样品的不同焦平面上重复步骤ii至vii，例如，用以获取三维成像堆栈。

ix.利用richardson-luck反卷积，将图像结合并对其进行反卷积，以提高轴向分辨率。

据发现，每个焦平面产生的五个图像足以显著提高底层显微镜的轴向分辨率，如我们用图6a至图6e中所示的模拟已经验证的。请注意，快速获取所有五个图像是防止运动模糊所需的，并且在即时sim显微镜系统上构建照射器/反射器确保了高速图像获取。

从图6a开始，图6a至图6e再现了表明轴向分辨率逐步提高的模拟，图6a是“完美”的对象图像，其中包含以不同距离间隔的一系列特征(线、点对)。图6b是在没有光激活或驻波的情况下使用即时sim拍摄的对象图像。图6c是使用150nm周期驻波(三个相位)光激活、使用即时sim系统拍摄、然后进行反卷积的对象图像。请注意，特征被更好地解析，但是伪影(振铃)是明显的，特别是对于间距更大的点对。图6d是使用300nm周期驻波(三个相位)光激活、使用即时sim显微镜系统成像、然后进行反卷积的对象图像。伪影被显示减少，但具有最精细间距的点对没有被解析。图6e是依次使用300nm和150nm周期驻波(如上所述，五个相位)光激活的对象图像。请注意，特征得到良好地解析而没有伪影。

使用空间光调制器实现驻波照射图案的显微镜系统

图7示出利用光开关和驻波照射技术的显微镜系统的第三实施例，标示为300。在一些实施例中，显微镜系统300包括与图5所示的显微镜系统200的第二实施例类似的光学布局，除了空间光调制器(slm)304位于与样品316共轭的位置，并且f1/f2透镜306和310在显微镜系统300中提供可选的放大率。附加光学元件也可以放置在f1/f2透镜306和310之间，以在进入物镜314之前过滤或调节激光束303。具体地，如图7所示，显微镜系统300可包括发射激光束303a的激光源302，被slm304反射的激光束303a通过第一f1透镜306，并且在最终聚焦在样品316上之前，从平移的反射镜308反射后通过由第二f2透镜310和第三ftube透镜312组成的望远镜并到达物镜(fobj)314的后焦平面上。然后，反射镜318将照射反射回样品316。

slm304提供了一种简单而灵活的方法，用于在样品平面引入中间和更精细图案(例如，图4中的300nm、150nm图案)。通过在slm上显示不同相位的清晰正弦图案(图8a，左图)，从而在样品处实现3光束干涉(图8b，左图)，可以在样品处引入并改变具有衍射限制的轴向调制的照射(图8c)。通过在slm上显示均匀的图案(图8a，右图；对应于样品处的轴上照射或后焦平面处的单中心照射点，图8b，右图)，准直的轴上照射透射通过物镜，在反射镜上反射，以在样品处产生清晰变化的干涉。

图8a中示出了各种slm图案以及相应的后焦平面(图8b)和样品(图8c)强度图案。通过显示图8a的三个图像中所示的、不同相位的清晰正弦照射，对应于图8b(左图)所示的、物镜314的后焦平面322处的3光束照射，在样品处引入清晰的轴向照射(图8c)。相反，如果使用均匀的照射(图8a，图8b，右图)，则均匀照射透射通过物镜，从而在从反射镜反射后形成与图1b中的照射图案类似的更清晰照射图案。在图8b中，蓝色圆圈表示物镜的后焦平面，红点表示后焦平面处的照射图案。在图8c中，照射图案再现自gustafsson，2008。

由显微镜系统300执行的获取程序将与双电流计设置非常相似：

步骤1：使用可逆转换的荧光标识(例如，rsegp2)来标记样品316。

步骤2：通过使用slm304利用中间周期的驻波来激活样品316。

步骤3：使用基础光学显微镜布置，例如即时sim，对样品316成像。

步骤4：在驻波的其他两个相位重复步骤2和3，通过在slm304上显示适当的图案来实现。

步骤5：通过在slm304上改变成均匀的图案，样品316也被具有最大周期的驻波激活(即，θ＝0度的准直入射和反射光束)。

步骤6：使用基础光学显微镜，例如即时sim，样品316成像。

步骤7：对通过平移压电致动器/反射镜所实现的驻波的附加相位，重复步骤5和6。

步骤8：根据需要，在样品的不同焦平面上重复步骤2至7，例如，用以获取三维成像堆栈。

步骤9：利用richardson-luck反卷积，将图像结合并对其进行反卷积，以提高轴向分辨率。

用于产生清晰轴向照射结构以实现轴向超分辨率的显微镜系统

图9示出用于产生清晰轴向照射结构以实现轴向超分辨率的显微系统的第四实施例，标示为400。在本实施例中，三光束分离布置被用来产生从单个光束分离的三个彼此相干的光束，所述光束在样品处干涉以产生实现更高轴向分辨率所需的轴向条纹。在一个方面，激光402(例如，以405nm波长发射单个光束403的激光器)通过第一分束器406和第二分束器410分离为三个分离相干光束403a、403b和403c，然后通过第一非偏振分束器412和第二非偏振分束器414重新组合。具有焦距f1的第一、第二和第三透镜420、422和424位于第一非偏振分束器412和第二非偏振分束器414之前，以确保第一、第二和第三分离光束403a、403b和403c聚焦于振镜426处，振镜426位于与物镜438的后焦平面436共轭的位置。

第一、第二和第三分离光束403a、403b和403c的偏振状态可以使用第一半波片404和第二半波片408来控制。位于后焦平面436处的第一、第二和第三分离光束403a、403b和403c提供具有清晰轴向结构的照射，如图8c所示；而旋转振镜426改变照射结构的相位，如图8a所示。如所示，二向色镜428允许与显微镜系统的其他组件集成。此外，光学斩波器434位于ftube透镜432与物镜438之间，并且可被用于选择性地阻挡外部两个激光束，例如，第一和第三分离光束403a和403c，从而允许第二分离光束403b的轴上照射。第二分离光束403b的轴上照射实现在与来自反射镜419的反射光束403d发生干涉之后的更高空间频率的轴向条纹，反射镜419位于样品440的另一侧，与物镜438和样品440所处的盖玻片相对。所产生的干涉图案在样品440中产生具有最大周期的驻波。

显微镜系统400执行的获取程序将非常类似于双振镜显微镜设置或空间光调制器(slm)显微镜设置：

步骤1：使用可逆转换的荧光标识(例如，rsegp2)来标记样品440。

步骤2：通过允许第一、第二和第三光束403a、403b和403c传播经过显微镜系统400，利用中间周期的驻波激活样品440，从而实现样品440处的正弦照射。

步骤3：使用基础光学显微镜(未示出)，例如，即时选择性照射显微镜，对样品440成像。

步骤4：在驻波的其他四个相位重复步骤2和3，通过适当旋转振镜426来实现。

步骤5：使用光学斩波器436来阻挡外部两个激光束，例如，第一和第二光束403a和403c，利用具有最大周期的驻波(例如，θ＝0度的准直入射和反射光束)，激活样品440。

步骤6：使用基础光学显微镜(未示出)，例如，即时选择性照射显微镜，对样品440进行成像。

步骤7：对通过利用压电致动器(未示出)平移反射镜419所实现的驻波的附加相位，重复步骤5和6，。

步骤8：根据需要，例如，通过获取三维成像堆栈，在样品的不同焦平面上重复步骤2至7。

最后，利用richardson-luck反卷积，将捕获的图像结合并对其进行反卷积，以提高轴向分辨率。

应注意，由于在本文公开的显微镜系统100、200、300和400中使用了非线性跃迁(光开关)，理论上通过使开(on)或关(off)状态“饱和”可以实现“无限”分辨率。实现饱和理论上很简单，打开405nm激光器是一种使on状态饱和的方式，导致每个轴向切片中出现更高的谐波；但是，读取分辨率提高所需付出的代价是获取更多原始图像，但原则上，只要有足够的光稳定性样品，这是可行的。

在一个方面，本文所述的用于光开关和驻波照射的技术可应用于其它显微镜系统以提高轴向分辨率。例如，上述技术可用于任何类型的宽场荧光或共焦显微镜系统以提高轴向分辨率。

从上述应理解，虽然已经示出和描述了特定的实施例，但是可以对其进行各种修改，而不偏离本发明的精神和范围，这对于本领域的技术人员来说是显见的。此类变更和修改在本发明的范围和教导内，如本文所附权利要求中所限定的。