具有自适应采样帧率的动态超分辨荧光成像技术的制作方法

本发明涉及超分辨荧光成像技术领域，特别是涉及一种动态超分辨荧光显微图像的拍摄技术。

背景技术：

传统荧光显微镜(如宽场照明、扫描共聚焦、全内反射照明等荧光显微镜)受限于阿贝衍射极限，其空间分辨率不能优于200nm，无法分辨更为精细的结构。近十几年来已经发展出了多种突破衍射极限的荧光成像方法，称为超分辨成像，如受激发射损耗成像(sted)、可逆饱和/开关光跃迁成像(resolft)、光激活定位显微成像(palm/fpalm)、随机光学重构显微成像(storm)、结构照明显微成像(sim、饱和结构照明ssim、非线性结构照明nsim)等；这些超分辨成像技术比传统荧光成像方法需要更高强度的激光照明(如sted、ssim、nsim等)，或者需要反复地开/关荧光分子(如resolft、palm/fpalm、storm等)，严重加剧了对样品的荧光漂白和光毒性；因此，这些具有空间超分辨能力的成像方法应用于活细胞动态过程的成像时，能连续拍摄的图像帧数远少于传统荧光成像方法。

然而对于缓慢变化的图像，并不需要很高的采样帧率进行拍摄，便能观察到拍摄期间样品动态变化的完整过程；事实上，根据nyquist采样定理，应该使拍摄时的采样帧率和图像的变化速率相匹配，这样既能够观察到拍摄期间样品动态变化的完整过程，又能够尽量延长拍摄时间，不至于因为高速的采样帧率而使荧光分子过早被漂白。

技术实现要素：

针对上述问题，本发明提供了一种动态超分辨荧光显微图像的拍摄技术，其目的是为了实现在超分辨成像的拍摄过程中实时地自动调节采样帧率，使其适应、匹配样品动态变化的速率。

为了实现上述目的，本发明采取了以下技术方案：

一种荧光显微成像装置，所述荧光显微成像装置从功能上划分为以下几部分：

样品台，用于承载被观测样品；

超分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用超分辨成像模块进行成像时，图像具有高空间分辨率，能突破阿贝衍射极限；

低分辨成像模块，该模块包括一系列光学元件、成像器件及光源，使用低分辨成像模块进行成像时，图像具有低空间分辨率，不能突破阿贝衍射极限；

控制模块，用于控制超分辨成像模块和低分辨成像模块进行拍摄，包括控制两个模块内的光源和光学元件；

图像记录和图像处理模块，用于记录图像并进行图像处理，分析图像动态变化速率；

反馈回路模块，连接控制模块与图像记录和图像处理模块，根据图像动态变化的速率输出自动调节采样帧率的信号。

所述超分辨成像模块和低分辨成像模块，两者成像时共用同一个显微物镜，并且所观察的视场区域相同、所观察的物平面在样品内的位置也相同；

所述超分辨成像模块和低分辨成像模块，低分辨成像时样品上的曝光剂量远弱于超分辨成像时样品上的曝光剂量，对样品所造成的荧光漂白和光毒性更小；

所述超分辨成像模块和低分辨成像模块，两者能够独立进行成像。

相应于所述荧光显微成像装置的一种动态超分辨荧光显微图像拍摄方法，其基本概念如下：

低分辨成像模块以较低的曝光剂量照射样品，成像时对样品的荧光漂白和光毒性较小，并且低分辨成像模块具有较高的固定的采样帧率，用于实时监测样品动态变化的速率；采集的低分辨原始图像送入图像记录和图像处理模块进行图像处理，分析出连续拍摄的多帧(两帧及以上)低分辨图像的动态变化的速率，反馈回路模块根据低分辨图像动态变化的速率输出相应的信号至控制模块，所述输出信号用于调节超分辨图像的采样帧率，当样品动态变化的速率越快，超分辨图像的采样帧率越高，反之，样品动态变化的速率越慢，超分辨图像的采样帧率越低；控制模块根据接收到的信号实时地在超分辨成像和低分辨成像之间做切换；超分辨成像模块以动态调整的采样帧率对样品进行拍摄，每当超分辨成像模块对样品进行成像时，低分辨成像模块会暂停工作，待一帧超分辨图像采集完成后，低分辨成像模块会恢复工作，继续进行监测；以上拍摄过程持续进行直至样品被漂白或采集了足够的帧数；所采集的超分辨图像和低分辨图像都记录在图像记录和图像处理模块中。

进一步，所述动态超分辨荧光显微图像拍摄方法，其实现过程需要以下几个环节：(1)拍摄前对荧光显微成像装置的调节、矫正和准备工作；(2)拍摄过程中实时的图像处理；(3)拍摄过程中的时序控制；(4)图像记录；具体如下：

1.拍摄前对荧光显微成像装置的调节、矫正和准备工作

1.1调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同。

1.2采集到的原始图像在做进一步使用前需要先经过图像预处理步骤，在图像记录和图像处理模块中设置图像预处理每个步骤会用到的方法，每个预处理步骤及其方法如下：

1.2.1低分辨图像像素插值

当低分辨原始图像的尺寸(横向像素数、纵向像素数)小于超分辨原始图像的尺寸时，需要对其插入像素以达到和超分辨图像尺寸相同(横向像素数、纵向像素数都相同)，并在新填入的像素位置进行插值，使插值后的图像平滑。

1.2.2图像配准

这里所述配准，是为了矫正成像时样品物平面映射至像平面时产生的图像畸变；使用棋盘格图案，或包含大量已知参考点坐标的样品作为标准样品，对采集的图像进行标定，矫正图像畸变，使映射后图像上各点的相对位置与在样品上原本的相对位置相同；对标准样品完成配准后得到映射矫正函数，正式拍摄所采集的图像便使用该映射矫正函数进行图像配准。

1.2.3像素值矫正

像素值矫正的目的就是通过调整图像上各个位置的像素值，使物面上荧光亮度和图像上像素值的对应关系在各个像素位置均匀一致；使用已知荧光亮度的标准样品来进行像素值矫正；对标准样品完成矫正后得到像素值矫正函数，正式拍摄所采集的图像便使用该像素值矫正函数进行矫正。

1.2.4滤除噪声

所述滤除噪声，目的是滤除包括：照明光源的噪声、荧光弱光发射时固有的散粒噪声、荧光分子的闪烁、ccd/cmos/apd/pmt等成像元件的电子噪声等引起的图像噪声；使用均值滤波、高斯滤波、中值滤波、双边滤波等方法对图像滤除噪声。

2.拍摄过程中实时的图像处理

实时图像处理是针对低分辨图像进行的，由图像记录和图像处理模块来完成，目的是在拍摄的过程中实时地分析出图像动态变化的速率，具体步骤如下：

2.1图像预处理

如前文所述，拍摄前已经在图像记录和图像处理模块中设置了图像预处理每个步骤的处理方法，低分辨成像模块采集的每一帧图像实时地送入图像记录和图像处理模块中进行图像预处理；完成图像预处理后，才能继续下一个步骤。

2.2荧光漂白矫正

在连续拍摄的过程中，荧光分子会被漂白，图像会变得越来越暗，将采集到的图像做亮度标准化处理，即荧光漂白矫正，矫正方法为：将每一帧低分辨图像的亮度做标准化处理，使非0像素区域内单位面积上的像素值和首次采集的低分辨图像中非0像素区域内单位面积上的像素值相同；完成荧光漂白矫正后，才能继续下一个步骤。

2.3分析图像动态变化速率

设置一个宽度固定的探测窗口，探测窗口内能容纳n帧连续拍摄的低分辨图像，其中n为设置的帧数，n也代表了探测窗口的宽度；比较探测窗口内每两帧相邻的图像，计算出图像上的光流，以光流来度量在探测窗口内图像动态变化的速率，所述光流为矢量，表示了图像上的角点(特征点)在前后两帧图像上的运动；

分析图像动态变化速率的具体步骤如下：

(1)当探测窗口内包含的图像帧数不足n时，按采集的时间顺序依次读入图像，直至探测窗口内的图像帧数达到n；

(2)比较探测窗口内第一帧图像和第二帧图像，计算出光流；以此类推，比较第k帧图像和第k+1帧图像，计算出光流，直至比较完第n-1帧图像和第n帧图像；一共计算n-1次光流；

(3)统计n-1次光流计算后，光流矢量的总数，模为0的光流矢量也统计在内；再记录每个光流矢量的信息，每个光流矢量的信息包括：起点坐标、终点坐标、该光流矢量涉及的两帧图像的帧号；光流矢量的总数及光流矢量的信息一起生成数据包<动态变化信息>；

(4)将所述数据包<动态变化信息>发送至反馈回路模块；然后以先进先出的方法，将探测窗口内采集时刻最早的一帧图像移出探测窗口，再读入一帧新的图像进入探测窗口，所补充的新图像的采集时刻紧随探测窗口内原本的第n帧图像；

(5)每当采集超分辨图像时，清空探测窗口内的所有图像，待一帧超分辨图像采集完毕后，探测窗口重新读入低分辨图像，此时最先读入的图像即超分辨图像采集完毕后，低分辨成像模块所采集的第一帧图像；

(6)在整个拍摄过程中重复步骤(1)～(5)，持续且实时地分析图像动态变化速率，每生成一个<动态变化信息>数据包，便立即发送至反馈回路模块。

3.拍摄过程中的时序控制

所述时序控制，是指控制超分辨成像模块和低分辨成像模块在何时采集图像；反馈回路模块接收到数据包<动态变化信息>后，将其转换为超分辨图像采样帧率的调节信号，再将调节信号输入控制模块，产生超分辨图像和低分辨图像采集的时序控制信号，时序控制的具体过程如下：

(1)预先设置低分辨成像模块的采样帧率为fl，即相邻两帧低分辨图像采集的时间间隔为tl＝1/fl；以固定的采样帧率fl持续采集低分辨图像，仅当采集超分辨图像时，低分辨成像模块会暂停采集，待一帧超分辨图像采集完毕后，低分辨成像模块会立即重新恢复采集；

(2)在反馈回路模块中设置一个函数t()，称为时间间隔函数，该函数的输入变量为数据包<动态变化信息>，输出变量为相邻两帧超分辨图像的采集时间间隔ts，由于采样帧率fs与采集时间间隔互为倒数关系：fs＝1/ts，所以通过t()函数调节采集时间间隔等同于调节采样帧率；时间间隔函数t()具有如下性质：

①数据包<动态变化信息>内所有的光流矢量的大小都为0、数据包内没有光流矢量、或者没有数据包输入时，t()的输出ts＝t0，t0表示超分辨图像采集时间间隔的默认值；t0也是t()函数输出值的上限；

②限定t()函数输出值的下限ts_min，使ts_min≥n*tl，其中n为探测窗口能容纳的低分辨图像的帧数，tl为低分辨图像的采集时间间隔；

③数据包<动态变化信息>内光流矢量增大，ts值下降；数据包内光流矢量减小，ts值上升；ts的变化范围在区间[ts_min，t0]上；

(3)令t表示整个拍摄过程中的时间，拍摄初始时刻t＝0；令ta表示采集某一帧超分辨图像的时刻，令tb表示预计采集下一帧超分辨图像的时刻；ta时刻的超分辨图像采集完毕后生成的第一个<动态变化信息>数据包输入时间间隔函数t()，得到函数的输出值ts＝t1，即预计下次采集超分辨图像的时刻tb＝ta+t1；

(4)在ta至tb的时间段内，会逐个收到后续的<动态变化信息>数据包，每个数据包都会输入t()函数，得到的函数输出值ts＝ti(其中i表示收到的<动态变化信息>数据包的编号)，当ti＜t1时，预计下次采集超分辨图像的时刻tb由ta+t1变更为ta+ti；当ti≥t1时，预计下次采集超分辨图像的时刻tb保持ta+t1不变；此过程持续进行，对于任意j＞i，当tj＜ti时，预计下次采集超分辨图像的时刻tb由ta+ti变更为ta+tj，当tj≥ti时，预计下次采集超分辨图像的时刻tb保持ta+ti不变；

(5)当t≥tb时，停止读入新的<动态变化信息>数据包，并立即启动超分辨成像模块，采集新一帧的超分辨图像；采集超分辨图像时，暂停低分辨成像模块的采集，待超分辨图像采集完毕后，低分辨成像模块会立即重新恢复采集，所采集的低分辨图像被读入探测窗口用于分析图像动态变化速率；

(6)重复步骤(3)～(5)，直至完成整个拍摄过程。

4.图像记录

拍摄过程中采集的所有的超分辨图像和低分辨图像全部保存在图像记录和图像处理模块中，并且会记录下采集每帧超分辨图像和低分辨图像的时刻，其中拍摄初始时刻为0。拍摄完成后可对记录的图像进行后期处理，以拍摄的超分辨图像为先验知识，将所有的低分辨图像转换为超分辨图像，使对样品动态过程的观察更具有完整性和连贯性；涉及图像后期处理的部分不属于本发明的内容，不作进一步展开。

以上所述便是实现动态超分辨荧光显微图像拍摄方法所需的各个环节，其中环节(2)拍摄过程中的实时图像处理和环节(3)拍摄过程中的时序控制结合在一起，实现了超分辨图像采样帧率的自适应调节。本发明技术方案中所述的超分辨成像模块，可以使用sted、resolft、palm、fpalm、storm、sim、ssim、nsim等多种公开发表的超分辨成像方法；本发明技术方案中所述的低分辨成像模块，可以使用宽场照明显微成像、全内反射照明(tirf)显微成像、扫描共聚焦显微成像、激光层照显微(lightsheet/spim)成像等成像方法，并且所用的低分辨成像方法具备高速的采样帧率。

由于采用了上述的技术方案，本发明具有以下优点：

(1)超分辨图像的采样帧率具有自适应调节的能力，在观察样品缓慢变化的过程时，不至于因为高速的采样帧率而使荧光分子过早被漂白，能够尽量延长对样品动态过程的拍摄时间；

(2)低分辨成像模块可具有高速的采样帧率，能响应样品快速的动态过程，通过反馈及时调整超分辨图像的采样帧率，对快速的动态过程进行超分辨成像；

(3)超分辨成像模块能使用sted、resolft、palm、fpalm、storm、sim、ssim、nsim等多种超分辨成像方法，使方案的兼容性好。

附图说明

图1是本发明所述荧光显微成像装置的结构框图；

图2是本发明所述超分辨图像采样帧率自适应调节的实现流程；

图3是本发明提供的一个实施例的光路示意图。

具体实施方式

为了使本领域技术人员更好地理解本发明的技术方案，下面将结合实施例并参照附图对本发明作进一步详细说明。应当理解，此处所描述的实施例仅用于解释本发明的技术方案，所描述实施例仅仅是本发明一部分实施例，基于本发明的技术方案，本领域技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应当属于本发明保护范围之内。

实施例的光路的大致结构如图3所示，本实施例适用于厚度较薄的样品，宽场照明时，物平面以外的荧光信号可以被忽略。在该实施例中，使用sted进行超分辨成像，使用普通的宽场照明进行低分辨成像。超分辨成像模块包括的元件有：透镜组、光斑扫描模块、反射镜、二色镜1/2、带通滤光片、光纤、探测器、相位片、激发光、损耗光；低分辨成像模块包括的元件有：二色镜3、透镜1/2、ccd相机、宽场照明光源；两个模块共用的元件为：物镜、分束片。通过分束片隔开了超分辨成像模块和低分辨成像模块。低分辨成像模块采用了落射式的柯勒照明，光源成像在物镜的后焦面上，使照射在样品上的光强均匀。由控制模块控制激发光、损耗光、宽场照明光源的打开和关闭，可在超分辨成像和低分辨成像之间作切换。用ccd对整个视场成像，使低分辨成像具有高速的采样帧率。超分辨成像时需要激发光和损耗光的光斑在样品上逐点扫描，然后收集荧光，最终构成整幅图像。该实施例的光路经过调节，使超分辨成像与低分辨成像的物平面重合，并且两者视场区域相同。

本实施例具体的实施流程如下：

1.拍摄前对荧光显微成像装置的调节、矫正和准备工作

1.1调节校准超分辨成像模块和低分辨成像模块内的光路，使两者观察的视场区域相同、所观察的物平面在样品内的位置也相同；

1.2在图像记录和图像处理模块中设置图像预处理每个步骤会用到的方法，包括：(1)低分辨图像像素插值、(2)图像配准、(3)像素值矫正、(4)滤除噪声。

2.拍摄并记录采集的图像

令t表示整个拍摄过程中的时间，拍摄初始时刻t＝0；开始拍摄时，首先在t＝0时刻采集首帧超分辨图像，记录在图像记录和图像处理模块中；然后通过控制模块切换为低分辨图像采集，低分辨图像的采样帧率固定为fl；采集的每一帧低分辨原始图像都先经过图像预处理步骤和荧光漂白矫正步骤，然后再被依次读入探测窗口，当探测窗口内的图像帧数达到设定的值n时，采用计算光流的方法分析此时探测窗口内图像的动态变化速率，并生成数据包<动态变化信息>；将<动态变化信息>数据包发送至反馈回路模块，反馈回路模块内预设了时间间隔函数t()，用于将<动态变化信息>数据包转换为超分辨图像采集的时间间隔ts，对于首个数据包，转换得到的ts的值表示为t1，即预计下次采集超分辨图像的时刻为t1；若此时的t≥t1，停止采集低分辨图像，清空探测窗口，并且立即采集第二帧的超分辨图像，待超分辨图像采集完毕后，重新恢复低分辨图像的采集；反之，若此时的t＜t1，探测窗口继续读入一帧低分辨图像，并将原本窗口内最先采集的一帧图像移除，再分析此时n帧图像的动态变化速率，生成并发送第二个<动态变化信息>数据包至反馈回路模块，经t()函数转换得到ts＝t2，当t2＜t1时，预计下次采集超分辨图像的时刻提前至t2，否则仍保持为t1；如图2所示，上述“分析图像变化速率——发送<动态变化信息>数据包——t()函数转换为采集时间间隔ts”的过程重复进行，对于任意j＞i，当tj＜ti，预计下次采集超分辨图像的时刻变更为tj，否则仍保持为ti；直至t≥ti，完成第二帧超分辨图像的采集。

以上过程即实现了超分辨图像采样帧率的自适应调节，在拍摄的过程中，不断重复以上步骤，采集所需帧数的超分辨图像，或直至样品被荧光漂白而无法再继续拍摄。整个拍摄过程中采集的所有超分辨图像和低分辨图像都记录保存在图像记录和图像处理模块中，并且记录下采集每帧图像的时刻。

时间间隔函数t()的表示方式并不唯一，例如可以表示为如下形式：

其中，n为探测窗口能容纳的图像帧数；fl为低分辨图像的采样帧率；t0为默认的超分辨图像采样帧率；vm为<动态变化信息>数据包中模值最大的光流矢量的模；vth为一个设定的大于0的阈值；ε()为阶跃函数，当vm-vth≥0时，ε()＝1，否则ε()＝0；m为<动态变化信息>数据包内光流矢量的总数；vi为<动态变化信息>数据包内第i个光流矢量的模；∑ivi/m表示对所有光流矢量的模计算平均值；两个系数α，β≥0。

由上述公式可知，当所有的光流矢量都为0时，意味着图像没有变化，得到ts＝t0，使用默认的超分辨图像采集时间间隔，也即ts取值的最大值；随着光流矢量的增大，ts逐渐减小，当光流矢量非常大时，ts→n/fl，使用最小的时间间隔采集超分辨图像；当最大的光流矢量超过设定的阈值vth时，意味着即便此时其它的光流矢量都很小(甚至为0)，图像整体变化不大的情况下，也存在局部较快的动态变化，因此也需要减小ts，具体的调整量取决于系数α的大小；β×∑ivi/m用于度量图像整体的变化情况，ts的调整量取决于系数β的大小。