基于波长复用的频域拼贴显微系统及其方法与流程

本发明涉及显微成像技术领域，特别涉及一种基于波长复用的频域拼贴显微系统及方法。

背景技术：

FPM(Fourier ptychograhic microscopy，频域拼贴显微)系统使用一个可编程LED阵列来代替普通的显微镜光源，从而将多角度相干光照明引入了传统显微系统中，可以实现宽视场高分辨的成像。在数据采集过程中，依次点亮具有不同入射角的LED光源，并同时采集相应光照下的样本图像。每一张采集到的低分辨率图像都包含不同角度光照下的样本信息，也即是样本不同频谱的信息，因此可以使用一种相位恢复算法将这些图像中包含的信息在空间频域上(傅里叶域)拼贴起来，获得一张高分辨率的样本复振幅图像(即样本的强度图像和相位图像)。FPM方法不需要通过机械扫描就可以获得十亿像素的样本图像，可以极大地拓宽显微物镜的空间带宽积(spatial bandwidth product，SBP)，从而增大显微系统的光学信息通量。

FPM方法的一个主要局限性在于数据采集过程耗时长，在某种程度上可以认为是一种通过牺牲时间分辨率来获得高空间分辨率的方法。FPM的原型系统采用上述的“依次照明”(sequential illumination)策略，需要花费数分钟时间采集超过200张的原始低分辨率图片，以此恢复高分辨率的样本复振幅图像。这个局限使得FPM系统无法观测动态的样本活动，限制了其在生物成像中的应用范围。

研究者们提出了很多方法去解决这个时间消耗的问题，主要有两类，一种方式基于对现有依次照明策略的优化，通过分析样本的稀疏先验来减少冗余数据的采集，或者利用样本图像在空间频域上的自然分布来设计自适应的采集策略。另一种更加有效的方式是利用信息复用的FPM方法(multiplexed FPM，MFPM)，这种方法使用“复用的编码照明”(multiplexed coded illumination)策略，能够在单次的图片采集中实现对于样本空间频域信息的多重采样。由于在MFPM方法中，单张采集图像对应样本空间频谱上的多个区域，而不是像FPM原型系统一样的单个区域，因此需要相机采集的次数大大减少，使得采集时间变短。

MFPM方法的主要局限在于如何将混叠在单张图像中的空间频域信息进行分解，这一欠定的反解问题限制了MFPM方法的复用采集能力，也即对于采集时间缩短的能力。以往的MFPM方法大多数只能将采集时间从数分钟减少到几十秒。最近提出的一种新的MFPM系统实现了对于管内活体样本的动态观测，但是这种方法需要升级原有FPM系统的控制单元，实现对于LED阵列和相机采集更加精确快速的同步控制，并且需要一款具有非常好的感光能力的相机来采集数据。此外，对于MFPM方法反解过程的优化求解还需要消耗大量的计算时间。

波长复用(wavelength multiplexing)技术在信息传输领域已经被使用了很长时间，特别是在光纤通信和内窥系统中。此外，这项技术近来也被用来实现超快速的光学成像。不同波长的光会各自独立地通过光纤以及其他光学器件，因此波长复用技术可以极大地增强系统的信息传输能力。

技术实现要素：

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于波长复用的频域拼贴显微系统，该显微系统能够提高原始频域拼贴显微系统的数据采集速度，使其能够观测动态样本，并且简单易实现。

为了实现上述目的，本发明的实施例公开了一种基于波长复用的频域拼贴显微系统，包括：三色LED阵列，所述的三色LED阵列包含红光LED灯、绿光LED灯和蓝光LED灯；显微镜，用于获取所述三色LED阵列照射样本后的图像信息进行放大；RGB相机，所述RGB相机放置在所述显微镜的相面，用于采集放大后的图像信息；控制器，所述控制器用于同步控制所述三色LED阵列和所述RGB相机，以采集多张波长复用的低LED分率彩色图像，并根据所述多张波长复用的低LED分率彩色图像获取恢复单帧高分辨率图像所需的原始图像数据。

根据本发明实施例的基于波长复用的频域拼贴显微系统，搭建一个简化的、但具有代表性的原型系统，来验证基于波长复用的频域拼贴显微的性能。在这种简化的系统中，使用一个可编程的三色(红绿蓝)LED阵列作为照明光源，同时使用一个RGB相机作为数据采集装置。这种简化的架构只需要对于现有的FPM原型系统进行简单的改造就能完成，并可以与现有的大多数MFPM方法相兼容，实现3倍采集速度的提升。

另外，根据本发明上述实施例的基于波长复用的频域拼贴显微系统，还可以具有如下附加的技术特征：

进一步地，所述红光LED灯、所述绿光LED灯和所述蓝光LED灯在光谱维度上是互不重叠。

进一步地，所述显微镜包括：显微物镜，用于对三色LED阵列照射样本后的图像信息进行特定倍数的放大，套管镜头，用于对放大后的图像信息透镜成像，以便位于成像的相面的RGB相机进行图像采集。

进一步地，所述RGB相机与所述显微镜的成像系统光学分辨率相匹配。

进一步地，所述RGB相机通过拜耳滤色器编码采集三种波长光照下的图像信息。

为此，本发明的一个目的在于提出一种基于波长复用的频域拼贴显微方法，该方法能够提高原始频域拼贴显微系统的数据采集速度，使其能够观测动态样本，并且简单易实现。

为了实现上述目的，本发明的实施例公开了一种基于波长复用的频域拼贴显微方法，包括上述实施例的基于波长复用的频域拼贴显微系统，所述方法包括以下步骤：S1：调节所述三色LED阵列与所述显微物镜之间横向的相对位置和轴向距离，使得所述三色LED阵列的多波长光照与所需提供的多角度光照相对应；S2：通过所述显微物镜和所述套管镜头获取所述三色LED阵列照射样本后的图像信息进行放大至所述套管镜头的成像面；S3：通过所述RGB相机采集三种照明下所述样本的彩色图像；S4：所述控制器同步控制所述三色LED阵列和所述RGB相机，通过变换所述三色LED阵列的照明模式采集多张波长复用的第一分辨率的彩色图像；S5：将所述多张波长复用的第一分辨率的彩色图像按照R/G/B三个通道进行拆分得到多个拆分数据；S6：将所述多个拆分数据通过迭代重构和频谱拼贴，以得到单帧第二分辨率的原始图像数据。

另外，根据本发明上述实施例的基于波长复用的频域拼贴显微方法还可以具有如下附加的技术特征：

进一步地，所述三色LED阵列与所述样本的距离为1至10厘米。

进一步地，所述样本为无色透明或者半透明。

进一步地，在步骤S6中还包括对所述拆分数据进行预处理，所述预处理包括对比度调整、参数计算和聚焦处理。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的基于波长复用的频域拼贴显微系统的结构框图；

图2是本发明一个实施例的基于波长复用的频域拼贴显微系统的结构示意图；

图3是本发明一个实施例的采集肾脏细胞样本的低分辨图像恢复出高分辨图像和相位的示意图；

图4是本发明实施例的基于波长复用的频域拼贴显微方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述本发明。

图1是本发明实施例的一种基于波长复用的频域拼贴显微系统的结构框图。图2是本发明一个实施例的基于波长复用的频域拼贴显微系统的结构示意图。如图1和图2所示，根据本发明实施例的基于波长复用的频域拼贴显微系统，包括三色LED阵列100、显微镜600、RGB相机400和控制器500。其中，显微物镜200和套管镜头300组成显微镜600。

其中，三色LED阵列100包含红、绿、蓝三种波长，用以代替普通显微镜的宽场光源进行照明，且与FPM原型系统的单色LED阵列不同，实现对现有的MFPM技术从空间频谱维度到光谱维度的拓展。显微镜600，包括显微物镜200和套管镜头300，将在三种波长照明下显微样本所成的像通过相机引出口放大到成像平面。RGB相机400，放置在相机引出口后的像面，用以采集三种波长照明下样本的彩色图像；控制器500，同时连接上述的LED阵列100和RGB相机400，进行两者之间的精确同步控制，来快速采集多张波长复用的低分辨率彩色图像，也即恢复单帧高分辨率图像所需的原始图像数据。

在本发明的一个实施例中，控制器500进行相机传感器400与LED阵列100的同步控制，在操作LED阵列100快速变换多波长照明模式的同时，控制相机400采集相应样本的低分辨图像，对应多次被不同波长标记的样本空间频率平面的多重采样。

在本发明的一个实施例中，红光LED灯、绿光LED灯和蓝光LED灯的中心频率分别是：红光632nm、绿光532nm以及蓝光440nm，且每种都具有约为20nm的窄带光谱，因此在光谱维度上互不重叠。

在本发明的一个实施例中，三色LED阵列100可以事先设计LED的排布和设置，并可以通过编程的方式控制其照明模式。每个LED具有不同的空间位置和颜色，因此具有不同角度、不同波长的入射光照。

在本发明的一个实施例中，RGB相机400与显微镜600的成像系统光学分辨率相匹配，即满足奈奎斯特采样定理(Nyquist Sampling Theorem)。

在本发明的一个实施例中，RGB相机400通过拜耳滤色器(Bayer filter)来编码采集三种波长光照下的图像信息。由于三种波长光照在光谱维度上的窄带特性和互不重叠性，RGB相机对于它们的响应曲线也是相互分离的，分别对应数据中红色、绿色和蓝色(R/G/B)通道的数值。

在本发明的一个实施例中，三色LED阵列100与样本700的距离为1至10厘米，此时三色LED阵列发出的光，可以看作是平行光照明，而不同的波长光照在光谱域上是窄带的，每一次的照明都可以看做是多个离散的单色光的叠加，也即有限个相干光照的叠加，因此整个系统仍然是相干光照的光学系统。

为使本领域人员进一步理解本发明，经通过以下实施例进行详细说明。

为方便原型系统构建，本发明实施例的显微镜600可以采用商业的宽视场显微镜(Zeiss Observer Z1)来放大显微样本700到像平面。使用具有3种波长光照的LED阵列100，根据相应的“照明模式(illumination pattern)”来点亮样本，同时使用一个合适的RGB相机400(AVT Prosilica GT1290C)来进行数据采集。由于三种LED的中心波长不同(红色632nm，绿色532nm，以及蓝色440nm)，在系统中传播时造成的散焦偏移量分别为20nm/40nm/80nm，依据这个参数计算相应的相移因子并带入重建算法中。实验采集75张低分辨率的RGB图像来重建一张高分辨的样本复振幅。

需要事先设计一组合适的“照明模式(illumination pattern)”；在实际的实验操作时，编程控制LED阵列100依次点亮事先设计好的照明模式，来照亮样本的空间频谱面，直到样本的整个空间频谱都采集到。

点亮一个“线单元”(与“照明单元”相区分)内的三个分别为红绿蓝色的LED灯，同一个“线单元”内的LED灯处在LED阵列100水平方向上最临近的3个位置。按照已经设计好的“线型模式”照明，从左上到右下连续重复上述过程，也即按照“线型模式”的顺序依次点亮不同的“线单元”。使用一个RGB相机400依次采集样本在“线单元”光照下的图像，直到所有“线单元”都被遍历一次，也即样本的所有空间频谱信息都被采集。

由于采用的是多波长光照，采集到的数据不能直接应用到重构中，需要将多波长光照的数据按照R/G/B通道进行直接拆分；同时还需要注意调整那些与光照的波长相关的参数设置。具体来说，要对采集数据进行相应的对比度调整、参数计算以及去散焦处理等预处理，才能应用到重构算法当中。具体步骤如下：

第一，多波长信息拆分：参照图2所示，“线型模式”中的某个“线单元”被点亮时，采集到的单张图片会包含三种波长光照下的复用信息，这同时也代表着与三个不同的LED光照角度相对应的三个空间频率区域的信息。由于使用的LED是具有窄带的光谱特性，以及RGB相机对各个波长的响应也是分离的，因此上述在单张图像中复用的3个光谱频段的信号，在相机采集的RGB格式数据中可以看成被R/G/B三个不同的通道分别采集。可以直接将单张彩色图片中R/G/B通道的数据拆分来获得3张灰度图片，因此采集到了75张RGB图像被扩展成了225张灰度图像，包括在红光、绿光、蓝光照射下的样本灰度图像各75张。

第二，对比度均衡：由于不同波长的光通过样本的透射率不同，以及RGB相机400对不同波长光的相机响应有亮度上的差异，因此R/G/B通道的数据之间存在对比度的差别。需要进行三通道数据之间相对亮度的调整或者对比度的均衡，采用的方法很简单，是各自通道内数据的归一化，即将各自的灰度值范围调整到0-1之间。

第三，色散校正：所采用的WMFPM方法是一种多色照明的框架。由于各个波长的光在透镜或者其他介质中的传播速度不同，WMFPM系统会引起对样本成像的色散现象。因此，无法采集在三种波长下都聚焦的彩色图像，实验采集时，可以记录并估计不同光照的散焦距离，并以此计算出与波长相关的不同相移因子，在重构时将其带入算法中来消除这种散焦的影响。公式如下：

其中(k_x，k_y)指的是由于多角度光照引起的样本频谱中心在空间频谱上的位移。λ是光照的波长，NA_obj是指物镜的数值孔径，z₀是指估计的散焦偏移量。

第四，参数计算：在相干光照下，物镜的光学传递函数(optical transfer function)在空间频域上可以认为是一个圆形的光瞳函数(pupil function)。每个光瞳的中心位置和尺寸(也就是半径)均与波长相关，参照图2所示。具体来说，其半径等于NA_obj×k₀，其中k₀＝2π/λ是真空中的波数。中心位置可以用下面的式子计算：

其中(x_c，y_c)指的是样本像面的中心位置，(x_i，y_i)指的是第i个LED的位置，h是LED阵列到样本的距离。

在重建过程中，使用一种基于光瞳函数优化的相位恢复算法。首先对采集到的数据进行上述的多波长信息的拆分以及对比度均衡，然后将波长相关的参数以及相应的相移因此带入算法中，重建出高分辨率的样本复振幅。最终可以实现3倍采集张数和采集时间的减少，当然更进一步地性能提升可以通过与其他的复用频域拼贴显微(MFPM)方法耦合使用来实现。

在本发明的一个实施例中，为了保证多波长光照下的样本信息与多角度光照射下的信息相对应，观测的样本需要满足一定的限制条件：在不同波长光照下，除了上述的与波长相关的分辨率和散焦之外，样本所呈现的信息几乎是相同的，而不存在自身的材料色散(material dispersion)，因此，WMFPM方法只能用来观测透明或者半透明的无色样本。但是一般来说，薄相位物体(thin phase object)都满足这样的要求(一种现有的方法就是利用了薄相位物体的这个前提，通过不同光照下的色差来实现相位成像)。因此本方法仍然具有很大的应用场景。

本发明的实施例还公开了一种基于波长复用的频域拼贴显微方法。图3是本发明实施例的基于波长复用的频域拼贴显微方法的流程图。如图3所示，根据本发明实施例的基于波长复用的频域拼贴显微方法，包括上述的基于波长复用的频域拼贴显微系统，该方法包括以下步骤：

S1：调节三色LED阵列与显微物镜之间横向的相对位置和轴向距离，使得三色LED阵列的多波长光照与所需提供的多角度光照相对应；

S2：通过显微物镜和套管镜头获取三色LED阵列照射样本后的图像信息进行放大至套管镜头的成像面；

S3：通过RGB相机采集三种照明下样本的彩色图像；

S4：控制器同步控制三色LED阵列和RGB相机，通过变换三色LED阵列的照明模式采集多张波长复用的第一分辨率的彩色图像；

S5：将多张波长复用的第一分辨率的彩色图像按照R/G/B三个通道进行拆分得到多个拆分数据；

S6：将多个拆分数据通过迭代重构和频谱拼贴，以得到单帧第二分辨率的原始图像数据。

在本发明的一个实施例中，三色LED阵列与样本的距离为1至10厘米。

在本发明的一个实施例中，样本为无色透明或者半透明。

在本发明的一个实施例中，在步骤S6中还包括对拆分数据进行预处理，预处理包括对比度调整、参数计算和聚焦处理。

需要说明的是，本发明实施例的基于波长复用的频域拼贴显微方法的具体实施方式与本发明实施例的基于波长复用的频域拼贴显微系统的具体实施方式类似，具体参见系统部分的描述，为了减少冗余，不作赘述。

另外，本发明实施例的基于波长复用的频域拼贴显微及其方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。