基于微透镜阵列的荧光样本层析显微成像方法与流程

本发明涉及计算摄像学领域，特别涉及一种基于微透镜阵列的荧光样本层析显微成像方法。

背景技术：

目前，大多荧光显微三维成像利用的是共聚焦显微镜或双光子、多光子显微镜，逐点扫描采集荧光样本，形成不同深度下的图像。但这些方法存在两方面缺点。第一，所需激发光较强，容易造成荧光漂白，而且强光照射可能损伤样本细胞或组织结构；第二，对荧光样本特定深度成像需要逐点扫描，时间效率低。因此，上述方法不适用于光敏荧光样本和生物样本，而且成像速度慢，不能记录动态场景。

宽视场显微镜则不同，其光通量大，在较弱激发光下即能成像，而且每个深度可以直接成像，相比前述方法成像速度快。但利用宽场显微镜获得荧光图像存在如下问题：激发光不但激发了样本位于物镜焦平面处荧光标记，也激发了不在物镜焦平面的荧光标记，因此，成像传感器每个像素点光强是焦平面上荧光强度和非焦平面荧光强度以及噪声叠加，每个深度获得图像分辨率比前述方法分辨率低。

技术实现要素：

本发明旨在至少在一定程度上解决上述技术问题之一或至少提供一种有用的商业选择。

为此，本发明的一个目的在于提出一种基于微透镜阵列的层析显微成像方法。该方法适用荧光样本范围广，成像速度快，计算重建后，样本不同深度图像能够消除非焦面模糊影响。

本发明的另一个目的在于提出一种基于微透镜阵列的层析显微成像系统。

为了实现上述目的，本发明的第一方面的实施例公开了一种基于微透镜阵列的层析显微成像方法，包括以下步骤：通过显微镜的相机引出口将显微样本放大到第一像平面，其中，所述显微镜为宽视场荧光显微镜；第一组合透镜根据所述第一像平面生成满足后级要求的第二像平面；微透镜阵列对所述第二像平面进行光学调制，将第二像平面上不同角度光线调制到微透镜后不同空间位置；第二组合透镜将经过所述微透镜阵列调制的图像互不重叠且无空隙地送到成像传感器；成像传感器记录经前级调制后的荧光样本图像。

在一些示例中，所述通过显微镜的相机引出口将显微样本放大到第一像平面，包括：通过对荧光显微样本在z轴上的移动或物镜的移动，实现对荧光样本不同深度成像。

在一些示例中，对显微镜输出的荧光图像，以衍射极限分辨率通过微透镜阵列或其他强度或相位调制。

在一些示例中，还包括：通过解卷积重建手段消除非焦面信号影响。

本发明实施例的基于微透镜阵列的层析显微成像方法通过在像面加入微透镜阵列调制，对每次成像采用反卷积计算消除非焦面信号影响，即利用宽场显微镜高倍物镜，将输出的样本荧光图像分辨率极限放大到与微透镜匹配尺寸，然后通过微透镜阵列调制，将不同角度光线对应到空间不同位置，再通过光学器件调整每个微透镜对应传感器上像素范围，实现微透镜阵列后图像不重不漏，然后利用反卷积方法，消除非焦面信息影响，计算重建出焦平面图像。优点在于激发光源功率低，可应用于光敏样本和生物样本成像，减少荧光漂白和对样本的损伤；成像速度快，可以普通宽场显微镜焦堆栈成像速度实现可以与扫描的共聚焦显微镜比拟的成像质量。

本发明第二方面的实施例公开了一种基于微透镜阵列的层析显微成像系统，包括：显微镜，所述显微镜为宽视场荧光显微镜，通过所述显微镜的相机引出口将显微样本放大到第一像平面；第一组合透镜，用于根据所述像平面生成满足后级要求的第二像平面；微透镜阵列，用于对所述第二像平面进行光学调制，将第二像平面上不同角度光线调制到微透镜后不同空间位置；第二组合透镜，用于将经过微透镜阵列调制的图像互不重叠且无空隙地送到成像传感器；成像传感器，用于记录经前级调制后的荧光样本图像。

在一些示例中，通过对荧光显微样本在z轴上的移动或物镜的移动，实现对荧光样本不同深度成像。

在一些示例中，对显微镜输出的荧光图像，以衍射极限分辨率通过微透镜阵列或其他强度或相位调制。

在一些示例中，通过解卷积重建手段消除非焦面信号影响。

本发明实施例的基于微透镜阵列的层析显微成像系统通过在像面加入微透镜阵列调制，对每次成像采用反卷积计算消除非焦面信号影响，即利用宽场显微镜高倍物镜，将输出的样本荧光图像分辨率极限放大到与微透镜匹配尺寸，然后通过微透镜阵列调制，将不同角度光线对应到空间不同位置，再通过光学器件调整每个微透镜对应传感器上像素范围，实现微透镜阵列后图像不重不漏，然后利用反卷积方法，消除非焦面信息影响，计算重建出焦平面图像。优点在于激发光源功率低，可应用于光敏样本和生物样本成像，减少荧光漂白和对样本的损伤；成像速度快，可以普通宽场显微镜焦堆栈成像速度实现可以与扫描的共聚焦显微镜比拟的成像质量。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述的和/或附加的方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的基于微透镜阵列的层析显微成像方法的流程图；

图2为本发明实施例的荧光样本成像光路图；

图3为本发明实施例的前向投影模型；

图4为本发明实施例的传感器采集到图像；

图5为本发明实施例的解卷积计算生成图像；

图6为本发明实施例的基于微透镜阵列的层析显微成像系统的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明实施例的基于微透镜阵列的层析显微成像方法主要包括以下步骤：

1)荧光显微样本图像序列的采集。利用本发明提出的成像系统，通过调整显微物镜和样本间相对距离，使样本不同深度处于焦平面，然后利用成像光路上加入微透镜阵列调制，实现不同角度光线与传感器上不同空间位置间对应关系。采集过程完成后，即可获得样本不同深度下，经微透镜阵列调制后的图像序列。

2)获取成像点扩展函数。成像点扩展函数既可以利用成像系统参数理论计算获得。也可以利用尺寸适当的荧光微球作为荧光样本，采集其在不同聚焦位置上的成像序列，用该图像序列中荧光微球的像作为系统点扩展函数。还可以直接采用盲反卷积的算法，在迭代计算焦面图像的同时生成点扩展函数。

3)荧光样本焦面图像反卷积重建。首先利用1)获得的图像序列，2)计算的成像三维点扩展函数，通过反卷积迭代计算消除非焦面影响。如果采用盲解卷积算法，将理论计算扩散函数作为初始值，然后在迭代过程中实现焦面图像和点扩散函数同步收敛。

本发明方法的优点在于相比现有共聚焦显微镜，结构简单，成本低廉；同时，本发明需要的激发光功率较低，可以最大限度减少激光对光敏样本、生物样本的破坏；而且，本发明成像过程不需要逐点扫描，成像速度快。另外，此方法反卷积重建过程在普通pc机或工作站等硬件系统上即可实现。

具体而言，本发明提出的基于微透镜阵列的层析显微成像方法，图像序列采集过程如图1所示，并结合图2至图6，包括以下几个部分：

1)荧光显微镜。采用zeiss公司生产的axioobserverz1荧光显微镜，100倍放大、数值孔径1.3的硅油物镜。荧光显微镜可以调节显微样本在z轴上的位置，采用激光光源激发样本荧光，并将样本荧光图像送到显微镜成像接口。

2)透镜组合1(第一组合透镜)。透镜组合1将显微镜输出的图像分辨率与微透镜尺寸匹配。显微镜输出图像位于透镜组合1前焦面上。

3)微透镜阵列。微透镜阵列实现将空间不同角度光线调制到微透镜后不同空间位置上。采用rpcphotonics公司的100微米尺寸微透镜，微透镜焦距2.8毫米，数值孔径约为100μm/(2*2.8mm)＝0.017，阵列尺寸50.8×50.8mm²。

4)透镜组合2(第二组合透镜)。透镜组合2将经过微透镜阵列调制后的像面变换到与成像传感器ccd尺寸匹配的像面。

5)成像传感器。成像传感器用来记录荧光样本经过微透镜阵列调制后的图像，实现光线角度与传感器上像素位置间对应关系。采用andorzyla4.2相机。

本实例中，采用100倍放大，数值孔径为1.3的硅油物镜，荧光波长取550纳米，通过电控载物台轴向移动样本实现样本逐层扫描。在上述参数下，衍射极限分辨率为：

透镜组合1前焦面和显微输出口镜像面重合。为实现极限分辨率经过微透镜放大，将不同角度光线调制到不同空间位置，极限分辨率要和微透镜尺寸匹配，同时考虑奈奎斯特采样率要求，透镜组合1需要将图像放大7.70倍。

微透镜阵列位于透镜组合1后焦面上。由于图像经透镜组合1再次放大，考虑后级传感器不能容纳整个视场，需要牺牲视场范围。本实例采用每个微透镜后对应25个像素，由于传感器分辨率为2048*2048，其视场范围为53μm×53μm，如果将微透镜后对应像素减少为9个，视场范围扩大到66μm×66μm。为消除视场外信号影响，可以加入光阑将其屏蔽。以本实例参数计算，光阑直径为2048/(5*2)*150＝30.72mm也可以在透镜组合1之前加入光阑，此时光阑直径为2048/(5*2)*0.0259＝5.31mm。由于每个微透镜阵列对应25个像素，单个像素尺寸为20μm。

透镜组合2前焦面和微透镜阵列后焦面重合。经过微透镜阵列调制后的图像，再经过透镜组合2缩小，实现微透镜后像素尺寸与ccd像素尺寸一致。由于传感器像素尺寸为6.45μm，透镜组合2需要将图像缩小3.1倍。

传感器位于透镜组合2后焦面上，实现调制后图像采集。本实施例采用轴向移动载物台方式，使样本逐层进入物镜前焦面，实现整个样本逐层成像。

解卷积计算过程主要利用前向投影模型和反向投影模型迭代消除非焦面信号。解卷积算法将成像过程看作样本各深度与对应层点的扩散函数卷积累加的过程。三维点扩散函数采用gibsonlanni模型理论计算获得。将采集到图像列向量化为样本空间体素列向量化为测量矩阵为h。前向模型为样本到图像的投影过程，可表示为：f＝hg。测量矩阵h中元素hij反映了体素i对像点j的贡献，实质上就是体素i点扩散函数在传感器j处的值，因此h矩阵每列对应一个体素的点扩散函数。由于采用归一化点扩散函数，每列和为1。前向投影过程如图3所示。

测量矩阵h第j行可看作样本空间各体素对像素j的权系数向量。相应地，测量矩阵h第i列可看作各像素点对体素i的权系数向量。因此，反向投影模型可表示为：g=h^tf，反映了像面各点到各体素对应关系。

一般地，传感器接收到光子服从泊松分布。设采集到图像为背景噪声

为b，则有

由于泊松分布是对数凹函数，取对数后变化为凸问题，采用梯度下降法，可得到迭代解：

g^(k+1)＝diag(h^t1)^-1diag(h^tdiag(hg^(k)+b)^-1f)g^(k)。

由于微透镜阵列位于像面上，且以极限分辨率采样，仅交汇于焦面位置的光线不同角度被映射到微透镜后不同空间位置，解卷积运算，不同空间位置采用不同的点扩散函数。因而解卷积迭代过程仅能恢复出焦面信号，而消除非焦面影响。对样本逐层图像解卷积重建，即可得到荧光样本层析显微三维图像。

如图6所示，本发明实施例的基于微透镜阵列的层析显微成像系统，包括：显微镜，所述显微镜为宽视场荧光显微镜，通过所述显微镜的相机引出口将显微样本放大到第一像平面；第一组合透镜(透镜组合1)，用于根据所述像平面生成满足后级要求的第二像平面；微透镜阵列，用于对所述第二像平面进行光学调制，将第二像平面上不同角度光线调制到微透镜后不同空间位置；第二组合透镜(透镜组合2)，用于将经过微透镜阵列调制的图像互不重叠且无空隙地送到成像传感器；成像传感器，用于记录经前级调制后的荧光样本图像。

本发明的实施例，通过在像面加入微透镜阵列进行调制，对每次成像采用反卷积计算消除非焦面信号影响，即利用宽场显微镜高倍物镜，将输出的样本荧光图像分辨率极限放大到与微透镜匹配尺寸，然后通过微透镜阵列调制，将不同角度光线对应到空间不同位置，再通过光学器件调整每个微透镜对应传感器上像素范围，实现微透镜阵列后图像不重不漏，然后利用反卷积方法，消除非焦面信息影响，计算重建出焦平面图像。优点在于激发光源功率低，可应用于光敏样本和生物样本成像，减少荧光漂白和对样本的损伤；成像速度快，可以普通宽场显微镜焦堆栈成像速度实现可以与扫描的共聚焦显微镜比拟的成像质量。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多的用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。