一种宽场照明共焦显微成像系统及方法与流程

本发明涉及光学显微成像技术领域，具体涉及一种宽场照明共焦显微成像系统及方法。

背景技术：

激光共焦显微成像技术因其具有低背景噪声、优秀的层析能力等特点，目前应用于许多领域，特别地，荧光共焦显微成像技术是生物医学领域最常用的显微成像技术之一，在形态学、免疫学、肿瘤学、病毒学、胚胎学等生物医学领域有着极为广泛的应用。

大部分共焦显微成像术都采用单点扫描成像方式(m.minsky,u.s.patent#3013467,microscopyapparatus(1957).)，它通过使用聚焦的激光束扫描样品，并在探测器前放置一个针孔，能够有效滤除焦平面以外的杂散光，从而仅获得样品在物镜焦平面的光学切片图像。由于采用点扫描成像方式，这种方法需要三维点扫描机械装置，每扫描样品上的一个点就测量一次，一幅m×n像素的图像需测量m×n次，影响成像速度。为了提高成像速度，需降低光束照明每个点的时间，为了获得有用的信噪比信号，就需要提高照明激光的强度，但高强度的激光照明到样品上一个点上，会对样品产生影响，例如容易发生荧光漂白，对生物样品具有光毒性。

为了解决传统点扫描共焦显微镜存在的成像速度慢问题，国内外研究学者陆续提出了许多其他共焦显微成像方法，如转盘共焦显微镜(d.toomreandj.b.pawley,disk-scanningconfocalmicroscopy.inhandbookofbiologicalconfocalmicroscopy(pp.221-238).springer,boston,ma(2006))，它通过尼科夫(nipkow)转盘上的针孔阵列产生多个点光源同时照明样品；亦有研究微透镜阵列(tizianihj,uhdehm.“three-dimensionalanalysisbyamicrolens-arrayconfocalarrangement,”appl.opt.,33(4),567-572(1994).)产生多个点光源同时照明样品，然后利用面阵相机采集信号。与单点扫描方式相比，这些共焦显微镜一次测量能够获得样品多个点的信息，原理上成像速度更快，但离焦平面发出的杂散光会通过相邻的针孔被探测器接收，引起串扰，进而降低成像系统的空间分辨率。同时这种多点扫描方式仍然存在荧光漂白和光毒性问题。

总之，现有的点扫描共焦显微镜，存在以下缺陷：1)需要三维点扫描精密机械装置进行逐点测量，测量次数大，影响成像速度；2)单点照明光强度较高，进行荧光共焦成像时容易发生光漂白、对生物样品容易产生光毒性。

技术实现要素：

本发明的目的是为了解决现有点扫描共焦显微镜存在的缺陷：测量次数大、成像速度慢，容易发生光漂白、光毒性问题，提供一种宽场照明共焦显微成像系统及方法。

本发明的第一个目的可以通过采取如下技术方案达到：

一种宽场照明共焦显微成像系统，所述成像系统包括照明光源1、反射器2、空间光调制器3、第一管镜4、分光器5、物镜6、样品7、载物台8、第二管镜9、相机10和计算机11，所述照明光源1发出的均匀光束经反射器2后照射到空间光调制器3上，形成空间分布不均匀的结构光，上述结构光依次通过第一管镜4、分光器5和物镜6照明固定于载物台8上的样品7；照明光和样品7相互作用后，从样品7发射出的光依次通过物镜6、分光器5和第二管镜9到达相机10的光敏面，相机10拍摄图像并存储到相连的计算机11内；

其中，所述空间光调制器3的调制面设置在第一管镜4的前焦面，所述相机10的光敏面设置在第二管镜9的后焦面，所述样品7位于物镜6的焦平面；

所述第一管镜4、分光器5与物镜6构成第一成像透镜组，将空间光调制器3中调制单元成像到物镜6的焦平面，成像放大倍数为β1；所述物镜6、分光器5与第二管镜9构成第二成像透镜组，将物镜6焦平面上的物点成像到相机10上的光敏面，成像放大倍数为β2；调整物镜6与第一管镜4、第二管镜9的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：其中，δc为相机10光敏像元的尺寸，δs为空间光调制器3中调制单元的尺寸。

进一步地，所述分光器5包含一个激发滤光片51、一个发射滤光片52和一个二向色分光镜50，所述激发滤光片51放置在第一管镜4和二向色分光镜50之间，所述发射滤光片52放置在第二管镜9和二向色分光镜50之间；当照明光源1为一窄带光源时，激发滤光片51可去除。

进一步地，所述空间光调制器3中调制单元阵列的排列方式和相机10的光敏像元阵列的排列方式相同，所述空间光调制器3的调制单元和相机10的光敏像元一对一形成物像共轭点。

进一步地，所述载物台8包含一个能够沿物镜6光轴z方向平移的平移机构。

本发明的第二个目的可以通过采取如下技术方案达到：

一种的宽场照明共焦显微成像系统的成像方法，所述成像方法包括以下步骤：

s1、计算机11生成一系列不同的图案：p1、p2、…、pi、…、pl，每个图案的大小为ms×ns像素，依次加载到相连的空间光调制器3；照明光源1发出的均匀光束经反射器2照射到空间光调制器3，然后由空间光调制器3调制生成一系列空间分布不同的结构光：上述不同的结构光又依次通过第一管镜4、分光器5和物镜6照明固定于载物台8上的样品7；结构光和样品7相互作用后，样品7发射出的光束通过物镜6、分光器5和第二管镜9，成像到相机10的光敏面，其中i＝1,…,l，ms×ns表示图案由ms行和ns列像素组成，l、ms和ns为整数，(ms,ns)为空间光调制器3的调制单元坐标，ms＝1,…,ms，ns＝1,…,ns为整数；

s2、利用相机10依次拍摄经上述不同结构光照明固定于载物台8上的样品7后形成的图像：i1(mc,nc)、i2(mc,nc)、…、ii(mc,nc)、…、il(mc,nc)，每幅图像的大小为mc×nc像素，并存储到计算机11内，每幅图像ii(mc,nc)对应一个结构光pi，其中mc×nc表示相机10的光敏面由mc行和nc列像元组成，mc和nc为整数，(mc,nc)为相机10光敏面上像元的坐标，mc＝1,…,mc，nc＝1,…,nc为整数；

s3、将相机10的每个光敏像元作为一个单像素探测器，从相机10拍摄获得的图像：i1(mc,nc)、i2(mc,nc)、…、ii(mc,nc)、…、il(mc,nc)中，提取具有相同像素坐标的光敏像元记录的光强值，组成一个一维光强序列，mc×nc个光敏像元组成mc×nc个一维光强序列；根据每个光敏像元记录的一维光强序列，采用单像素成像图像重建方法，重建一幅样品7的弥散斑图像，mc×nc个像元共重建获得mc×nc幅弥散斑图像：其中j＝1,…,mc×nc,…,ld,ld＝mc×nc；

s4、根据相机10的光敏像元和空间光调制器3中调制单元之间的物像共轭对应的坐标关系：在空间光调制器3上找到与相机10光敏像元(mc,nc)共轭的调制单元坐标(xsc,ysc)；然后在以相机10的光敏像元(mc,nc)作为单像素探测器重建的弥散斑图像中提取坐标点(xsc,ysc)的灰度值，作为与该光敏像元(mc,nc)共轭的物点所成的像的灰度值；采样相同的方法，获得与相机10其他光敏像元共轭的物点所成的像的灰度值，将上述灰度值按照光敏像元的像素坐标排列，即获得样品7中处于物镜6焦面层的共焦显微图像，其中，(xsc,ysc)为空间光调制器3上与相机10的光敏像元(mc,nc)物像共轭的调制单元坐标，xsc和ysc均为实数；

s5、通过载物台8沿z方向移动样品7，使得物镜6对样品7不同层对焦，重复上述步骤s1-步骤s4，获得样品7不同层的共焦显微图像并存储在计算机11中。

进一步地，所述步骤s1中计算机11生成的一系列不同的图案：p1、p2、…、pi、…、pl，该图案：p1、p2、…、pi、…、pl为傅里叶变换基底图案、哈达玛变换基底图案或随机分布图案中的任意一种。

进一步地，所述步骤s1中计算机11生成的一系列不同的图案：p1、p2、…、pi、…、pl，其中，每个图案pi由u×v个大小相等、图案相同的子图pi^s组成，每个子图pi^s的像素数为图案个数l小于或等于其中u和v为整数。

进一步地，所述步骤s4中相机10的光敏像元和空间光调制器3的调制单元之间的物像共轭对应的坐标关系：由如下方法确定：

s41、计算机11同时控制空间光调制器3的q个离散的调制单元，结合照明光源1生成q个离散的点光源，照明一个均匀发光的平面样品，该平面样品放置在物镜6的焦面，然后用相机10拍摄得到一幅具有q个离散的弥散斑图像；

s42、提取该弥散斑图像中的每个弥散斑的中心坐标；

s43、根据空间光调制器3上q个离散的调制单元的坐标和相机10上q个弥散斑的中心坐标，确定空间光调制器3调制单元和相机10光敏像元之间的坐标映射变换关系；

s44、根据上述坐标映射变换关系确定空间光调制器3上与相机10的光敏像元(mc,nc)物像共轭的调制单元的坐标(xsc,ysc)，其中，q≥3为整数。

进一步地，所述步骤s4中相机10的光敏像元和空间光调制器3的调制单元之间的物像共轭对应的坐标关系：由如下方法确定：

将弥散斑图像中灰度值最大的坐标，作为空间光调制器3上与相机10的光敏像元(mc,nc)物像共轭的调制单元的坐标(xsc,ysc)。

进一步地，所述步骤s4中以光敏像元(mc,nc)作为单像素探测器重建的弥散斑图像中提取坐标点(xsc,ysc)的灰度值，当坐标(xsc,ysc)为非整数坐标时，先通过数值拟合获得该坐标点的灰度值，再提取该坐标点(xsc,ysc)的灰度值。

图1是宽场照明共焦显微成像系统的结构示意图，图2是图1的等效光路示意图，图2中f0为物镜6的焦距，ft为第一管镜4和第二管镜9的焦距。图2中，空间光调制器3上坐标为(xsc,ysc)的点s发出的光线经第一管镜4和物镜6聚焦到样品7内的o点；样品7上o点发出的光经物镜6和第二管镜9成像到相机10上的c点。s点和o点是一对物像共轭点，o点和c点也是一对物像共轭点，那么，空间光调制器3上的点s和相机10上的点c形成物像共轭点。

当一宽场光束照明到样品7上，物镜6焦平面上的o点发出的光波将在相机10光敏面形成一个光斑，光斑中心位于共轭像点c，也就是光斑中心部分将被c点所在光敏像元探测，光斑其它部分落在c点四周的其它光敏像元，形成非共轭物点噪声；同样，o点附近的物点(c点的非共轭点)在相机10光敏面形成的光斑，也有部分落在c点所在光敏像元，形成非共轭物点噪声。共焦成像技术的目的就是通过减弱这些非共轭物点噪声以提高成像质量。传统的点扫描共焦成像技术，是通过扫描物点和探测小孔中间的物像共轭关系减弱这些非共轭物点噪声。

本发明提出的成像方法，在宽场照明下可以减弱这些非共轭物点噪声。成像原理是利用单像素成像方法，生成一系列不同的结构光照明样品7，相机10同时拍摄样品7的图像，相机10每个光敏像元将获得一系列不同的光强值，每个光强值包含了来自样品7中多个物点发出的光。根据每个光敏像元记录的一系列光强值，利用单像素成像算法重建得到一幅样品7的弥散斑图像，这幅图像按物点的位置坐标的分布给出了相机像元记录的从样品7中不同物点发出的光。因此，通过这个分布，提取出与该相机像元形成物像共轭的物点对应的光强值，就可消减非共轭物点发出的光对该相机像元形成的噪声。

本发明相对于现有技术具有如下的优点及效果：

(1)本发明获取共焦显微图像所需的测量次数远少于重建图像的像素数；

(2)本发明无需三维精密扫描装置，只需一维轴向扫描装置，即可实现共焦显微三维成像；

(3)本发明由于采用全场照明方式，使得样品上单个物点的照明功率大幅降低，可以有效解决光漂白和光毒性问题。

附图说明

图1是本发明实施例一中公开的宽场照明共焦显微成像系统的组成结构图；

图2是本发明实施例一中公开的宽场照明共焦显微成像系统的等效光路示意图；

图3是本发明实施例一中重建的非荧光样品的共焦显微成像结果图；其中，图3(a)是空间光调制器加载的8192幅哈达玛变换基底图案，图3(b)是利用传统宽场显微成像方法获取的非荧光样品的图像，图3(c)是图3(b)的局部放大示意图，图3(d)是像素坐标为(132,196)的光敏像元所记录的前20个光强值示意图，图3(e)是利用像素坐标为(132,196)的光敏像元重建得到一幅弥散斑图像，图3(f)是图3(e)的局部放大视图，图3(g)是利用本发明所提方法重建的非荧光样品的共焦显微图；

图4是本发明实施例二中公开的宽场照明共焦显微成像系统的组成结构图；

图5是本发明实施例二中重建的荧光样品的共焦显微成像结果图；其中，图5(a)是空间光调制器加载的8192幅傅里叶变换基底图案，图5(b)是利用传统宽场显微成像方法获取的荧光样品的图像，图5(c)是图5(b)的局部放大示意图，图5(d)是像素坐标是(582,452)的光敏像元所记录的前20个光强值示意图，图5(e)是是利用像素坐标为(582,452)的光敏像元重建得到一幅弥散斑图，图5(f)是图5(e)的局部放大视图，图5(g)是空间光调制器加载的傅里叶变化基底图案数目为8192时，利用本发明所提方法重建的荧光样品的共焦显微图，图5(h)是空间光调制器加载的傅里叶变化基底条纹数目为254时，根据像素点(582,452)记录的一维荧光序列重建的弥散斑示意图，图5(i)是图5(h)的局部放大视图，图5(j)是空间光调制器加载的傅里叶变化基底图案数目为254时，利用本发明所提方法重建的荧光样品的共焦显微图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一：非荧光样品的应用实例

如图1所示，本实施例公开了一种宽场照明共焦显微成像系统，包括照明光源1、反射器2、空间光调制器3、第一管镜4、分光器5、物镜6、样品7、载物台8、第二管镜9、相机10和计算机11。所用照明光源1为中心波长623nm的led光源，反射器2为一平面反射镜，空间光调制器3是一调制单元尺寸为7.6μm的数字微镜dmd，分光器5为分光棱镜，物镜6为标称放大倍率20的显微物镜，第一管镜4和第二管镜9均为焦距180mm的管镜，相机10为一像元尺寸4.54μm的ccd相机，待测样品7为一集成电路芯片，载物台8带有一机械平移装置，计算机11为台式机。

照明光源1发出的光束经反射器2后照射到空间光调制器3上，然后产生一系列空间分布不同的结构光，这些结构光通过第一管镜4、分光器5和物镜6依次照明固定在载物台8上的样品7；样品7发出的光通过物镜6、分光器5和第二管镜9后成像到相机10光敏面；相机10同步拍摄不同的图像并存储到计算机11内。空间光调制器3设置在第一管镜4的前焦面，相机10光敏面设置在第二管镜9的后焦面；样品7放置在载物台8上，载物台8包含一个沿物镜6光轴z方向平移的平移机构。

第一管镜4、分光器5与物镜6构成第一成像透镜组，将空间光调制器3上的调制单元成像到物镜6的焦平面，成像放大倍数为β1；物镜6、分光器5与第二管镜9构成第二成像透镜组，将物镜6焦平面上的物点成像到相机10上的光敏面，成像放大倍数为β2；调整物镜6与第一管镜4、第二管镜9的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：其中δc为相机10光敏像元的尺寸，δs为空间光调制器3的调制单元的尺寸；空间光调制器3的调制单元阵列的排列方式和相机10的光敏像元阵列的排列方式相同，空间光调制器3的调制单元和相机10的光敏像元一对一形成物像共轭点。

首先利用计算机生成一系列空间频率不同的图案pi，图案大小均为512×512，i＝1,2，…,8192。每幅图案由8×8子图组成，即u和v的值均为8，这样，每个子图包含64×64像素，所有的子图都是由相同的哈达玛变换基底图案构成，如图3(a)所示。接着，将这些不同空间频率的图案依次加载到空间光调制器上，随后空间光调制器将光源发出的均匀光束调制成一系列不同空间频率的结构光；这些结构光经第一管镜、分光棱镜和物镜后照明样品，样品反射的光线通过物镜，分光棱镜、第二管镜后在相机光敏面成像，相机将记录的图像ii存储计算机内，ii的大小为952×950像素。每幅图像ii对应一种空间频率的结构光图案pi，这样，相机的每个光敏像元将记录一组一维光强序列i1(mc,nc)、i2(mc,nc)、…、ii(mc,nc)、…、il(mc,nc)，如图3(d)所示为像素坐标是(132,196)的光敏像元所记录的前20个光强值。根据该光敏像元所记录的一维光强序列，采用哈达玛单像素成像算法重建得到一幅弥散斑图像，如图3(e)所示，图3(f)是图3(e)的局部放大视图。从图3(e)中不难发现，只有与该像素点共轭的物点所成的像在图中的灰度值最大，其它非共轭物点所成的像的灰度值都相对较小。因此，从图3(e)中取最大灰度值作为与该光敏像元共轭的物点所成的像。重复上述方法步骤，对相机其它光敏像元记录的一维强度序列采用相同的处理方法，可以得到与相机每个光敏像元共轭的物点所成的像，最后将这些共轭像按照相机光敏像元的像素坐标排列，即可得到样品的共焦显微图像，如图3(g)所示。

作为对比，图3(b)给出了该样品在普通宽场显微成像结果，图像像素数为952×950。从图3(b)中不难发现，普通宽场显微成像结果不仅包含有样品焦面的信息，也包含有离焦信息，离焦信息和焦面信息混叠在一起，导致样品成像结果对比度低。从图3(g)和图3(b)比较可看出，利用本发明所提方法所得到图像，能够有效去除离焦信号的影响，提高成像结果的对比度。

实施例二：荧光样品的应用实例

如图4所示，本实施例公开了另一种宽场照明共焦显微成像系统，包括照明光源1、反射器2、空间光调制器3、第一管镜4、分光器5、物镜6、样品7、载物台8、第二管镜9、相机10和计算机11。照明光源1为中心波长415nm的led光源，分光器5为一平面反射镜，空间光调制器3为像元尺寸7.6μm的数字微镜dmd，物镜6为标称放大倍率20的显微物镜，第一管镜4和第二管镜9均为焦距180mm的管镜，相机10为像元尺寸6.5μm的cmos相机，待测样品7为一团藻，载物台8带有一机械平移装置，计算机11为台式机；分光器5包含一个发射滤光片52和一个二向色分光镜50，二向色分光镜50的反射带宽为415nm-470nm，透射带宽为490nm-720nm；发射滤光片52的中心波长为510nm，带宽为42nm；由于照明光源1led为一窄带光源，因此，放置在第一管镜4和二向色分光镜50之间的激发滤光片51已去除。

照明光源1发出的光束经反射器2后照射到空间光调制器3上，然后产生一系列空间分布不同的结构光，这些结构光通过第一管镜4、分光器5和物镜6依次照明样品7；样品7发出的光通过物镜6、分光器5和第二管镜9后成像到相机10的光敏面；相机10同步拍摄不同的图像并存储到计算机11内。空间光调制器3设置在第一管镜4的前焦面，相机10的光敏面设置在第二管镜9的后焦面；样品7放置在载物台8上，载物台8包含一个沿物镜6光轴z方向平移的平移机构。

第一管镜4、分光器5与物镜6构成第一成像透镜组，将空间光调制器3上的调制单元成像到物镜6的焦平面，成像放大倍数为β1；物镜6、分光器5与第二管镜9构成第二成像透镜组，将物镜6焦平面上的物点成像到相机10上的光敏面，成像放大倍数为β2；调整物镜6与第一管镜4、第二管镜9的距离，使得第一、二成像透镜组的成像放大倍数β1和β2满足关系：其中δc为相机10光敏像元的尺寸、δs为空间光调制器3的调制单元的尺寸；空间光调制器3的调制单元阵列的排列方式和相机10的光敏像元阵列的排列方式相同，空间光调制器3的调制单元和相机10的光敏像元一对一形成物像共轭点。

首先在空间光调制器上依次加载的傅里叶变换基底图案pi，i＝1,2，…,8192，图案大小均为512×512；每幅图案由8×8子图组成，即u和v的值均为8，这样，每幅子图包含64×64像素，所有的子图都是由相同的傅里叶变换基底图案构成，如图5(a)所示。图5(d)所示为像素坐标是(582,452)的光敏像元所记录的前20个荧光强度值。根据该光敏像元所记录的一维荧光强度序列，采用傅里叶单像素成像算法重建得到一幅弥散斑图像，如图5(e)所示,图5(f)为图5(e)的局部放大视图；从图5(e)中取最大灰度值作为与该光敏像元共轭的物点所成的像。重复上述方法步骤，对相机其它光敏像元记录的一维荧光强度序列采用相同的处理方法，可以得到与相机每个光敏像元共轭的物点所成的像，最后将这些共轭像按照相机光敏像元的像素坐标排列，即可得到样品的共焦荧光显微图像，如图5(g)所示。

最后，本实施例减少投影条纹图数目，缩短相机每个像素点记录的一维荧光序列的长度也能重建共焦显微图像。图5(h)-图5(j)给出了当投影的傅里叶变换基底条纹数目为254，即相机每个相机像素点记录的一维荧光序列的长度为254时重建的结果。其中，图5(h)为根据像素点(582,452)记录的一维荧光序列重建的弥散斑，图5(j)为最后重建的共焦荧光显微图像，图像像素数为650×650。与图5(g)比较，缩短相机每个像素点记录的一维荧光序列的长度不会降低重建的共焦荧光显微图像的质量。如果采用传统的激光共焦扫描显微镜，测量次数等于重建图像像素数，即需要42250次。而本实施例中只需要254次测量，即可重建共焦荧光显微图像。因此，本实施例能够大幅减少测量次数。

作为对比，图5(b)给出了该样品在普通宽场荧光成像结果，图像像素数为650×650。从图5(b)中不难发现，普通宽场荧光成像结果不仅包含有样品位于焦面的信息，也包含有样品在离焦面信息，离焦面的信息和焦面信息混叠在一起，导致样品成像结果对比度低。从图5(g)、图5(j)和图5(b)比较可看出，利用本实施例所提方法，能够有效去除离焦信号的影响，提高成像结果的对比度。

值得注意的是，上述实施例中，所包括的各个单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

另外，本领域普通技术人员可以理解实现上述各实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘或光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。