一种基于液态透镜的显微镜焦点漂移校正系统及方法

1.本发明涉及显微镜自动对焦技术领域，尤其涉及一种基于液态透镜的显微镜焦点漂移校正系统及方法。


背景技术：

2.现有的生物显微镜中，常常需要对样品进行长时间的观测以探究样品变化性质。但是由于温度变化，机械漂移以及一些不可预料的振动等因素，显微镜的焦点常会发生漂移，影响了长时间观测的精度，甚至会导致整个实验的失败。因此，许多厂商都推出了自动对焦技术。其中主要的有尼康、莱卡、蔡司、奥林巴斯四家。其中尼康有发布过基于差分系统的自动对焦系统，其对焦精度较高，但是整体系统非常大，采用了多个图像传感器来采集差分图像(专利号：us10509199b2)；莱卡使用三角形反射镜将照明光路和探测光路分开避免光路间的干扰，优点是结构紧凑，缺点是精度与速度略有不足(专利号：us8829402b2)；蔡司的差分处理是通过旋转反射镜来得到差分所需的两幅图像(专利号：us6825454b2)。
3.在观察生物样品时，现有的自动对焦系统主要有两大问题：1、现有的主动式对焦装置大多基于机械结构物理位移调整探测光路的焦点来实现样品不同厚度层的观察，这使得对焦装置本身的物理位移也会引入焦面的测量不准以及对焦速度较慢等问题，影响自动对焦的速度与准确性。2、现有的差分处理方法通常依赖于三个图像传感器，一个采集对焦图像，一个采集前焦图像，一个采集后焦图像，这种方法使得对焦装置本身结构复杂，体积较大，基于液态透镜的焦点漂移校正系统只需要一个图像传感器，简化了系统结构，提升了自动对焦的速度。


技术实现要素：

4.本发明的目的在于提供一种基于液态透镜的显微镜焦点漂移校正系统及方法，用以解决上述问题。
5.为了实现上述目的，本发明采用的技术方案为：
6.一种基于液态透镜的显微镜焦点漂移校正系统，包括显微镜系统，其包括有物镜及显微镜光源，物镜上设有浸没介质，其作用为对待测样品成像，包括：
7.光源模块，其被配置为向待测样品发射照明光线；
8.偏置模块，包括一液态透镜，所述液态透镜被配置为能够根据加载在其上的电压值变化而使得其焦距变化；
9.离焦测量模块，其被配置为在所述液态透镜焦距变化时，采集多幅待测样品的离焦图像；
10.中央控制单元，其被配置为对采集的多幅离焦图像进行差分计算，通过计算获得所述物镜和液态透镜的离焦关系曲线，以及对加于所述液态透镜上的电压进行改变。
11.进一步的，偏置模块、离焦测量模块与光源模块之间设置有一半透半反镜，所述半透半反镜将所述系统光源模块发射的照明光线反射至偏置模块，通过待测样品的反射，使
得反射回的照明光线从所述偏置模块射入所述离焦测量模块。
12.进一步的，离焦测量模块包括依照光路传输路径而依次设置的半月型光阑、第二准直镜以及图像传感器；所述半月型光阑、第二准直镜以及图像传感器的光轴均与所述液态透镜的光轴重合。
13.进一步的，偏置模块还包含凸透镜与凹透镜，用于与液态透镜组合对光束进行扩束，其光轴与所述系统光源与液态透镜重合。
14.进一步的，中央控制单元还被配置为根据所述离焦关系曲线调节加载于所述液态透镜上的电压值以补偿液态透镜的离焦量。
15.进一步的，中央控制单元还被配置为根据所述离焦关系曲线驱动物镜运动预设高度以补偿物镜的离焦量。
16.进一步的，光源模块还包含第一准直镜与半月型光阑，所示第一准直镜用于将系统光源发出的光准直为平行光，半月型光阑用于挡去一半照明光束，所述第一准直镜与系统光源光轴重合；
17.系统光源发出的照明光线依次经过半月型光阑、第一反射镜、第一准直镜射入所述偏置模块。
18.进一步的，系统光源为led灯光。
19.本发明的另一方面还提供一种基于液态透镜的显微镜焦点漂移校正方法，包括步骤：
20.s1、在显微镜上安装预设倍率的物镜，物镜上设有浸没介质，并将待测样品放置在物镜的一侧，使待测样品位于物镜的焦点位置；
21.s2、启动光源模块，光源模块发出的照明光线依次通过液态透镜模块以及物镜照射到待测样品上，经过待测样品的反射，反射光线依次经过物镜、液态透镜模块进入偏移测量模块，并在偏移测量模块的图像传感器上成像；
22.s3、启动液态透镜模块，由中央控制单元对液态透镜发出指令使液态透镜焦距调节到预设值；
23.s4、调节液态透镜的焦距使偏移测量模块的光线反射面与操作者想要观察的平面重合；
24.s5、调整物镜与样品之间的距离，从图像传感器上获取样品的离焦图像；
25.s6、调整通过中央控制器加载于液态透镜上的预设电压值，采集多幅不同焦距下待测样品在图像传感器上成的像；
26.s7、对采集得到的多幅不同焦距下的图像进行差分计算，获取离焦状态下的差分曲线，得出差分曲线的过零点位置；
27.s8、重复步骤s5-s7，根据过零点位置与物镜运动预定间隔距离获得离焦关系曲线；
28.s9、根据得到的离焦关系曲线，调节加载于液态透镜上的电压值以补偿液态透镜模块的离焦量，并驱动物镜运动预设高度以补偿物镜的离焦量，使待测样品始终保持于显微镜的焦点位置。
29.本发明与现有技术相比，至少包含以下有益效果：
30.(1)能实现显微镜的快速对焦与精准对焦，以及能够解决显微镜切换物镜时，每个
物镜上浸没介质不同带来的对焦平面偏移的问题；
31.(2)通过液态透镜焦距的改变实现对物镜焦平面位置的控制，减少了传统偏置系统中的机械位移结构，大大提升了对焦速度与精度；
32.(3)由于采集图像时会快速改变加于液态透镜的电压改变液态透镜焦距并采集图像，即在当前电压、第一预设电压与第二预设电压三种情况分别记录准焦曲线、前焦曲线与后焦曲线，反射光线在图像传感器上成的像均为轴向光强分布曲线，将前焦曲线与后焦曲线做差分运算，即可以得到差分曲线，通过分析差分曲线的过零点位置即可以得到当前位置距准确对焦位置的距离；
33.(4)采用液态透镜快速调节焦距实现在同一个图像采集器上采集前焦曲线、后焦曲线以及准焦曲线，避免了传统差分操作需要三个不同位置的图像传感器的缺点，简化了结构，提高了对焦部件的空间利用率。
附图说明
34.图1是本发明实施例中显微镜的光学对焦结构示意图；
35.图2是本发明实施例中显微镜焦点漂移校正方法的流程图；
36.图3是本发明实施例中操作显微镜进行焦点漂移校正的工作流程图；
37.图4是本发明实施例中图像传感器线阵ccd的在焦图像；
38.图5是本发明实施例中图像传感器线阵ccd的一种离焦图像；
39.图6是本发明实施例中图像传感器线阵ccd的一种在焦图像的高斯拟合曲线；
40.图7是本发明实施例中图像传感器线阵ccd的在焦图像、前焦图像与后焦图像示意图；
41.图8是本发明实施例中利用两幅离焦图像做差分计算得到的差分曲线图；
42.图9是本发明实施例中拟合后的差分曲线过零点与离焦量的离焦关系曲线图。
43.图1中：1、系统光源；2、半月型光阑；3、第一反射镜；4、第一准直镜；5、光源模块；6、半透半反镜；7、凹透镜；8、第二反射镜；9、凸透镜；10、液态透镜；11、偏置模块；12、第三反射镜；13、第四反射镜；14、物镜；15、样品；16、半月型光阑；17、第二准直镜；18、图像传感器；19、离焦测量模块；20、中央处理单元；21、显微镜光源；22、显微镜。
具体实施方式
44.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
45.另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
46.在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两
个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
47.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
48.以下是本发明的具体实施例，并结合附图对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
49.如图1所示，根据本发明的一种实施方式，本发明一种基于液态透镜的显微镜焦点漂移校正系统中，光源模块5包括系统光源1(例如：l10596-03,hamamatsu，jp)、半月型光阑2、第一反射镜3(例如：nib1000.010，novel，chn)以及第一准直镜4(例如：#32-856，edmund optics，usa)。其中系统光源1发出的照明光线依次经过半月型光阑2、第一反射镜3、第一准直镜4以及半透半反镜6射入偏置模块11上，其中半月型光阑2可以限制光源1发出的光束半径，通过将系统光源1发出的光束挡去一半从而限制后续入射的光束大小，防止入射光与反射光之间的干扰，照明光线在经过第一反射镜3和第一准直镜4之后变为平行光，然后入射偏置模块11，并在偏置模块11中进行扩束。
50.系统光源1可由中央控制单元20驱动led灯组发出红外照明光线。
51.偏置模块11、离焦测量模块20与光源模块5之间设置有一半透半反镜6(例如：nib1000.010-2g，novel，chn)，半透半反镜6将光源模块5发射的照明光线反射至偏置模块11，将照明光线在样品15指定层反射回的光线经过偏置模块11射入离焦测量模块20。
52.本发明的偏置模块11包括凹透镜7(例如：lc1439，thorlabs，usa)、第二反射镜8(例如：nib1000.010，novel，chn)、凸透镜9(例如：la1207，thorlabs，usa)与液态透镜10(例如：el-12-30-tc，optotune，switzerland)，所述凹透镜7位于靠近半透半反镜6的一侧，液态透镜10位于凹透镜7靠近物镜11的一侧，且与中央控制单元20相连，液态透镜10与凹透镜7组合可以对光束起到扩束的作用。所述第二反射镜8用于折转光路，使光路更加紧凑。所述凸透镜9位于所述液态透镜10与所述凹透镜7之间，用于与所述液态透镜10组合起到扩束效果。所述液态透镜10可以通过改变焦距来改变照明光线在样品层反射的位置。
53.偏置模块11与物镜14之间设有第三反射镜12(例如：nib1000.010，novel，chn)和第四反射镜13(例如：nib1000.010，novel，chn)，所述系统光源1发出的照射光线依次经过第一反射镜3、第一准直镜4、半透半反镜6、偏置模块11、第三反射镜12、第四反射镜13后经过物镜14的汇聚照射在待测样品15上，并在待测样品15与空气的分界面发生反射(油镜则发生在样品与油的界面上)，再次通过第四反射镜13、第三反射镜12、偏置模块11、半透半反镜6进入离焦测量模块17。
54.本发明的离焦测量模块19包括半月型光阑16、第二准直镜17(例如：#32-856，edmund optics，usa)以及图像传感器18(例如：tcd1254gfg，toshiba，jp)，图像传感器18与系统光源1共轭，图像传感器18上的成像图像为轴向光强分布曲线，方便进行差分计算。反射光线从偏置模块11经半透半反镜6射入离焦测量模块19，在离焦测量模块中依次经过半月型光阑16和第二准直镜17传递到图像传感器18上。
55.本发明采用的显微镜22(例如：eclipse ti2-e，nikon，jp)，具有物镜14与显微镜光源21，所述显微成像装置可以将待测样品成像并被观察员捕捉。
56.反射光线从待测样品15运动到图像传感器18时加载在液态透镜10上的电压为初始电压值，在本实施方式中，将初始电压值设为x，第一预设电压值设为y，第二预设电压值设为z，x＝y+v，x＝z-v，v为同一变化电压量，即第一预设电压与初始电压的差值和第二预设电压与初始电压的差值相等，区别仅仅是改变的电压量正负不同，以便图像传感器18获取前焦图像与后焦图像。
57.中央控制单元20能够对采集的前焦图像与后焦图像进行差分计算，通过计算获得物镜和液态透镜的离焦关系曲线，根据生成的离焦关系曲线就可以得到当前显微系统的离焦量。最终，根据获取到的离焦量，中央控制单元20控制物镜14沿z轴上下移动使物镜14的焦点始终位于待测样品15的观测层上，实现了显微镜系统的实时对焦，解决显微镜切换物镜时、每个物镜上浸没介质不同带来的对焦平面偏移的问题，并且去除了对焦系统内的机械位移结构，大大提升了对焦速度与质量。
58.根据本发明的上述实施方式，本发明还提供了一种基于液态透镜的显微镜焦点漂移校正方法，如图2所示，其包括步骤：
59.s1、在显微镜上安装预设倍率的物镜，物镜上设有浸没介质，并将待测样品放置在物镜的一侧，使待测样品位于物镜的焦点位置；
60.该浸没介质可能是空气、水或者油，该介质可能会在对焦时会影响到对焦精度，针对于不同的浸没介质其折射率也不同，因此对对焦精度存在一定的影响，物镜的倍率根据操作者的实际需求进行选定。
61.s2、启动光源模块，光源模块发出的照明光线依次通过偏置模块以及物镜照射到待测样品上，经过待测样品的反射，反射光线依次经过物镜、偏置模块进入离焦测量模块；
62.s3、启动偏置模块，由中央控制单元对液态透镜发出指令使液态透镜焦距调节到预设值，即控制此时从偏置模块中出射的为平行光；
63.s4、调节液态透镜的焦距使离焦测量模块的光线反射面与操作者想要观察的平面重合；
64.根据物镜使用的浸没介质的不同，光线反射平面位置会相应发生改变，需要手动调节显微镜离焦测量模块光线的反射面与所要观察的平面重合，以确保初始的对焦位置，适应不同浸没介质的物镜。此时离焦测量模块的反射光线在图像传感器上成像，得到如图4所示的在焦图像。
65.s5、调整物镜与样品之间的距离，从图像传感器上获取样品的离焦图像，获得如图5所示的离焦图像；
66.s6、调整通过中央控制器加载于液态透镜上的预设电压值，采集两幅不同焦距下待测样品在图像传感器上成的像；
67.首先，给液态透镜加上预设电压值，在图像传感器上获得第一幅离焦图像。随后给液态透镜改变第一预设电压值，使得液态透镜的焦距大于初始焦距并在图像传感器上获得第二幅离焦图像，即前焦图像，然后给液态透镜改变第二预设电压值使得液态透镜的焦距小于初始焦距并在图像传感器上获得第三幅离焦图像，即后焦图像。得到的前焦图像、后焦图像与在焦图像的对比如图7所示。
68.s7、对采集得到的前焦图像与后焦图像进行差分计算，获取离焦状态下的差分曲线，得出差分曲线的过零点位置；
69.得到的三幅离焦图像成像条件不一致，对采集得到的三幅离焦图像首先进行高斯拟合，得到如图6所示的高斯拟合曲线，然后对前焦图像和后焦图像的高斯拟合曲线进行差分计算，根据差分曲线的过零点位置测出物镜和液态透镜的离焦量，得到最终如图8所示的离焦差分曲线，并通过离焦差分曲线测出物镜和液态透镜的离焦量。
70.s8、重复步骤s4-s6，根据过零点位置与物镜运动预定间隔距离获得离焦关系曲线；
71.s9、根据得到的离焦关系曲线，调节加载于液态透镜上的电压值以补偿偏置模块的离焦量，并驱动物镜运动预设高度以补偿物镜的离焦量，使待测样品始终保持于显微镜的焦点位置。
72.在本实施方式中，重复步骤s4，控制物镜以1微米的距离间隔，沿同一方向多次移动。移动一次就获取一张初始电压值下的待测样品离焦图像，随后对液态透镜加第一预设电压值后获取第二张待测样品离焦图像，然后对液态透镜加第二预设电压值后获取第三张样品离焦图像。获取如图8所示的差分曲线，记录差分曲线过零点位置(即差分曲线的过零点在x轴的距离)。将液态透镜的电压变为初始电压值后继续下一步移动物镜操作。
73.本实施方式中，中央控制单元通过图像传感器采集的离焦图像进行多次差分并记录过零点位置与物镜移动间隔的关系，据此按照离焦量(即物镜以预定间隔距离移动的长度)与过零点位置在直角坐标系中绘制坐标点，将绘制得到的坐标点拟合得到如图9所示的离焦关系曲线。在本实施方式中，拟合得到的离焦关系曲线应满足以下关系：
74.y＝kx+b
75.其中y为离焦量，x为过零点位置。在经过利用离焦量与过零点位置拟合曲线后即可以解出k与b的值。根据离焦关系曲线在得到过零点位置x后即可以得出相应的离焦量的值。
76.在本实施方式中，根据过零点位置与离焦关系曲线，使待测样品保持在物镜的焦点位置。在本实施方式中，中央控制单元通过图像传感器获取待测样品的图像并根据步骤s4-s6得到样品的差分曲线，获取处理后曲线的过零点位置，并根据生成的离焦关系曲线就可以得到当前显微镜系统的离焦量。根据获取到的离焦量，中央控制单元控制物镜上下移动使待测样品始终位于物镜的焦点上，实现了显微镜系统的实时对焦。
77.在本实施方式中，还可以通过对加载在液态透镜上的初始电压值进行改变从而改变液态透镜的初始焦距，进一步可以实现改变照明光路光线的会聚点轴向位置，使测量光线会聚在待测样品的不同厚度层，从而实现对样待测品不同厚度区域的精准对焦。
78.在本实施方式中，显微镜的焦点漂移校正的最小焦点漂移分辨率可以由显微镜物镜的参数计算得到，以下按照一百倍物镜的相关参数计算得到，未在本文中计算的20倍、60倍等物镜也应按同样计算方式计算得到，并包含在本专利保护范围内：
79.通过参阅相关的100倍物镜参数(例如：cfi apochromat tirf 100xc，nikon，jp)，可以得到其数值孔径na为1.49，焦距为2mm，显微镜物镜采用无限远平行光结构设计，可以根据放大率和焦距计算出光束的矢高为：
80.h＝f'
×n·
sinu＝f'
×
na＝2mm
×
1.49＝2.98mm
81.因此可以得到入射光光瞳直径为d＝2h＝5.96mm
82.显微成像系统的总景深d
dot
由波动光学和几何光学景深两部分构成。在显微镜的
高数值孔径下，景深主要由波动光学决定，而在较低的数值孔径下，几何光学景深则占主导地位。
[0083][0084]
其中，λ表示入射光的波长；e表示像平面上探测器可分辨的最小距离，m表示物镜的放大倍率。
[0085]
在本系统中，波长λ＝860nm，介质折射率n＝1.515，所用ccd像元尺寸e＝5.25μm，物镜放大倍率m＝100。
[0086]
将上述参数带入，计算可得显微成像系统的总景深d
dot
＝0.64μm。
[0087]
根据经验公式，成像系统分辨率要小于总景深的1/3，即δ≤0.213μm。
[0088]
根据瑞利判据分辨率公式，显微镜光学成像系统横向(垂直于光轴方向)分辨率的计算结果为：
[0089][0090]
轴向(平行于光轴方向)分辨率为：
[0091][0092]
在实际校准过程中，可以得到物方最小分辨率可以做到比理论参数更小，因此结合本实施方式并参考国外相关产品设计指标，在100倍显微物镜下取δ
xy
＝0.24μm，δz＝0.44μm作为物方最小分辨率。
[0093]
在本实施方式中，通过更改不同倍数的物镜对显微镜焦点漂移进行系统校准过程，得到了各个不同倍数物镜下的焦点漂移校正曲线以及相应的最大可校正焦点漂移量，具体如下表1所示:
[0094]
表1显微镜焦点漂移校正的设计指标要求
[0095][0096]
根据本发明的上述实施方式，本发明还提供了一种基于液态透镜的显微镜焦点漂移校正系统使用方法，如图3所示，其包括步骤：
[0097]
a1、在显微镜上安装预设倍率的物镜，物镜上设有浸没介质，并将待测样品放置在物镜的一侧，使待测样品位于物镜的焦点位置；
[0098]
a2、通过图像传感器采集图像，液态透镜焦距快速改变预设量，采集得到前焦图像与后焦图像，计算得到差分曲线并得到对应的过零点位置；
[0099]
启动焦点漂移校正后，如果此时液态透镜焦距没有位于预设值，则中央控制单元会发出信号将液态透镜的焦距改变为预设焦距。预设焦距即为焦点漂移校正的零位，此时从液态透镜中出射的光为平行光。若此时样品位于物镜的焦点附近(离焦量不得超过对应焦点漂移校正对应物镜下的最大离焦量)，则焦点漂移校正开始工作，否则就会报错，无法正常运行。
[0100]
a3、根据过零点位置判断此时是否位于对焦零点；
[0101]
a4、如果没有位于对焦零点，则通过过零点的位置计算得到物镜所需的位移量，并控制物镜沿z轴位移对应距离；并重复a2-a3步骤，直至差分曲线过零点位置位于对焦零点；
[0102]
a5、差分曲线过零点位置正好位于对焦零点时，如果观察员不需要改变样品观察层的位置，则进行步骤a6，如果需要改变样品观察层的位置则进行a7；
[0103]
a6、固定焦点漂移校正系统的位置，进行长时间的锁焦；
[0104]
a7、改变加在液态透镜上的电压，通过线阵ccd采集到的差分曲线过零点位置的位移量计算得到物镜所需要的位移量，同步改变物镜位置，使得观察员可以看到样品观察层的变化。直至确定所需观察层，停止改变液态透镜上的电压后重新开始步骤a2-a5。
[0105]
改变加在液态透镜上的电压后，焦点漂移校正所发出的照明光线的反射点发生变化，线阵ccd采集到的差分曲线过零点位置发生改变，中央控制单元同步向物镜发出信号控制物镜位移相同量以将差分曲线过零点位置纠正回ccd零位，观察员可以观察到此时显微镜所观察的样品层发生变化。
[0106]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。