用于高速显微扫描的动态对焦装置及对焦跟踪方法
【专利摘要】本发明提供了一种用于高速显微扫描的动态对焦装置及对焦跟踪方法，包括：物镜、液体透镜离焦探测模块、智能对焦相机、对焦跟踪执行模块、对焦控制模块；液体透镜离焦探测模块用于将连续扫描过程的不同离焦面的物方在智能对焦相机靶面上成像；智能对焦相机连续采集并处理离焦探测图像进行离焦偏移编码；对焦跟踪执行模块驱动物镜和样本同时实现XY平面扫描运动和Z轴对焦运动；对焦控制模块控制液体透镜离焦探测模块进行连续离焦状态探测，并根据智能对焦相机的离焦偏移编码，控制对焦跟踪执行模块实现扫描运动和对焦运动的协同。本发明中的方法包括：起始对焦阶段和对焦跟踪阶段，能够大幅提高对焦响应速度和对焦跟踪精度。
【专利说明】
用于高速显微扫描的动态对焦装置及对焦跟踪方法
技术领域
[0001]本发明涉及图像采集技术领域，具体地，涉及一种用于高速显微扫描的动态对焦装置及对焦跟踪方法。
【背景技术】
[0002]目前显微镜对焦装置主要采用高速对焦相机结合上位机的方式进行图像采集和离焦信息处理，其缺点在于图像数据传输和上位机图像处理会产生大量的时间延迟;另外，由于上位机往往采用windows等非实时操作系统，且往往需要兼顾显微图像采集和其他通信、控制功能，难以保证整个对焦系统的实时性，无法满足高速显微扫描过程中的对焦跟踪要求。
[0003]经检索:专利号为:CN102062929B，名称为:“一种显微镜系统的自动聚焦方法和装置”，属于显微镜系统自动聚焦领域。自动聚焦时，以某固定位置为起点，聚焦电机驱动流体机构以固定步长向前移动，在每一步获取一定数量的图像，行程达到一定距离后，聚焦分析器对每个位置的图像进行计算，通过加权求取本次聚焦的最佳焦点位置。为进一步提高聚焦精度，在前一次聚焦分析的基础上，缩短焦点搜索范围，缩短移动步长，再进行两次上述的聚焦操作，最后一次获得的焦点位置作为显微镜系统的最终焦点位置。提供了以计算多维向量为基础，计算出每个位置聚焦值的方法，更好的满足了图像清晰度评价函数的要求，使聚焦判断更加准确。
[0004]但是上述方法在自动聚焦时需要多次改变样本和物镜之间相对位置，搜索过程复杂且耗时，不适应于高速显微扫描的动态对焦。
【发明内容】
[0005]针对现有技术中的缺陷，本发明的目的是提供一种用于高速显微扫描的动态对焦装置及对焦跟踪控制方法。
[0006]根据本发明提供的用于高速显微扫描的动态对焦装置，包括:物镜、液体透镜离焦探测模块、智能对焦相机、对焦跟踪执行模块、对焦控制模块；
[0007]所述液体透镜离焦探测模块，用于将连续扫描过程的不同离焦面的物方在智能对焦相机靶面上成像；
[0008]所述智能对焦相机，用于采集连续扫描过程中的离焦探测图像，并进行图像处理，获取当前离焦偏移状态；
[0009]所述对焦跟踪执行模块，用于驱动物镜和样本，实现XY平面扫描运动和Z轴对焦运动；
[0010]所述对焦控制模块，用于控制液体透镜离焦探测模块进行连续离焦状态探测，并根据智能对焦相机的离焦偏移编码，控制对焦跟踪执行模块实现扫描运动和对焦运动的协同。
[0011]优选地，所述液体透镜离焦探测模块包括:对焦透镜组、液体透镜、液体透镜驱动器；
[0012]所述对焦透镜组是一组镜筒透镜，用于将正对焦状态下的物方在智能对焦相机上清晰成像；
[0013]所述液体透镜，用于将对焦透镜组的后焦面进行前后微调，以使得智能对焦相机的靶面在同一像平面上获取同一物方探测面的多幅不同离焦状态下的对焦探测图像；
[0014]所述对焦透镜组和所述液体透镜的配置形式是将液体透镜置于对焦透镜组靠近像面的一侧。
[0015]优选地，所述智能对焦相机通过含有液体透镜的对焦探测光路在连续扫描过程中获取当前焦面、远焦偏移和近焦偏移多幅对焦探测图像，采用嵌入式高速处理器进行多幅对焦探测图像的图像重叠区域的清晰度对比，获取当前离焦偏移状态，并经离焦偏移编码后发送给所述对焦控制模块;所述离焦偏移编码采用将对焦区间内的离焦偏移进行多段等长度划分，对各段的序号进行编码的方式，每一段长度小于1/3景深。
[0016]优选地，所述对焦控制模块通过控制液体透镜分别处于平透、微凹和微凸三种状态，在连续扫描过程中的一个对焦跟踪周期内，实现智能对焦相机的离焦偏移探测，且所述对焦控制模块根据智能对焦相机返回的离焦偏移编码确定下一个周期的对焦平面，控制对焦跟踪执行模块中的对焦执行机构和扫描运动机构实现对焦运动和扫描运动的协同，从而实现自适应对焦跟踪。
[0017]根据本发明提供的用于高速显微扫描的对焦跟踪控制方法，包括如下步骤:
[0018]初始对焦步骤:对焦控制模块驱动对焦装置，使物镜达到最佳对焦状态，同时控制液体透镜为平透状态，智能对焦相机的离焦探测图像清晰度达到最高值，然后进入对焦跟踪步骤；
[0019]对焦跟踪步骤:在一个对焦跟踪周期内实现智能对焦相机的离焦偏移探测。
[0020]优选地，所述对焦跟踪步骤包括:
[0021]离焦偏移探测步骤:对焦控制模块在连续扫描过程中的三个位置分别控制液体透镜为平透、微凹、微凸三种状态，智能对焦相机同时获取当前物方平面、远焦偏移平面、近焦偏移平面三幅离焦探测图像；
[0022]离焦偏移计算步骤:智能对焦相机根据三幅离焦探测图像的重叠区域的图像清晰度对比，计算当前离焦偏移状态，进行数字离焦偏移编码后发送给对焦控制模块；[〇〇23]对焦偏移跟踪步骤:对焦控制模块解析离焦偏移编码，确定下一个对焦跟踪周期的对焦位置，驱动对焦执行机构进行对焦调整，完成对连续扫描运动的对焦跟踪，并进入下一个对焦跟踪周期。
[0024]与现有技术相比，本发明具有如下的有益效果:
[0025]本发明提供的用于高速显微扫描的动态对焦装置及对焦跟踪控制方法，通过含有液体透镜的对焦探测光路实现物方焦面快速调整，并通过嵌入式智能相机将连续扫描过程中的多幅对焦探测图像的重叠区域进行采集和清晰度对比以计算离焦偏移，然后通过嵌入式对焦控制器对对焦执行机构进行驱动控制，形成高速反馈闭环，大幅提高了对焦响应速度和对焦跟踪精度。在一个对焦跟踪周期内智能对焦相机获取的离焦探测图像不局限于三幅，在满足系统控制实时性的情况下，探测的物方离焦面越多，系统的探测范围越大，可靠性越尚。【附图说明】
[0026]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显:[〇〇27]图1为本发明提供的用于高速显微扫描的动态对焦装置的结构原理图；
[0028]图2为连续多帧对焦探测图像及其重叠区域示意图；
[0029]图中:
[0030] 101-样本；
[0031] 102-物镜；[〇〇32] 103-对焦执行机构；[〇〇33] 104-分束器；[〇〇34] 105-成像透镜组；[〇〇35] 106-成像相机；[〇〇36] 107-对焦透镜组；
[0037] 108-液体透镜；[〇〇38] 109-智能对焦相机；[〇〇39] 110-对焦控制模块
[0040] 111-液体透镜驱动器；[〇〇411 112-对焦机构驱动器；[〇〇42] 113-扫描机构驱动器；[〇〇43] 114-扫描运动机构；
[0044]201-扫描位置一；
[0045]202-扫描位置二；[〇〇46]203-扫描位置二；[〇〇47]204-当前焦面帧；[〇〇48]205-远焦偏移帧；[〇〇49]206-近焦偏移帧；
[0050]207-重叠区域。【具体实施方式】[〇〇51]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。[〇〇52]本实施例提供了一种用于高速显微扫描的动态对焦装置及对焦跟踪方法；
[0053]所述的嵌入式高速对焦跟踪装置由物镜102、液体透镜对焦探测模块、智能对焦相机109、对焦跟踪执行模块、对焦控制模块110组成；[〇〇54] 所述的物镜102为20 X、NA0.65的无限远平场复消色差物镜，物方视场约为ImmX 1mm，景深约为lym;
[0055]所述的液体透镜对焦探测模块由对焦透镜组107和液体透镜108、液体透镜驱动器 111组成，含有液体透镜的对焦探测光路实现约为10倍放大倍数；
[0056]所述的含有液体透镜的对焦探测光路和成像光路通过分束器104进行分光；[〇〇57]成像光路主要由成像透镜组105、成像相机106组成，是显微扫描成像诸光路，样本 101通过物镜102、分束器104和成像透镜组105在成像相机106上动态扫描成像；[〇〇58]所述的液体透镜108的工作焦距近似平透镜，在液体透镜驱动器111驱动下可以实现平透、微凹以及微凸三种光线弯曲效果；
[0059] 所述的液体透镜108放置于对焦透镜组107靠近像方一侧，由于对焦跟踪时对焦控制模块11 〇通过控制液体透镜状态改变对焦光路后焦距，实现物方1 -2wii的离焦探测范围， 液体透镜工作在平透、微凹以及微凸三种近似平透镜的状态，不会产生明显像差；[0〇6〇] 所述的智能对焦相机109为嵌入式DSP智能相机，其相面尺寸约为8.8mmX 6.6mm， 处理帧频为30-50帧/秒，其作用是通过含有液体透镜的对焦探测光路获取连续扫描过程中的多幅对焦探测图像并进行处理，通过重叠区域的清晰度对比计算当前离焦偏移，并进行尚焦偏移数字编码；
[0061]进一步的，离焦偏移数字编码采用将对焦区间的离焦偏移进行0.3WI1每段，等长度阶梯式划分，以当前对焦位置为参照对各段的端点序号进行二进制编码，[-0.6wn，-0.3m， 0111，0.3111，0.6_]对应的编码为二进制[110，111，000,001，010]，其中0_离焦偏移指当前对焦跟踪位置，编码为二进制[〇〇〇 ];[〇〇62]所述的对焦跟踪执行模块由对焦机构驱动器112、扫描机构驱动器113、对焦执行机构103、扫描运动机构114组成，分别完成对焦运动和扫描运动；
[0063]所述的对焦控制模块110具有实时控制能力，可以实现液体透镜变焦控制、对焦执行机构运动控制、以及扫描运动机构运动控制之间的同步，以满足对焦运动和扫描运动的协同；
[0064]所述的对焦跟踪方法实施方式如下:
[0065] (1)动态对焦装置根据成像相机106采集到图像的清晰度对比，通过寻优搜索法找到理想对焦平面，同时调整液体透镜焦距为平透状态使得智能对焦相机的离焦探测图像清晰度达到最尚值，动态对焦装置进入对焦跟踪状态；[〇〇66] (2)在连续扫描过程中的一个对焦跟踪周期内，对焦控制模块110同步控制扫描机构驱动器113和液体透镜驱动器111，使得扫描运动机构114分别在扫描位置一201、扫描位置二202和扫描位置三203实现液体透镜108焦距分别为平透、微凹和微凸三种状态；
[0067] (3)智能对焦相机109实时采集液体透镜焦距调整前后的3幅图像，分别为当前焦面帧204、远焦偏移帧205和近焦偏移帧206,3帧图像分别对应于扫描位置一 201、扫描位置二202和扫描位置三203,智能对焦相机计算3帧图像重叠区域207的图像清晰度大小，选取图像清晰度最大的帧对应的离焦偏移序号进行编码，分别为二进制[111 ]，[〇〇〇]或者 [001 ]，并发送给对焦控制模块110;
[0068] (4)对焦控制模块110根据智能对焦相机109返回的离焦偏移序号编码确定下一个周期的对焦平面:若返回编码为二进制[〇〇〇]，表示当前焦面帧的重叠区域的图像清晰度最大，则下一个同步周期的对焦平面和本周期的对焦平面一致;若返回编码为二进制[001]， 表示近焦偏移帧的的重叠区域的图像清晰度最大，则下一个同步周期的对焦平面相较于本周期的对焦平面应当向近焦方向偏移〇.3wn;若返回编码为二进制[111]，表示远焦偏移帧的的重叠区域的图像清晰度最大，则下一个同步周期的对焦平面相较于本周期的对焦平面应当向远焦方向偏移0.3M1;
[0069](5)对焦控制模块110给对焦机构驱动器112发出信号，对焦执行机构103拖动物镜 102在本同步周期内完成对焦跟踪运动；
[0070](6)对焦控制模块110给液体透镜驱动器111发出信号，液体透镜108在本同步周期内回复到平透状态，为下一个同步周期的离焦偏移探测做准备；
[0071](7)动态对焦装置进入下一个对焦跟踪同步周期；
[0072]特别的，本实施例中采用了当前焦面帧、远焦偏移帧和近焦偏移帧3帧对焦探测图像重叠区域的图像清晰度对比的方式确定离焦偏移，但实际实施过程中并不局限于3帧的情况，可以在满足系统实时性要求的情况下尽可能多的增加离焦探测范围，以保证对焦跟踪的鲁棒性和可靠性。
[0073]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
【主权项】
1.一种用于高速显微扫描的动态对焦装置，其特征在于，包括:物镜、液体透镜离焦探测模块、智能对焦相机、对焦跟踪执行模块、对焦控制模块； 所述液体透镜离焦探测模块，用于将连续扫描过程的不同离焦面的物方在智能对焦相机靶面上成像； 所述智能对焦相机，用于采集连续扫描过程中的离焦探测图像，并进行图像处理，获取当前离焦偏移状态； 所述对焦跟踪执行模块，用于驱动物镜和样本，实现XY平面扫描运动和Z轴对焦运动； 所述对焦控制模块，用于控制液体透镜离焦探测模块进行连续离焦状态探测，并根据智能对焦相机的离焦偏移编码，控制对焦跟踪执行模块实现扫描运动和对焦运动的协同。2.根据权利要求1所述的用于高速显微扫描的动态对焦装置，其特征在于，所述液体透镜离焦探测模块包括:对焦透镜组、液体透镜、液体透镜驱动器； 所述对焦透镜组是一组镜筒透镜，用于将正对焦状态下的物方在智能对焦相机上清晰成像； 所述液体透镜，用于将对焦透镜组的后焦面进行前后微调，以使得智能对焦相机的靶面在同一像平面上获取同一物方探测面的多幅不同离焦状态下的对焦探测图像； 所述对焦透镜组和所述液体透镜的配置形式是将液体透镜置于对焦透镜组靠近像面的一侧。3.根据权利要求2所述的用于高速显微扫描的动态对焦装置，其特征在于，所述智能对焦相机通过含有液体透镜的对焦探测光路在连续扫描过程中获取当前焦面、远焦偏移和近焦偏移多幅对焦探测图像，采用嵌入式高速处理器进行多幅对焦探测图像的图像重叠区域的清晰度对比，获取当前离焦偏移状态，并经离焦偏移编码后发送给所述对焦控制模块;所述离焦偏移编码采用将对焦区间内的离焦偏移进行多段等长度划分，对各段的序号进行编码的方式，每一段长度小于1/3景深。4.根据权利要求2所述的用于高速显微扫描的动态对焦装置，其特征在于，所述对焦控制模块通过控制液体透镜分别处于平透、微凹和微凸三种状态，在连续扫描过程中的一个对焦跟踪周期内，实现智能对焦相机的离焦偏移探测，且所述对焦控制模块根据智能对焦相机返回的离焦偏移编码确定下一个周期的对焦平面，控制对焦跟踪执行模块中的对焦执行机构和扫描运动机构实现对焦运动和扫描运动的协同，从而实现自适应对焦跟踪。5.—种用于高速显微扫描的对焦跟踪控制方法，其特征在于，应用权利要求1至4中任一项所述的用于高速显微扫描的动态对焦装置，包括如下步骤: 初始对焦步骤:对焦控制模块驱动对焦装置，使物镜达到最佳对焦状态，同时控制液体透镜为平透状态，智能对焦相机的离焦探测图像清晰度达到最高值，然后进入对焦跟踪步骤； 对焦跟踪步骤:在一个对焦跟踪周期内实现智能对焦相机的离焦偏移探测。6.根据权利要求5所述的用于高速显微扫描的对焦跟踪控制方法，其特征在于，所述对焦跟踪步骤包括: 离焦偏移探测步骤:对焦控制模块在连续扫描过程中的三个位置分别控制液体透镜为平透、微凹、微凸三种状态，智能对焦相机同时获取当前物方平面、远焦偏移平面、近焦偏移平面三幅离焦探测图像； 离焦偏移计算步骤:智能对焦相机根据三幅离焦探测图像的重叠区域的图像清晰度对比，计算当前离焦偏移状态，进行数字离焦偏移编码后发送给对焦控制模块； 对焦偏移跟踪步骤:对焦控制模块解析离焦偏移编码，确定下一个对焦跟踪周期的对焦位置，驱动对焦执行机构进行对焦调整，完成对连续扫描运动的对焦跟踪，并进入下一个对焦跟踪周期。
【文档编号】G02B21/36GK106019550SQ201610545780
【公开日】2016年10月12日
【申请日】2016年7月12日
【发明人】谷朝臣, 吴开杰, 关新平
【申请人】上海交通大学