一种结核杆菌检测仪的高质量图像获取装置及方法与流程
本发明属于机器视觉技术领域，涉及一种显微镜自动聚焦技术，特别涉及一种结核杆菌检测仪的显微镜自动聚焦技术。
背景技术：
结核分枝杆菌，俗称结核杆菌，是引起慢性传染疾病结核病的病原菌。在全球范围内，结核病仍是主要传染病之一，每年有约900万例新发患者和200万例死亡患者。研究表明，早期诊断、早期治疗是防治结核病、提高结核病患者生存率的最有效手段。
从病理学角度来讲，最可靠也是目前确诊结核病最重要的方法是结核杆菌镜检法。人工镜检法存在一些不可无视的问题。首先，人工镜检法需要病理专家或经过专业培训的医师进行操作。其次，人工镜检法工作量巨大，要完整判读一个载玻片(标本)需在显微镜下观察至少300个视野。再次，人工检测无法给出准确的定量信息，例如结核杆菌浓度、形态特征分布等，且无法有效记录和复查。结核杆菌检测仪通过机器视觉系统有效克服人工镜检法存在的问题和不足之处，实现结核杆菌检测的自动化和智能化，将彻底颠覆现有的结核病诊断模式。
高质量显微图像的获取是结核杆菌检测仪乃至显微镜自动化检测系统中最为关键技术之一。显微图像获取系统主要包括显微镜光学系统、自动聚焦运动平台和图像采集系统三部分组成。其中，显微镜自动聚焦技术是高质量图像获取的基础和核心技术。现有的显微镜自动聚焦技术分主要分为两类：主动聚焦和被动聚焦。主动聚焦通过激光或红外线等方式测量显微镜物镜与目标(样本焦平面)之间的距离并进行调节，达到聚焦位置即完成聚焦。被动聚焦基于当前图像信息，利用聚焦评价函数对当前图像信息进行聚焦状态评价，利用评价结果和焦平面搜索策略(聚焦策略)控制电机调整显微镜物镜与目标间距离准确定位到焦平面位置，即完成聚焦。主动聚焦一般需要添加激光或红外线测距元件，实用性较低和成本较高，在显微镜自动聚焦领域并不适用，故通常采用被动聚焦方式进行聚焦。
基于被动聚焦的显微镜聚焦技术关键技术包括三个方面：聚焦评价函数、焦平面搜索策略和精度控制。
在聚焦评价函数方面：现有聚焦评价函数研究比较成熟，但针对结核杆菌检测方面均表现较差。结核杆菌检测样本为痰涂片，实际样本中往往含有涂抹不均匀区域，这些区域涂抹薄厚不一导致在显微镜成像中图像有效信息量波动很大。样本(结核杆菌痰涂片)涂抹厚的区域颜色极深，不改变曝光参数往往导致成像不理想，对后续聚焦完成图像的使用产生较大影响。样本涂抹薄的区域颜色较浅，在图像噪声和过曝光的影响下聚焦评价函数准确性降低，进而影响聚焦策略导致聚焦不准确或聚焦失败。
在焦平面搜索策略方面：现有的聚焦策略技术包括盲人爬山法和曲线拟合法两类。盲人爬山法首先随意选取一个聚焦方向，按照设定的步进距离计算这个区间内聚焦评价函数的变化情况判断下一步步进方向。由于聚焦评价函数的具有单峰性，故在焦平面(波峰)处左侧聚焦评价函数单调递增，右侧单调递减。当运动过波峰时断定找到焦平面，反向移动至波峰即完成聚焦。此方法较为通用，但由于步进距离固定，在景深很小、精度要求较高的结核杆菌自动聚焦中会造成小步长、多次步进的情况，效率较低。曲线拟合法在距离焦平面较远时由于评价函数曲线波动很小其拟合准确性很差。
在聚焦精度控制方面：实际聚焦中往往存在运动误差，如电机运动丢步、通讯延时，现有技术并没有涉及或给出相关解决方案。
技术实现要素：
本发明的目的是通过以下技术方案实现的。
一种结核杆菌检测仪的高质量图像获取装置，包括XYZz平台、显微镜、工业相机、计算机，其特征在于，
所述XYZz平台包括XYZz平台X层、XYZz平台Y层、XYZz平台基座，还包括多个步进电机、多个光栅尺和多组限位开关；
所述显微镜包括显微镜物镜、载玻片、显微镜透射光源，其中，载玻片上方是显微镜物镜，下方是显微镜透射光源，显微镜物镜用于获取载玻片上样本的显微图像；
工业相机采集到的图像是显微镜物镜获取载玻片上样本的显微图像，所述显微图像后经采集卡传输到所述计算机，所述计算机根据处理结果使得所述XYZz平台上的步进电机、光栅尺和限位开关共同作用，实现聚焦。
优选地，步进电机为四个，光栅尺为三个，限位开关为三组。
一种结核杆菌检测仪的高质量图像获取方法，其采用上述的装置，其特征在于，该方法包括：
第一部分、将含待测样本的载玻片放入所述XYZz平台，Z轴的步进电机带动显微镜粗准焦螺旋向下转动触碰限位后运动到载玻片绝对上方，开启图像采集与动态曝光方法，Z轴的步进电机带动显微镜细准焦螺旋进行搜索聚焦；
第二部分、所述搜索聚焦完成后，所述XYZz平台的X轴的步进电机、Y轴的步进电机带动所述XYZz平台X层、所述XYZz平台Y层以S型曲线移动，显微图像进入下一个待聚焦视野，进行扫描聚焦；
第三部分、重复第二部分直至完成所有目标视野自动聚焦任务，在此期间聚焦失败或聚焦时进行小范围二次聚焦。
优选地，如果聚焦失败或者根据需要，进行小范围二次聚焦。
优选地，第一部分包括：
步骤一：初始设置；包括将含待测样本的载玻片放入所述XYZz平台的指定位置，打开工业相机，开启图像采集功能，相机参数重置；
步骤二：动态曝光策略；控制工业相机曝光时间得到图像平均灰度值和平均亮度值，分别与灰度聚焦卷积矩阵和亮度聚焦卷积矩阵相乘，求和后得到曝光评价函数，得到合理曝光时间；
步骤三：XYZz平台运动复位；包括通过PID控制算法运动实现所述显微镜物镜在焦平面绝对上方且与焦平面距离尽可能小；
步骤四：初次聚焦；得到焦平面位置p，Z轴的步进电机以S型加速曲线移动至焦平面位置p，完成搜索聚焦，保存图像。
优选地，第二部分包括：
步骤五：扫描聚焦；X轴的步进电机、Y轴的步进电机分别带动XYZz平台X层、XYZz平台Y层平移，扫描聚焦循环至整个载玻片待测视野；
步骤六：整个载玻片待测视野全部自动聚焦结束。
优选地，第三部分包括：步骤七：二次聚焦，所述二次聚焦与扫描聚焦步骤相同，经验阈值为扫描聚焦中选择的经验阈值的二分之一。
本发明主要解决高质量显微图像获取的技术问题，特别是结核杆菌检测仪高质量图像获取的技术问题，其主要优点在于：
1.本发明的图像采集动态曝光策略，降低了结核杆菌痰涂片或其他样本涂抹不均匀对图像获取和成像使用的影响；
2.本发明采用的动态聚焦方法，尤其在大范围聚焦和载玻片扫描聚焦阶段采用不同聚焦方式，提高自动聚焦过程的速度和鲁棒性；
3.本发明采用连续聚焦，即通过四个步进电机、三组限位开关、三个光栅尺组成的“XYZz”轴自动聚焦平台极大提高自动聚焦速度和自动化程度，可实现多视野连续自动聚焦；
4.本发明实现的高精度聚焦运动，通过改变电机运动模式，利用S型曲线和PID算法运动模型降低运动误差，提高焦平面定位的准确性。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1示出了根据本发明实施方式的一种结核杆菌高质量图像获取装置的结构图。
附图2示出了根据本发明实施方式的一种结核杆菌高质量图像获取装置在聚焦阶段的聚焦曲线图。
附图3示出了根据本发明实施方式的一种结核杆菌高质量图像获取装置在扫描聚焦阶段的聚焦逻辑图。
附图4示出了根据本发明实施方式的一种结核杆菌高质量图像获取装置在扫描聚焦阶段的运动轨迹图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明的实施方式，提出一种结核杆菌高质量图像获取装置结构，其主要包括：XYZz平台、显微镜、工业相机、计算机和相关电气设备。如图1所示，1为显微镜物镜，2为待测载玻片，3为XYZz平台X层，4为XYZz平台Y层、5为XYZz平台基座。XYZz平台X层和XYZz平台Y层通过安装在Y层上的两组直线导轨滑块连接固定，XYZz平台Y层和XYZz平台基座通过安装在基座上的两组直线导轨滑块连接固定，载玻片由X层一端的凹槽推入X层中心位置，显微镜物镜底部与载玻片表面初始间距3mm。
在使用过程中，调整显微镜物镜1底部与载玻片2表面之间的距离大小，即自动聚焦的直观表现。XYZz平台X层可沿设定的“X轴”方向水平移动，两端设有限位开关。Y层运动形式、行程与X层相同，方向正交。
载玻片上方是显微镜物镜，下方是显微镜透射光源，工业相机采集到的图像即显微镜物镜获取载玻片上样本的显微图像，经采集卡传输到计算机。计算机根据处理结果发送相应运动指令，XYZz平台上的电机、光栅尺和限位开关共同作用实现平台相关运动指令。
根据本发明的实施方式，采用上述的结核杆菌高质量图像获取装置结构实现了结核杆菌高质量显微图像获取方法，该方法主要包括如下三部分：
第一部分，将含待测样本的载玻片固定放入“XYZz平台”，“Z轴”即电机带动显微镜粗准焦螺旋向下转动触碰限位后运动到载玻片绝对上方，开启图像采集与动态曝光方法，“z轴”即电机带动显微镜细准焦螺旋进行搜索聚焦。
第二部分，搜索聚焦完成后“XYZz平台”的“X轴”、“Y”轴带动XYZz平台的“X层”、“Y层”遵循“S型曲线运动”移动。显微图像进入下一个待聚焦视野，进行扫描聚焦。
第三部分，重复第二部分直至完成所有目标视野自动聚焦任务，在此期间聚焦失败或聚焦时进行小范围二次聚焦。
根据本发明的另一个实施方式，具体步骤如下：
步骤一：放入载玻片，推至指定位置。
打开工业相机，开启图像采集功能，相机参数重置；
步骤二：动态曝光策略。
其具体包括：不改变光圈大小和曝光增益，控制工业相机曝光时间实现调节采集图像平均亮度。此策略在每个聚焦周期起始或电机周期运动起始时启动。通过获得5张不同曝光时间的显微图像，使用最小二乘法拟合曝光时间和图像平均亮度值之间的函数关系，控制图像平均亮度值在[50,200]区间内，即为合理曝光时间；
进一步，平均亮度计算方法如下：
将待测图像等分成9个宽度为M、高度为N个像素点的全等矩形Pi，i∈[0,9]。矩形中第(m,n)个像素点灰度值为g(m,n)，亮度值为I(m,n)。对应矩阵Pi的平均灰度值为平均亮度值为i∈[0,9]。
将图像由RGB颜色空间转换到符合人眼观察逻辑的HSI颜色空间，以亮度分量I作为评价函数的基本指标。
g(m,n)＝0.299Rm,n+0.587Gm,n+0.114Bm,n (1)
其中，Rm,n、Gm,n、Bm,n为图像中(m,n)像素点在RGB颜色空间中红、绿、蓝通道的值。
由(1)式和(2)式可得：
根据实际工程经验，当极大或极小时，目标聚焦特征消失、聚焦误差急剧增大，此时应通过调整曝光时间使回归正常值。
最后，加入曝光卷积矩阵，综合得出曝光评价函数E：
其中W、L为灰度聚焦卷积矩阵和亮度聚焦卷积矩阵，依据显微镜成像景深较小、边缘灰度值梯度略小于中央区域，设定卷积矩阵以得到更为精准的曝光评价函数。
步骤三：“XYZz”平台运动复位。
X轴和Y轴反转触碰限位开关后配合光栅尺运用PID控制算法正向转动，使物镜(油镜)处于检测的起始位置。Z轴步进电机带动显微镜粗准焦螺旋向下转动，通过触碰限位开关回零后配合光栅尺运用PID控制算法向上运动，至载玻片距显微镜物镜(油镜)上方。此步骤通过PID控制算法运动实现物镜在焦平面绝对上方且与焦平面距离尽可能小。
其中，运用PID控制算法包括：上位机通过CAN协议发送运动目标位置pd到控制系统，控制系统周期性将光栅尺反馈的电机当前位置pc与目标位置pd的差值pd输入PID控制算法中，计算下一周期电机需要运动的脉冲量并控制电机运动，反复多个周期直至电机运动到目标位置pd。通过将PID控制算法运用在该系统中，可以明显提高运动精度。
步骤四：初次聚焦阶段。
z轴步进电机带动显微镜细准焦螺旋向下匀速转动，开始基于“盲人爬山”算法的大步长搜索聚焦。此搜索聚焦方法有别于常规盲人爬山算法，在每一步(或每一个搜索区间)起始启用动态曝光策略获得最佳曝光图像，且步长(搜索区间)大于常规爬山算法，聚焦准确性更高、速度更快。聚焦逻辑如图2所示，波峰为焦平面，越过波峰后使用“s型加速曲线”精确定位至波峰位置完成搜索聚焦。
进一步，根据本发明的另一个实施例，初次聚焦步骤包括：
1)z轴电机匀速正向转动(XYZz平台向下移动)，物镜(油镜)到达起始位置。
2)工业相机每帧图像进行聚焦评价，直至完成一个搜索区间。此阶段的聚焦评价函数采用改进后的Std评价函数，提高计算效率。如式8。
其中，M、N为图像像素宽度和高度。
3)聚焦评价函数结果与光栅尺返回的当前位置、平均灰度值三个值关联储存在二维数组R[3,S]中，S行，3列。
4)找出R[3,S]中最大聚焦评价函数值V(即区间内所有Vstd中的最大值)和最大平均灰度值G，V所在光栅尺位置是此聚焦区间的最清晰图像所在位置，称为局部最佳位置p。p位置的平均灰度值、聚焦评价值为最佳灰度值g、最佳聚焦值v。一般的，V＝v，g≠G。
5)对聚焦结果判断时根据电机转速、光栅尺分辨率、显微镜细准焦螺旋分辨率等因素加入边界阈值，此系列阈值为经验值。可设运动边界阈值Tm＝0.02、曝光边界阈值Te＝0.1和评价边界阈值Tf＝0.03；
若p≥S·Tm&p≤S·(1-Tm)；
即局部最佳位置落在理想区间内，判定p为焦平面所在位置；
若p＜S·Tm&|g-G|＜G·Te；
即局部最佳位置在区间左端且图像内容无明显变化，判定此区间聚焦失败，返回初始位置重新聚焦；
若p＞S·(1-Tm)&|g-G|＜G·Te；
即局部最佳位置在区间右端且图像内容无明显变化，判定此区间无焦平面，继续搜索聚焦；
若p＞S·(1-Tm)&|g-G|＞G·Te；
即局部最佳位置在区间右端且图像内容有明显变化，判定此区间无焦平面，继续搜索聚焦；
若p＜S·(1-Tm)&|g-G|＞G·Te；
即局部最佳位置在区间左端且图像内容有明显变化，判定此区间聚焦失败，返回初始位置反向聚焦；
6)电机“s型加速曲线”运动至焦平面位置p，完成搜索聚焦，保存图像；
7)对焦平面位置图像再次进行聚焦评价，聚焦评价函数值v′。若判断为聚焦准确；否则聚焦失败，进行二次聚焦。
步骤五：扫描聚焦。
X轴、Y轴电机带动X层、Y层平台平移，遵循预设运动轨迹进入下一个待聚焦显微视野，运动轨迹如图3所示。z轴反向转动固定距离到达扫描聚焦起始位置。开启聚集评价和自动曝光策略，z轴正向转动2倍固定距离，此区间最佳聚焦评价值所在位置即焦平面位置。聚焦逻辑如图4所示，扫描聚焦循环至整个载玻片待测视野全部自动聚焦结束。
进一步，根据本发明的另一个实施例，扫描聚焦步骤如下：
1)取经验阈值r为扫描聚焦的扫描半径，一般根据待测样本焦平面景深大小、步进电机步长、光栅尺细分选取；
2)z轴步进电机带动显微镜细准焦螺旋“S型运动曲线”反向转动r距离；
3)z轴步进电机带动显微镜细准焦螺旋匀速正向转动2r距离，采用Tenegrad评价函数对每帧图像进行聚焦评价，直至完成一个扫描区间；
4)聚焦评价函数结果与光栅尺返回的当前位置、平均灰度值三个值关联储存在二维数组R[3,S]中，S行，3列；
5)找出R[3,S]中最大聚焦评价函数值V和最大平均灰度值G，V所在光栅尺位置是此聚焦区间的最清晰图像所在位置，称为局部最佳位置p。p位置的平均灰度值、聚焦评价值为最佳灰度值g、最佳聚焦值v。一般的，V＝v，g≠G。
6)电机“s型加速曲线”运动至焦平面位置p，完成扫描聚焦，保存焦平面所在位置图像；
7)对焦平面位置图像再次进行聚焦评价，聚焦评价函数值v′。若判断为聚焦准确；否则聚焦失败，进行二次聚焦。
步骤六：整个载玻片待测视野全部自动聚焦结束；
步骤七：二次聚焦。二次聚焦与扫描聚焦步骤相同，经验阈值为扫描聚焦的二分之一。
具体实施例：
根据本发明另一个实例，一种结核杆菌高质量图像获取及装置技术方案如下：
本实施方案包括奥林巴斯BX43显微镜、XYZz运动平台、JAIGO-5000M-USB高速工业相机，自动聚焦样本(载玻片)为抗酸染色结核杆菌痰涂片。
XYZz平台如图1所示，1为显微镜物镜，2为待测载玻片，3为XYZz平台X层，4为XYZz平台Y层、5为XYZz平台基座。平台X层与Y层通过安装在Y层上的两组直线导轨滑块连接固定，Y层与平台基座通过安装在基座上的两组直线导轨滑块连接固定，载玻片由X层一端的凹槽推入X层中心位置，显微镜物镜底部与载玻片表面初始间距3mm。
XYZz平台X层可沿设定的“X轴”方向水平移动，两端设有限位开关。Y层运动形式、行程与X层相同，方向正交。
载玻片上方是显微镜物镜，下方是显微镜透射光源，工业相机采集到的图像即显微镜物镜获取载玻片上样本的显微图像，经采集卡传输到计算机。计算机根据处理结果发送相应运动指令，XYZz平台上的电机、光栅尺和限位开关共同作用实现平台相关运动指令。
具体步骤如下：
步骤一：将结核杆菌痰涂片放入XYZz平台，推至中心处在显微镜物镜正下方位置。打开工业相机，开启图像采集功能，重置相机参数；
步骤二：启动动态曝光策略。此策略在每个聚焦周期起始或电机周期运动起始时启动，首先获得5张曝光时间为3000μs、5000μs、8000μs、12000μs、16000μs的显微图像，其次使用最小二乘法拟合曝光时间和图像平均亮度值val之间的函数关系，控制图像平均亮度值在[50,200]区间内，即为合理曝光时间t；
步骤三：X轴和Y轴带动X层、Y层平台反转，触碰限位开关后配合光栅尺运用PID控制算法正向运动至物镜位于载玻片样本的左上角，此为自动聚焦的起始点。Z轴步进电机带动显微镜粗准焦螺旋反转(向下)，触碰限位开关后正转(向上)至载玻片距显微镜100倍物镜(油镜)3mm处；
步骤四：搜索聚焦。具体步骤如下：
1)z轴步进电机带动显微镜细准焦螺旋正向匀速转动(向下)，运动距离为300。
2)工业相机每帧图像进行聚焦评价，直至完成电机停止。此阶段的聚焦评价函数采用改进后的std评价函数，如下式。
其中，M、N为图像像素宽度和高度。
3)聚焦评价函数结果与光栅尺返回的当前位置、平均灰度值三个值关联储存在二维数组R[3,S]中，S行，3列。
4)找出R[3,S]中最大聚焦评价函数值V(即区间内所有Vstd中的最大值)和最大平均灰度值G，V所在光栅尺位置是此聚焦区间的最清晰图像所在位置，称为局部最佳位置p。p位置的平均灰度值、聚焦评价值为最佳灰度值g、最佳聚焦值v。一般的，V＝v，g≠G。
5)对聚焦结果判断时根据电机转速、光栅尺分辨率、显微镜细准焦螺旋分辨率等因素加入边界阈值，此系列阈值为经验值。对于结核杆菌显微图像，可设运动边界阈值Tm＝0.02、曝光边界阈值Te＝0.1和评价边界阈值Tf＝0.03；
若p≥S·Tm&p≤S·(1-Tm)；
判定p为焦平面所在位置；
若p＜S·Tm&|g-G|＜G·Te；
R[3,S]清空，返回初始位置重新聚焦；
若p＞S·(1-Tm)&|g-G|＜G·Te；
R[3,S]清空，继续搜索聚焦；
若p＞S·(1-Tm)&|g-G|＞G·Te；
R[3,S]清空，继续搜索聚焦；
若p＜S·(1-Tm)&|g-G|＞G·Te；
聚焦失败，R[3,S]清空，返回初始位置反向聚焦；
6)电机“s型加速曲线”运动至焦平面位置p，完成搜索聚焦，保存图像；
7)对焦平面位置图像再次进行聚焦评价，聚焦评价函数值v′。若判断为聚焦准确；否则聚焦失败，进行二次聚焦。
步骤五：X轴电机带动XYZz平台的X层正向平移200，进入下一个待测显微视野开始扫描聚焦。当物镜位于待测样本X轴向边缘时，X层停止运动。X层回起始点，Y轴电机带动XYZz平台的Y层正向平移200，继续扫描聚焦。扫描聚焦具体步骤如下：
1)结核杆菌痰涂片景深较小，取扫描聚焦的扫描半径r＝30；
2)z轴步进电机带动显微镜细准焦螺旋“S型运动曲线”反向转动r距离。
3)z轴步进电机带动显微镜细准焦螺旋匀速正向转动2r距离，采用Tenegrad评价函数对每帧图像进行聚焦评价，直至完成一个扫描区间；
4)聚焦评价函数结果与光栅尺返回的当前位置、平均灰度值三个值关联储存在二维数组R[3,S]中，S行，3列。
5)找出R[3,S]中最大聚焦评价函数值V和最大平均灰度值G，V所在光栅尺位置是此聚焦区间的最清晰图像所在位置，称为局部最佳位置p。p位置的平均灰度值、聚焦评价值为最佳灰度值g、最佳聚焦值v。一般的，V＝v，g≠G。
6)电机“s型加速曲线”运动至焦平面位置p，完成扫描聚焦，保存焦平面所在位置图像；
7)对焦平面位置图像再次进行聚焦评价，聚焦评价函数值v′。若判断为聚焦准确；否则聚焦失败，进行二次聚焦。
步骤六：整个载玻片待测视野全部自动聚焦结束。
步骤七：二次聚焦。二次聚焦与扫描聚焦步骤相同，经验阈值r＝15。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！