一种面向显微成像的图像自动对焦算法的制作方法

1.本发明设计利用一种面向显微成像的图像自动对焦算法进行无参考羊绒羊毛纤维图像的清晰度评价。


背景技术：

2.这里的显微成像以羊绒羊毛纤维图像为例，利用图像处理技术在同一位置拍摄的一系列羊绒羊毛纤维图像(显微成像)中寻找出清晰度最高的那张图像(自动对焦)，能够减少投入生产的劳动力，提高工作效率。也是为要送入到卷积神经网络进行训练学习的羊绒羊毛纤维图像进行清晰度质量上的把控，如果羊绒羊毛纤维图像本身较为模糊，则会降低网络识别的准确率，甚至造成识别类别的错误。传统的羊绒羊毛纤维图像的对焦方法是根据国家标准来进行人工对焦的，具体过程是：先将显微镜的物镜调整到一定位置，观察目镜中的羊绒羊毛纤维图像，图像中的羊毛纤维的两侧边缘若显示白色的边线，则说明物镜过于靠近盖玻片；图像中的羊毛纤维的两侧边缘若显示黑色的边线，则说明物镜过于远离盖玻片；图像中的羊毛纤维的边缘若显示一细线，没有白色或黑色边线，则说明羊毛纤维在焦平面上，对焦完毕。很明显，这个过程比较依赖操作人员的熟练度和经验，主观性因素较大，而且比较耗时，因此，急需一种羊绒羊毛纤维图像的自动对焦算法来解决上述问题。同时以往的图像清晰度评价方法，如基于梯度函数的评价方法、熵函数法、基于点锐度的清晰度算法、基于梯度结构相似度的清晰度算法(nrss)等算法在某些情况下并不能很好适应羊绒羊毛纤维图像的清晰度检测，从而造成清晰度评价的错误。
3.本发明通过适当、合理的图像预处理手段，先将羊绒羊毛纤维图像的背景过滤掉，并将羊毛roi提取出来，在同一水平位置拍摄下的一系列羊绒羊毛纤维图像中，由于每张羊绒羊毛纤维图像的灰度、梯度的值域和空间分布并不相同，所以每张羊绒羊毛纤维图像提取的羊毛roi大小也会因此不同。针对以上缺陷，利用蒙版叠加，将同一位置拍摄的一系列羊绒羊毛纤维图像的羊毛roi进行叠加得到最大的羊毛roi，并用这个最大的羊毛roi代表该位置拍摄的一系列羊毛纤维。在此基础上，结合直方图均衡化来抑制某些由于过曝光而导致图像清晰度增大的羊绒羊毛纤维图像的误查找情况，再利用梯度函数法对准备进行清晰度评价的羊绒羊毛纤维图像进行检测，能够有效查找出与操作人员判断几乎一致的某个位置拍摄下的最清晰的羊绒羊毛纤维图像(既不过曝光，并且羊毛纤维内部纹理丰富且清晰)。


技术实现要素：

4.本发明提出了一种面向显微成像的图像自动对焦算法，其步骤如下：
5.(1)首先，获取待进行清晰度评价的羊绒羊毛纤维图像，再对图像进行灰度化。在这里这一步的主要目的是为了化三通道为单通道，降低图像的数据量，节省内存开销，加快运行速度。
6.(2)对灰度化后的图像进行中值滤波处理。在这里使用中值滤波的原因是因为中
值滤波能够有效抑制、去除一些噪声，保护羊绒羊毛纤维图像中的羊毛边缘信息，使边缘更加清晰，不被模糊，便于后续的canny边缘检测。
7.(3)对中值滤波后的图像进行canny边缘检测。在这里使用canny边缘检测的原因是因为经过中值滤波处理之后，羊绒羊毛纤维图像的噪声大大减少，并且canny边缘检测算法利用非极大值抑制技术来消除边缘的误检和利用双阈值方法来确定潜在的边缘，可以较高容错地筛选出羊毛纤维边缘。
8.(4)对canny边缘检测后的图像进行形态学闭运算操作(先膨胀后腐蚀)。由于canny边缘检测找出来的不仅有羊毛外部边缘，还有羊毛内部纹理边缘以及背景中的一些噪声，并且羊毛外部边缘不是一段完整的闭合曲线。因为canny边缘检测后的图像是一张二值图像，白色表示边缘，黑色表示背景，所以，利用形态学闭运算让图像中的白色领域扩张，黑色领域收缩，经过这步操作，羊毛纤维就连成了一块面积较大的连通域，可以在后续的连通域分析中很方便地筛选出来，为提取羊毛roi奠定了基础。
9.(5)对形态学闭运算后的图像进行取反。由于形态学闭运算后的图像中羊毛纤维内部存在一些黑色的小孔洞，对闭运算的结果图进行取反，黑色的小孔洞就变为白色了，再进行连通域分析，统计出取反图中的各个连通域所包含像素点的个数，再设定一个较大的阈值对这些连通域进行筛选，滤除面积较小的连通域(即羊毛纤维内部的黑色小孔洞噪声)。
10.具体伪代码如下：
[0011][0012]
只记录flag＝1的连通域对应的索引号，将其画在新的纯黑画布上，即可完成第一次连通域滤波操作。
[0013]
其中，condo:每个连通域，condos:所有连通域，singlearea:单个连通域的面积，t1:连通域的面积阈值，在这里基于羊绒羊毛的平均直径和摄像头标定尺寸关系的经验可以取为1800(单位：像素)，flag:连通域标识符(1:连通域不为噪声，0:连通域为噪声)。
[0014]
(6)对第一次连通域滤波后的图像(二值图)进行取反。取反是将二值图中白色像素点变为黑色，黑色像素点变为白色。由于第一次连通域滤波后的图像中的羊毛纤维主体区域为黑色，并且背景中的一些噪声也为黑色，而背景主体区域为白色。所以，要把羊毛纤维主体区域变为白色，在进行连通域分析之前，对取反图进行适当的腐蚀膨胀，去除一些白色背景噪声，同时也让羊毛纤维主体的边缘更为平滑。之后，进行连通域分析，统计出取反图中的各个连通域所包含像素点的个数，然后设定一个较大的阈值对这些连通域进行筛选，滤除面积较小的连通域(即黑色背景中的白色小团块噪声)。
[0015]
具体伪代码如下：
[0016][0017]
只记录flag_2＝1的连通域对应的索引号，将其画在新的纯黑画布上，即可完成第一次连通域滤波操作。
[0018]
其中，condo_2:每个连通域，condos_2:所有连通域，singlearea_2:单个连通域的面积，t2:连通域的面积阈值，在这里基于羊绒羊毛的平均直径和摄像头标定尺寸关系的经验可以取为4500(单位：像素)，flag_2:连通域标识符(1:连通域不为噪声，0:连通域为噪声)。
[0019]
(7)以经过两次连通域滤波后的图像作为蒙版，将原图经过此蒙版筛选拷贝得到羊毛roi。因为同一位置下拍摄的一系列羊绒羊毛纤维图像中，每张羊绒羊毛纤维图像的灰度、梯度的值域和空间分布是不同的，这会导致经过上述算法得到的羊毛roi也不相同，但是在最后进行的羊绒羊毛纤维图像清晰度评价中要减小羊毛roi不同对图像清晰度计算带来的偏差影响。所以需要将同一拍摄位置下得到的所有羊毛roi图(二值图，也是蒙版)进行蒙版叠加，按照同一位置像素点的灰度值相加的规则，如果相加之后的灰度值大于255，则重新赋值为255，防止超出灰度图的正常数值范围，这样多个蒙版叠加之后的图的羊毛roi区域是最大的，能保证最后对每张羊毛原图的选择拷贝不会受到连通域滤波鲁棒性不够而错误地将部分羊毛滤除的结果的影响，因为蒙版叠加的作用能抵消连通域滤波的错误滤除部分羊毛的影响。再让同一位置拍摄的所有羊绒羊毛纤维图像经过该拍摄位置对应的最大羊毛roi蒙版进行筛选拷贝得到每张羊毛纤维原图对应的羊毛roi图。
[0020]
(8)对同一拍摄位置下的一系列羊毛roi图进行图像清晰度评价，因为直接对经过最大羊毛roi蒙版选择拷贝的结果图应用tenengrad梯度函数法计算出清晰度评价分数(平均梯度值)，找出的“最清晰图像”有可能是过曝光图像。因为过曝光，所以梯度值总体偏大，tenengrad梯度函数法会认为其是同一类羊毛中最清晰的图片，但是，过曝光会导致羊毛纤维内部的纹理信息变得模糊，可这并不是人眼认为的最清晰的图片。所以，要构想一种可以消除过曝光影响的方法，由于过曝光的羊毛图像的灰度直方图主要集中于高灰度值的范围，所以想到用直方图均衡化的方法来对羊毛roi图的灰度直方图做个拉伸，增加其动态范围，使其分布得更加均匀一些。因为正常情况下，直接对比梯度就行了，但这个羊毛纤维却不行，因为它有点像透镜，会变亮。这样即使不清晰的部分，在变亮的条件下，梯度值也很大，灰度直方图均衡化能消除这种影响。而对那些未过曝光的羊毛roi图，其原本灰度直方图的分布就比较均匀，在此基础上应用直方图均衡化对原图的影响不大。
[0021]
(9)对直方图均衡化后的羊毛roi图运用tenengrad梯度函数法进行图像清晰度计算，计算出清晰度得分，具体是计算出每张羊毛roi图像i
10i
(i＝1,2,3,
……
)的平均梯度grad_averi(i＝1,2,3,
……
)，先将平均梯度grad_averi(i＝1,2,3,
……
)归一化到[0,1]范围内，再判断图像序列中是否存在平均梯度达到经验阈值t3(t3根据操作人员的显微成像对焦经验来整定，0《t3《1)的图像，若存在，则将此图像认定为在同一水平位置拍摄下的最清晰的羊毛纤维图像i
11
，此过程记为py，若不存在，则调整拍摄位置(改变物镜到羊毛纤维
载玻片的距离，但这个距离的档位数量有限)，继续获取一系列的羊毛纤维原始图像i
0j
(j＝1,2,3,4,5)(j表示上述距离的档位)，重复上述(1)—(9)的步骤，此过程记为pn，若在(9)步骤中存在平均梯度达到经验阈值t3的图像，则进行py，得出最清晰的羊毛纤维图像i
11
；若不存在，则进行pn，若调整完所有的拍摄位置后，还未存在平均梯度达到经验阈值t3的图像，则选出当前已计算好平均梯度的图像中平均梯度最大的图像作为最清晰的图像i
clearest
。
附图说明
[0022]
图1为算法流程图；
[0023]
图2为灰度图；
[0024]
图3为中值滤波图；
[0025]
图4为canny边缘检测图；
[0026]
图5为膨胀腐蚀图；
[0027]
图6为膨胀腐蚀的取反图；
[0028]
图7为第一次连通域滤波图；
[0029]
图8为第二次取反图；
[0030]
图9为腐蚀膨胀图；
[0031]
图10为第二次连通域滤波图(第1个蒙版图)；
[0032]
图11为同一拍摄位置下的第2个蒙版图；
[0033]
图12为同一拍摄位置下的第3个蒙版图；
[0034]
图13为同一拍摄位置下的第4个蒙版图；
[0035]
图14为同一拍摄位置下的蒙版叠加图；
[0036]
图15为未用直方图均衡化找出的最清晰的羊毛图；
[0037]
图16为未用直方图均衡化的处理结果图；
[0038]
图17为第1个蒙版图对应的直方图均衡化图；
[0039]
图18为第2个蒙版图对应的直方图均衡化图；
[0040]
图19为第3个蒙版图对应的直方图均衡化图；
[0041]
图20为第4个蒙版图对应的直方图均衡化图(过曝光)；
[0042]
图21为用直方图均衡化找出的最清晰的羊毛图像图；
[0043]
图22为用直方图均衡化的处理结果图；
[0044]
具体实施方法
[0045]
具体实施方法一：
[0046]
以羊毛纤维的自动对焦为试验，应用此算法。将操作人员人眼判断出的最清晰羊绒羊毛纤维图像与此羊绒羊毛纤维图像清晰度评价算法(自动对焦)判断出的最清晰羊绒羊毛纤维图像做对比。实验总共测试了21个不同拍摄位置下共计327张羊绒羊毛纤维图像，几乎每次都能找到同类中的清晰度较高的图像，查找准确率高达90.4％，该羊绒羊毛纤维图像清晰度评价算法取得了良好的效果，稍作优化和改进可以投入到实际生产中。