一种面向复杂机加工环境的工件尺寸视觉测量方法

本发明涉及机器视觉，具体涉及一种面向复杂机加工环境的工件尺寸视觉测量方法。

背景技术：

1、在机械制造过程中，对零件的尺寸进行测量是组织互换性生产必不可少的一步。在传统行业中，零件尺寸的检测仍处于人工检测的阶段，受工人个人因素的影响，效率和质量难以保证，传统的人工检查方法已不能满足行业需求。基于机器视觉的检测方法得到广泛应用，硬件系统的精度不断提高，各种新的检测算法层出不穷，并被广泛应用于视觉测量等领域，且取得了巨大的成功。

2、近年来，视觉测量技术已取得了较大的发展，但其仍是一个挑战性问题，其难点主要在于如何高精度、高效率且实时的完成尺寸的测量。由于机加工现场环境复杂，导致工件的真是边缘无法被准确定位，进而直接影响到尺寸测量的精度，具体表现为：(1)机加工环境下的图像中存在丰富纹理噪声，传统算子检测对噪声的鲁棒性差且阈值参数难以确定；(2)明暗的环境光以及工件表面容易附着有切削液、切屑等不规则干扰区域，影响真实边缘提取。

技术实现思路

1、针对现有技术中存在的问题和不足，本发明旨在提供一种面向复杂机加工环境的工件尺寸视觉测量方法。

2、为实现上述目的，本发明采用以下技术方案：

3、一种面向复杂机加工环境的工件尺寸视觉测量方法，包括以下步骤：

4、s1：对相机进行标定，得到相机对应的内参矩阵和畸变系数，同时，计算相机的像素当量；

5、s2：构建工件的像素模板图像，保存像素模板图像中各基本图形元素之间分割点的坐标；

6、s3：采用相机获取待测量工件的rgb原始图像，采用改进多尺度视网膜增强算法对工件rgb原始图像进行增强处理，得到增强工件图像；

7、s4：采用边界跟踪算法获得所述增强工件图像各边缘轮廓的外接矩形，构建掩膜对各边缘轮廓进行分割，得到多张边缘轮廓图像；计算多张边缘轮廓图像与所述像素模板图像的匹配度，以匹配度最高的边缘轮廓图像作为待测量工件真实边缘轮廓图像；

8、s5：基于像素模板图像，采用模板匹配算法对待测量工件真实边缘轮廓图像进行修整，剔除边缘轮廓异常点，得到工件真实边缘轮廓修整图像，然后对工件真实边缘轮廓修整图像进行亚像素边缘提取，得到工件亚像素边缘二维点云坐标；

9、s6：基于所述像素模板图像基本图形元素之间的分割点对工件亚像素边缘二维点云进行分割，得到工件每个基本图形元素对应的亚像素边缘二维点云；

10、s7：对工件每个基本图形元素对应的亚像素边缘二维点云进行拟合，得到工件每个基本图形元素的基本参数，根据基本参数计算工件的像素尺寸；根据所述像素当量，对工件的像素尺寸进行换算，得到工件的实际尺寸。

11、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，采用改进多尺度视网膜增强算法对工件rgb原始图像进行增强处理的具体操作为：

12、s31：根据相机的畸变系数对采集的工件rgb原始图像进行消畸变处理，然后将消畸变后的工件rgb原始图像从rgb色域空间转换为yuv色域空间，得到工件yuv色域空间图像；

13、s32：将工件yuv色域空间图像和deriche滤波器进行卷积处理，得到工件yuv色域空间图像不同尺度上的入射分量图像，按照公式1对所述多个尺度的入射分量图像进行处理，得到工件yuv色域空间图像的反射分量图像；

14、

15、式中：r(x,y)为反射分量图像；i(x,y)为工件yuv色域空间图像；dn(x,an)表示x方向的第n个尺度下的direche滤波器；dn(y,an)表示在y方向的第n个尺度下的direche滤波器；i(x,y)*dn(x,an)*dn(y,an)表示第n个尺度下的入射分量图像；n为尺度数量，n取值为3；wn为第n个尺度的权重值，且wn满足式2所示条件；

16、

17、dn(x,an)的计算公式如式3所示：

18、

19、dn(y,an)的计算公式如式4所示：

20、

21、其中，x表示为direche滤波器的中心相对于x方向上direche滤波器范围内某个像素点坐标的偏移量，c为归一化常数，确保滤波器的响应正规化，整体响应等于1；an为第n个尺度direche滤波器的衰减参数，控制了滤波器的宽度和衰减，an越小，则边缘检测精度越高，但如果an太小，会将一些错误边缘信息引入；an越大，则平滑效果越好且边缘的识别方位越准确；

22、将第一、第二、第三尺度direche滤波器衰减参数分别记作a1、a2、a3，设置a1＝1，a3＝d，则基于均匀分布的方法设第二尺度

23、s33：对所述反射分量图像的y色域空间像素值进行拉伸处理，然后将拉伸后反射分量图像从yuv色域空间转换为rgb色域空间，得到增强工件图像。

24、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s33中对所述反射分量图像的y色域空间像素值进行拉伸处理的具体操作为：获取反射分量图像在y色域空间的最小像素值pmin和最大像素值pmax，按照式5对反射分量图像进行拉伸处理，得到拉伸后反射分量图像；

25、

26、式中，为拉伸后反射分量图像；g为拉伸处理前反射分量图像对应像素点的像素值；vmin为拉伸后反射分量图像的最小像素值；vmax为拉伸后反射分量图像的最大像素值；

27、假设拉伸后反射分量图像的vmin和vmax分布在距离拉伸前反射分量图像y色域空间最大像素值pmax和最小像素值pmin两端的m％位置处，则vmin和vmax的计算公式如下式6所示：

28、

29、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s33中，采用饱和度调整算法将拉伸后反射分量图像从yuv色域空间转换为rgb色域空间，饱和度调整算法的计算公式如下式7所示：

30、

31、式7中：y'是拉伸后反射分量图像的灰阶亮度分量；r'、g'、b'分别是强工件图像的rgb分量。更加优选地，为了避免y分量增强过大导致局部图像出现严重色块，为饱和度调整算法引入门控机制，即将拉伸后反射分量图像的灰阶亮度分量的最大y'分量限制为原始亮度值y分量的四倍。

32、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，采用改进多尺度视网膜增强算法对工件rgb原始图像进行增强处理的过程中，采用适应度函数和差分进化算法求解参数w1、w2、w3、d、m的最优解，参数w1、w2、w3、d、m的最优解计算过程如下：

33、s321：采用边缘检测算法对所述增强工件图像进行边缘检测，采用边界跟踪算法对所述增强工件图像进行边缘定位，得到所述增强工件图像的边缘点；根据增强工件图像的边缘点，采用scharr滤波核计算所述增强工件图像的tenengrad梯度，根据tenengrad梯度的自然对数、所述增强工件图像中的边缘数量、所述增强工件图像的分辨率构建描述所述增强工件图像边缘强度的目标函数fedge，边缘强度的目标函数fedge的计算公式如式8所示：

34、

35、式中：e(ischarr)是边缘点通过scharr滤波核计算得到的tenengrad梯度的总和；nedges是所述增强工件图像的边缘点数量；w×h是所述增强工件图像的分辨率大小；

36、s322：构建所述增强工件图像在yuv色域空间的灰度信息熵目标函数fentropy，所述灰度信息熵目标函数fentropy的公式如式9所示：

37、

38、式中，p(k)是增强工件图像像素值为k的概率；k是增强工件图像在yuv色域空间的灰度范围；fentropy是灰度信息熵；

39、s323：利用所述边缘强度的目标函数fedge和所述灰度信息熵目标函数fentropy构造适应度函数fmsrdf和适应度函数fmsrdf的约束条件，适应度函数fmsrdf的公式如式10所示，适应度函数fmsrdf的约束条件如式11所示：

40、fmsrdf＝0.5×fentropy+0.5×λ×fedge    式10

41、

42、式中，λ为根据初始种群中个体的灰度信息熵与边缘强度之间的比值构建出的强度比因子；

43、s324：根据适应度函数fmsrdf，采用差分进化算法通过不断迭代得到参数w1、w2、w3、d、m的最优解。

44、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s4的具体操作为：

45、s41：对步骤s3得到的所述增强工件图像进行gamma校正处理，得到gamma校正工件图像；

46、s42：采用otsu二值化算法对gamma校正工件图像进行处理，分离gamma校正工件图像前景和背景，去除背景噪声的影响，得到前景图像；

47、s43：对所述前景图像依次进行形态学开运算、快速双边滤波处理，然后采用边缘检测算法提取前景图像的边缘轮廓二维点云信息；采用边界跟踪算法对提取的边缘轮廓二维点云信息进行边缘定位，得到前景图像中各边缘轮廓的二维点云，剔除点云数量小于设定阈值的边缘轮廓，计算各剩余边缘轮廓的外界矩形，根据外接矩形构建掩膜对所述前景图像进行分割，得到多张边缘轮廓图像；

48、s44：采用基于hu矩的形状匹配方法计算步骤s43得到的多张边缘轮廓图像与所述像素模板图像的匹配度，将匹配度最高的边缘轮廓图像作为待测量工件真实边缘轮廓图像。

49、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s41中，所述gamma校正处理的校正系数γ的计算公式如式12所示：

50、

51、式中，x是自动gamma校正前所述增强工件图像所有像素点的像素值均值。

52、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s5中所述采用模板匹配算法对待测量工件的真实边缘轮廓图像进行修整，剔除边缘轮廓异常点的具体操作为：

53、s51：采用模板调整比例因子st对所述像素模板图像大小进行动态调整；

54、s52：采用归一化相关系数(ncc)模板匹配算法将动态调整后像素模板图像与待测量工件真实边缘轮廓图像进行匹配，并计算匹配度fncc；匹配度fncc的计算公式如式13所示：

55、

56、式中，t(i,j)为经过模板调整比例因子st处理后的像素模板图像；s(x0+i,y0+j)为待测量工件真实边缘轮廓图像；(x0,y0)表示模板图像在待匹配图像上的起始位置坐标；(i,j)表示像素模板图像的像素点坐标，(x0+i,y0+j)为待测量工件真实边缘轮廓图像上对应于像素模板图像的像素点坐标；

57、s53：采用二分法递归迭代模板调整比例因子st值，调整像素模板图像大小，并按照步骤s52所述操作计算匹配度fncc，求解匹配度fncc最大时对应的模板调整比例因子st，以匹配度fncc最大时对应的模板调整比例因子st作为最佳模板调整比例因子st；

58、其中，采用二分法递归迭代模板调整比例因子st值时，模板调整比例因子st的限制条件如式14所示；

59、

60、式中，为模板调整比例因子st的上下限阈值，升采样时像素模板图像根据模板调整比例因子st进行扩大，降采样时像素模板图像根据模板调整比例因子st进行缩小；

61、s54：根据最佳模板调整比例因子st调整像素模板图像的大小，得到像素模板图像的最佳调整图像，采用所述最佳调整图像对待测量工件真实边缘轮廓图像进行裁剪，得到裁剪后待测量工件真实边缘轮廓图像；将裁剪后待测量工件真实边缘轮廓图像与最佳调整图像执行按位“或”运算，得到工件真实边缘轮廓修整图像。

62、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s53中，递归迭代模板调整比例因子st值时，判断像素模板图像升采样、降采样的方法为：在待测量工件真实边缘轮廓图像中，以工件实体部分所在一侧为轮廓内侧，另一侧为轮廓外侧，当采用第n次递归迭代得到的模板调整比例因子st对所述像素模板图像大小进行动态调整后，采用归一化相关系数匹配算法将调整后像素模板图像与待测量工件真实边缘轮廓图像进行匹配，若像素模板图像边缘轮廓上的基本图形元素分割点均位于待测量工件真实边缘轮廓图像轮廓外侧，通过降采样来调整像素模板图像，否则通过升采样来调整像素模板图像。需要注意的是，采用最佳模板调整比例因子st对像素模板图像大小进行动态调整后，调整后的像素模板图像边缘轮廓上的基本图形元素分割点均位于待测量工件真实边缘轮廓图像轮廓外侧；

63、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s51中，采用模板调整比例因子st对所述像素模板图像大小进行动态调整之前，先采用高斯金字塔对像素模板图像、待测量工件真实边缘轮廓图像进行下采样操作，压缩图像的分辨率，提高计算速度。

64、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s6中所述基于所述像素模板图像基本图形元素之间的分割点对工件亚像素边缘二维点云进行分割的具体操作为：

65、s61：采用归一化相关系数(ncc)模板匹配算法对像素模板图像、工件真实边缘轮廓修整图像进行匹配，得到像素模板图像的边缘轮廓与工件真实边缘轮廓修整图像的边缘轮廓之间位置转换关系；

66、s62：基于步骤s61得到的位置转换关系，对所述像素模板图像基本图形元素之间的分割点tn进行位置转换，得到工件真实边缘轮廓修整图像中基本图形元素之间的分割点pn，

67、s63：根据分割点pn对所述工件亚像素边缘二维点云进行分割。

68、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s2所述构建工件的像素模板图像的具体操作为：提取工件设计图纸中的各基本图形元素的实际尺寸参数，将实际尺寸除以所述像素当量得到工件设计图纸中各基本图形元素的像素尺寸参数，根据像素尺寸参数绘制像素模板图像。

69、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s5中采用多项插值法对工件真实边缘轮廓修整图像进行亚像素边缘提取；步骤s321中，所述边缘检测算法为canny边缘检测算法，所述边界跟踪算法为suzuki边界跟踪算法；步骤s43中，所述边缘检测算法为canny边缘检测算法，所述边界跟踪算法为suzuki边界跟踪算法。

70、根据上述的面向复杂机加工环境的工件尺寸视觉测量方法，优选地，步骤s1中，所述像素当量的计算方法为：采用相机采集棋盘格标定板的图像，得到棋盘格标定板图像，在相机坐标系中计算所述棋盘格标定板图像的面积，得到所述棋盘格标定板图像的像素面积；计算所述棋盘格标定板的实际面积，然后采用所述实际面积除以所述像素面积即得像素当量。

71、与现有技术相比，本发明取得的积极有益效果如下：

72、(1)本发明提出了一种面向复杂机加工环境的工件尺寸视觉测量方法，该方法实现了了对复杂机加工环境中切削液、切屑等不规则干扰区域的去除，规避了所获取图像纹理噪声的影响。

73、(2)本发明采用改进多尺度视网膜增强算法(imsr-df)对工件rgb原始图像进行增强处理，在保证边缘稳定的同时有效改善了机加工环境下图像光照不均以及清晰度差的问题，提高了图像的鲁棒性。

74、(3)本发明提出了一种新颖的轮廓边缘修正方法，通过优化ncc模板匹配度，寻找最佳比例因子，实现ncc模板动态调整，以匹配存在轮廓误差的实测轮廓，在保证边缘的同时使得提取出的边缘相比传统传统方法更加光滑。