一种基于虚实边缘匹配的机电产品漏装检测方法与流程

1.本技术涉及装配制造技术领域，具体涉及一种基于虚实边缘匹配的机电产品漏装检测方法。


背景技术：

2.面向航空航天产品装配过程，由于产品结构复杂、检测元素类型繁多、检测环境多变，针对装配过程中的漏装质量问题，往往采取传统人工目视的方式检测，检测效率低且依赖检验人员专业水平。视觉检测技术的研究与应用，提高了自动化检测的水平，逐渐发展成为改善产品装配质量检测的重要手段。基于视觉的装配质量异常检测关键在于目标识别与定位，相应的方法大致可分为两类：基于传统图像处理方法和基于深度学习方法。基于传统图像处理方法通过边缘、颜色、灰度等特征，建立正确装配状态与异常的差异，利用差异性完成漏装检测，其优点在于计算速度快，但对于复杂环境缺乏稳定性和鲁棒性，往往需要设计复杂算法并进行参数调整。基于深度学习的方法需要大量样本进行训练，通过建立神经网络模型对漏装进行检测，然而，对于单件/小批生产模式产品，以及工业现场不支持数据大量采集的情况，深度学习模型难以达到较好的检测效果。


技术实现要素：

3.鉴于现有技术中的缺陷或不足，本发明旨在提供一种基于虚实边缘匹配的机电产品漏装检测方法，解决了无/少样本数据情况下的机电产品漏装检测质量问题，降低了检测过程中对真实场景数据的依赖，本发明通过以下技术方案实施，包括如下步骤：
4.s101、标定相机，并基于虚拟空间成像获取三维模型多视角虚拟视图，通过提取边缘梯度构建模板。
5.通过相机标定方法标定相机，求解内参k，并将其应用至基于opengl的虚拟成像过程，通过建立装配零件三维模型与虚拟相机的不同位置与姿态，获取多视点下的虚拟视图。虚拟成像过程是对三维模型3d点的操作，在opengl空间中，将三维模型齐次坐标转换到视景体的齐次坐标建模如式所示。
[0006][0007]
其中，g表示模型坐标系到全局坐标系的转换矩阵，t
′
为全局坐标系与相机坐标系的转换关系，模型坐标系为模型设计坐标系，全局坐标系通过以模型几何中心为原点构建，三维模型通过矩阵t
′
和g，将其转换到相机坐标系下的表示，利用投影相关矩阵p(k)，进行视图与投影变换，进而通过裁剪、视口变换可得到最终成像图像。这里p(k)为与相机内参相关的矩阵，如式所示。
[0008][0009]
其中，zn和zf是opengl的近剪裁平面和远剪裁平面，w和h为图像的宽与高。
[0010]
三维模型与虚拟相机的位姿设置通过经度纬度δ、半径r以及虚拟相机绕自身zc轴转动的角度θ来表示，如图2所示，通过设置这四个参数获取多视点下的视图，为模板构建提供图像数据。在模板构建时，通过提取边缘梯度完成，主要步骤如下：
[0011]
1)对图像进行高斯滤波，利用sobel算子提取rgb图像的三个通道的梯度，并在梯度幅值最大的通道计算梯度方向。
[0012][0013][0014]
上式中，c表示图像某一通道，ori(
·
)表示梯度方向，x表示像素位置。
[0015]
2)提取候选特征点。保留梯度幅值大于一定阈值的像素作为特征点，并对保留的特征点集进行采样。
[0016]
3)对过滤后的特征点集进行梯度方向量化，梯度方向统一到0-180
°
，并划分为n个范围，用量化值分别进行表示。
[0017]
4)特征点描述子保存。每个特征点分别用x、y坐标以及所属量化值表征。通过对多视角下的模板图像依次进行以上操作，最终保存为模板文件。
[0018]
s102、输入待检图像，基于虚实边缘匹配进行装配零件识别、粗定位与定位优化。
[0019]
对输入的待检图像进行如s101中所述的梯度方向量化，在此基础上进行梯度方向扩展，用一定邻域内的梯度方向共同表示。在模板匹配过程时，模板图像以滑动窗口的方式依次计算与对应输入图像区域的相似性，并通过建立金字塔和线性存储优化进行加速。采用的相似度评估函数如下：
[0020][0021]
式中，ε表示模板图像与检测区域的相似性，ori(o,r)表示在模板图像o位置r的梯度方向，ori(i,t)表示输入图像i中点t的梯度方向，t＝(o,p)表示模板，p为模板特征点集合。
[0022][0023]
表示以c+r为中心，τ为半径的邻域区域。
[0024]
匹配过程中计算每个区域的得分，通过设置阈值提取目标潜在区域，大于阈值的区域则判定为存在目标，否则定位失败，将存在目标的区域按照得分进行排序，取最大区域作为定位结果。在完成上述粗定位基础上，基于点到平面的icp算法进行定位优化，依次进行待检图像亚像素边缘提取、icp目标函数建立以及两组点集的转换矩阵求解，至此装配零件定位得到了微调。
[0025]
s103、将匹配的模板轮廓映射至图像，基于区域与边缘特征搜索虚实对应点。
[0026]
提取匹配的模板零件外轮廓，映射到图像上，沿着轮廓法线建立搜索线，通过搜索线构建前景/背景颜色统计直方图，搜索虚实边缘对应点对。首先基于区域的方法查找对应点对，定义和为像素x在考虑φ-邻域时属于前景与背景的概率，其中，pf(x)和pb(x)为通过颜色直方图计算的前景与背景先验概率，φ-表示像素点x沿搜索线向背景方向延伸的步长，同理，像素x在φ
+
区域的前/背景概率分别为和φ
+
为像素点x沿搜索线向前景方向延伸的步长。进而计算像素x属于轮廓、前景、背景的概率如下：
[0027]
p(x|c)＝p(φ-|b)p(φ
+
|f)
ꢀꢀꢀ
(7)
[0028]
p(x|f)＝p(φ-|f)p(φ
+
|f)
ꢀꢀꢀ
(8)
[0029]
p(x|b)＝p(φ-|b)p(φ
+
|b)
ꢀꢀꢀ
(9)
[0030]
若p(x|c)》p(x|f)且p(x|c)》p(x|b)，则认为该像素为对应轮廓点。进一步，通过边缘信息过滤对应点对，对图像进行canny边缘检测，计算像素点x处是否为边缘，若为边缘则保留，否则，不予以考虑，至此建立了虚实两组点集。
[0031]
s104、基于形状上下文匹配计算相似度与匹配率。
[0032]
将虚实pi∈p、qj∈q两组点集在对数极坐标系下利用直方图进行表达，建立如下匹配代价函数：
[0033][0034]
其中，hi(k)，hj(k)分别为点pi，qj的直方图，k表示建立的直方图索引，通过计算所有点，并建立一一匹配关系，得到相似性得分，该值基于代价矩阵建立，越小表征越相似。进一步地，将形状匹配点的欧式距离大于一定阈值的点对视为误匹配点，进而计算成功匹配点与全部匹配点的比值得到匹配率。
[0035]
s105、通过零件识别得分、相似度、匹配率综合判别漏装。
[0036]
漏装判别过程如图3所示，通过基于边缘匹配计算图像中目标的匹配得分，大于阈值则认为存在潜在目标；基于形状匹配计算相似度是否小于阈值，若小于阈值则认为满足相似性条件；计算匹配率，若匹配率大于阈值，则认为装配正确；以上三个条件同时满足则装配正常，否则检测为漏装。将装配正确表示1，漏装表示0，则判定条件如下式：
[0037][0038]oth
、s
th
、r
th
分别表示目标识别阈值、形状相似度阈值、匹配率阈值。至此，完成了整个漏装检测过程。
[0039]
本发明提出一种基于虚实边缘匹配的机电产品漏装检测方法，与现有技术相比，具有以下有益效果：
[0040]
所述方法基于机器视觉，降低了人工检测的强度，提高了检测效率，错检、漏检情况减少。基于边缘梯度特征进行零件识别与定位，对无/少纹理零件具有鲁棒性，进一步地，建立虚实匹配对应点时利用乐基于区域和基于边缘的综合约束，提高了虚实对应点查找的准确性。漏装判别过程通过零件识别、形状相似性、匹配率三项指标共同完成，提高了漏装检出率和准确率。并且，所述方法无需真实样本参与模板构建，对无/少样本的装配场景具
有适用性。
附图说明
[0041]
图1为本发明的方法流程图；
[0042]
图2为本发明虚拟空间成像示意图；
[0043]
图3为本发明漏装判别流程图。
具体实施方式
[0044]
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。
[0045]
本发明提供了一种基于虚实边缘匹配的机电产品漏装检测方法，具体实施过程包括以下步骤：
[0046]
s101、标定相机，并基于虚拟空间成像获取三维模型多视角虚拟视图，通过提取边缘梯度构建模板。
[0047]
在本发明实施例中，基于张正友相机标定方法标定相机，求解内参k，并将其应用至基于opengl的虚拟成像过程，通过建立装配零件三维模型与虚拟相机的不同位置与姿态，获取多视点下的虚拟视图。虚拟成像过程是对三维模型3d点的操作，在opengl空间中，将三维模型齐次坐标转换到视景体的齐次坐标建模如式所示。
[0048][0049]
其中，g表示模型坐标系到全局坐标系的转换矩阵，t
′
为全局坐标系与相机坐标系的转换关系，模型坐标系为模型设计坐标系，全局坐标系通过以模型几何中心为原点构建，三维模型通过矩阵t
′
和g，将其转换到相机坐标系下的表示，利用投影相关矩阵p(k)，进行视图与投影变换，进而通过裁剪、视口变换可得到最终成像图像。此处p(k)为与相机内参相关的矩阵，如下式所示。
[0050][0051]
其中，zn和zf是opengl的近剪裁平面和远剪裁平面，w和h为图像的宽与高。
[0052]
三维模型与虚拟相机的位姿设置通过经度纬度δ、半径r以及虚拟相机绕自身zc轴转动的角度θ来表示，如图2所示，通过设置这四个参数获取多视点下的视图，为模板构建提供图像数据。
[0053]
在本实施例中，根据装配零件实际检测视点，考虑视点分布、视点数量以及零件在装配场景中的可视范围，从而设置虚拟相机位姿相关的四个参数。
[0054]
获取多视点三维模型成像视图后，进行模板构建，基于边缘梯度特征实现，主要步骤如下：
[0055]
1)对图像进行高斯滤波，利用sobel算子提取rgb图像的三个通道的梯度，并在梯
度幅值最大的通道计算梯度方向。
[0056][0057][0058]
式中，c表示图像某一通道，ori(
·
)表示梯度方向，x表示像素位置。
[0059]
2)提取候选特征点。保留梯度幅值大于一定阈值的像素作为特征点，并对保留的特征点集进行采样。
[0060]
3)对过滤后的特征点集进行梯度方向量化，梯度方向统一到0-180
°
，并划分为n个范围，用量化值分别进行表示。
[0061]
4)特征点描述子保存。每个特征点分别用x、y坐标以及所属量化值表征。通过对多视角下的模板图像依次进行以上操作，最终保存为模板文件。
[0062]
本发明实施例中，所需特征点的数量根据图像分辨率、零件尺寸进行设置，对候选特征点过滤时，通过特征点之间的欧式距离进行采样。梯度方向量化时，划分为8个范围，并通过1-8量化值进行表示。
[0063]
s102、输入待检图像，基于虚实边缘匹配进行装配零件识别、粗定位与定位优化。
[0064]
对输入的待检图像进行如s101中所述的梯度方向量化，并进行梯度方向扩展，即用一定邻域内的梯度方向共同表示，本实施例中采用3
×
3邻域。在模板匹配阶段，模板图像以滑动窗口的方式依次计算与对应输入图像区域的相似性，并通过建立金字塔和线性存储优化进行加速。匹配相似度评估函数如下：
[0065][0066]
式中，ε表示模板图像与检测区域的相似性，ori(o,r)表示在模板图像o位置r的梯度方向，ori(i,t)表示输入图像i中点t的梯度方向，t＝(o,p)表示模板，p为模板特征点集合。
[0067][0068]
表示以c+r为中心，τ为半径的邻域区域。
[0069]
匹配过程中计算每个区域的得分，通过设置阈值提取目标潜在区域，大于阈值的区域则判定为存在目标，否则定位失败，将存在目标的区域按照得分进行排序，取最大区域作为定位结果。在完成上述粗定位基础上，基于点到平面的icp算法进行定位优化，依次进行待检图像亚像素边缘提取、icp目标函数建立以及两组点集的转换矩阵求解，至此装配零件定位得到了微调。
[0070]
本发明实施例中，零件匹配识别阈值根据零件材质、外观特征、遮挡情况来确定。
[0071]
s103、将匹配的模板轮廓映射至图像，基于区域与边缘特征搜索虚实对应点。
[0072]
提取匹配的模板零件外轮廓，映射到图像上，沿着轮廓法线建立搜索线，通过搜索线构建前景/背景颜色统计直方图，搜索虚实边缘对应点对。首先基于区域的方法查找对应点对，定义和为像素x在考虑φ-邻域时属于前景与背景的概率，其中，pf(x)和pb(x)为通过颜色直方图计算的前景与背景先验概率，φ-表示像素点x沿搜索线向背景方向延伸的步长，同理，像素x在φ
+
区域的前/背景概率分
别为和φ
+
为像素点x沿搜索线向前景方向延伸的步长。本实施例中，φ-与φ
+
延伸步长为3个像素。进而计算像素x属于轮廓、前景、背景的概率如下：
[0073]
p(x|c)＝p(φ-|b)p(φ
+
|f)
ꢀꢀꢀ
(7)
[0074]
p(x|f)＝p(φ-|f)p(φ
+
|f)
ꢀꢀꢀ
(8)
[0075]
p(x|b)＝p(φ-|b)p(φ
+
|b)
ꢀꢀꢀ
(9)
[0076]
若p(x|c)》p(x|f)且p(x|c)》p(x|b)，则认为该像素为对应轮廓点。进一步，通过边缘信息过滤对应点对，对图像进行canny边缘检测，计算像素点x处是否为边缘，若为边缘则保留，否则，不予以考虑，至此建立了虚实两组点集。
[0077]
本实施例中，建立的搜索线数量根据轮廓点数量决定，颜色统计直方图的建立根据零件外观特征确定。
[0078]
s104、基于形状上下文匹配计算相似度与匹配率。
[0079]
将虚实pi∈p、qj∈q两组点集在对数极坐标系下利用直方图进行表达，建立如下匹配代价函数：
[0080][0081]
其中，hi(k)，hj(k)分别为点pi，qj的直方图，k表示建立的直方图索引，通过计算所有点，并建立一一匹配关系，得到相似性得分，该值基于代价矩阵建立，越小表征越相似。进一步地，将形状匹配点的欧式距离大于一定阈值的点对视为误匹配点，进而计算成功匹配点与全部匹配点的比值得到匹配率。
[0082]
本实施例中，确定误匹配点的欧式距离阈值计算方式为：匹配点集中最大距离的1/10。
[0083]
s105、通过零件识别得分、相似度、匹配率综合判别漏装。
[0084]
漏装判别过程如图3所示，通过基于边缘匹配计算图像中目标的匹配得分，大于阈值则认为存在潜在目标；基于形状匹配计算相似度是否小于阈值，若小于阈值则认为满足相似性条件；计算匹配率，若匹配率大于阈值，则认为装配正确；以上三个条件同时满足则装配正常，否则检测为漏装。将装配正确表示1，漏装表示0，则判定条件如下式：
[0085][0086]oth
、s
th
、r
th
分别表示零件识别阈值、形状相似度阈值、匹配率阈值。至此，完成了整个漏装检测过程。
[0087]
本实施例中，零件识别阈值、形状相似度阈值、匹配率阈值根据装配零件尺寸、外观特点确定。
[0088]
以上所述仅是本发明的优选实施方式，而不是限制性的，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本发明的保护范围。