技术特征：
1.一种基于虚实边缘匹配的机电产品漏装检测方法，其特征在于，包括一下步骤：标定相机，并基于虚拟空间成像获取三维模型多视角虚拟视图，通过提取边缘梯度构建模板；输入待检图像，基于虚实边缘匹配进行装配零件识别、粗定位与定位优化；将匹配的模板轮廓映射至图像，基于区域与边缘搜索虚实对应点；基于形状上下文匹配计算相似度与匹配率；通过零件识别得分、相似度、匹配率综合判别漏装。2.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法，其特征在于：进行虚拟空间成像获取三维模型多视角虚拟视图图像时，通过设置相机与三维模型的不同位姿完成，用经度纬度δ、半径r以及虚拟相机绕自身z
c
轴转动的角度θ来表示。模板构建时，基于边缘梯度特征，其步骤为：1)对图像进行高斯滤波，利用sobel算子提取rgb图像的三个通道的梯度，并在梯度幅值最大的通道计算梯度方向。值最大的通道计算梯度方向。上式中，c表示图像某一通道，ori(
·
)表示梯度方向，x表示像素位置。2)提取候选特征点。保留梯度幅值大于一定阈值的像素作为特征点，并对保留的特征点集进行采样。3)对过滤后的特征点集进行梯度方向量化，梯度方向统一到0-180
°
，并划分为n个范围，用量化值分别进行表示。4)特征点描述子保存。每个特征点分别用x、y坐标以及所属量化值表征。通过对多视角下的模板图像依次进行以上操作，最终保存为模板文件。3.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法，其特征在于：进行装配零件识别时，对输入的待检图像进行梯度方向量化，并进行梯度方向扩展，用一定邻域内的梯度方向共同表示。在模板匹配过程时，模板图像以滑动窗口的方式依次计算与对应输入图像区域的相似性，并通过建立金字塔和线性存储优化进行加速。构建的匹配相似度评估函数如下：式中，ε表示模板图像与检测区域的相似性，ori(o,r)表示在模板图像o位置r的梯度方向，ori(i,t)表示输入图像i中点t的梯度方向，t＝(o,p)表示模板，p为模板特征点集合。上式表示以c+r为中心，τ为半径的邻域区域。匹配过程中计算每个区域的得分，通过设置阈值提取目标潜在区域，大于阈值的区域则判定为存在目标，否则定位失败，将存在目标的区域按照得分进行排序，取最大区域作为定位结果。在完成上述粗定位基础上，基于点到平面的icp算法进行定位优化，依次进行待检图像亚像素边缘提取、icp目标函数建立以及两组点集的转换矩阵求解。
4.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法，其特征在于：提取匹配的模板零件外轮廓，映射到图像上，沿着轮廓法线建立搜索线，通过搜索线构建前景/背景颜色统计直方图，搜索虚实边缘对应点对。首先基于区域的方法查找对应点对，定义和和为像素x在考虑φ-邻域时属于前景与背景的概率，其中，p
f
(x)和p
b
(x)为通过颜色直方图计算的前景与背景先验概率，φ-表示像素点x沿搜索线向背景方向延伸的步长，同理，像素x在φ
+
区域的前/背景概率分别为和φ
+
为像素点x沿搜索线向前景方向延伸的步长。进而计算像素x属于轮廓、前景、背景的概率如下：p(x|c)＝p(φ-|b)p(φ
+
|f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)p(x|f)＝p(φ-|f)p(φ
+
|f)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)p(x|b)＝p(φ-|b)p(φ
+
|b)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)若p(x|c)>p(x|f)且p(x|c)>p(x|b)，则认为该像素为对应轮廓点。进一步，通过边缘信息过滤对应点对，对图像进行canny边缘检测，计算像素点x处是否为边缘，若为边缘则保留，否则，不予以考虑，建立虚实两组点集。5.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法，其特征在于：将虚实p
i
∈p、q
j
∈q两组点集在对数极坐标系下利用直方图进行表达，建立如下匹配代价函数：其中，h
i
(k)，h
j
(k)分别为点p
i
，q
j
的直方图，k表示建立的直方图索引，通过计算所有点，并建立一一匹配关系，得到相似性得分，该值基于代价矩阵建立，越小表征越相似。进一步地，将形状匹配点的欧式距离大于一定阈值的点对视为误匹配点，进而计算成功匹配点与全部匹配点的比值得到匹配率。6.根据权利要求1所述的基于虚实边缘匹配的机电产品漏装检测方法，其特征在于：通过基于边缘匹配计算图像中目标的匹配得分，大于阈值则认为存在潜在目标；基于形状匹配计算相似度是否小于阈值，若小于阈值则认为满足相似性条件；计算匹配率，若匹配率大于阈值，则认为装配正确；以上三个条件同时满足则装配正常，否则检测为漏装。将装配正确表示1，漏装表示0，则判定条件如下式：o
th
、s
th
、r
th
分别表示目标识别阈值、形状相似度阈值、匹配率阈值。利用三个指标的综合约束，判别零件漏装情况。
技术总结
本申请提供一种基于虚实边缘匹配的机电产品漏装检测方法。内容包括：标定相机，并基于虚拟空间成像获取三维模型多视角虚拟视图，通过提取边缘梯度构建模板；输入待检图像，基于虚实边缘匹配进行装配零件识别、粗定位与定位优化；将匹配的模板轮廓映射至图像，基于区域与边缘搜索虚实对应点；基于形状上下文匹配计算虚实点集形状相似度与匹配率；通过零件识别得分、相似度、匹配率综合判别漏装。本发明通过模型驱动与视觉的方法进行漏装检测，降低了对真实样本数据的依赖，提高了检测效率。提高了检测效率。提高了检测效率。
技术研发人员：杜福洲 吕能斌 王瑶伟
受保护的技术使用者：北京星航机电装备有限公司
技术研发日：2022.05.09
技术公布日：2022/9/8