一种基于三维点云的焊缝缺陷检测方法与流程

1.本发明涉及焊缝缺陷检测领域，具体涉及一种基于三维点云的焊缝缺陷检测方法。


背景技术：

2.在金属件加工流程中，焊接工艺是很多金属产品不可或缺的一道工艺，焊接质量的好坏，直接影响着整个产品的使用稳定性；在焊接过程中，主要存在以下缺陷：1)气孔缺陷：由于焊接熔池中的气体来不及逸出，停留在焊缝中形成的缺陷；2)飞溅缺陷：焊接时焊条或焊丝与被焊工件熔合在一起的过程中由于电弧力的作用将部分液化了的金属向熔池四周喷溅产生的缺陷；3)深凹坑缺陷：由于装配间隙过大或焊接速度过快产生的缺陷；4)焊穿缺陷：焊接时熔化金属自焊缝背面流出并脱离焊道形成穿孔的现象。其中，深凹坑、焊穿缺陷均为凹陷状缺陷，尺寸较大且深度值信息比较突出，比较容易检出，而气孔、飞溅缺陷为尺寸大小比较随机，容易误检、漏检。
3.为了评估焊缝质量，在焊接结束后或焊接过程中，需要对焊接区域进行缺陷检测，现有的缺陷检测方法主要有人工检测、视觉检测等方法；人工检测的缺点在于成本较高，检测结果容易受到检测人员的疲劳或疏忽等因素影响；视觉检测能够实现自动化检测，但是由于焊缝图像对比度差、噪点多，常见的缺陷检测方法存在以下问题：均值滤波-着重对缺陷区域的边缘滤波，对于缺陷区域的中间部分滤波效果差，因此识别率低、准确度差；中值滤波、高斯滤波和双边滤波-着重对缺陷区域的四个角点进行滤波，对于缺陷区域的中间部分同样滤波效果不佳，虽然相对于均值滤波准确度有所提高，但依然存在漏检、误检的问题，同时算法复杂、耗时长。


技术实现要素：

4.为了解决上述技术问题，本发明提供一种基于三维点云的焊缝缺陷检测方法，该方法提出一种新的滤波方式，对焊缝区域的深度图像进行滤波处理，增加了滤波后缺陷区域与原始图像缺陷区域之间的深度差异，从而准确识别出缺陷区域在图像中的位置；同时也可以降低漏报率；具有快速、便捷、准确的特点，适用于各焊缝气孔缺陷的识别、检测。
5.技术方案如下：
6.一种基于三维点云的焊缝缺陷检测方法，包括以下步骤：
7.步骤一、扫描焊缝区域的点云，利用点云信息生成深度图像；
8.步骤二、采用以下方式对深度图像滤波：
9.从深度图像的中任取一个像素点，以其为中心、框选深度图像的局部区域，记为待处理选区，待处理选区的尺寸根据缺陷尺寸的经验信息设置；
10.再以待处理选区为中心区域，查找与其位置衔接的邻接区域；将邻接区域内各像素点的深度值取平均，得到深度均值；所述深度值为像素点在原始深度图像中的深度值；
11.将待处理选区中心位置处的像素点的深度值替换成所述深度均值，以此对待处理
选区的中心像素点滤波；
12.遍历深度图像的各个像素点，采用相同的滤波处理方式，完成对整幅深度图像的滤波；
13.步骤三、步骤三、求取滤波后的深度图像与原始深度图像上各像素点的深度差值绝对值，将深度差值绝对值大于预设值i的像素点，标记为缺陷区域内的点；
14.标记出缺陷区域内的各个点，获得缺陷区域位置。
15.进一步，将缺陷区域还原到原始深度图像中，利用以下步骤对缺陷区域进行判断：
16.以图像坐标系x轴方向为行方向，分别对缺陷区域内的每行像素点进行抛物线拟合；
17.若拟合出的抛物线开口尺寸及抛物线弓形面积均满足预设条件，则标注对应的像素点，否则，不保留；
18.判断是否存在被标注的像素点，若是，则统计所有被标注的像素点，记为气孔/飞溅缺陷区域；若否，则该缺陷区域为其他缺陷。
19.进一步，判断拟合出的抛物线开口尺寸及抛物线弓形面积均满足预设条件，采用以下方式：
20.根据气孔缺陷或飞溅缺陷经验信息，预设抛物线开口尺寸阈值a、抛物线弓形面积阈值b，当拟合出的抛物线开口尺寸大于阈值a且拟合出的抛物线弓形面积大于阈值b时，满足预设条件。
21.进一步，利用最小二乘法或者ransac方法对缺陷区域内的每行像素点进行抛物线拟合。
22.进一步，利用以下方式对缺陷区域进行判断、识别：
23.将缺陷区域还原到原始深度图像中，再分别计算缺陷区域内首行像素点的深度均值和尾行像素点的深度均值，对应记为首行均值、尾行均值；将首行均值、尾行均值分别与缺陷区域内的最小深度值作差，差值记为h1、h2；
24.判断(h1+h2)/2、h1/h2是否均处于预设的数值区间，若是，则将缺陷区域标记为气孔/飞溅缺陷区域；若否，则将缺陷区域标记为其他缺陷区域；
25.预设的数值区间根据气孔缺陷或飞溅缺陷的深度、对称度经验信息设定。
26.优选，所述待处理选区为矩形区域；
27.所述邻接区域包括与待处理选区在上、下和/或左、右方向上位置衔接的多个子区域，或者所述邻接区域为待处理选区的四邻域或八邻域。
28.优选，所述待处理选区的单个边长取值0.5mm～2.5mm；所述邻接区域内单个子区域的面积为待处理选区面积的0.8～1.2倍。
29.进一步，所述待处理选区为圆形区域；
30.所述邻接区域为：与待处理选区相同几何中心的圆形或矩形区域、其面积为待处理选区面积的1.2～2倍。
31.优选，所述待处理选区的半径取值0.5mm～2.5mm。
32.本方法提出一种新的滤波方式，对焊缝区域的深度图像进行滤波处理，该滤波方式利用与待滤波像素点不衔接的外部区域的深度均值替代原始深度值，进而增加了滤波后缺陷区域与原始图像缺陷区域之间的深度差异，经过与原始图相减，从而准确识别出缺陷
区域在图像中的位置；此过程极大地降低了缺陷候选区域的提取时间，能够实现对缺陷的实时检测；同时也可以降低漏报率；
33.进一步，还通过对缺陷区域像点拟合抛物线，剔除非气孔/飞溅缺陷区域内的像点，准确识别气孔/飞溅缺陷区域；降低缺陷的误报率；
34.同时，通过判断缺陷区域的对称度h1/h2、缺陷深度(h1+h2)/2，识别缺陷区域的类型(气孔/飞溅)缺陷。
35.本方法具有快速、便捷、准确的特点，适用于各焊缝气孔缺陷的识别、检测。
36.各滤波方法处理相同的焊缝区域(800
×
470)，对比如下：
37.滤波名称均值滤波中值滤波高斯滤波双边滤波本方法耗时10ms30ms32ms30ms15ms能够识别缺陷的最小尺寸1.5mm0.4mm1.0mm2.0mm0.3mm
38.由上表可以看出，本发明处理方法耗时短，能够检测出的缺陷区域更小，降低漏检率，在准确性、检测效率方面均有所提升。
附图说明
39.图1a为具体实施方式中焊缝区域灰度图；
40.图1b为具体实施方式中焊缝区域点云图；
41.图1c为具体实施方式中焊缝区域深度图(局部放大)；
42.图2为具体实施方式中滤波处理后焊缝缺陷区域的标记示意图；
43.图3为具体实施方式中不同滤波方法处理后像素点深度信息对比示意图。
具体实施方式
44.以下结合附图和具体实施方式对本发明的技术方案进行详细描述。
45.一种基于三维点云的焊缝缺陷检测方法，包括以下步骤：
46.步骤一、扫描焊缝区域的点云，利用点云信息生成深度图像；
47.步骤二、采用以下方式对深度图像滤波：
48.从深度图像的中任取一个像素点，以其为中心、框选深度图像的局部区域，记为待处理选区，待处理选区的尺寸根据缺陷尺寸的经验信息设置；
49.再以待处理选区为中心区域，查找与其位置衔接的邻接区域；将邻接区域内各像素点的深度值取平均，得到深度均值；深度值为像素点在原始深度图像中的深度值；
50.将待处理选区中心位置处的像素点的深度值替换成深度均值，以此对待处理选区的中心像素点滤波；
51.遍历深度图像的各个像素点，采用相同的滤波处理方式，完成对整幅深度图像的滤波；
52.如图3所示，本方法处理后的深度值与原始图像深度值之间的差值增加，由此进行步骤三；
53.步骤三、求取滤波后的深度图像与原始深度图像上各像素点的深度差值绝对值，将深度差值绝对值大于预设值i的像素点，标记为缺陷区域内的点；
54.标记出缺陷区域内的各个点，获得缺陷区域位置。
55.其中，若缺陷为飞溅缺陷，则深度差值为负数；其他缺陷得出的深度差值为正数。
56.具体实施时，待处理选区及邻接区域可以采用以下设置方式：
57.方式一：待处理选区为矩形区域；
58.邻接区域包括与待处理选区在上、下和/或左、右方向上位置衔接的多个子区域，或者邻接区域为待处理选区的八邻域。
59.由于缺陷通常为0.3～2.5mm，因此待处理选区的单个边长取0.3mm～2.5mm；邻接区域内单个子区域的面积为待处理选区面积的0.8～1.2倍。
60.为了便于解算，更优选实施为，待处理选区尺寸(10～30像素)
×
(10～30像素)，邻接区域为待处理选区的八邻域，八个子区域的面积均与待处理选区面积一致。
61.方式二：待处理选区为圆形区域；其半径取值0.3mm～2.5mm；
62.邻接区域为：与待处理选区相同几何中心的圆形或矩形区域、其面积为待处理选区面积的1.2～2倍。
63.由于气孔/飞溅缺陷切面呈现抛物线型，为了进一步优化、判断气孔/飞溅缺陷区域，将缺陷区域还原到原始深度图像中，利用以下步骤对缺陷区域进行判断：
64.以图像坐标系x轴方向为行方向，分别对缺陷区域内的每行像素点进行抛物线拟合；
65.若拟合出的抛物线开口尺寸及抛物线弓形面积均满足预设条件，则标注对应的像素点，否则，不保留；
66.判断是否存在被标注的像素点，若是，则统计所有被标注的像素点，记为气孔/飞溅缺陷区域；若否，则该缺陷区域为其他缺陷。其他缺陷包括深凹坑缺陷和焊穿缺陷，由于焊穿缺陷、深凹坑缺陷的尺寸较大，当计算机识别出缺陷后，通过肉眼观察可以区分确定缺陷类型。
67.其中，判断拟合出的抛物线开口尺寸及抛物线弓形面积均满足预设条件，采用以下方式：
68.根据气孔缺陷或飞溅缺陷经验信息，预设抛物线开口尺寸阈值a、抛物线弓形面积阈值b，当拟合出的抛物线开口尺寸大于阈值a且拟合出的抛物线弓形面积大于阈值b时，满足预设条件。
69.具体实施时，可以利用最小二乘法或者ransac方法对缺陷区域内的每行像素点进行抛物线拟合。
70.此外，为了更进一步的确定缺陷区域、识别缺陷类型；利用以下方式对缺陷区域进行判断、识别：
71.将缺陷区域还原到原始深度图像中，再分别计算缺陷区域内首行像素点的深度均值和尾行像素点的深度均值，对应记为首行均值、尾行均值；将首行均值、尾行均值分别与缺陷区域内的最小深度值作差，差值记为h1、h2；
72.利用其解算气孔缺陷或飞溅缺陷的深度(h1+h2)/2、对称度h1/h2；
73.判断(h1+h2)/2、h1/h2是否均处于预设的数值区间，若是，则将缺陷区域标记为气孔/飞溅缺陷区域；若否，则将缺陷区域标记为其他缺陷区域；
74.预设的数值区间根据气孔缺陷或飞溅缺陷的深度、对称度经验信息设定。
75.上述抛物线判断方法和深度、对比度判断方法可以在步骤三进行完之后，只进行
其中一种判断方法；也可以两种判断方法同步/顺序执行；共同判断、识别气孔缺陷或飞溅缺陷。
76.以下为示例性方案：
77.一种基于三维点云的焊缝缺陷检测方法，包括以下步骤：
78.步骤一、扫描焊缝区域(如图1a)的点云(如图1b)，利用点云信息生成深度图像(如图1c)；
79.步骤二、采用以下方式对深度图像滤波：
80.从深度图像的中任取一个像素点，以其为中心、框选深度图像的局部区域，记为待处理选区，待处理选区为矩形区域，尺寸15
×
20px；
81.再以待处理选区为中心区域，查找与其位置衔接的邻接区域；邻接区域为待处理选区的八邻域，尺寸20
×
30px；
82.将邻接区域内各像素点的深度值取平均，得到深度均值；深度值为像素点在原始深度图像中的深度值；
83.将待处理选区中心位置处的像素点的深度值替换成深度均值，以此对待处理选区的中心像素点滤波；
84.遍历深度图像的各个像素点，采用相同的滤波处理方式，完成对整幅深度图像的滤波；
85.步骤三、求取滤波后的深度图像与原始深度图像上各像素点的深度差值绝对值，将深度差值绝对值大于预设值i的像素点，标记为缺陷区域内的点；其中，预设值i设置为：8；
86.标记出缺陷区域内的各个点，获得缺陷区域位置。
87.分别利用均值滤波、中值滤波、高斯滤波、双边滤波以及本滤波方法对焊缝区域进行滤波处理、再与原始深度图相减；如图2所示，截取气孔缺陷(黑框内)及其周围的局部背景区域，各像素点的深度差值如图所示；
88.由图可知，均值滤波获得的深度差最小，与原始图作差后难以标记出准确的缺陷位置；中值滤波、高斯滤波、双边滤波处理后的深度差异有所提升，但还是会漏检缺陷区域上的点，造成缺陷区域不完整；本方法处理后的深度差增大，提取的缺陷区域更为准确、完整。
89.进一步将步骤三得出缺陷区域还原到原始深度图像中，利用以下步骤对缺陷区域进行判断：
90.以图像坐标系x轴方向为行方向，分别对缺陷区域内的每行像素点进行ransac抛物线拟合；
91.若拟合出的抛物线开口尺寸及抛物线弓形面积均满足预设条件，则标注对应的像素点，否则，不保留；
92.判断是否存在被标注的像素点，若是，则统计所有被标注的像素点，记为气孔/飞溅缺陷区域；若否，则该缺陷区域为其他缺陷。
93.更进一步将标注得出的缺陷区域还原到原始深度图像中，再分别计算缺陷区域内首行像素点的深度均值和尾行像素点的深度均值，对应记为首行均值、尾行均值；将首行均值、尾行均值分别与缺陷区域内的最小深度值作差，差值记为h1、h2；
94.利用其解算气孔缺陷或飞溅缺陷的深度(h1+h2)/2、对称度h1/h2；
95.判断(h1+h2)/2、h1/h2是否均处于预设的数值区间，若是，则将缺陷区域标记为气孔/飞溅缺陷区域；若否，则将缺陷区域标记为其他缺陷区域。
96.前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的，也不是想要把本发明限制为所公开的精确形式，显然，根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用，从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。