一种基于数据反馈的钣金件焊接缺陷智能检测方法及装置与流程

本发明涉及钣金件焊接缺陷检测，具体是涉及一种基于数据反馈的钣金件焊接缺陷智能检测方法及装置。

背景技术：

1、随着工业化和现代化的发展，对钣金件的质量要求越来越高。焊接缺陷可能导致产品质量不合格、安全隐患和生产事故，因此需要进行及时和有效的缺陷检测。钣金件焊接缺陷检测技术的发展是为了满足质量要求、提高自动化水平、提高检测精度和速度，从而确保焊接过程的质量和可靠性。

2、现有的钣金件焊接缺陷检测方法为通过图像获取设备获取钣金件的表面图像，并对钣金件的表面图像进行图像处理得到灰度图像，之后通过灰度图像中像素点得到表面图像中的缺陷区域，从而判断钣金件的缺陷类型，但是现有的钣金件经过焊接之后，其形状各异，焊接区域分布不一，甚至有些特殊的钣金件的焊接区域位于钣金件的夹角或内侧，导致检测装置难以获取其焊接的图像，且在获取图像时易受到光线的影响，为此需要提供一种基于数据反馈的钣金件焊接缺陷智能检测方法及装置来解决上述提出的问题。

技术实现思路

1、为解决上述技术问题，提供一种基于数据反馈的钣金件焊接缺陷智能检测方法及装置，本技术方案解决了上述背景技术中提出的现有的钣金件经过焊接之后，其形状各异，焊接分布不一，甚至有些特殊的钣金件的焊接区域位于钣金件的夹角或内侧，导致检测装置难以获取其焊接的图像，且在获取图像时易受到光线的影响的问题。

2、为达到以上目的，本发明采用的技术方案为：

3、一种基于数据反馈的钣金件焊接缺陷智能检测方法，包括：

4、获取待测钣金件的多方位图像；

5、基于多方位图像的重要程度，建立待测图像库，并对待测图像库中的待测图像进行排序；

6、根据待测图像库中的待测图像，获取待测钣金件的外部焊接缺陷参数；

7、采用x射线检测，获取待测钣金件的x射线图像；

8、基于待测钣金件的x射线图像，获取待测钣金件的内部焊接缺陷参数；

9、根据待测钣金件的外部焊接缺陷参数和内部焊接缺陷参数，获取焊接缺陷指数；

10、根据焊接缺陷指数，并对待测钣金件进行评估，获取待测钣金件的缺陷总信息；

11、基于待测钣金件的缺陷总信息，获取待测钣金件相应的修复信息；

12、根据待测钣金件相应的修复信息，对待测钣金件进行焊接缺陷修复。

13、在可选的实施例中，基于多方位图像的重要程度，建立待测图像库，并对待测图像库中的待测图像进行排序，具体包括：

14、基于canny边缘检测，确定待测钣金件在多方位图像中的位置，并将待测钣金件的图像从多方位图像中分离，获取待测钣金件图像库；

15、确定待测钣金件焊接区域在待测钣金件图像中的位置，并将焊接区域的图像从待测钣金件图像中分离，获取焊接区域图像库；

16、以焊接区域图像边缘位置作为焊接区域最大尺寸，获取每个焊接区域图像的焊接图像尺寸参数；

17、基于待测钣金件图像库中的待测钣金件图像，获取每个待测钣金件图像最大尺寸参数；

18、以焊接区域最大尺寸构建空白图像，并将每个焊接区域图像分别置于一个空白图像的中心，且每个焊接区域图像外部的空白图像背景填充色均为黑色，获取待测图像，并建立待测图像库；

19、将每个焊接图像区域图像的焊接图像尺寸参数和待测钣金件图像最大尺寸参数的比值作为多方位图像的重要程度的评估指标，获取每个待测图像的重要图像指数；

20、根据每个待测图像的重要图像指数的大小，对待测图像库中的待测图像进行排序。

21、在可选的实施例中，确定待测钣金件图像库中每个图像中待测钣金件焊接区域的位置，获取焊接区域图像库，具体包括：

22、获取历史钣金件图像库；

23、基于历史钣金件图像库中的钣金件焊接区域的可见性，从历史钣金件图像库中筛选出没有模糊和过曝部分的图像，得到标准焊接区域图像库；

24、根据标准焊接区域图像库，获取每个标准焊接区域图像的分辨率信息；

25、基于每个标准焊接区域图像的分辨率信息，获取每个标准焊接区域图像的分辨率指数；

26、按照每个标准焊接区域图像的分辨率指数的大小，对标准焊接区域图像库中标准焊接区域图像的进行排序，将排序第一的标准焊接区域图像提取出来，得到焊接特征图像；

27、对焊接特征图像进行灰度处理，并对其灰度图像进行边缘增强，得到焊接特征模板；

28、利用图像处理库加载焊接特征模板和待测钣金件图像库中的待测钣金件图像；

29、基于归一化相关性匹配法，以焊接特征模板的预设图片尺寸遍历待测钣金件图像中每一个可能的位置，并计算其与焊接特征模板的相关性，记录每个位置的归一化相关性匹配值，以及对应的位置坐标；

30、以归一化相关性匹配值最高的位置作为相关性值最大的位置，并取最大归一化相关性匹配值的二分之一作为相关性匹配阈值；

31、基于相关性匹配阈值，对待测钣金件图像中每一个可能的位置进行筛选，将高于相关性匹配阈值的位置在待测钣金件图像中进行标记；

32、将待测钣金件图像中标记的位置进行连通，取连通区域面积最大的部分待测钣金件图像作为焊接区域图像，得到焊接区域图像。

33、在可选的实施例中，根据待测图像库中的待测图像，获取待测钣金件的外部焊接缺陷参数，具体包括：

34、对待测图像库中的待测图像进行二值化处理，获取待测二值图像库；

35、基于待测二值图像库中的待测二值图像，分别记录每个待测二值图像中对应的外部焊接缺陷类型信息，所述外部焊接缺陷类型信息包括第一气孔面积、第一烧穿面积、第一夹渣面积和裂纹面积；

36、根据外部焊接缺陷类型信息，获取待测钣金件的外部焊接缺陷参数；

37、其中，所述第一气孔面积、第一烧穿面积、第一夹渣面积和裂纹面积的计算步骤为：

38、s401：获取其中一个待测二值图像；

39、s402：利用图像处理库中cv.findcontours函数对待测二值图像进行轮廓检测，得到每个缺陷区域的边界，其中，呈现为圆形和椭圆形的白色区域对应第一气孔面积，呈现为沿焊缝轮廓的线状和点状白色区域对应第一烧穿面积，呈现为不规则形状的黑色区域对应第一夹渣面积，呈现为细线状或断裂状的白色区域对应裂纹面积；

40、s403：分别计算对应第一气孔面积、第一烧穿面积、第一夹渣面积和裂纹面积的缺陷区域的像素数量总和，即为第一气孔面积、第一烧穿面积、第一夹渣面积和裂纹面积；

41、所述外部焊接缺陷参数的计算公式为：

42、

43、式中，w表示待测钣金件的外部焊接缺陷参数，ωi表示第i张待测二值图像的重要程度权重，表示第i张待测二值图像中第一气孔面积的权重，表示第i张待测二值图像中第一烧穿面积的权重，表示第i张待测二值图像中第一夹渣面积的权重，表示第i张待测图像中裂纹面积的权重，表示第i张待测二值图像中的第一气孔面积，表示第i张待测二值图像中的第一烧穿面积，表示第i张待测二值图像中的第一夹渣面积，表示第i张待测二值图像中的裂纹面积，atotal表示待测钣金件的总面积，j表示待测二值图像的总数量。

44、在可选的实施例中，基于待测钣金件的x射线图像，获取待测钣金件的内部焊接缺陷参数，具体包括：

45、获取一个没有待测钣金件的背景图像，作为背景图像模板；

46、基于灰度标准化，对待测钣金件的x射线图像和背景图像模板进行预处理，使待测钣金件的x射线图像和背景图像模板具备相同的尺寸和灰度范围；

47、将待测钣金件的x射线图像和背景图像模板进行灰度标准化，再将x射线图像中每个像素值减去背景图像中对应的像素值，得到待分割图像；

48、基于x射线图像和背景图像模板的平均灰度值，获取分割阈值；

49、基于分割阈值，对待分割图像进行阈值处理，得到待分割二值图像；

50、基于区域增长，填充和连接待测钣金件在待分割二值图像中的部分图像，得到待测钣金件的全方位图像；

51、基于待测钣金件的全方位图像，分别记录全方位图像中对应的内部焊接缺陷类型信息，所述内部焊接缺陷类型信息包括第二气孔面积、第二夹渣面积、第二裂纹面积、未熔化区域面积、杂质面积和不均匀结构面积；

52、根据内部焊接缺陷类型信息，获取待测钣金件的内部缺陷参数；

53、其中，所述第二气孔面积、第二夹渣面积、第二裂纹面积、未熔化区域面积、杂质面积和不均匀结构面积的计算步骤为：

54、s501：获取待测钣金件的全方位图像；

55、s502：利用图像处理库中cv.findcontours函数对全方位图像进行轮廓检测，得到每个缺陷区域的边界，其中，呈现为圆形和椭圆形的暗点和暗斑对应第二气孔面积，呈现为不规则的亮点和亮斑对应第二夹渣面积，呈现为较细的暗线和暗影对应第二裂纹面积，在焊接区域周围呈现的不规则的较浅的区域对应未熔化区域面积，呈现为明显的不规则形状的暗斑对应杂质面积，呈现为密度不均匀的区域和灰度变化的区域对应不均匀结构面积；

56、s503：分别计算对应第二气孔面积、第二夹渣面积、第二裂纹面积、未熔化区域面积、杂质面积和不均匀结构面积的缺陷区域的像素数量总和，即为第二气孔面积、第二夹渣面积、第二裂纹面积、未熔化区域面积、杂质面积和不均匀结构面积；

57、所述内部焊接缺陷参数的计算公式为：

58、

59、式中，n表示待测钣金件的内部缺陷参数，bn表示各种缺陷的面积，γn表示每种缺陷的权重因子，m表示缺陷类型的总数目。

60、在可选的实施例中，根据焊接缺陷指数，并对待测钣金件进行评估，获取待测钣金件的缺陷总信息，具体包括：

61、基于外部焊接缺陷类型信息，获取每种缺陷的外部缺陷位置信息和外部缺陷大小信息；

62、基于外部缺陷位置信息和外部缺陷大小信息，获取外部缺陷影响因子；

63、基于内部焊接缺陷类型信息，获取每种缺陷的内部缺陷位置信息和内部缺陷大小信息；

64、基于内部缺陷位置信息和内部缺陷大小信息，获取内部缺陷影响因子；

65、将外部缺陷影响因子和内部缺陷影响因子平均值的1％作为待测钣金件的焊接缺陷指数阈值；

66、根据外部焊接缺陷参数和内部焊接缺陷参数，获取焊接缺陷指数；

67、判断焊接缺陷指数是否超出焊接缺陷指数阈值，若是，则对待测钣金件进行焊接缺陷修复，若否，则继续获取下一个待测钣金件的多方位图像和x射线图像；

68、其中，所述外部缺陷影响因子的计算公式为：

69、

70、式中，iout表示外部缺陷影响因子，θα表示第α个外部焊接缺陷位置参数的权重，cα表示第α个外部焊接缺陷位置参数，表示第α个外部缺陷大小参数的权重，dα表示第α个外部缺陷大小参数，β表示外部缺陷类型的总数目；

71、所述内部缺陷影响因子的计算公式为：

72、

73、式中，iin表示内部缺陷影响因子，ρμ表示第μ个内部焊接缺陷位置参数的权重，eμ表示第μ个内部焊接缺陷位置参数，σμ表示第μ个内部缺陷大小参数的权重，fμ表示第μ个内部缺陷大小参数，π表示内部缺陷类型的总数目；

74、所述焊接缺陷指数的计算公式为：

75、gz＝δw+εn；

76、式中，gz表示第z个待测钣金件的焊接缺陷指数，w表示外部焊接缺陷参数，δ表示外部焊接缺陷参数的权重，n表示内部焊接缺陷参数，ε表示内部焊接缺陷参数的权重。

77、进一步的，提出一种基于数据反馈的钣金件焊接缺陷智能检测装置，用于实现上述中的检测方法，包括：

78、数据获取模块，所述数据获取模块用于获取待测钣金件的多方位图像、待测钣金件的x射线图像、历史钣金件图像和背景图像模板；

79、数据处理模块，所述数据处理模块用于基于canny边缘检测，确定待测钣金件在多方位图像中的位置，并将待测钣金件的图像从多方位图像中分离，获取待测钣金件图像库，基于灰度标准化，对待测钣金件的x射线图像和背景图像模板进行预处理，使待测钣金件的x射线图像和背景图像模板具备相同的尺寸和灰度范围，将待测钣金件的x射线图像和背景图像模板进行灰度标准化，再将x射线图像中每个像素值减去背景图像中对应的像素值，得到待分割图像，用于计算外部焊接缺陷参数、内部焊接缺陷参数、外部缺陷影响因子、内部缺陷影响因子、焊接缺陷指数和焊接缺陷指数阈值，用于判断焊接缺陷指数是否超出焊接缺陷指数阈值，判断待测钣金件是否需要焊接缺陷修复；

80、数据传输模块，所述数据传输模块用于将数据获取模块中的图像和数据传输至数据处理模块和显示模块；

81、显示模块，所述显示模块用于显示待测钣金件的多方位图像及图像的处理过程和显示待测钣金件的x射线图像及图像的处理过程。

82、在可选的实施例中，所述数据获取模块，具体包括：

83、第一获取单元，所述第一获取单元用于获取待测钣金件的多方位图像和待测钣金件的x射线图像；

84、第二获取单元，所述第二获取单元用于获取历史钣金件图像库和背景图像模板。

85、在可选的实施例中，所述数据处理模块，具体包括：

86、图像处理单元，所述图像处理单元用于基于canny边缘检测，确定待测钣金件在多方位图像中的位置，并将待测钣金件的图像从多方位图像中分离，获取待测钣金件图像库，基于灰度标准化，对待测钣金件的x射线图像和背景图像模板进行预处理，使待测钣金件的x射线图像和背景图像模板具备相同的尺寸和灰度范围，将待测钣金件的x射线图像和背景图像模板进行灰度标准化，再将x射线图像中每个像素值减去背景图像中对应的像素值，得到待分割图像；

87、计算单元，所述计算单元用于计算外部焊接缺陷参数、内部焊接缺陷参数、外部缺陷影响因子、内部缺陷影响因子、焊接缺陷指数和焊接缺陷指数阈值；

88、判断单元，所述判断单元用于判断焊接缺陷指数是否超出焊接缺陷指数阈值，判断待测钣金件是否需要焊接缺陷修复。

89、在可选的实施例中，所述显示模块，具体包括：

90、第一显示单元，所述第一显示单元用于显示待测钣金件的多方位图像及图像的处理过程；

91、第二显示单元，所述第二显示单元用于显示待测钣金件的x射线图像及图像的处理过程。

92、与现有技术相比，本发明的有益效果是：

93、本方案提出的一种基于数据反馈的钣金件焊接缺陷智能检测方法，基于多方位图像的重要程度，建立待测图像库，并对待测图像库中的待测图像进行二值化处理，获取待测二值图像库，之后获取待测钣金件的外部焊接缺陷参数，通过采用x射线检测，获取待测钣金件的x射线图像，将待测钣金件的x射线图像和背景图像模板进行灰度标准化，再将x射线图像中每个像素值减去背景图像中对应的像素值，得到待分割图像，再获取待测钣金件的内部焊接缺陷参数，通过待测钣金件的外部焊接缺陷参数和内部焊接缺陷参数，获取焊接缺陷指数，之后根据焊接缺陷指数，对待测钣金件进行评估，获取待测钣金件的缺陷总信息，实现快速判断钣金件的缺陷类型，制定相应的焊接缺陷修复计划，同时实现对焊接区域位于钣金件的夹角或内侧的特殊钣金件进行更加准确的焊接缺陷检测，不会受到光线的影响。