工件表面缺陷检测模型获取方法和系统与流程

本申请涉及缺陷检测领域，特别是涉及一种工件表面缺陷检测模型获取方法和系统。

背景技术：

1、工件表面缺陷检测是保证工件生产质量的重要途径。随着计算机技术和3d相机的发展，现有技术形成了基于2d图像的机器视觉检测方法和基于3d点云的表面缺陷检测方法。

2、基于2d图像的机器视觉表面缺陷检测方法，通常采用传统模板匹配或深度学习方法检测缺陷，但是此方法受限于2d图像本身的特性，只能检测到平面成像上可见缺陷，对于立体缺陷检测性能不佳。基于3d点云的表面缺陷检测方法，主要通过3d成像技术获取产品的三维点云数据，根据点云深度信息捕获工件表面的几何信息，实现对物体表面的缺陷检测。由于3d缺陷视觉检测对数据质量要求较高，因此需要对获取到的3d数据进行复杂繁琐的预处理。对于不同环境下获取的点云预处理方式差异较大，且无法检测表面无深度差异的缺陷，如脏污等。

3、现有的工件表面缺陷检测方法存在漏检问题，缺陷检测效果有待提升。

技术实现思路

1、本申请实施例提供了一种工件表面缺陷检测模型获取方法和系统，以至少解决相关技术中工件表面缺陷检测方法存在漏检的问题。

2、第一方面，本申请实施例提供了一种工件表面缺陷检测模型获取方法，包括：

3、获取目标工件的rgb图像和点云图像；

4、根据所述rgb图像和点云图像对缺陷检测模型进行训练，响应于满足预设迭代条件时，停止迭代，得到缺陷检测模型；

5、所述缺陷检测模型包括rgb分支、点云分支、融合模块和输出模块，

6、所述rgb分支用于通过多层网络提取所述rgb图像的rgb图像特征，

7、所述点云分支用于通过多层网络提取所述点云图像的点云图像特征，

8、所述融合模块用于融合所述rgb图像特征和点云图像特征得到目标图像特征，且具体包括梯度注意力模块，所述梯度注意力模块用于交替接收所述rgb分支或所述点云分支发送的当前层提取特征，对所述当前层特征进行处理得到梯度增强特征，并将所述梯度增强特征发送至另一分支进行特征融合，以获取所述目标图像特征，

9、所述输出模块用于根据所述目标图像特征检测缺陷区域并输出检测结果。

10、在一实施例中，所述梯度注意力模块包括通道注意力模块和空间注意力模块。

11、在一实施例中，所述缺陷检测模型还包括拼接模块，所述拼接模块包括rgb拼接模块和点云拼接模块，

12、所述rgb拼接模块与rgb分支中的每个中间层连接，用于获取每个中间层的特征，对特征进行拼接，并将拼接后的特征传输至rgb分支的cbr模块；

13、所述点云拼接模块与点云分支中的每个中间层连接，用于获取每个中间层的特征，对特征进行拼接，并将拼接后的特征传输至点云分支的cbr模块。

14、在一实施例中，根据所述rgb图像和点云图像对缺陷检测模型进行训练，包括：

15、采用交叉熵损失对所述缺陷检测模型进行训练，训练时的损失包括rgb分支损失、点云分支损失以及rgb分支和点云分支的混合损失，所述缺陷检测模型的整体损失表示为：

16、

17、其中，l为整体损失，l3d表示所述点云分支损失，l2d表示所述rgb分支损失，lmain表示所述混合损失，λ1和λ2为损失权重。

18、在一实施例中，所述获取目标工件的rgb图像和点云图像，包括：

19、获取目标工件的图像，根据所述图像中工件的位置对所述图像进行裁剪得到目标图像，所述目标图像包括rgb图像和点云图像；

20、对所述rgb图像进行翻转、模糊、修改亮度和对比度处理；

21、对所述点云图像进行翻转、模糊处理。

22、第二方面，本申请实施例提供了一种工件表面缺陷检测方法，包括：

23、获取目标工件图像，所述目标工件图像包括rgb图像和点云图像，根据所述目标工件图像中工件的位置对所述目标工件图像进行裁剪得到待检测图像；

24、通过第一方面所述的缺陷检测模型对所述待检测图像进行处理，得到缺陷区域。

25、在一实施例中，所述缺陷检测模型在检测时，采用交叉熵损失对所述缺陷检测模型进行训练，检测时的损失包括rgb分支和点云分支的混合损失。

26、第三方面，本申请实施例提供了一种工件表面缺陷检测模型获取系统，包括：

27、获取模块：用于获取目标工件的rgb图像和点云图像；

28、训练模块：用于根据所述rgb图像和点云图像对缺陷检测模型进行训练，响应于满足预设迭代条件时，停止迭代，得到缺陷检测模型；

29、所述缺陷检测模型包括rgb分支、点云分支、融合模块和输出模块，

30、所述rgb分支用于通过多层网络提取所述rgb图像的rgb图像特征，

31、所述点云分支用于通过多层网络提取所述点云图像的点云图像特征，

32、所述融合模块用于融合所述rgb图像特征和点云图像特征得到目标图像特征，且具体包括梯度注意力子模块，所述梯度注意力子模块用于交替接收所述rgb分支或所述点云分支发送的当前层提取特征，对所述当前层特征进行处理得到梯度增强特征，并将所述梯度增强特征发送至另一分支进行特征融合，以获取所述目标图像特征，

33、所述输出模块用于根据所述目标图像特征检测缺陷区域并输出检测结果。

34、第四方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的工件表面缺陷检测模型获取方法以及第二方面所述的工件表面缺陷检测方法。

35、第五方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的工件表面缺陷检测模型获取方法以及第二方面所述的工件表面缺陷检测方法。

36、本申请实施例提供的一种工件表面缺陷检测模型获取方法和系统，至少具有以下技术效果。

37、本申请采用3d点云和2d-rgb图像检测相结合的方式，有效的扩展了缺陷检测类型。基于3d点云和rgb图像、梯度注意力模块以及双分支交互的融合模块，充分结合多模态数据的特征，形成多模态信息相互促进的学习模式，实现信息利用最大化，以避免缺陷检测时的漏检问题，提高缺陷检测模型的准确率。

38、本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

技术特征：

1.一种工件表面缺陷检测模型获取方法，其特征在于，包括：

2.根据权利要求1所述的一种工件表面缺陷检测模型获取方法，其特征在于，所述梯度注意力模块包括通道注意力模块和空间注意力模块。

3.根据权利要求1所述的一种工件表面缺陷检测模型获取方法，其特征在于，所述缺陷检测模型还包括拼接模块，所述拼接模块包括rgb拼接模块和点云拼接模块，

4.根据权利要求1所述的一种工件表面缺陷检测模型获取方法，其特征在于，根据所述rgb图像和点云图像对缺陷检测模型进行训练，包括：

5.根据权利要求1所述的一种工件表面缺陷检测模型获取方法，其特征在于，所述获取目标工件的rgb图像和点云图像，包括：

6.一种工件表面缺陷检测方法，其特征在于，包括：

7.根据权利要求6所述的一种工件表面缺陷检测方法，其特征在于，所述缺陷检测模型在检测时，采用交叉熵损失对所述缺陷检测模型进行训练，检测时的损失包括rgb分支和点云分支的混合损失。

8.一种工件表面缺陷检测模型获取系统，其特征在于，包括：

9.一种电子设备，其特征在于，包括

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至5中任一项所述的工件表面缺陷检测模型获取方法以及权利要求6至7中任一项所述的工件表面缺陷检测方法。

技术总结
本申请涉及一种工件表面缺陷检测模型获取方法和系统，其中，方法包括：根据目标工件的RGB图像和点云图像对缺陷检测模型进行训练，响应于满足预设迭代条件时，停止迭代，得到缺陷检测模型；缺陷检测模型包括RGB分支、点云分支、融合模块和输出模块，RGB分支用于通过多层网络提取RGB图像特征，点云分支用于通过多层网络提取点云图像特征，融合模块用于融合RGB图像特征和点云图像特征得到目标图像特征，且包括梯度注意力模块，梯度注意力模块用于交替接收RGB分支或点云分支发送的当前层提取特征，对当前层特征进行处理得到梯度增强特征，并发送至另一分支进行特征融合，以获取目标图像特征，输出模块用于根据目标图像特征检测缺陷区域并输出检测结果。

技术研发人员：陈权,付伟男,时少艳
受保护的技术使用者：杭州灵西机器人智能科技有限公司
技术研发日：
技术公布日：2024/9/29