一种基于知识蒸馏的轻量化动态DR钢管焊缝缺陷检测方法与流程

本技术涉及管道焊缝缺陷检测，特别是涉及一种基于知识蒸馏的轻量化动态dr钢管焊缝缺陷检测方法。

背景技术：

1、在钢管制造生产中，钢管卷管的焊接是一个重要的环节，焊接质量直接影响到钢管结构的安全性、稳定性和使用寿命，如果焊接过程中出现问题，如焊缝不连续、焊接不牢固等，都会导致钢管卷管的强度下降，从而影响到整个结构的安全性，再如焊接缝隙出现气孔、夹渣等问题，会导致钢管卷管的密封性降低，从而影响到其使用寿命，此外，如果钢管卷管内部存在渗漏，不仅会影响到其正常使用，严重时甚至会导致安全事故。

2、因此，钢管的缺陷检测和返修就显得格外重要，钢管焊接是一个复杂而关键的过程，其中缺陷检测和返修对于确保安全性、稳定性、耐久性、维护成本及生产效率等方面都具有重要的影响，通过缺陷检测，可以及时发现这些问题并进行相应的返修措施，如矫直、修补、填充焊缝或打磨焊缝等，返修后，应再次进行检测以确保缺陷已被完全消除，现国内钢管厂普遍采用的缺陷检测方式为动态dr检测，动态dr成像系统使得钢管焊接的流程更加自动化，但是扫描速度快，停留时间少，车间普遍采用人工缺陷检测的方式。

3、目前以深度学习技术为基础的机器视觉技术恰好可以弥补人工检测的缺陷，并且以目标检测方法为主，目标检测方法以整张图像为输入，检测出与人工指定标签类别相同特征的矩形区域，输出区域的坐标，这不仅可以大大提高生成效率和生成自动化程度，而且机器易于实现信息集成，满足数字化自动生产的要求，基于目标检测的方法进行缺陷检测的步骤分为：图像增强、特征融合、缺陷分类和边框回归，并且，伴随着近几年深度学习的发展，faster-rcnn与yolo系列等算法的出现使得缺陷检测领域取得了飞速的发展，但是以目标检测技术为主的机器视觉的焊缝缺陷检测方式也存在以下问题：通用目标检测网络参数量大，运行速度慢，难以部署在要求高实时性的边缘场景下，而一般的轻量化网络虽然参数量少，推理速度快，但不可避免会带来精度的下降，仍然不适合用于要求高精度的缺陷检测场景中。

4、因此，针对现有技术不足，提供一种基于知识蒸馏的轻量化动态dr钢管焊缝缺陷检测方法以解决现有技术不足甚为必要。

技术实现思路

1、本技术的目的在于避免现有技术的不足之处而提供一种基于知识蒸馏的轻量化动态dr钢管焊缝缺陷检测方法，本技术提供的轻量化动态dr钢管缺陷检测模型；

2、从数据增强的角度丰富数据场景，对特征进行泛化，使目标检测器学习到更一般的特征，提高泛化能力；

3、采用基于repvggblock轻量化模块代替普通卷积构造特征提取的主干网络，特征融合的颈部网络和快速检测头网络，在保持精度的同时，提升模型推理速度；

4、使用知识蒸馏模型压缩技术，通过教师模型与学生模型之间的知识迁移，在不增加额外参数的同时，进一步提升模型精度，本技术适用于边缘场景下动态dr钢管焊缝缺陷检测场景的部署。

5、本技术的上述目的通过如下技术手段实现。

6、提供一种基于知识蒸馏的轻量化动态dr钢管焊缝缺陷检测方法，包括以下步骤；

7、s1：数据采集，依据dr数字成像原理得到管道焊缝缺陷图像；

8、s2：制作数据集，对管道焊缝缺陷图像进行缺陷标注得到真实标签，制作数据集；

9、s3：增强管道焊缝缺陷图像获得增广图像；

10、步骤s3中采用随机数据增强方法，如翻转、随机亮度调整、图像扭曲等获得增广图像具体操作步骤如下；

11、s3.1：图像翻转，给定图像，水平翻转后的图像可表示为：

12、（公式6）

13、垂直翻转后的图像，可表示为：

14、（公式7）

15、其中表示通道，表示横坐标，表示纵坐标；

16、s3.2：随机亮度调整,给定图像，随机亮度调整后的图像可表示为：

17、（公式8）

18、其中，为截断函数，确保最终图像的像素在0-255内，为随机生成的亮度增量；

19、s3.3：图像扭曲，给定图像，扭曲后的图像可表示为：

20、（公式9）

21、其中，为图像扭曲数学模型生成的扭曲偏置。

22、s4：初始化教师模型和学生模型；

23、s5：将增广图像分别送入教师模型与学生模型，进行缺陷分类与定位，计算损失函数；

24、s5.1：将增广图像缩放至固定尺度px640*640，通道数为3；

25、s5.2：将步骤s5.1所得增广图像送入基于repvggblock的主干网络提取特征,输出三个尺度的特征图；

26、在步骤s5.2中主干网络基于resnet50网络，使用轻量化卷积模块repvggblock，特征提取分为三个的阶段，特征提取的三个阶段输出尺度分别为px80*80、px40*40、px20*20的三个特征图。

27、s5.3：将三个尺度的特征图输入到轻量化颈部网络中进行特征融合，获得三个尺度的融合特征图；

28、在步骤s5.3中首先使用轻量化卷积模块repvggblock对三个尺度特征图进行采样，然后送入特征金字塔网络fpn和路径聚合网络pan中进行特征融合，最终获得三个尺度的融合特征图。

29、s5.4：将三个尺度的融合特征图送入教师模型与学生模型的轻量化快速检测头模型中，分别预测得到前背景置信度、分类置信度和边框坐标，其中， ， ；

30、轻量化快速检测头模型由两层轻量化卷积模块repvggblock构成，且第二层的轻量化卷积模块repvggblock具有3个并行分支。

31、s5.5：保存教师网络与学生网络的中间层特征结果；

32、s5.6：计算损失函数，步骤s5.6中具体操作如下；

33、计算目标检测损失函数 ，其中损失函数包括：边框定位损失、分类损失、前背景损失和蒸馏损失；

34、利用前背景置信度、分类置信度和边框坐标，与真实标签计算目标边框定位损失、分类损失和前背景损失；

35、利用中间层特征，前背景置信度、分类置信度和边框坐标，计算蒸馏损失；

36、其中，是基于损失函数的边框定位损失，其公式如下：

37、（公式1）

38、是基于损失函数的分类损失，其公式如下：

39、（公式2）

40、是基于二值交叉熵损失函数前背景损失，其公式如下：

41、（公式3）

42、是基于infonce损失函数的蒸馏损失，其公式如下：

43、（公式4）

44、检测损失函数其公式如下：

45、（公式5）。

46、s6：判断损失函数是否稳定，若不稳定，则返回步骤s2进行迭代训练，若损失函数达到稳定状态，则保留学生模型作为量化动态dr钢管缺陷检测模型。

47、本技术的目的在于避免现有技术的不足之处而提供一种基于知识蒸馏的轻量化动态dr钢管焊缝缺陷检测方法，本技术提供的轻量化动态dr钢管缺陷检测模型；

48、从数据增强的角度丰富数据场景，对特征进行泛化，使目标检测器学习到更一般的特征，提高泛化能力；

49、采用基于repvggblock轻量化模块代替普通卷积构造特征提取的主干网络，特征融合的颈部网络和快速检测头网络，在保持精度的同时，提升模型推理速度；

50、使用知识蒸馏模型压缩技术，通过教师模型与学生模型之间的知识迁移，在不增加额外参数的同时，进一步提升模型精度，本技术适用于边缘场景下动态dr钢管焊缝缺陷检测场景的部署。