一种PCB表面缺陷检测方法、系统、电子设备及介质与流程

本发明属于深度学习目标检测，具体涉及一种pcb表面缺陷检测方法、系统、电子设备及介质。

背景技术：

1、近几年，随着通信、计算机、电子等产业的发展，印刷电路板（printedcircuitboards，pcb）行业也得以快速发展。但目前pcb的质量情况不容乐观。pcb品质的好坏，取决于印制pcb上每根线条、每个孔品质的好坏，而一块板上数以千计的线条和孔中任意一个发生过细、过粗、残缺、针孔、粘连、断开、错位等质量问题，都会影响最终产品质量，或导致产生废品。pcb的层数越多，问题越突出，造成的废品率越高。

2、因而，在pcb生产过程中，如何提高中间过程的产品品质，如何减少废品率，如何提高pcb质量是各pcb生产厂家不懈追求的目标。由于pcb在生产过程中受许多不确定因素的影响，造成pcb缺陷是很难避免的，出现的故障大多都是线路错误，主要可分为：短路、开路、毛刺、缺口、针孔、残铜几类。若不及时地将这些质量问题检查出来，势必在pcb板调试和使用过程中留下隐患，造成更大的损失，所以必须实施严格的中间检验。

3、早期的pcb板检测采用人工肉眼查看的方式，然而，该方法检测精度及效率极大程度依赖于检测人员的工作经验，同时检测精度也随时间的持续而降低，整体而言该检测方案的不稳定性高。由于人工检测存在的缺陷，目前，pcb板的在线检测已成为生产厂家和企业的共识。

4、目前出现了基于计算机视觉的检测方案，其采用图像识别的方式进行pcb表面缺陷检测，无需与pcb直接接触，避免了pcb二次损坏的可能，同时随着计算机硬件的发展对于图像的检测效率也有了大幅提升，在图像检测领域中，基于深度学习的目标检测算法与传统检测算法在检测精度、检测度上都有了跨时代的提升，越来越多的识别检测场景采用该方案进行落地转化。

5、具体地，目前以深度学习为基准的pcb缺陷检测算法主要分为两阶段目标检测算法和一阶段目标检测算法，其中，基于一阶段目标检测算法的检测速度更高。基于此，现有技术中，公开号为cn114372949a的中国专利公开了一种基于改进yolov5算法的pcb表面缺陷检测方法，其可在保证检测速度的基础上优化网络结构。但是，在使用现有技术过程中，发明人发现现有技术中至少存在如下问题：

6、上述现有技术采用基于yolov5的锚框机制，即利用一阶段的目标检测算法中基于回归框的检测与识别算法实现，但是锚框机制会引入很多超参数，并且依赖于手工设计，不能很好地推广到其他数据集，使得模型的泛化性不强；同时，基于锚框法的pcb缺陷检测过程中，有时会因未知模式或对某些超参数过于敏感，而达不到检测要求，不适应于工业场景下pcb缺陷的小目标检测。

7、此外，如采用一阶段的目标检测算法中的无锚法，则存在的漏检或误检现象导致精度有限的问题，具体地，基于无锚法的pcb缺陷检测时如果只考虑测试图像的特征，不考虑测试图像与pcb模板图像的特征匹配，有时会产生测试结果的漏检或误检，导致精度有限，且训练不容易收敛。

技术实现思路

1、本发明旨在至少在一定程度上解决上述技术问题，本发明提供了一种pcb表面缺陷检测方法、系统、电子设备及介质。

2、为了实现上述目的，本发明采用以下技术方案：

3、第一方面，提供了一种pcb表面缺陷检测方法，包括：

4、获取待检测pcb图像和与所述待检测pcb图像匹配的pcb模板图像；

5、将所述待检测pcb图像和所述pcb模板图像成对输入pcb表面缺陷检测模型，得到所述待检测pcb图像对应pcb的表面缺陷预测结果，所述表面缺陷预测结果包括pcb表面缺陷的位置信息、缺陷类别和置信度得分；其中，所述pcb表面缺陷检测模型基于yolox模型得到，所述pcb表面缺陷检测模型包括依次连接的主干网络层、特征融合层、检测头和预测层，所述主干网络层采用convnext网络；

6、所述主干网络层，用于对所述待检测pcb图像和所述pcb模板图像进行特征提取，得到所述待检测pcb图像的特征向量；

7、所述特征融合层，用于将所述待检测pcb图像的特征向量进行特征融合，得到融合后特征信息；

8、所述检测头，用于将所述融合后特征信息进行缺陷位置信息转换、缺陷类别转换和置信度得分转换，以便所述预测层根据转换后数据得到所述待检测pcb图像对应的pcb表面缺陷的位置信息、缺陷类别和置信度得分。

9、本发明的pcb表面缺陷检测模型选用单阶段检测网络类别中的yolox模型得到，可在保证其检测速度的基础上优化网络结构，同时进一步提升检测精度。具体地，yolox模型引入了先进的无锚方法，并配备了动态标签分配功能，以提高检测器的性能，在精度方面明显优于yolov5模型。具体地，本发明通过建立基于yolox模型的pcb表面缺陷检测模型，并将yolox模型原本的主干特征提取网络cspdarknet网络替换为convnext网络，以便进行特征提取；经实例检测，本发明通过使用改进的yolox网络的思想，不仅避免了锚框机制对超参数的敏感导致的模型泛化性不好的问题，而且可以实现更高精度的pcb缺陷检测，极大地降低了缺陷检测的漏检现象，检测速度也得以提升。

10、在一个可能的设计中，所述pcb表面缺陷检测模型还包括设置在所述主干网络层输入端的图像输入层；所述图像输入层，用于将所述待检测pcb图像和所述pcb模板图像成对输入所述主干网络层。

11、在一个可能的设计中，所述主干网络层包括浅层特征提取层、中层特征提取层和深层特征提取层；

12、所述浅层特征提取层，用于对所述待检测pcb图像和所述pcb模板图像分别进行浅层特征提取，得到待检测pcb图像特征和pcb模板图像特征，再获取待检测pcb图像特征和pcb模板图像特征之间的特征差，并将所述特征差再进行一次特征提取，得到浅层特征图，最后将所述浅层特征图输出至所述中层特征提取层；

13、所述中层特征提取层，用于对所述浅层特征图进行中层特征提取，得到中层特征图；

14、所述深层特征提取层，用于对所述中层特征图进行深层特征提取，得到深层特征图。

15、在一个可能的设计中，将giou作为所述pcb表面缺陷检测模型的性能评价指标，将giou_loss作为所述pcb表面缺陷检测模型的定位损失函数；其中，所述性能评价指标为：

16、；

17、式中，a为预测框，b为目标框，c为预测框和目标框的最小凸集，iou为预测框和目标框的交并比；

18、所述定位损失函数为：

19、giou_loss=1-giou。

20、在一个可能的设计中，所述特征融合层包括依次与所述主干网络层连接的空间金字塔池化层、fpn层和pan层；

21、所述空间金字塔池化层的输入端与所述深层特征提取层的输出端连接，用于对所述深层特征图进行多重感受野融合，得到所述待检测pcb图像的特征向量；

22、所述fpn层包括依次连接的第一卷积结构层、第二卷积结构层和第三卷积结构层；所述第一卷积结构层的输入端与所述空间金字塔池化层的输出端连接，所述第二卷积结构层的输入端分别与所述中层特征提取层的输出端和所述第一卷积结构层的输出端连接，所述第三卷积结构层的输入端分别与所述浅层特征提取层的输出端和所述第二卷积结构层的输出端连接；所述第一卷积结构层和所述第二卷积结构层之间，以及所述第二卷积结构层和所述第三卷积结构层之间均通过上采样层连接，所述上采样层用于进行上采样操作；

23、所述pan层包括依次连接的第四卷积结构层和第五卷积结构层，所述第四卷积结构层的输入端分别与所述第三卷积结构层的输出端和所述第二卷积结构层的输出端连接，所述第五卷积结构层的输入端分别与所述第一卷积结构层的输出端和所述第四卷积结构层的输出端连接。

24、在一个可能的设计中，所述检测头包括第一检测头、第二检测头和第三检测头，所述第一检测头的输入端与所述第三卷积结构层的输出端连接，所述第二检测头的输入端与所述第四卷积结构层的输出端连接，所述第三检测头的输入端与所述第五卷积结构层的输出端连接。

25、在一个可能的设计中，利用迁移学习的思想对所述pcb表面缺陷检测模型进行训练。

26、第二方面，提供了一种pcb表面缺陷检测系统，用于实现如上述任一项所述的pcb表面缺陷检测方法；所述pcb表面缺陷检测系统包括获取单元和预测单元；其中，

27、所述获取单元，用于获取待检测pcb图像和与所述待检测pcb图像匹配的pcb模板图像；

28、所述预测单元，用于将所述待检测pcb图像和所述pcb模板图像成对输入pcb表面缺陷检测模型，得到所述待检测pcb图像对应pcb的表面缺陷预测结果，所述表面缺陷预测结果包括pcb表面缺陷的位置信息、缺陷类别和置信度得分；其中，所述pcb表面缺陷检测模型基于yolox模型得到，所述pcb表面缺陷检测模型包括依次连接的主干网络层、特征融合层、检测头和预测层，所述主干网络层采用convnext网络。

29、第三方面，提供了一种电子设备，包括：

30、存储器，用于存储计算机程序指令；以及，

31、处理器，用于执行所述计算机程序指令从而完成如上述任一项所述的pcb表面缺陷检测方法的操作。

32、第四方面，提供了一种计算机可读存储介质，用于存储计算机可读取的计算机程序指令，所述计算机程序指令被配置为运行时执行如上述任一项所述的pcb表面缺陷检测方法的操作。