技术特征：
1.一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，包括如下步骤：s1：分别采集pcb正反两面的模板图像与待检测图像，构建数据集，并且划分成测试集图像和训练集图像，对训练集图像进行元器件类别以及缺陷情况的标注，生成对应的标签文件；s2：将训练集中的待检测图像和模板图像全部输入到元器件存在性检测模块，检测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标注；s3：将测试集中的pcb图像输入搭建和训练好的基于mairnet的pcb缺陷检测与识别模型进行检测和识别操作，输出对于极性元器件的定位情况、色环电阻种类及定位信息和焊点缺陷类别及定位信息；s4：利用步骤s3中输出的极性元器件定位情况对待检测图像与模板图像进行裁剪筛选，输出裁剪后的pcb极性元器件待检测图像与模板图像，构建一种pcb元器件极性判别方法，利用元器件存在性检测模块进行操作，通过对极性元器件存在区域进行分割，单独对待检测图像与模板图像的极性元器件区域进行对比，将对比情况输入到极性检测模块中进行判别，最终输出元器件极性接插情况；s5：对获取的缺失元器件定位信息与pcb图像上的标注情况、元器件极性接插情况、色环电阻种类及定位信息、焊点缺陷类别及定位信息进行汇总显示。2.根据权利要求1所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤s2中元器件存在性检测模块的检测方法为：d1：对输入的待检测图像进行预处理，使用orb特征对待检测图像与原始图像进行图像配准操作；d2：对于图像配准后的待检测图像与模板图像进行图像灰度化操作，生成待检测灰度图与模板灰度图；d3：对于待检测灰度图与模板灰度图进行图像差分；d4：对于步骤d3中得到的差分灰度图进行图像二值化处理，得到差分二值图，并进行图像形态学处理，采用腐蚀膨胀操作进一步减少pcb背景环境对元器件缺失区域定位带来的噪声及影响；d5：对于步骤d4中进行图像形态学处理后的差分二值图进行像素筛选，筛选出图像中的最大连通区域；d6：对于步骤d5中筛选出的最大连通区域进行矩形框标注，并将标注元器件缺失区域的矩形框映射到输入的待检测图像中，进而输出缺失元器件定位信息并实现标注。3.根据权利要求1所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤s3中基于mairnet的pcb缺陷检测与识别模型的搭建方法包括如下步骤：a1：构建基于mairnet用于提取训练集中pcb图像的特征，输出多种不同尺度的特征图；a2：对多种不同尺度的特征图进行pcb元器件目标检测与识别，目标所处的边界框bounding box位置信息目标对应的类别信息，类别信息包含目标元器件的具体类别以及缺陷情况。4.根据权利要求3所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤a1具体包括如下步骤：b1：mairnet由逆残差网络、多维注意力模块所组成，并且在网络搭建过程中使用了多
尺度特征融合机制；b2：在逆残差网络的基础上增加了一种多维注意力模块，使用多维注意力模块对于逆残差网络中的每一个逆残差模块进行优化，得到多维注意力模块优化的逆残差模块；b3：按照多尺度特征融合机制搭建mairnet。5.根据权利要求3所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤a2具体包括如下步骤：c1：将经过多维注意力增强神经网络输出的5层特征图输入到pcb元器件目标检测与识别模块中分别进行极性元器件定位、色环电阻识别、焊点检测三类操作，每一类操作中5层特征图均通过了4组卷积神经网络；每组卷积神经网络包含卷积核为3
×
3、步长为1的卷积，群组归一化操作，最终使用relu激活函数进行激活；c2：每一类操作中，对通过4组卷积神经网络卷积输出的特征图进行边界框回归，确定元器件目标所在区域，使用广义交并比函数giou作为边界框回归损失函数；c3：每一类操作中，对通过4组卷积神经网络卷积输出的特征图进行分类，确定元器件目标的种类及缺陷类别，使用焦点损失函数focal loss作为分类损失函数。6.根据权利要求5所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤c2中广义交并比函数giou的具体计算过程为：l
giou
＝1-giou
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)(1)式中，a表示预测边界框，b表示真实边界框，c表示预测边界框和真实边界框的最小闭包矩形区域，l
giou
表示边界框回归损失函数，iou表示预测边界框与真实边界框之间的交并比函数，giou表示预测边界框与真实边界框之间的广义交并比函数。7.根据权利要求5所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤c3中焦点损失函数focal loss的具体计算过程为：fl(p,y)＝-y(1-p)
γ
log(p)-(1-y)p
γ
log(1-p)
ꢀꢀꢀꢀꢀꢀꢀ
(4)式中，p表示预测为某一类别标签的预测值，在0到1之间，y表示实际的类别标签，为0或是1，γ表示人为设定的常数。8.根据权利要求1所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤s4中pcb元器件极性判别方法包括如下步骤：e1：对输入的pcb极性元器件待检测图像进行预处理，使用orb特征对待检测图像与原始图像进行图像配准操作；e2：对于图像配准后得到的pcb极性元器件待检测图像与pcb极性元器件模板图像进行图像灰度化操作，生成pcb极性元器件待检测灰度图与pcb极性元器件模板灰度图；e3：对于pcb极性元器件待检测灰度图与pcb极性元器件模板灰度图进行图像差分；e4：对于步骤e3中得到的pcb极性元器件差分灰度图进行图像二值化处理，得到pcb极性元器件差分二值图，并进行图像形态学处理，采用腐蚀膨胀操作进一步较少pcb背景环境
对极性元器件差异区域的定位带来的噪声及影响；e5：对于步骤e4中进行图像形态学处理后的差分二值图进行像素筛选，筛选出pcb极性元器件差分二值图中的最大连通区域；e6：将步骤e5中筛选出的最大连通区域输入到极性检测模块中进行进一步判别，设定阈值s
t
，若最大连通区域大于设定阈值s
t
则说明可能存在极性错误的情况，若最大连通区域不超过设定阈值s
t
则说明极性正确。9.根据权利要求4所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤b1中mairnet的主体是一个由17个逆残差模块构建的逆残差网络，每一个逆残差模块首端为1
×
1卷积，1
×
1卷积用于扩张特征矩阵通道，丰富特征数量，逆残差模块中间部分由卷积核为3
×
3的深度卷积组成，用于生成与输入特征矩阵通道数一致的特征矩阵，从而减少参数量以及运算成本，最终使用relu6激活函数增强网络的表达能力；所述步骤b2中多维注意力模块的具体操作为：通过每一个逆残差模块的特征矩阵被分为两个通道进行平均池化操作，平均池化后的两个通道的特征矩阵分别进行连接及1
×
1卷积，使用batchnorm归一化操作，并通过swish激活函数进行激活，将激活后的特征矩阵再次分解为两个通道的特征矩阵，对两个通道的特征矩阵分别使用1
×
1卷积和sigmoid激活函数进行激活，得到的两个通道的特征矩阵与逆残差模块输出的原始特征矩阵进行合并，从而得到多维注意力增强的特征图；所述步骤b3具体为：将17个多维注意力模块优化的逆残差模块分为7层网络，其中第1层至第7层，每层依次包含：1，2，3，4，3，3，1个多维注意力优化的逆残差模块，将经过第2层、第3层、第5层、第7层网络处理的特征图分别定义为c2、c3、c5、c7进行1
×
1卷积得到f2、f3、f5、f7，并将f7再次进行步长为2的卷积得到f7’
，对不同尺度的特征图进行融合，最终融合输出5层特征图f2、f3、f5、f7、f7’
。10.根据权利要求1所述的一种基于mairnet的pcb缺陷检测与识别方法，其特征在于，所述步骤s5中通过搭建用户软件系统界面进行汇总显示。
技术总结
本发明公开了一种基于MAIRNet的PCB缺陷检测与识别方法，包括：采集PCB模板图像与待检测图像，构建数据集，并且划分成测试集图像和训练集图像；检测是否存在元器件缺失的情况，最终输出缺失元器件定位信息并在待检测图像中进行标注；输出对于极性元器件的定位情况、色环电阻种类及定位信息和焊点缺陷类别及定位信息；输出裁剪后的PCB极性元器件待检测图像与模板图像，构建一种PCB元器件极性判别方法，输出元器件极性接插情况；对获取的信息进行汇总显示。本发明能够检测识别出PCB表面常见的元器件缺失、元器件极性接插错误、焊点缺陷等问题，输出缺陷区域的位置信息、类别信息，并能够对色环电阻类别进行检测与识别，与人工检测的方式相比具有显著优势。检测的方式相比具有显著优势。检测的方式相比具有显著优势。
技术研发人员：谢非 章悦 张瑞 杨嘉乐 夏光圣 吴佳豪 郑鹏飞 张培彪 王慧敏
受保护的技术使用者：南京师范大学
技术研发日：2021.11.09
技术公布日：2022/5/5