一种基于深度学习的电接口缺陷检测方法

1.本发明涉及图像处理与深度学习领域，尤其涉及一种基于深度学习的电接口缺陷检测方法。


背景技术：

2.随着我国电力行业和信息传输行业不断的发展，我国对多插针的电接口需求逐年递增，如何保证电力行业和信号传输行业的高效可靠的运行成为我国信息安全和电力安全重要的课题之一；因此在工业生产领域尽可能快的提高多插针的电接口正常运行率对质检人员的身体和工作状态都提出了较大的挑战；随着人工智能领域深度学习方向和图像处理方向的不断进步，社会上类似于的智能驾驶和智能家居等方面高效可靠的专业技术也在层出不穷；目前多插针的电接口检测还在用传统的肉眼识别，存在着检测精度低，工人任务繁重的现象；尤其对小目标大批量电接口的检测，检测效率仍有较大的提高空间，而且对卷积神经网络模型的鲁棒性和检测精度提出更高的要求；因此，工业生产领域急需一种对小目标电接口的故障检测方法以改进生产流程，提高生产合格率。


技术实现要素：

3.为解决现有技术的不足，本发明提出了一种基于深度学习的电接口缺陷检测方法，适用于大批量小目标的电接口缺陷检测，包括以下步骤：
4.s1：对电接口图像进行大批量采样；
5.s2：对采集到的大批量电接口图像进行切割和图像尺寸重置，重置后的图像作为检测系统的数据集与定位标志并引入改进的深度学习的分类网络模型进行训练得到损失和精度曲线；
6.s3：采用高精度工业相机对待检测电接口进行采样；
7.s4：引入改进后的深度学习分类网络模型对拍摄的大批量电接口故障进行分类检测；
8.s5：返回的检测结果上传到pyqt5搭建的检测开发平台与批量待检测物对比并进行筛选；
9.所述s1的具体过程为：在平面板上放置电接口，分为正常、缺针、歪针三批次，每一批次均为x1个电接口，拍摄图片数量为x2张，拍摄过程中改变光照与位置，获取不同生产模式下不同反光程度与位置变化的大批量电接口图片，x1与x2均为可设定值；
10.所述s2包括以下步骤：
11.s2.1:采用图像分割算法处理s1获取的图片，分为以下步骤：
12.s2.1.1通过对采集到的大批量电接口的图像进行二值化处理；
13.s2.1.2对二值化处理后的图像进行中值滤波进行降噪过滤掉大部分图像中的无用信息；
14.s2.1.3对滤波后图像引入图像处理中的腐蚀膨胀处理；
15.s2.1.4对腐蚀膨胀后的图像根据最大连通区域进行极大抑制区域(nms)，切割出单个电接口；
16.s2.2采用图像尺寸重置算法，对分割出的单个电接口设计不同类别尺寸通过重置函数进行尺寸重置，输出图片为完全相同单个电接口的正方形图像，长方形电接口以外的图像区域用设定颜色补充；
17.s2.3:所述改进深度学习分类网络模型是在基础的深度学习分类网络模型上改进了新的网络结构，建立了一个添加尺度的改进型网络结构，在3
×
3卷积核的上一步与下一步添加新的1
×
1的卷积核进行一步降维操作，再进行一步升维操作，使输出特征矩阵为输入特征矩阵的1/2，提高了输出的维度，有效降低了随着网络深度增加而出现网络梯度消失与退化造成的影响；
18.在网络结构中加入了l2正则项，新生成的权值将会乘系数(1-αγ)，α为新生成的学习率，γ为正则化调用参数，通过引入正则项有效降低训练过程的过拟合行为；
19.s2.4:在引入s2.3设计完成的改进的深度学习分类网络模型，作为对采集和处理后的数据集的训练模型；
20.模型的训练数据分为3类，分别代表正常、缺针、歪针；
21.模型设置训练集与验证集的比例为x3，为可设定值；
22.初始化学习率为l1，学习率的衰减权重为w1，优化器正则损失权重为w2；
23.训练每批次图像数量batchsize为b1，以上深度学习模型的超参数均为可设定值；
24.设置图像输入尺寸为x4×
x5，训练周期为epoch，生成了训练集和验证集的精度和损失曲线，证实可以达到较好的泛化能力，以上参数均为可设定值；
25.训练模型的损失函数设置为focalloss函数，函数公式为：
26.fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
27.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0028][0029]
其中，fl(p
t
)为损失函数，γ为控制权重系数的指数，p
t
为带分类实例中真实的概率，α
t
为平衡系数；
[0030]
所述s3的具体过程：引入高精度工业相机并且搭配相机镜头通过一个流水线的相机固定平台，把工业相机固定在流水线上方的中间位置，对流水线生产的不同批次的产品进行实时检测处理，包括以下步骤：
[0031]
s3.1:所采用的工业相机的opencv库，使python程序能实时调用工业相机；
[0032]
s3.2:所拍摄图片每次存储到待检测文件夹里，进行检测调用；
[0033]
s3.3:相机进行图像采集时第一批次图像及检测结果自动删除，以减少内存累计；
[0034]
所述s4的具体过程：对待电接口进行检测时，调用深度学习分类网络模型并加载训练得到的权值文件.pth文件于模型之中进行检测；
[0035]
所述s5的具体过程为：建立输入待检测图片与输出检测图片的线程，使待检测图片与检测图片同时显示并进行对比与有缺陷电接口，查找得到有缺陷的电接口进行剔除。
[0036]
有益技术效果
[0037]
本发明提出了一种基于深度学习的电接口缺陷检测方法，该方法有以下有益技术效果：
[0038]
1、采用了改进的数据集，通过图像处理，使数据集可以批量生成，并参与训练，省略了传统深度学习领域目标检测打标签做数据集的步骤，大大减轻了制作数据集时的工作负担，为同类型产品不同缺陷的故障检测提供了一种全新高效的数据集生成手段；
[0039]
2、采用分类算法残差结构网络模型结构，初步降低了随着网络深度增加的网络梯度消失与退化问题；
[0040]
3、采用了改进的深度学习分类网络模型进行同一类产品故障分类，可以达到对不同位置实时的对批量生产与应用环境中通过调用gpu平台实现大批量小目标电接口的实时检测,抛弃了传统机器视觉对目标缺陷的低效率高耗能检测，通过引入深度学习分类网络模型，调用不同产品类型的权值文件进行实时快速多目标分类检测。
附图说明
[0041]
图1为本发明实施例提供的建立深度学习分类网络模型下的电接口检测流程框图；
[0042]
图2为本发明实施例提供的工业相机所拍的电接口示意图；
[0043]
图3为本发明实施例提供的经过图像处理可大批量生成的电接口单个数据集样本示意图；
[0044]
图4为本发明实施例提供的深度学习分类网络模型分类操作结构示意图；
[0045]
图5为本发明实施例提供的训练epoch设定为50后，所得训练集和验证集的损失与精度曲线的示意图；
[0046]
图6为本发明实施例提供的通过深度学习分类网络模型分别进行电接口分类检测效果示意图；
[0047]
图7为本发明实施例提供的通过调用pyqt5打包生成可调用的待检测产品和检测产品同时出现的检测平台示意图。
具体实施方式
[0048]
下面结合附图和实施例，对本发明作进一步详细说明；
[0049]
本发明提出了一种基于深度学习的电接口缺陷检测方法，适用于大批量小目标的电接口缺陷检测，如图1所示，包括以下步骤：
[0050]
s1：对电接口图像进行大批量采样；
[0051]
本实施例中，在长方形黑色平面板上放置电接口，分为正常、缺针、歪针三批次，每一批次均为40-50个之间，拍摄60张，拍摄过程中改变光照与位置，如图2所示，获取不同生产模式下不同反光程度与位置变化的大批量电接口图片；
[0052]
s2:对采集到的大批量电接口图像进行切割和图像尺寸重置，重置后的图像作为检测系统的数据集与定位标志并引入改进的resnet-101深度学习分类网络模型进行训练得到损失和精度曲线；
[0053]
s2.1:采用图像分割算法处理s1获取的图片，分为以下步骤：
[0054]
s2.1.1通过对采集到的大批量电接口的图像进行二值化处理；
[0055]
s2.1.2对二值化处理后的图像进行中值滤波进行降噪过滤掉大部分图像中的无用信息；
[0056]
s2.1.3对滤波后图像引入图像处理中的腐蚀膨胀处理；
[0057]
s2.1.4对腐蚀膨胀后的图像根据最大连通区域进行nms，切割出单个电接口；
[0058]
s2.2:如图3所示，采用图像尺寸重置算法，对分割出的单个电接口设计不同类别尺寸通过重置函数进行尺寸重置，输出图片700
×
700完全相同的正方形图像，图像多余位置用黑色补充；
[0059]
s2.3:在resnet-101深度学习分类网络模型的基础上改进了网络结构，建立了一个添加尺度的改进型网络结构，在3
×
3卷积核的上一步与下一步添加新的1
×
1的卷积核进行一步降维操作，再进行一步升维操作，使输出特征矩阵为输入特征矩阵的1/2，提高了输出的维度，有效降低了随着网络深度增加而出现网络梯度消失与退化造成的影响；
[0060]
在resnet101深度学习分类网络模型中加入了l2正则项，正则过程中，新生成的权值将会乘系数(1-αγ)，α为新生成的学习率，γ为正则化调用参数，通过引入正则项有效降低训练过程的过拟合行为；
[0061]
s2.4:本实施例中，如图4所示，引入s2.3中的resnet-101深度学习分类网络模型并进行网络结构的改进，如图3所示的数据集进行训练，完成对正常、缺针、歪针三个故障分类学习，其中改进部分主要是两部分；
[0062]
模型的训练数据分为3类，00代表正常，01代表缺针，02代表歪针；
[0063]
模型设置训练集与验证集的比例为0.85：0.15；
[0064]
初始化学习率为4
×
10-4
，学习率的衰减权重为0.9，优化器正则损失权重为1
×
10-6
；
[0065]
训练每批次图像数量batchsize为8；
[0066]
设置图像输入尺寸为256
×
256，训练周期为50，生成了训练集和验证集的精度和损失曲线，证实可以达到较好的泛化能力；
[0067]
训练模型的损失函数设置为focalloss函数，函数公式为：
[0068]
fl(p
t
)＝-α
t
(1-p
t
)
γ
log(p
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0069][0070]
其中，fl(p
t
)为损失函数，γ为控制权重系数的指数，p
t
为带分类实例中真实的概率，α
t
为平衡系数；
[0071]
s3：采用高精度工业相机对待检测电接口进行拍摄；
[0072]
s3.1：本实施例中，引入高精度1200w像素黑白工业相机并且搭配相机镜头通过一个流水线的相机固定平台，把工业相机固定在流水线上方，对流水线生产的不同批次的产品进行实时检测处理；
[0073]
s3.2：检测处理流程为，通过调用所采用的工业相机的opencv库，使python程序能实时调用工业相机；
[0074]
s3.3对工业相机所拍摄图片每次存储到待检测文件夹里，进行检测调用；
[0075]
s3.3第二批次工业相机进行图像采集时第一批次图像及检测结果自动删除，以减少内存累计；
[0076]
s4:引入改进的resnet-101深度学习分类网络模型对拍摄的大批量电接口故障进行分类检测；
[0077]
对待电接口进行检测时，对电接口的故障分类学习，所得到的训练集和验证集的精度和损失曲线如图5所示，证实经过resnet-101深度学习分类网络模型，达到了较好的训练学习，调用resnet-101深度学习分类网络模型并加载训练得到的权值文件resnet101-size-256.pth于模型之中进行检测；
[0078]
s5：返回的检测结果上传到pyqt5搭建的检测开发平台与批量待检测物对比并进行筛选；
[0079]
本实施例中，在图像检测过程中，调用所生成权值文件到分类网络模型中再次进行图像大批量检测，检测结果示意图如图6所示；
[0080]
建立输入待检测图片与输出检测图片的线程，使待检测图片与检测图片同时显示并进行对比与有缺陷电接口的查找，上传检测结果与待检测物于pyqt5所搭建的实时检测平台，形成一种第一时间识别待检测产品故障的对比方式，剔除掉工业生产过程中出现歪针和缺针电接口，提高生产物的品质，其效果示意图为图7所示。