基于多分支深度卷积和双重注意力的人员穿戴检测方法

本发明属于图像处理，具体涉及基于多分支深度卷积和双重注意力的人员穿戴检测方法。

背景技术：

1、变电站对配电的效率和可靠性具有重大影响。随着技术的进步，它们在适应可再生能源整合和促进配电系统可持续性方面的作用将变得越来越重要。变电站要求只有穿戴安全衣和佩戴安全帽的人员才可以进入变电站。未穿戴安全服及佩戴安全帽可能会导致严重事故。在计算机技术还没有成熟之前，只能通过人工对员工进行识别和筛选，容易产生视觉疲劳，使检查效率下降。在计算机技术成熟的今天，它已经可以代替人力对员工的穿戴进行识别，使人员检测向完全自动化的方向发展，实现了真正意义上的智能检测。

2、深度学习的应用深度学习是基于人工神经网络的机器学习的一个子集，人工神经网络是受人脑结构和功能启发的算法。虽然深度学习在智能检测行业提供了许多优势，但它也带来了挑战，例如需要大型数据集和大量计算资源。随着技术的进步和这些挑战的解决，深度学习对智能检测行业的影响预计将越来越大。

技术实现思路

1、本发明的目的是提供基于多分支深度卷积和双重注意力的人员穿戴检测方法，解决了现有技术中存在的检测模型对规范穿戴检测精度低的问题。

2、本发明所采用的技术方案是，基于多分支深度卷积和双重注意力的人员穿戴检测方法，具体按照以下步骤实施：

3、步骤1、拍摄变电站工作图片，然后和网络采集图片共同作为真实的样本库

4、步骤2、将步骤1中样本库的图片按8:1:1随机划分为训练集、验证集和测试集；

5、步骤3、利用标注工具labellmg对步骤2中的数据集中的待检测目标进行标注并规范化为640×640×3，得到样本图片；

6、步骤4、提出多分支深度卷积网络结构并插入到每次卷积之后对现有的目标网络yolov7进行改进，组建双重注意力机制优化网络mlf，最后使用focal loss和siou优化损失函数得到本发明的总体算法结构；

7、步骤5、利用步骤4中提出的算法对步骤2中的样本图片进行检测得到检测结果。

8、本发明的特点还在于，

9、步骤1具体按照以下步骤实施：

10、步骤1.1、拍摄某大型变电站的图像，拍摄地点包括常见的复杂背景、多目标、小目标；

11、步骤1.2、在网络上搜索变电站人员穿戴图像，用于增强数据集的广泛性；

12、步骤1.3、将步骤1.1中获得的图片和步骤1.2中扩充完成的数据集共同作为真实图片样本库。

13、步骤3具体按照以下步骤实施：

14、步骤3.1、确定要标记的安全服安全帽图片，找到图片中的员工位置，然后进行标记，从而得到员工所在位置的标记框；

15、步骤3.2、把步骤3.1中获得的图片所在区域的标记框根据图片中安全服和安全帽两种类型分别设置为safety clothing和helmet两类状态标签，得到带有标签和图片所在区域的标记框标注信息；

16、步骤3.3、把步骤3.2中得到的标记框标注信息利用标注工具labellmg生成包含安全服和安全帽区域位置信息和类别信息的xml文档，其中位置信息是员工所在区域的标记框中心点位置的横坐标xmin与纵坐标ymax和员工所在区域的标记框的宽度w与高度h；类别信息为步骤3.2中划分出的安全服和安全帽的某类状态信息；

17、由步骤3.1、3.2、3.3得到标注完成的采集图片和带有标注信息的xml文档作为样本数据。

18、步骤4具体按照以下步骤实施：

19、步骤4.1、提出mbdc网络并插入到yolov7网络的每次卷积之后，通过堆叠深度可分离卷积层来提取更加复杂、抽象的信息，并通过使用多分支结构提取图像不同尺度的信息，得到更好的图像表征能力，将mbdc网络加入yolov7网络中得到改进后的yolov7目标检测网络；

20、步骤4.2、提出双重注意力机制将更多的注意力集中到人的头部和身体区域；

21、步骤4.3、使用focal loss和siou优化损失函数减小正负样本不平衡带来的负面影响同时加快模型训练收敛速度；

22、步骤4.4、结合改进后的yolov7和双重注意力机制得出权重并预测人员穿戴。

23、步骤4.1具体按照以下步骤实施：

24、步骤4.1.1、首先使用深度可卷积网络作为基本卷积模块增加卷积层数，再利用多分支构建网络结构，最终实现在增加有限参数的情况下大幅增加网络的特征提取和图像表征能力；

25、步骤4.1.2、深度卷积使用一个卷积核在每个输入通道，接着逐点卷积采用一个1x1的卷积来将输出深度卷积组合起来。标准卷积过滤并将输入组合于一组新的输出，深度可分离卷积将输出分为两个阶段，用于过滤的是深度卷积，用于组合的是逐点卷积，这种因式分解大大减少了计算量和模型的大小，网络中原有卷积对通道特征图进行卷积操作；

26、其计算量如下式所示，

27、

28、

29、由以上两个公式和可以推出，深度可分离卷积与标准卷积之间的计算量比值为：

30、

31、采用的卷积核为3×3，其中一种输出通道数为256，所以得到的网络计算量为直接加入标准卷积计算量的1/8，因此使用深度卷积网络搭建多分支深度卷积网络。

32、步骤4.2具体如下：

33、步骤4.2.1、在backbone主干网络后接入多层融合卷积注意力网络架构(multilayer fusion mlf)；

34、步骤4.2.2、特征图输入后分为三个分支，网络通过融合卷积模块fc模块强化特征，在特征图的空间上累计注意力权重；

35、步骤4.2.3、其一分支通过两个融合卷积模块fc，其二在经过maxpool后通过融合卷积模块，其三在经过avgpool后通过融合卷积模块；

36、步骤4.2.4、将没有经过fc模块强化特征与输出的特征的权重相加进行融合，减少因深度卷积过程导致的特征信息的损失，通过全局平均池化将输入的特征得到1×1的特征向量，整合输入特征的全局通道信息，增强网络的鲁棒性以防止过拟合现象发生。为了避免单独采用一种池化结构使提取到的特征丧失部分信息故将输入的特征通过全局最大池化得到一维的特征向量并在整合通道信息后与输入特征逐元素相乘。

37、fc模块是mlf的核心组成模块。将作为输入mfc模块的初始特征图像，首先利用1×1的卷积对初始特征图进行变换，提高获取图像特征的泛化能力并减少过拟合现象的发生，同时实现各个特征的跨通道的信息交互，加强特征的显著性。在卷积后增加激活函数relu，增加激活函数能将卷积后的线性特征转变为非线性特征，激活函数表达式如下式。

38、φ(x)＝max(0,x)

39、经过激活函数的特征为，其表示如下式所示。

40、f1＝φ(f1×1(fin))

41、式中：f1表示经过卷积和线性激活函数得到的输出值；f1×1代表卷积核为1×1的卷积。将得到的f1特征矩阵分别经过3×3、5×5的卷积核以及激活函数得到两个不同的特征f2_1、f2_2，其表达式如下式所示。

42、f2_1＝φ(f3×3(f1))

43、f2_2＝φ(f5×5(f1))

44、将得到的f2_1特征矩阵再分别经3×3的卷积核以及激活函数进一步完成特征提取，得到两个特征f3_1、f3_2，其表达式如下式所示。

45、f3_1＝f3_2＝φ(f3×3(f2_1))

46、为了在卷积过程中将两个处于不同深度的卷积层连接起来以增强前后网络之间的信息交互，将各自的结果进行逐元素的相加，以减少梯度信息的损失，实现在通道维度上对特征的复用，其表达式如下式所示。

47、f4＝f2_2+f3_1

48、其中，f4为两组特征融合后的结果，之后再经过1×1的卷积固定输出通道数，再与f3_2加权融合得到最终的输出，其表达式如下式所示。

49、fout＝φ(f1×1(f4))+f3_2

50、步骤4.2.5、通过添加eca-net注意力模块，不同的权重分配给不同的卷积通道突出人员穿戴特征，通过适当的跨信道交互在显著降低模型复杂度的同时保持性能，避免降维对学习通道的影响。eca-net对输入特征图通过在空间维度使用全局平均池化gap得的特征图进行空间特征压缩，然后对压缩后的特征图通过大小为k的快速一维卷积学习不同通道之间的重要性进行通道特征学习，最后将通道注意力结合，大小为k的快速一维卷积的自适应函数如下式所示：

51、

52、假设在线注意力累积机制的输入图像大小为1×1×1，通过全局平均池化将图像大小放大相应的倍数后再进行缩放由此获得3个尺度下通道注意力的特征图，通过拼接操作强调通道特征后输入空间注意力模块提取位置特征。

53、步骤4.3具体步骤如下：

54、步骤4.3.1、为解决训练时正负样本不平衡的问题并加快模型收敛速度，引入失焦点损函数代替原来的二元交叉熵损失函数，采用siou替换原有的ciou坐标损失函数；

55、siou重新定义惩罚度量并考虑到期望回归之间的向量夹角，使用的损失函数由角度成本、距离成本、形状成本和iou成本四种成本函数组成，siou loss添加了真实框bgt和预测框b中心间的角度感知，减少距离相关的额外变量，角度成本计算公式如下所示：

56、

57、

58、

59、

60、式中:λ是角度计算的最终结果；x是图中真实框和预测框中心点的角度α的正弦值；d是它们之间的距离；ch是两点间的相对高度差。距离成本计算公式如下所示：

61、

62、δ＝∑t＝x,y(1-e-γρt)

63、形状成本的计算公式如下所示：

64、

65、

66、式中：(w,wgt)和(h,hgt)分别是预测框和真实框的宽高；θ为形状计算公式中的注意力系数，不同的数据集它的值也不相同，本文该取2。最后是iou成本的计算，也是siou的最终表达式，

67、其公式如下式：

68、

69、

70、步骤4.3.2、focal loss函数引入权重系数以及权重因子(1-x)β，通过改变正负样本的相对频率和降低简单样本的贡献权重来解决二元交叉熵损失函数中的类不平衡问题，

71、其表达式如下式所示：

72、

73、式中：权重系数用于平衡正负样本；权重因子用于平衡样本的难易程度；为调制系数。

74、本发明的有益效果是，基于多分支深度卷积和双重注意力的人员穿戴检测方法，针对对小目标，多目标检测不到位的问题提出mbdc对缺陷区域显著性进行增强；对传统的yolov7网络进行改进，增加轻量级的卷积层提高网络对特征提取以及图像表征能力，然后提出高效通道注意力机制及多层融合网络构成双重融合注意力机制用来提高检测小目标，多目标和遮挡目标的能力，最后对于正负样本不平衡问题引入焦点损失和siou作为损失函数并且加快收敛速度。实验表明：本发明使用的算法map值达到84.88％，对于检测难度较大的未穿戴安全帽目标的检测ap值为76.24％，相对于改进前的算法具有更高的性能。