建筑工地安全帽识别方法、系统与流程

1.本发明涉及深度学习技术领域，尤其涉及一种建筑工地安全帽识别方法、系统。


背景技术：

2.安全帽作为一种个人头部防护用品，能有效地防止和减轻操作人员在生产作业中遭受坠落物体或自坠落时对人体头部的伤害。道路施工现场施工人员佩戴安全帽是一种必须的安全措施，能在一定程度上保障施工人员的人身安全。道路施工现场对带各种颜色安全帽的人进行检测统计具有重要意义。通过对进出施工现场的佩戴不同颜色安全帽的施工人员的统计，能方便实现资源的合理分配，有效进行人员管理；还可以对没带安全帽的工人及时发出告警，在一定程度上保障施工人员的安全。
3.传统工地监管系统大多由专门的工程管理人员实现，但是此种工地监管系统需要消耗大量人力，并且由于个人疏忽等其他难以回避的因素，很难做到安全规范的广泛落实，具有可靠性较低、反应时延较长，成本较大以及管理不便等显著缺陷。目前，公开号为cn112802059a的专利申请公开了“一种基于yolov3网络和kcf跟踪算法的安全帽检测跟踪方法”，根据所述检测跟踪方法能够避免对同一目标重复检测，但检测效率有待提高，且对遮挡或重叠小目标检测效果不理想。


技术实现要素：

4.针对现有技术中所存在的不足，本发明提供了一种建筑工地安全帽识别方法、系统，以解决相关技术中安全帽识别效果不够理想的技术问题。
5.一方面，本发明提供了一种建筑工地安全帽识别方法，包括：
6.获取实时采集的图像信息，对所述图像信息进行场景增强；
7.主干特征提取网络提取所述图像信息的特征，用于训练学习模型；
8.对所述学习模型使用通道剪枝技术；
9.对不同尺度的特征融合颈部网络进行多尺度特征融合，优化所述学习模型；
10.根据所述学习模型的输出结果做出预测。
11.可选地，所述获取检测实时采集的图像信息前，还包括：
12.处理端获取监控视频；
13.对所述监控视频进行抽帧处理，获得监控视频中对象帧的预识别图像；
14.根据监控设备，对预识别图像进行重命名；
15.根据图像尺度归一化和图像标准化，对预识别图像进行图像预处理，得到用于网络输入的图像信息。
16.可选地，所述做出预测后，还包括：处理端根据所述预测的结果做出判断，若检测到建筑工地中工人正确佩戴有安全帽，则处理端不做任何提示，否则立即发送信号给监控室，并同时向对应监控器发送信号，提示工人佩戴安全帽。
17.可选地，所述对所述图像信息进行场景增强，包括：
18.所述图像信息归入训练集，从所述训练集中将随机抽取的所述图像信息内的中小目标剪切、随机缩放后，粘贴到另一所述图像信息的任意位置上，构建出新的增强场景。
19.可选地，使用yolov5的主干网络，所述yolov5的主干网络先进行3
×
3的深度可分卷积,再利用1
×
1卷积降维,降维后进行3
×
3的深度可分卷积，然后用1
×
1卷积重新升维，最后将结果和输入相接；其中，计算公式如下：
[0020][0021][0022]
其中，f表示输入张量，g表示输出张量，φ
i,d
、φ
i,p
分别表示第i次的1
×
1卷积和3
×
3深度可分离卷积。
[0023]
可选地，所述对所述学习模型使用通道剪枝技术，包括在所述学习模型上对网络进行稀疏训练，对批规范化层进行l1正规化训练实现稀疏，并对参数进行排序，设置剪枝率，将小于所述剪枝率的通道剪除；其中，所述稀疏训练的损失函数表达式如下：
[0024][0025]
其中，(x,y)是训练数据的输入和输出，第一项为卷积层训练的总损失函数，l为当前卷积层中训练的损失函数，f(x，w)为样本的预测结果，w为权值向量，后一项中,γ为bn层的缩放因子，通过改变γ的初始值和训练γ进行网络稀疏，g(γ)是缩放因子的损失函数，r为bn层第几层，г为bn层总层数。
[0026]
可选地，所述对不同尺度的特征融合颈部网络进行多尺度特征融合，包括为每个输入的特征层赋予不同的权重，将不同尺度的特征进行上采样进行两层融合，再下采样进行三层融合，最后得到的计算结果进入下一个循环进行串联；其中，加不同权重特征融合的函数表达式如下：
[0027][0028]
ωi≥0是可学习的权重,ε是一个小于1的数。
[0029]
可选地，所述根据所述学习模型输出结果做出预测，包括：
[0030]
根据所述学习模型的特性，预测层将接入的图像信息分别接入预测网络和边界框预测网络，所述预测网络和所述边界框预测网络共享所述学习模型的特征，所述预测网络根据所述图像信息预测目标的种类和位置，所述边界框预测网络用于提高准确率。
[0031]
可选地，所述边界框预测网络的流程采用k-means聚类，所述k-means聚类流程包括：
[0032]
s1，从样本中随机抽取k个样本作为初始的中心；
[0033]
s2，计算样本xi与k个中心的距离；
[0034]
s3，根据距离最近的中新确定xi的类别；
[0035]
s4，重新计算k个类别的中心；
[0036]
s5，重复s3和s4直到类别中心点不再变化；
[0037]
其中，样本和中心的目标函数为：
[0038]
distance＝1-iou(box,center)
[0039]
其中distance表示距离，box表示样本，center表示中心点，iou为聚类中心的边界框和样本的边界框的交并比。
[0040]
另一方面，本发明提供了一种建筑工地安全帽识别系统，包括：
[0041]
增强模块，用于对图像信息进行场景增强；
[0042]
主干特征提取网络模块，用于提取所述图像信息的特征，生成学习模型；
[0043]
剪枝模块，用于进行稀疏训练，对所述学习模型剪枝和重新训练，优化所述学习模型；
[0044]
融合模块，用于对不同尺度的特征进行融合，便于更好利用所述图像信息的特征；
[0045]
预测网络模块，分为预测网络模块和边界框网络模块，所述预测网络模块和边界框网络模块共享特征网络权重，用于做出预测。
[0046]
相比于现有技术，本发明具有如下有益效果：
[0047]
本发明技术中，主要用于解决识别安全帽的佩戴与否，同时提高识别效果。
[0048]
首先将数据集中的图像信息进行场景增强，主干特征提取网络对图像信息进行特征提取，训练学习模型，并对学习模型进行通道剪枝，将不同尺度的特征进行融合，从而优化所述学习模型，提高了对小目标和重叠目标的检测效果，算法鲁棒性更好，根据所述学习模型来预测图像中是否佩戴有安全帽，实现了对建筑工地中工人安全帽的准确识别。
附图说明
[0049]
图1为本发明的流程示意图；
[0050]
图2为本发明的遮挡处理方法示意图；
[0051]
图3为本发明的通道剪枝技术流程示意图；
[0052]
图4为本发明的不同尺寸的特征进行融合的流程示意图；
[0053]
图5为本发明的level4上特征网络模块的跨尺度连接和加权特征融合的流程示意图。
[0054]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0055]
为了使本发明的目的、技术方案及有益效果更加清楚明白，下面结合附图及实施例对本发明中的技术方案进一步说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0056]
参见图1，一方面，本发明提供了一种建筑工地安全帽识别方法，包括：
[0057]
获取实时采集的图像信息，对所述图像信息进行场景增强；
[0058]
主干特征提取网络提取所述图像信息的特征，用于训练学习模型；
[0059]
对所述学习模型使用通道剪枝技术；
[0060]
对不同尺度的特征融合颈部网络进行多尺度特征融合，优化所述学习模型；
[0061]
根据所述学习模型的输出结果做出预测。
[0062]
本实施例中，首先将数据集中的图像信息进行场景增强，主干特征提取网络对所述图像信息进行特征提取，训练学习模型，并对学习模型进行通道剪枝，将不同尺度的特征
进行融合，提高了对小目标和重叠目标的检测效果，算法鲁棒性更好，从而优化所述学习模型，根据所述学习模型来预测图像中是否佩戴有安全帽，实现快速的识别。
[0063]
可选地，所述获取检测实时采集的图像信息前，还包括：
[0064]
处理端获取监控视频；
[0065]
对所述监控视频进行抽帧处理，获得监控视频中对象帧的预识别图像；
[0066]
根据监控设备，对预识别图像进行重命名；
[0067]
根据图像尺度归一化和图像标准化，对预识别图像进行图像预处理，得到用于网络输入的图像信息。
[0068]
本实施例中，对获取的视频监控以每秒25帧速率抽帧，并将抽帧后的图像重命名使之与监控设备相对应，并对图像进行归一化得到相同模式的标准图像和对输入的数据进行同驱化处理，完成对数据的预处理。
[0069]
可选地，所述做出预测后，还包括：处理端根据所述预测的结果做出判断，若检测到建筑工地中工人正确佩戴有安全帽，则处理端不做任何提示，否则立即发送信号给监控室，并同时向对应监控器发送信号，提示工人佩戴安全帽。
[0070]
本实施例中，处理端根据学习模型得出的预测结果做出判断，实现对建筑工地人的工人是否佩戴安全帽进行了监控。
[0071]
可选地，所述对所述图像信息进行场景增强，包括：
[0072]
所述图像信息归入训练集，从所述训练集中将随机抽取的所述图像信息内的中小目标剪切、随机缩放后，粘贴到另一所述图像信息的任意位置上，构建出新的增强场景。
[0073]
本实施例中，将所述训练集中的数据按照面积大小对不同尺寸目标进行定义，分为大、中、小目标三种，其中目标有分为不佩戴安全帽和佩戴安全帽两类，分别以0、1进行标注；
[0074]
设训练集中图像的数量n，第i张图像为xi，其中i＝1,2,3,
…
,n，为xi中d等尺度目标的第j个目标，d∈{s,m,l}，s，m，l分别代表小、中、大尺度的目标，是xi图像内d等尺度目标的第j个目标的标签。xa为待增强的源场景图像(源场景图像即为前述完成预处理的图像)，xb为从训练数据集x中随机抽取含有检测目标的图像,其中xa内待检测目标的数量有t个，分别为xb内小目标数量有k个，分别为中目标数量有q个，分别为将xb内的中小目标内的中小目标复制粘贴到场景xa中，并对粘贴的中目标进行α(α∈[0.5,1])倍的随机缩放，即缩放后的中目标为增强后的场景的检测目标为：
[0075][0076]
粘贴的位置在源场景图像中随机选择,但需要确保粘贴后目标不能超出原始图像的范围；
[0077]
其中，为了控制场景增强的强度，在模型训练的每个mini-batch(样本)中以概率p选择部分图片作为源场景图像，经场景增强后替换原始图片，场景增强后图片数量的计算公式如下：
[0078]
sum＝d
×
bs
×
p
[0079]
其中，sum为使用数据增强后的图片数量，d为训练迭代次数，bs为每次迭代的batch size大小，p为增强强度(权重，位于0-1之间的数)；
[0080]
参见图2,同时，为了确保检测的准确性，在源场景图像上添加新的目标后还需要对图像进行这遮挡处理，遮挡处理方法设b为前景图像中的目标,a源场景图像中的目标。
[0081]
第一类遮挡情况中，b在a的四个角的位置上遮挡，为了保持边界框的完整性,此标注框不予以处理；
[0082]
在第二类遮挡(b的面积较a目标较小，b在a的边上遮挡)及第三类遮挡(b的面积较a目标较大，b在a的边上遮挡)情况中，b对a的四条边分别产生了部分及全部遮挡,为保留这两者中较大目标的个体完整性,因此删除较小目标被遮挡的部分；
[0083]
第四类遮挡情况中,b完全遮挡了a,a在增强的场景中没有任何显示，因此舍弃目标b；当b的面积较a目标较小时，能够模拟现实中目标正常遮挡情况，因此保留b目标。
[0084]
通过前述大量训练来提高模型的鲁棒性。
[0085]
可选地，所述改进主干特征提取网络，包括：
[0086]
使用yolov5的主干网络，所述yolov5的主干网络先进行3
×
3的深度可分卷积,再利用1
×
1卷积降维,降维后进行3
×
3的深度可分卷积，然后用1
×
1卷积重新升维，最后将结果和输入相接；其中，计算公式如下：
[0087][0088][0089]
其中，f表示输入张量，g表示输出张量，φ
i,d
、φ
i,p
分别表示第i次的1
×
1卷积和3
×
3深度可分离卷积。
[0090]
本实施例中，建立卷积神经网络，其中前述所述结果即为g,所述输入即为f，所述为3
×
3的深度可分卷积,再利用1
×
1卷积降维的操作，采用这种网络结构使得更多的空间信息传入神经网络，使得深度可分离卷积可以进行更丰富的特征提取。
[0091]
可选地，所述对所述学习模型使用通道剪枝技术，包括在所述学习模型上对网络进行稀疏训练，对批规范化层进行l1正规化训练实现稀疏，并对参数进行排序，设置剪枝率，将小于所述剪枝率的通道剪除；其中，所述稀疏训练的损失函数表达式如下：
[0092][0093]
其中，(x,y)是训练数据的输入和输出，第一项为卷积层训练的总损失函数，l为当前卷积层中训练的损失函数，f(x，w)为样本的预测结果，w为权值向量，后一项中,γ为bn层的缩放因子，通过改变γ的初始值和训练γ进行网络稀疏，g(γ)是缩放因子的损失函数，r为bn层第几层，г为bn层总层数。
[0094]
参见图3，本实施例中，使用l1正则化进行稀疏,因此g(γ)＝|γ|。λ用于平衡前后两项的损失。经过稀疏训练后，网络将变得更加密集，而后通过剪枝，得到更小的网络，并判断是否符合性能要求，若是不符合则继续进行稀疏训练，否则结束本次稀疏训练，与此同时网络性能却没降低，甚至变得更好。另外，对batchnormalization(bn)层进行稀疏训练，而
后根据权值的绝对值进行排序；设定一定大小的剪枝率，将小于设定值的通道剪除，如果网络的一层中所有通道权重的绝对值都小于设定阈值，此时该层的所有通道都会被剪枝，这样网络结构就被破坏。对于上述的情况选择保留权重的绝对值最大的一层通道，以此来保证网络结构的完整。
[0095]
可选地，所述对不同尺度的特征融合颈部网络进行多尺度特征融合，包括：
[0096]
为每个输入的特征层赋予不同的权重，将不同尺度的特征进行上采样进行两层融合，再下采样进行三层融合，最后得到的计算结果进入下一个循环进行串联；其中，加不同权重特征融合的函数表达式如下：
[0097][0098]
ωi≥0是可学习的权重,ε是一个小于1的数。
[0099]
参见图4，本实施例中，为了进一步提高准确率，不同尺寸的特征进行融合。其中，高层网络的感受野比较大，语义表征能力强，但是特征图的分辨率低，集合信息的征能力弱(空间几何特征细节缺乏)；低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱，因此需要将这些特征加在一起用于检测。在每一层网络中，先进行上采样将p1、p2进行融合，再下采样将p3、p4、p5进行融合，并将p3、p4、p5与其他网络层(不同权重)的p3、p4、p5进行串联。
[0100]
参见图5，其中，举例level4上特征网络模块的跨尺度连接和加权特征融合的过程：
[0101][0102][0103]
其中，ω就是权值，p就是融合的特征，p
in
为输入特征，p
out
为输出特征，p
td
为自顶向下的特征融合过程中的中间层，ω1表示p4对的权重，ω2表示p5对的权重，ω
′1表示p4对的权重，ω
′2表示对的权重，ω
′3表示对的权重，conv表示卷积，resize表示特征层尺度大小。
[0104]
可选地，所述根据所述学习模型输出结果做出预测，包括：
[0105]
根据所述学习模型的特性，预测层将接入的图像信息分别接入预测网络和边界框预测网络，所述预测网络和所述边界框预测网络共享所述学习模型的特征，所述预测网络根据所述图像信息预测目标的种类和位置，所述边界框预测网络用于提高准确率。
[0106]
本实施例中，所述特征预测网络和所述边界框预测网络共享所述学习模型的特征，图片分为s
×
s的格子，在判断图像是否具有需要识别的特征时，先通过预测网络进行判断图像内的所有所述格子内是否存在所述学习模型的特征，若不存在则不做反应，否则进入所述边界框预测网络进行判断。
[0107]
可选地，所述边界框预测网络的流程采用k-means聚类，所述k-means聚类流程包括:
[0108]
s1，从样本中随机抽取k个样本作为初始的中心；
[0109]
s2，计算样本xi与k个中心的距离；
[0110]
s3，根据距离最近的中新确定xi的类别；
[0111]
s4，重新计算k个类别的中心；
[0112]
s5，重复s3和s4直到类别中心点不再变化；
[0113]
其中，样本和中心的目标函数为：
[0114]
distance＝1-iou(box,center)
[0115]
其中distance表示距离，box表示样本，center表示中心点，iou为聚类中心的边界框和样本的边界框的交并比。
[0116]
本实施例中，采用k-means聚类算法将图像中的样本(格子)进行随机抽取，并将若干样本作为初始的中心点，确定离中心点最近的样本类型，并通过重复上述步骤直到类别的中心点不再发生变化，最终让聚类通过得到的aspect ratios能够反映数据集中目标的形状特征，所以优化目标是让样本与聚类中心的交并比(iou)越大越好，即目标函数:
[0117]
distance＝1-iou(box,center)
[0118]
另一方面，本发明提供了一种建筑工地安全帽识别系统，包括：
[0119]
增强模块，用于对图像信息进行场景增强；
[0120]
主干特征提取网络模块，用于提取所述图像信息的特征，生成学习模型；
[0121]
剪枝模块，用于进行稀疏训练，对所述学习模型剪枝和重新训练，优化所述学习模型；
[0122]
融合模块，用于对不同尺度的特征进行融合，便于更好利用所述图像信息的特征；
[0123]
预测网络模块，分为预测网络模块和边界框网络模块，所述预测网络模块和边界框网络模块共享特征网络权重，用于做出预测。
[0124]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。