一种基于深度卷积神经网络的安全帽佩戴检测方法与流程
本发明涉及计算机视觉和深度学习领域，具体涉及一种基于深度卷积神经网络的安全帽佩戴检测方法。
背景技术
由于建筑工地的环境比较复杂，会有各种施工车辆、器械和建筑材料，而且高空坠物发生的频率也较高，所以建筑工地是高度危险的区域。安全帽是一种对工地人员的头部进行保护的装置，对保护工地人员的安全尤其重要。尽管工地人员知道佩戴安全帽对他们的人身安全有很好的保护作用，但由于佩戴安全帽带来的不适感和不方便，有一部分人员怀着侥幸心理选择不佩戴安全帽，所以每年都有一部分人员因为未佩戴安全帽而受伤甚至失去生命。这些本来可以避免的伤害和死亡不仅给工地人员和他们的家人带来痛苦，也给建筑项目带来巨额的费用和可能的工期延误。因此，在建筑工地如何实时自动检测工地人员是否佩戴安全帽是一项重要任务。
目前安全帽佩戴检测工作大部分都是基于传统的计算机视觉方法和机器学习方法的，最近也出现了使用卷积神经网络的检测方法。使用传统的计算机视觉方法和机器学习方法的一般做法是通过使用帧差法、背景减除法等来提取移动区域，然后再从提取出来的移动区域中找出其中对应人的区域。检测人体的方法一般是通过提取颜色、区域宽高比等特征，还可以提取hog和局部二值模式、小波变换等较复杂的特征，通过将这些特征送给k近邻或利用支持向量机模型分类器去做分类，进而确定人的位置和尺度，之后再进一步对安全帽的特征进行提取，通常是在检测到人员区域的顶部20％到30％的区域上对人员头部的特征进行提取，然后用机器学习中的分类方法再对得到的特征进行分类，从而得到对于人员是否佩戴安全帽的结果。在现行的方法中有使用k最近邻来对提取到的特征进行分类从而检测人员是否佩戴安全帽；提取不同颜色空间下的颜色特征，然后根据颜色特征去做分类，来判定人员是否佩戴安全帽；对提取到的特征使用了支持向量机模型、随机森林、多层感知机来对特征进行分类，判定人员是否佩戴安全帽；使用霍夫变化来检测该区域是否存在安全帽的轮廓来检测人员是否佩戴安全帽；通过提取安全帽的hog特征再用支持向量机模型进行分类，来判定人员是否佩戴安全帽；使用卷积神经网络的方法，其具体操作为使用背景减除的方法得到移动目标，然后使用卷积神经网络将得到的移动目标进行分类，从而得到人员区域；再对得到人员区域顶部25％的区域使用卷积神经网络进行分类，得到人员是否佩戴安全帽的结果。
以上方法依赖于背景减除提取移动目标，因此无法检测没有明显位移的工地人员。此外，人的全身检测会受到工地中各类车辆和建筑材料的遮挡以及人员之间相互遮挡的影响，容易造成漏检。另外头部的定位也是通过几何先验知识估计的，一旦前景区域的提取不准确，头部定位的准确性也会受到很大影响，进而导致安全帽检测的精度下降。
综上所述，为了解决现行安全帽佩戴检测方法中存在的以上问题，亟需一种结构简单、应用范围广、不依赖于背景减除提取移动目标、不使用颜色特征、当人员身体部位有遮挡的情况仍然能够识别且识别准确率高的安全帽佩戴检测方法。
技术实现要素：
(一)要解决的技术问题
为了解决现有技术的上述问题，本发明提供一种基于深度卷积神经网络的安全帽佩戴检测方法。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括以下步骤：
101、将待检测图像输入至训练后的深度卷积神经网络；
102、获取深度卷积神经网络输出的检测结果，所述检测结果为满足预设条件的第一类边界框和满足预设条件的第二类边界框；
103、将所述检测结果中满足预设条件的第一类边界框和满足预设条件的第二类边界框标记在所述待检测图像上；
其中，训练后的深度卷积神经网络包括：基础网络模块、卷积模块、自顶向下模块和预测模块；
待检测图像经过基础网络模块后在卷积模块中生成第一低层特征图、第二低层特征图和高层特征图，所述自顶向下模将高层特征图与第二低层特征图融合生成第一融合特征图，再将第一融合特征图和第一低层特征图融合生成第二融合特征图；
所述预测模块将高层特征图通过第一残差结构融合生成第三融合特征图，将第一融合特征图第二残差结构融合生成第四融合特征图，将第二融合特征图通过第三残差结构融合生成第五融合特征图，再根据所述第三融合特征图、第四融合特征图和第五融合特征图获取满足预设条件的第一类边界框和满足预设条件的第二类边界框；
所述第一类边界框包括：覆盖佩戴安全帽的人员头部所在区域的边界框的位置坐标、大小和类别置信度分数；
所述第二类边界框包括：覆盖未佩戴安全帽的人员头部所在区域的边界框的位置坐标、大小和类别置信度分数。
可选地，所述方法还包括：
104、若检测结果中包括至少一个所述满足预设条件的第二类边界框，则发出报警信息。
可选地，在步骤101之前所述方法还包括：
100、预先构建深度卷积神经网络并利用训练样本图像训练所述深度卷积神经网络；
所述训练样本图像包括：佩戴安全帽的人员图像、未佩戴安全帽的人员图像和背景图像；
在每一所述佩戴安全帽的人员图像中均预先标记有佩戴安全帽的人员头部所在区域的第一类边界框，在每一所述未佩戴安全帽的人员图像中均预先标记有未佩戴安全帽的人员头部所在区域的第二类边界框；
利用所述训练样本图像通过多次训练获取训练后的深度卷积神经网络。
可选地，所述卷积模块包括：
第一卷积结构、第二卷积结构和第三卷积结构；
所述卷积模块设置在所述基础网络模块之后，且所述第一卷积结构、所述第二卷积结构和所述第三卷积结构依次连接；
其中，所述第一卷积结构、第二卷积结构和第三卷积结构均包括一个3×3卷积层、一个激活层和一个批量归一化层；
针对所述步骤102，所述第一卷积结构用于生成所述待检测图像的第一低层特征图，所述第二卷积结构用于生成所述待检测图像的第二低层特征图，所述第三卷积结构用于生成所述待检测图像的高层特征图。
可选地，所述自顶向下模块包括：
第一自顶向下结构和第二自顶向下结构；
其中，所述第一自顶向下结构包括：第一卷积单元、第二卷积单元和反卷积单元；
所述第一卷积单元和第二卷积单元均为1×1的卷积层；
所述反卷积单元包括一个反卷积层；
针对所述步骤102，将所述第二低层特征图作为所述第一自顶向下结构的第一卷积单元的输入，所述高层特征图作为所述第一自顶向下结构的反卷积单元的输入，所述高层特征图先经过所述第一自顶向下结构的反卷积单元再经过所述第一自顶向下结构的第二卷积单元；
所述第一自顶向下结构的第一卷积单元的输出与所述第一自顶向下结构的第二卷积单元的输出通过逐元素相加的方式融合生成第一融合特征图，所述第一融合特征图作为所述第一自顶向下结构的输出；
所述第一自顶向下结构与所述第二自顶向下结构具有相同的结构；
将所述第一低层特征图作为所述第二自顶向下结构的第一卷积单元的输入，所述第一融合特征图作为所述第二自顶向下结构的反卷积单元的输入，所述第一融合特征图先经过所述第二自顶向下结构的反卷积单元再经过所述第二自顶向下结构的第二卷积单元；
所述第二自顶向下结构的第一卷积单元的输出与所述第二自顶向下结构的第二卷积单元的输出通过逐元素相加的方式融合生成第二融合特征图，所述第二融合特征图作为所述第二自顶向下结构的输出。
可选地，所述预测模块包括：
第一残差结构，第二残差结构和第三残差结构；
其中，第一残差结构包括：第一分支单元和第二分支单元；
所述第一分支单元将所述第一分支单元的输入直接作为第一分支单元的输出；
所述第二分支单元包括：第一1×1的卷积层、3×3的卷积层和第二1×1的卷积层；
所述第二分支单元的输入依次经过第一1×1的卷积层、3×3的卷积层和第二1×1的卷积层后输出；
针对所述步骤102，将第一残差结构的输入分别作为所述第一分支单元和所述第二分支单元的输入，所述第一分支单元的输入与输出相同，所述第二分支单元的输出与所述第一分支单元的输出通过逐元素相加的方式融合获得第三融合特征图，所述第三融合特征图作为所述第一残差结构的输出；
所述第二残差结构和所述第三残差结构均与所述第一残差结构具有相同的结构；
其中，所述高层特征图作为所述第一残差结构的输入，所述第一融合特征图作为所述第二残差结构的输入，所述第二融合特征图作为所述第三残差结构的输入；
所述第二残差结构用于生成第四融合特征图，所述第四融合特征图作为所述第二残差结构的输出；
所述第三残差结构用于生成第五融合特征图，所述第五融合特征图作为所述第三残差结构的输出；
根据所述第三融合特征图、第四融合特征图和第五融合特征图获取所述待检测图像中全部的第一类预测边界框和第二类预测边界框。
可选地，所述预测模块还包括：
筛选结构；
所述筛选结构用于从所述全部的第一类预测边界框和第二类预测边界框中确定满足预设条件的第一类边界框和第二类边界框。
可选地，
所述基础网络模块以mobilenet网络作为基础网络模块。
(三)有益效果
本发明的有益效果是：本发明方法适用处理的对象可以是图像或者视频，应用范围广，避免了图像复杂的预处理过程并且针对人员其他身体部位被遮挡的情况也能准确的检测到人员是否佩戴安全帽，同时本发明方法采用融合高层特征图和低层特征图的方法提高了图像分辨率低的检测性能，本发明方法在复杂场景下的检测效果也较好。
附图说明
图1为本发明一实施例提供的一种基于深度卷积神经网络的安全帽佩戴检测方法流程示意图；
图2为本发明一实施例提供的一种基于深度卷积神经网络模型结构图；
图3为本发明一实施例提供的一种自顶向下模块结构图；
图4为本发明一实施例提供的一种残差结构示意图；
图5为本发明一实施例提供的一种基于mobilenet的深度卷积神经网络结构添加不同模块后的精确度-召回率曲线；
图6为本发明一实施例提供的一种基于mobilenet的深度卷积神经网络结构添加不同模块后的对数平均缺失率曲线；
图7为本发明一实施例提供一种工作流程图；
图8(a)为本发明一实施例提供的一种基于mobilenet的深度卷积神经网络的图像检测结果；
图8(b)为本发明一实施例提供的一种基于mobilenet的深度卷积神经网络添加模块后的图像检测结果；
图9为本发明一实施例提供的一种基于mobilenet的深度卷积神经网络添加模块后对复杂场景的检测结果。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
下面结合附图对本发明的具体实施方式做详细说明。
实施例一
如图1所示，本发明提供的一种基于深度卷积神经网络的安全帽佩戴检测方法，本发明方法的包括以下步骤；
100、预先构建深度卷积神经网络并利用训练样本图像训练所述深度卷积神经网络；
预先构建深度卷积神经网络包括：基础网络模块、卷积模块、自顶向下模块和预测模块；
具体实施过程中，预先标记训练样本图像，训练样本图像包括：佩戴安全帽的人员图像，未佩戴安全帽的人员图像以及背景图像；
在每一所述佩戴安全帽的人员图像中均预先标记有佩戴安全帽的人员头部所在区域的第一类边界框，在每一所述未佩戴安全帽的人员图像中均预先标记有未佩戴安全帽的人员头部所在区域的第二类边界框；
背景图像用于训练学习佩戴安全帽的人员图像和未佩戴安全帽的人员图像与背景图像的区别；
具体地，利用所述训练样本图像通过多次训练获取训练后的深度卷积神经网络。
101、将待检测图像输入至训练后的深度卷积神经网络；
在具体实施过程中待检测图像举例来说可以是从设备直接获取的工地现场的图像、已存储的图像、视频中截图的图像等。
101a、待检测图像经过基础网络模块后在卷积模块中生成所述待检测图像的第一低层特征图、第二低层特征图和高层特征图；
所述卷积模块包括：第一卷积结构、第二卷积结构和第三卷积结构；
所述第一卷积结构、第二卷积结构和第三卷积结构均包括一个3×3卷积层、一个激活层和一个批量归一化层；
举例来说，其中，所述第一卷积结构用于生成第一低层特征图，所述第二卷积结构用于生成第二低层特征图，所述第三卷积结构用于生成高层特征图。
101b、所述自顶向下模块还包括第一自顶向下结构和第二自顶向下结构；
所述第一自顶向下结构将所述待检测图像的高层特征图与所述待检测图像的第二低层特征图通过融合的方法生成所述待检测图像的第一融合特征图；
所述第二自顶向下结构将所述待检测图像的第一低层特征图与所述待检测图像的第一融合特征图通过融合的方法生成所述待检测图像的第二融合特征图；
上述步骤101b中所述的融合的方法举例来说是指通过对各输入特征分别做卷积和反卷积加卷积操作并将所得结果逐元素相加的方法。
101c、将所述高层特征图、第一融合特征图和第二融合特征图输入到预测模块，预测模块的输出作为检测结果；
所述预测模块包括第一残差结构、第二残差结构、第三残差结构和筛选结构；
将所述待检测图像的高层特征图作为第一残差结构的输入，第一残差结构生成第三融合特征图；
第二残差结构和第三残差结构与第一残差结构具有相同的结构；
将所述待检测图像的第一融合特征图作为第二残差结构的输入，第二残差结构生成第四融合特征图；
将所述待检测图像的第二融合特征图作为第三残差结构的输入，第三残差结构生成第五融合特征图；
根据所述第三融合特征图、第四融合特征图和第五融合特征图获取所述待检测图像中全部的佩戴安全帽的人员头部所在区域的第一类预测边界框和未佩戴安全帽的人员头部所在区域的第二类预测边界框，特别说明的本实施例中未经过非极大抑制方法筛选的全部的边界框均称为预测框。
101d、所述预测模块的筛选结构从步骤101获取满足预设条件的第一类边界框和第二类边界框作为筛选结构的输出，并以此作为所述深度卷积神经网络输出的检测结果。
102、获取深度卷积神经网络输出的检测结果，所述检测结果为满足预设条件的待检测图像中佩戴安全帽的人员头部所在区域的第一类边界框、未佩戴安全帽的人员头部所在区域的第二类边界框。
103、将所述检测结果中满足预设条件的佩戴安全帽的人员头部所在区域的第一类边界框和满足预设条件的未佩戴安全帽的人员头部所在区域的第二类边界框标记在所述待检测图像上。
104、若检测结果中包括至少一个为满足预设条件的未佩戴安全帽的人员头部所在区域的第二类边界框，则发出报警信息。
实施例二
如图2所示，本发明方法的完整的深度卷积神经网络的架构，本发明方法的深度卷积神经网络由4个模块构成，分别为基础网络模块，卷积层模块，自顶向下模块及预测模块。
在具体的实施过程中，本实施例使用mobilenet网络作为基础网络模块，其中mobilenet网络的优势是可以构建小型、快速的网络模型，mobilenet网络结构基于可分离卷积，使用可分离卷积可以将标准的卷积分解成多个分通道卷积和一个卷积核为1×1的卷积。分通道卷积将卷积核应用到每一个通道，而1×1的卷积用来组合分通道卷积的输出。
具体地，标准卷积层的参数个数是dk·dk·m·n，其中dk是卷积核的空间维数，m是输入通道数，n是输出通道数。标准卷积层的计算代价是dk·dk·m·n·df·df，其中df是特征图的维度，使用可分离卷积在输入的m个通道上单独卷积，相应地其计算代价为dk·dk·m·df·df，再使用1×1的卷积来将用可分离卷积得到的输出组合起来，其代价为dk·dk·df·df，整体代价为dk·dk·m·df·df+dk·dk·df·df。同标准卷积相比为：
从结果可以看出，使用可分离卷积代替原有的标准卷积，进而可以大幅降低计算量和网络模型的参数规模。
在mobilenet基础网络模块之后，设置有包括有三个卷积结构的卷积模块，卷积模块用以来生成检测头部是否佩戴安全帽的多尺度特征图。其中，每个卷积结构包含一个卷积核为3×3的卷积层，一个relu的激活层以及一个批量归一化层。相应的，三个卷积层单元分别生成维度分别为38×38、19×19、10×10的特征图，同时在每个特征图上都提取候选边界框。
具体实施过程中，将规格为300×300待检测图像输入到mobilenet基础网络模块，mobilenet基础网络模块后的设置有卷积模块，卷积模块包括：第一卷积结构、第二卷积结构和第三卷积结构；特别说明的是本实施例中规格为300×300待检测图像仅用于举例说明并不对图像规格限定；
本实施例中，第一卷积结构生成多个维度为38×38的第一低层特征图，第二卷积结构生成多个维度为19×19的第二低层特征图，第三卷积结构生成多个维度为10×10的高层特征图；
在实施过程中，考虑到存在待检测的图像分辨率较低的情况，为了提高深度卷积网络在建筑工地人员头部图像分辨率较低时的检测性能，本发明方法利用自顶向下模块将卷积网络高层得到的特征图与卷积网络低层得到的特征图进行融合。具体的，对于整个网络来说，较高的卷积层会生成低分辨率但语义特征较强的特征图，其中包含用于检测小物体的有用信息。因此，在卷积模块后的第三个卷积结构之后添加自顶向下模块用以获取更多的检测特征，即从高层特征图中获取安全帽的整体语义信息，而对于安全帽的具体细节则在低层中获取。
本实施例所述的自顶向下模块结构如图3所示，在具体实施过程中，在第三个卷积结构后依次设置有第一自顶向下模块和第二自顶向下模块，第一自顶向下模块通过反卷积操作提高高层特征图的分辨率；相应的，经过反卷积的高层特征图与低层特征图通过逐元素相加进行融合；
举例来说，第二低层特征图和高层特征图通过第一自顶向下结构一融合生成第一融合特征图，第一低层特征图和第一融合特征图通过第二自顶向下结构生成第二融合特征图，本实施例中高层特征图的维度为10×10，第一融合特征图的维度与第二低层特征图的维度均为19×19，第二融合特征图的维度与第一低层特征图的维度均为38×38。
将全部的第一融合特征图和第二融合特征图以及高层特征图同时作为预测模块的输入；预测模块的第一残差结构、第二残差结构和第三残差结构分布生成新的融合特征，第一残差结构、第二残差结构和第三残差结构的输出确定检测图像中全部佩戴安全帽人员头部所在区域的第一类预测边界框和未佩戴安全帽人员头部所在区域的第二类预测边界框，并获取所述全部佩戴安全帽人员头部所在区域的第一类预测边界框的类别置信度和未佩戴安全帽人员头部所在区域的第二类预测边界框的类别置信度。
具体地，如图4所示，预测模块由三个残差结构和筛选结构组成，在具体实施过程中待检测图像通过卷积模块以及自顶向下模块获得256个通道的特征图，其中预测模块包括有第一残差结构、第二残差结构和第三残差结构，自顶向下模块包括：第一自顶向下结构和第二自顶向下结构；
具体的，将高层特征图作为所述第一残差结构的输入，第一融合特征图作为所述第二残差结构的输入，第二融合特征图作为所述第三残差结构的输入；
在具体实施过程中，第一残差结构还包括：第一分支单元和第二分支单元，第一残差结构的第一分支单元和第二分支单元的输入均为高层特征图，本发明方法将第一分支单元的输入的特征图与第二分支单元输入的特征图相加，并通过逐元素相加的方式获得的第三融合特征图；具体地第二分支单元包括两个1×1的卷积和一个3×3的卷积层；
第二残差结构和第三残差结构均与第一残差结构具有相同的结构；
将第一融合特征图作为第二残差结构的输入，第二残差结构的第一分支单元和第二分支单元的输入均为第一融合特征图，第二残差结构的第一分支单元和第二残差结构的第二分支单元将第一融合特征图本通过逐元素相加获得的第四融合特征图；
将第二融合特征图作为第三残差结构的输入，第三残差结构的第一分支单元和第二分支单元的输入均为第二融合特征图，第三残差结构的第一分支单元和第三残差结构的第二分支单元将第二融合特征图本通过逐元素相加获得的第五融合特征图；
本发明实施例中预测模块的第一残差结构、第二残差结构和第三残差结构的第一分支单元使用跳跃连接直接将得到的特征图同第二分支单元产生的结果进行逐元素相加，使用这种结构的目的是为了防止梯度消失。对于第二分支单元，设置一个1×1的卷积层来减小特征映射的维度，再设置一个3×3的卷积层提取周围的上下文信息，最后的1×1的卷积层用于恢复特征图的原始维度。
根据第三融合特征图、第四融合特征图和第五融合特征图获取全部的待检测图像中佩服安全帽人员头部所在区域的第一类预测边界框和未佩服安全帽人头部所在区域的第二类预测边界框；
预测模块的筛选结构使用非极大抑制方法，对获得的全部待检测图像的第一类预测边界框以及第二类预测边界框相互之间有较大重合通过比较重合边界框的类别置信度，进而去掉类别置信度低的边界框，保留类别置信度高的边界框。
所述第一类边界框包括：覆盖佩戴安全帽的人员头部所在区域的边界框的大小、类别置信度分数和位置坐标；
所述第二类边界框包括：覆盖未佩戴安全帽的人员头部所在区域的边界框的大小、类别置信度分数和位置坐标
在具体的实施过程中，计算覆盖佩戴安全帽的人员头部所在区域的第一类预测边界框的位置坐标和覆盖未佩戴安全帽的人员头部所在区域的第二类预测边界框的位置坐标的位置损失使用的公式(1)为：
其中，公式中的n是从特征图上得到的所有预测框的总数，α是平衡分类和位置检测两个任务的参数；
其中关于位置损失lloc(x,l,g)的具体公式为：
其中，公式中的n是从特征图上得到的所有预测框的总数，公式中的
具体实施过程中，类别置信度损失lconf(x,c)的具体公式(2)为：
其中，公式中的
实施例三
在具体的实施过程中针对实施例二中训练后的基于moblienet的深度卷积神经网络模型，令实施例公式(1)中α＝1，使用计算平均精度(ap)的“11point”方法和对数平均缺失率对深度卷积网络模型进行衡量，如图5所示，本发明专利所提深度卷积网络模型在检测未戴安全帽的工地人员的平均精度值为87.9％，如图6所示，对数平均缺失率为21.3％，相比于单纯基于mobilenet的深度卷积神经网络模型分别改善4.3和9.5个百分点。
具体本实施例中用于计算平均精度的“11point”方法的具体步骤包括：
s11、将检测框和真实框进行匹配，当满足交并比大于0.5时认为匹配成功，其中交并比是产生的候选框与原标记框的交叠率，即它们的交集与并集的比值，当有若有多个检测框都能同一个真实框匹配，则选择分数最高的检测框作为匹配结果，若有一个检测框能和多个真实框匹配，则选择交并比最大的真实框作为匹配结果；
s12、按检测分数从高到低的顺序，分别以每个检测框对应的检测分数为阈值，统计检测框中大于当前检测阈值且同真实框匹配的检测个数tpcur_idx，以及检测框中大于当前检测阈值但未同真实框匹配的检测个数fpcur_idx，其中cur_idx∈{1，…，n}为当前检测阈值所对应的检测框的序号，n表示所有未佩戴安全帽人员头部检测框的总数。然后计算召回率和精确度，召回率具体的计算公式(3)和精确度的计算公式(4)如下：
其中，recall_ratecur_idx和precision_ratecur_idx分别表示当前检测阈值对应的召回率和精确度，#groundtruth表示所有真实框的总数。
s13、取0到1的区间上间隔为0.1的11个召回率(包括0和1)，分别统计在这11个召回率下对应的最大精度，得到11个精度值，求它们的平均值，得到当前类的平均检测精度。
具体实施过程中，计算对数平均缺失率的具体步骤包括：
s21、利用计算检测平均精度时得到的tpcur_idx和fpcur_idx计算平均每张图片的误检数(fppi)和缺失率，误检数的计算公式(5)和确实率的计算公式如下：
其中fppicur_idx表示当前检测阈值对应的误检数，#images表示图片总数，miss_ratecur_idx表示当前检测阈值对应的丢失率值。
s22、统计在fppicur_idx分别等于：{10-2,10-1.75,10-1.5,10-1.2510-1，10-0.75，10-0.5，10-0.25,100}这9个值时对应的缺失率mri(i＝1，2，…，9)，利用如下公式计算对数平均缺失率lamr：
该值体现了检测的性能指标，平均缺失率越小检测的性能越好。
实施例四
本实施例使用基于深度卷积神经网络的安全帽佩戴检测方法，如图7所示，包括以下步骤：
201：将要训练和测试的图片进行标注，其中佩戴安全帽的人员头部用矩形边界框来标注其位置和尺度信息，并将该边界框分类为佩戴安全帽的人员头部，未佩戴安全帽的人员头部用矩形边界框来标注其位置和尺度信息，并将该边界框分类为未佩戴安全帽的人员头部；
202：下载并安装caffe平台，将定义好的用于训练的网络结构保存在train.prototxt中，将做好的训练集放置在data文件夹中，然后用训练集中的图片对搭建好的网络模型进行训练，训练好的网络保存在test.prototxt中；
本实施方案采用caffe深度学习框架，将使用的训练数据放置在data文件夹中，具体实验所用的自定义文件、实验中生成的日志文件和最后生成的网络模型文件都存放在一个文件夹中便于管理。具体将定义好的用于训练的网络结构保存在train.prototxt中，用于测试的网络结构具体信息保存在test.prototxt中，训练网络时的超参数定义在solver.prototxt中，将训练网络的启动脚本命名为train.sh文件，每次训练都从train.sh脚本文件开始。训练完成之后，当前目录下，会生成训练之后的caffemodel文件。
203：使用训练好的网络模型对人员是否佩戴安全帽进行检测；
203a：将任意的待检测的图片输入到训练好的网络模型中；
203b：对于每一张图片，输入到训练好的网络模型进行计算，得到待检测图片中佩戴或者未佩戴安全帽的人员头部的边界框和具体的关于佩戴或未佩戴安全帽的置信度分数，对于生成的检测结果，会对相互之间有较大重合的边界框使用非极大抑制进行筛选，再将类别置信度低于0.25的所有边界框都筛掉；
在具体实施过程中，置信度筛选的条件仅用于举例说明，针对不同的测试图像可以依据经验设置相应合理的筛选条件以确保检测结果的有效性。
203c：将所有图片进行检测之后，将筛过的检测结果保存在文本文档中；
204：用检测结果在原图中进行标记，显示检测到的佩戴或未佩戴安全帽的人员的头部，并对检测出的未佩戴安全帽的人员对应的图片及位置进行报警。
整个网络结构在添加卷积模块、添加卷积模块和自顶向下模块和同时添加卷积模块、自顶向下模块和预测模块时，效果越来越好，得到的精确度-召回率曲线如图5所示，得到的对数平均缺失率曲线如图6所示。
实施例五
本实施例以检测结果图8举例来说，检测结果为检测到工地人员佩戴安全帽的情况和工地人员未佩戴安全帽的情况。
具体实施过程中，本发明实施例使用基于基础网络模块为moblienet网络，并在基础网络模块后添加卷积模块构建的第一检测网络模型和基于基础网络模块为moblienet网络，并在基础网络模块后添加卷积模块、自顶向下模块和预测模块构建的第二检测网络模型；使用相同的训练样本图像训练第一检测网络模型和第二检测网络模型，获得训练后的第一检测网络模型和训练后的第二检测网络模型；
将相同的测试图像输入到训练后的第一检测网络模型和训练后的第二检测网络模型中，检测结果如图8(a)和图8(b)所示，其中图8(a)为第一检测网络模型的检测结果，图8(b)为第二检测网络模型的检测结果，可以看出第二检测网络模型的检测结果要明显好于第一检测网络模型的检测结果。
在实际应用的过程中，复杂环境以及图像对检测的结果也有影响，因此，本发明实施例还将第二检测网络模型应用到复杂场景下，如图9所示；
举例来说：图9(a)为工地现场人员密集情况，图9(b)工地现场人员身体部位有遮挡情况，图9(c)隧道、地下等非自然采光环境的情况，图9(d)夜视效果下采集的高空作业情况，图9(e)工地人员密集且人员复杂的情况，图9(f)夜视环境下人员复杂的情况；通常工地现场人员密集情况、采光效果差、人员分散、人员头部图像分辨低以及人员身体部位存在遮挡等复杂情况。
从检测结果图中可以看出，本发明实施例提供的第二检测网络模型在各种复杂场景下的检测效果也较好。
综上所述，本发明方法模型简单且不需要复杂的图像预处理过程，针对人员其他身体部位被遮挡的情况也能准确的检测到人员是否佩戴安全帽，本发明方法采用融合高层特征图和低层特征图的方法提高了图像分辨率低的检测性能。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
- 还没有人留言评论。精彩留言会获得点赞！