一种基于YOLOV5改进的广告牌检测方法与流程

一种基于yolov5改进的广告牌检测方法
技术领域
[0001]
本发明设及一种基于yolov5改进的广告牌违法检测方法，属于人工智能的领域。


背景技术：

[0002]
为了规范城镇户外广告设施和店招标牌设施的设置行为，确保广告设施的安全可靠，创建健康、有序的城市视觉环境，城市管理部门需要对违法广告设施做定期肃清。但目前执法依赖执法人员在街道上拍照取证，由于涉及街道范围较广，需要耗费大量人力，而且效率也比较低。
[0003]
因此本文提出一种新型的“违法广告牌快速检测系统
”--
基于yolov5的检测系统，主要针对是“广告牌检测”，该系统能检测与标记违法广告牌，并在检测出违法广告牌时给出提示，在不影响店铺正常营业的情况下快速检测，更好的提高民众的生活保障。


技术实现要素：

[0004]
针对上述问题，本发明提出一种快速简单的违法广告牌识别方法。
[0005]
为实现上述目的，本发明发采用的技术方案为：一种基于yolov5改进的广告牌违法检测方法，包括以下步骤：(1)广告牌图像信息的获取；(2)广告牌图像样本的划分；(3)广告牌图像的特征提取；(4)panet违法广告牌识别模型的构建。
[0006]
作为优选，所述步骤(1)中，获取广告牌的图像信息，得到广告牌的图像数据集。
[0007]
作为优选，所述步骤(2)中，采用随机抽样的方式将所采集的广告牌图像数据按一定比例划分为独立不重复的验证集和测试集。
[0008]
作为优选，所述步骤(3)中，用于提取广告牌图像信息特征的路径聚合网络panet，其中panet，其中panet包括四个部分，分别为：fpn特征金字塔；自底向上路径扩充；自适应池化特征层；全连接层等。
[0009]
作为优选，所述步骤(4)中，在训练和测试阶段，在panet的全连接层加入空洞卷积网络，利用panet提取广告牌图像特征在验证集上构建违法广告牌识别模型，确定识别模型的参数，然后利用测试集来检测识别效果，验证模型性能。
[0010]
通过上述技术方案，本发明的有益效果是：提出一种新的基于路径聚合网路panet模型，引入空洞卷积网络，扩大了感受野，捕获多尺度上下文信息，从而获取更多、更有效的图像信息，有利于快速、准确检测出街道的违法广告牌。与现有技术相比，本发明的优点是：(1)由panet网络对数据集进行训练，得到一个高效的训练结果，由此可以对违法广告牌的快速定位，比起以往的方法更高效，节省了大量的时间和人工成本；(2)加入空洞卷积层，可以更好地扩大感受野，捕获多尺度上下文信息，从而实现准确的定位和分类违法广告牌；(3)加入空洞卷积，使得输出不同层的特征图更精确，优化了输出数据，提高定位和分类的
准确性。
[0011]
yolov5主要从以下几个方面有所改进：data augmentation:图像增强是从现有的训练数据中创建新的训练样本。实验中不可能为每一个现实世界场景捕捉一个图像，因需要调整现有的训练数据以推广到其他情况，从而允许模型适应更广泛的情况。
[0012]
多样化的先进数据增强技术是最大限度地利用数据集，使对象检测框架取得性能突破的关键。通过一系列图像增强技术步骤，可以在不增加推理时延的情况下提高模型的性能。
[0013]
yolov5通过数据加载器传递每一批训练数据，并同时增强训练数据。
[0014]
数据加载器进行三种数据增强：缩放，色彩空间调整和马赛克增强。马赛克数据增强确实能有效解决模型训练中最头疼的“小对象问题”，即小对象不如大对象那样准确地被检测到。
[0015]
auto learning bounding box anchors：自适应锚框，在yolov5之前，主流是采用k均值和遗传学习算法对自定义数据集进行分析，获得适合自定义数据集中对象边界框预测的预设锚框。
[0016]
在yolov5中锚框是基于训练数据自动学习的。不仅适用于标准数据集(例如coco，pascalvoc等)，同时也适用于自定义数据集；由于目标识别框架往往需要缩放原始图片尺寸，并且数据集中目标对象的大小可能不同，因此yolov5会重新自动学习锚框的尺寸。
[0017]
backbone：跨阶段局部网络(cspdarket)，从输入图像中提取丰富的信息特征。cspnet解决了其他大型卷积神经网络框架backbone中网络优化的梯度信息重复问题，将梯度的变化从头到尾地集成到特征图中，因此减少了模型的参数量和flops数值，既保证了推理速度和准确率，又减小了模型尺寸。
[0018]
neck:路径聚合网络(panet)，用于生成特征金字塔，其会增强模型对于不同缩放尺度对象的检测，从而能够识别不同大小和尺度的同一个物体。
[0019]
head：yolo通用检测层，用于最终检测部分，在特征图上应用锚框，并生成带有类概率、对象得分和包围框的最终输出向量。
[0020]
activation function:激活函数的选择对于深度学习网络是至关重要的。yolov5在中间/隐藏层使用了leaky relu和最后的检测层使用了sigmoid激活函数。
[0021]
optimization function：提供了两个优化函数adam和sgd，并都预设了与之匹配的训练超参数。默认为sgd。如果需要训练较小的自定义数据集，adam是更合适的选择，尽管adam的学习率通常比sgd低；但是如果训练大型数据集，对于yolov5来说sgd效果比adam好。
[0022]
cost function：损失计算是基于目标得分、类得分和框回归得分，使用giou损失作为框损失计算，另外再采用二进制交叉熵和logistic损失函数计算类概率和目标得分的损失。
附图说明
[0023]
图1本发明实施违法广告牌识别方法的训练流程图。
[0024]
图2本发明实施用于提取图像特征改进后的网络结构简图。
[0025]
图3本发明实施检测改进前后的卷积图。
[0026]
图4本发明实施改进前后的检测效果对比图。
[0027]
图5本发明实施改进前后的实验数据分析图。
具体实施方式
[0028]
下面结合说明书附图，对本发明作进一步说明，以让本领域技术人员参照说明书文字能够具体实施。
[0029]
本发明在ubuntu16.04.4lts环境下工作，采用pytorch为框架进行搭建，主要参数有：初始学习率为0.001，动量参数为0.937，权重系数为0.0005，训练阈值为0.65，imagesize为896 896，epoch为400等，此外，为了提高数据的多样性，对图片进行数据增强，每个步骤均以0.5的概率选择是否使用。
[0030]
本发明采用的技术方案为：一种基于yolov5改进空洞卷积的广告牌违法检测方法，包括以下步骤：(1)广告牌图像信息的获取；(2)广告牌图像样本的划分；(3)广告牌图像的特征提取；(4)panet违法广告牌识别模型的构建。
[0031]
下面结合附图，对发明作进一步详细说明，本发明提供一种基于yolov5改进空洞卷积的广告牌违法检测方法，训练步骤如图1所示：广告牌图像信息的获取：获取广告牌的图像信息，得到广告牌的图像数据集，为了提高本发明在实际场景中的应用能力，所收集的数据集图片均来自于现实生活中的场景，然后利用目标检测标注工具进行标注，将图片格式化为一定的图片尺寸，进而获得广告牌图像信息，包含违法与不违法两大类。
[0032]
广告牌图像样本的划分：本发明采用随机抽样的方式对街道中的违法广告牌和正常广告牌的图像数据按照验证集80％,测试集20％的比例将广告牌图像数据划分为独立的验证集和测试集。
[0033]
panet广告牌图像的特征提取，如附图2中展示了网络的结构图，该网络主要包括四个部分：(1)fpn特征金字塔，主要作用是通过融合高低层特征提升目标检测的效果，尤其是可以提高小尺寸目标的检测，例如在店面排列拥挤，广告牌尺寸较小，选择fpn可以显著提升效果；(2)自底向上路径扩充，主要考虑到网络浅层特征信息对于实例分割非常重要，浅层特征多是边缘形状等特征，而实例分割是像素级别的分类；(3)自适应池化特征层，主要目的是特征融合，将单层特征换成多层特征，使得提取到的roi特征更加丰富；(4)全连接层是针对原有的分割支路引入一个前背景二分类的全连接支路，又加入空洞卷积网络.普通卷积网络在检测中精度低且容易出现漏检的情况。因此我们在输出头加入空洞卷积，扩大了感受野的同时没有降低分辨率，提高了精度，且大幅度改善了漏检的情况。如图3所示，在不用池化层(池化层会导致信息损失)且计算量相当的情况下，提供更大的感受野。从直观上讲，感受野就是视觉感受区域的大小。在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。扩大感受野是为了增加感受野且降低计算量，总要进行降采样，这样虽然可以增加感受野，但空间分辨率降低了，进而导致信息丢失。为了能不丢失分辨率，且仍然扩大感受野，可以使用空洞卷积。这在检
测，分割任务中十分有用。一方面感受野大了可以检测分割大目标，另一方面分辨率高了可以精确定位目标。池化层内部数据结构丢失；空间层级化信息丢失。小物体信息无法重建而空洞卷积就有内部数据结构的保留和避免使用下采样这样的特性，在相同的计算条件下，空洞卷积提供了更大的感受野，使得输出更加精确。
[0034]
图4展示了本发明的测试后的效果图，共挑选了两组进行对比。本文挑选了街边两个场景作为样本进行研究。图4(c),4(d)是使用了空洞卷积网络改进后的测试效果图，图4(a),4(b)是没有使用空洞卷积网络改进前的测试效果图。对于改进前来说，精度低且存在漏检的项目，改进后，检测精度明显高于之前，缓解了漏检的缺陷。总的来说，此项目使用空洞卷积对检测准确性起到了一定的提升作用。
[0035]
图5中展示了本模型的各个参数指标，改参数指标是在epoch为400，batchsize为32，imagesize为896
×
896情况下训练得到的；其中，giou(generalizedintersection over union)是指任意两个边框的度量，本文中的glou是指损失度量。
[0036]
objectness在本文中表示“置信度”，其对应的是布尔值类型的二分类标签，表示成对应的真实和错误的逻辑值；其他指标分别是性能评价指标、精准率、回归率、平均精度，map@＝0.5是指iou＝0.5时测得模型的精度，同理，map@＝0.5～0.95是指iou＝0.5～0.95时测得模型的精度。
[0037]
鉴于计算机硬件的限制，本发明只做了400次的训练，就可以证明改进的有效性，下表是取epoch第一次和最后一次参数，如下表所示：表一：训练阶段epoch为1和epoch为400时的对比由表1知：在epoch为1时，改进前和改进后的变化微乎其微，但随着训练次数的增加，改进后的效果明显好于改进前。我们重点分析epoch为400时的几个常见参数，改进前的回归率为0.9831，改进后的回归率为0.9841，提高了0.001；改进前的map@0.5为0.9006，改进后的map@0.5为0.9303，提高了0.0297；改进前的map@0.5:0.95为0.6616，改进后的map@0.5:0.95为0.7396，提高了0.078；根据实验数据所得，伴随着训练次数的增加，glou的损失不断
减小；精准率和回归率之间存在一种博弈关系，该模型在回归率增长的同时保持较高的准准率；map随着iou值得不同表现出较高的精度；该实验数据证明了本模型是个好模型，可以应用于实际情况。此外，本发明只验证了输出头可加入空洞卷积有效，对于其它层是否可加以及有效，本发明未涉及，这也是需要后续更进一步的工作深入。
[0038]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0039]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例的技术方案也可以经适当的组合，形成本领域技术人员可以理解的其他实施方式。