一种信号灯的目标检测方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种信号灯的目标检测方法、装置、电子设备及存储介质。


背景技术：

2.随着车辆闯红灯违法行为的不断增加，对交通卡口图像中的信号灯进行目标检测，成为智能交通系统中极其重要的环节。
3.目标检测即找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。传统目标检测的方法一般分为三个阶段:首先在给定的图像上选择一些候选的区域，然后对这些区域提取特征，最后使用训练的分类器进行分类。现有一种滑动窗口方法进行目标位置的定位，即基于滑动窗口方法对交通卡口图像中的信号灯进行定位。因为目标可能出现在图像的任何位置，而且目标的大小、长宽比例也不确定，所以采用滑动窗口对整幅图像进行遍历，需要设置不同的尺度，不同的长宽比。这样，容易导致检测失败，降低检测成功率。同时，这种穷举的方法时间复杂度太高，遍历效率低，产生冗余窗口太多，严重影响后续特征提取及分类的速度和性能。
4.综上，传统的信号灯识别方法检测准确率及效率较低，无法在夜间、雨天、雾霾、有遮挡等困难场景下保证较高的检测准确率及效率，亟需改进。


技术实现要素：

5.本发明提供一种信号灯的目标检测方法、装置、电子设备及存储介质，以提高信号灯的目标检测效率及准确率。
6.第一方面，本发明实施例提供了一种信号灯的目标检测方法，包括：
7.获取待检测的目标图像；
8.基于信号灯检测模型，确定所述目标图像中信号灯的类别和/或位置；
9.其中，所述信号灯检测模型基于目标检测网络训练得到。
10.第二方面，本发明实施例还提供了一种信号灯的目标检测装置，包括：
11.图像获取模块，用于获取待检测的目标图像；
12.类别位置确定模块，用于基于信号灯检测模型，确定所述目标图像中信号灯的类别和/或位置；
13.其中，所述信号灯检测模型基于目标检测网络训练得到。
14.第三方面，本发明实施例还提供了一种电子设备，该设备包括：
15.一个或多个处理器；
16.存储装置，用于存储一个或多个程序，
17.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的信号灯的目标检测方法。
18.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如本发明任意实施例所述的信号灯的目标检测方法。
19.本发明实施例提供的一种信号灯的目标检测方法、装置、电子设备及存储介质，通过获取待检测的目标图像；基于信号灯检测模型，确定所述目标图像中信号灯的类别和/或位置，其中，所述信号灯检测模型基于目标检测网络训练得到。本实施例的技术方案，可以解决现有技术中检测准确率及效率较低的问题，避免夜间、雨天、雾霾、有遮挡等困难场景对信号灯目标检测的影响，提高信号灯的目标检测效率及准确率，为信号灯的目标检测提供了一种新思路。
附图说明
20.图1为本发明实施例一提供的一种信号灯的目标检测流程图；
21.图2是本发明实施例二提供的一种信号灯的目标检测流程图；
22.图3是本发明实施例三提供的一种信号灯的目标检测装置结构框图；
23.图4是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.实施例一
26.图1为本发明实施例一提供的一种信号灯的目标检测方法的流程图，本实施例可适用于对路口信号灯进行目标检测的情况。该方法可以由本发明实施例提供的信号灯的目标检测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。
27.具体的，如图1所示，本发明实施例提供的信号灯的目标检测方法，可以包括如下步骤：
28.s110、获取待检测的目标图像。
29.其中，待检测的目标图像可以理解为图像采集设备在交通路况、路段等位置摄取的含有信号灯的道路情况的图像。图像采集设备，可以设置在交通路口、路段等位置，也可以设置在车辆上。具体的，可以是摄像头、摄像机、相机、扫描仪或其他带有拍照功能的设备(手机、平板电脑等)。
30.信号灯，又叫交通信号灯，是指挥交通运行的信号灯，一般由红灯、绿灯、黄灯组成。红灯表示禁止通行，绿灯表示准许通行，黄灯表示警示。交通信号灯至少包括：机动车信号灯、非机动车信号灯、人行横道信号灯、方向指示灯(箭头信号灯)、车道信号灯、闪光警告信号灯、道路与铁路平面交叉道口信号灯。
31.在对信号灯进行目标检测之前，首先需要获取图像采集设备采集的待检测目标图像。示例性的，若图像采集设备设置在交通路口、路段等位置，则可以通过无线连接的方式与图像采集设备建立通信连接，用于获取图像采集设备采集的待检测目标图像；若图像采集设备设置在车端，可以直接通过车辆控制总线获取车载图像采集设备采集的待检测目标图像。当然，本技术仅以无线连接为例进行示例性说明，本领域技术人员可以根据实际需要对与图像采集设备建立通信连接的方式进行调整，不应理解为对本技术的限定。
32.s120、基于信号灯检测模型，确定目标图像中信号灯的类别和/或位置。其中，信号灯检测模型基于目标检测网络训练得到。
33.本实施例中，信号灯的目标检测基于yolo(you only look once，你只需要看一遍)v3算法实现。yolov3是yolo系列目标检测算法中的第三版，相比之前的算法，主要的改进有：调整了网络结构，利用多尺度特征进行对象检测，对象分类用logistic取代了softmax。其中，logistic分类器是以伯努利分布为模型建模的，它可以用来分两种类别；而softmax分类器以多项式分布为模型建模的，它可以分多种互斥的类别。yolov3预测对象类别时，不使用softmax，改成使用logistic的输出进行预测，这样能够支持多标签对象(比如一个人有“女人”和“人类”两个标签)。因此，相比于之前的yolo系列算法，yolov3尤其是针对小目标，精度有显著提升。
34.yolov3将图像划分成s*s的网格，目标中心所在的网格负责完成对目标的预测。为完成对c类目标的检测，每个网格需要预测b个边界框及c个条件类别概率，并输出表征边界框中是否包含目标及输出边界框准确度的置信度信息。
35.在基本的图像特征提取方面，yolov3采用了称之为darknet(黑暗网络)
‑
53的网络结构(含有53个卷积层)，它借鉴了残差网络的做法，在一些层之间设置了快捷链路。在yolov2检测细粒度特征的基础上，yolov3更进一步采用了3个不同尺度的特征图(y1、y2和y3)来进行对象检测。其中，深度卷积经过多次执行conv_layer(卷积层，5层卷积+1层归一化+1层激活)、conv_block(卷积块，1层卷积+1层归一化+1层激活)、conv(1层卷积)三个操作步骤，得到三种不同尺度的特征图y1、y2和y3。随着输出特征图的数量和尺度的变化，先验框的尺寸也需要相应的调整。
36.目前深度学习模型多采用批量随机梯度下降算法进行优化，除了梯度本身，批尺寸和学习率这两个因子直接决定了模型的权重更新，从优化本身来看它们是影响模型性能收敛最重要的参数。学习率直接影响模型的收敛状态，批尺寸则影响模型的泛化性能。
37.设置大的批尺寸可以减少训练时间，提高稳定性，但是会导致模型泛化能力下降。本实施例中，设置批尺寸时，在训练时间、稳定性和泛化能力中折中，将信号灯检测模型的批尺寸设置为32。
38.为了能够使得梯度下降法有较好的性能，我们需要把学习率的值设定在合适的范围内。学习率决定了参数移动到最优值的速度快慢。如果学习率过大，很可能会越过最优值；反而，如果学习率过小，优化的效率可能过低，长时间算法无法收敛。所以，学习率对于算法性能的表现至关重要。
39.在信号灯检测模型的训练过程中，可以确定信号灯检测模型的损失函数波动幅度。为了使得梯度下降法有较好的性能，在损失函数波动幅度大于第一幅度阈值的情况下，可以降低信号灯检测模型的学习率；在损失函数波动幅度小于第二幅度阈值的情况下，可以提高信号灯检测模型的学习率；其中，第一幅度阈值大于第二幅度阈值。
40.yolov3使用k
‑
means(k平均)算法在训练集中所有样本的真实框(ground truth)中聚类，得到具有代表性形状的宽高(先验框的尺寸)，为每种下采样尺度设定3种先验框，总共聚类出9种尺寸的先验框。但是，具体几个先验框才是最合适的，可以采用实验的方式，分别用不同数量的先验框应用到模型，然后找出最优的在模型的复杂度和高召回率之间这种的那组先验框，最终得出9个先验框最佳。对于yolov3来说，输出为3个尺度的特征图，分
别为13
×
13、26
×
26、52
×
52，对应着9个先验框，每个尺度均分3个先验框。
41.示例性的，在coco数据集这9个先验框是：(10*13)，(16*30)，(33*3)，(30*61)，(62*45)，(59*119)，(116*90)，(156*198)，(373*326)。分配上，在最小的13*13特征图上(有最大的感受野)应用较大的先验框(116*90)，(156*198)，(373*326)，适合检测较大的对象。在中等的26*26特征图上(中等感受野)应用中等的先验框(30*61)，(62*45)，(59*119)，适合检测中等大小的对象。在较大的52*52特征图上(较小的感受野)应用较小的先验框(10*13)，(16*30)，(33*23)，适合检测较小的对象。
42.本实施例中，在对信号灯数据进行训练时，根据信号灯数据自身特点设置合适的网络参数，使用k
‑
means聚类算法对样本图像中信号灯的参数进行聚类分析，并根据聚类结果确定信号灯检测模型中先验框的参数；其中，参数为尺寸和/或形状，尺寸可以包括宽高比。
43.利用预先使用k
‑
means算法聚类得到的9个先验框分别在得到的y1、y2和y3这三种不同尺度的特征图上进行信号灯的检测与识别，每种特征图上分别预测3个不同先验框的参数。
44.为了提高检测精度，在一个可选的实施方式中，可以选取不同聚类数量k，使用k
‑
means算法对信号灯数据进行聚类分析，通过真实框与预测框的平均交并比(average intersection over union，avg iou)随k值的变化曲线选择k值；随着聚类数量k增加，平均交并比趋于平缓，k值越大，真实框与预测框的差距越小，训练收敛速度越快，检测精度越高。
45.进一步的，本实施例中，可以确定样本图像中信号灯的最大尺寸，并将最大尺寸作为信号灯检测模型的边界框尺寸上限。示例性的，如果要对每个图像中的大量目标进行训练，在cfg(controlflowgraph，控制流图)文件的最后一个层中添加参数max(尺寸上限)＝200或更大的值。
46.本实施例的技术方案，通过获取待检测的目标图像；基于信号灯检测模型，确定目标图像中信号灯的类别和/或位置，其中，信号灯检测模型基于目标检测网络训练得到。本实施例的技术方案，可以解决现有技术中检测准确率及效率较低的问题，避免夜间、雨天、雾霾、有遮挡等困难场景对信号灯目标检测的影响，提高信号灯的目标检测效率及准确率，为信号灯的目标检测提供了一种新思路。
47.实施例二
48.图2为本发明实施例二提供的一种信号灯的目标检测方法的流程图，该方法在上述实施例的基础上进一步的优化，给出了如何对信号灯进行目标检测的具体情况介绍。
49.具体的，如图2所示，该方法包括：
50.s201、准备数据集，对图像进行分类标注，图像预处理。
51.s202、选取框架并创建模型，选用train_detector读入网络训练参数。
52.s203、下载深度学习神经网络，下载yolov3.weights(yolov3的权重)，安装darknet(黑暗网络)，makefile(生成文件)配置。
53.s204、准备训练数据集，数据增广，裁剪416*416，将数据集分为test.txt(测试集)、train.txt(训练集)、val.txt(验证集)和trainval.txt(训练验证集)。
54.s205、生成train和val文件，生成train、test、val路径。
55.s206、下载imagenet(图片网络)上预先训练的权重，修改cfg/voc.data，修改网络参数，初始化权重。
56.s207、在darknet(黑暗网络)文件夹下面新建文件夹backup(备份)，修改data/voc.name为样本集的标签名称。
57.s208、修改超参，修改cfg/yolov3
‑
voc.cfg，解析data.cfg文件,提取训练图片路径。
58.其中，需要修改的超参包括学习率和批尺寸。具体的，可以将学习率调成0.01。进一步的，可以根据训练过程中损失函数的波动幅度，调整学习率：在损失函数波动幅度大于第一幅度阈值的情况下，降低信号灯检测模型的学习率1/5
‑
1/10；在损失函数波动幅度小于第二幅度阈值的情况下，提高信号灯检测模型的学习率；其中，第一幅度阈值大于第二幅度阈值。本实施例中，可以将批尺寸由64缩小为32，缩小批尺寸，前序传播速度加快，提高训练效率。可以理解的是，加载64张图片进入内存，分16次前向传播每次加载4次；加载32张图片进入内存，前向传播累计的损失减少，减少显存使用率。还可以基于聚类结果，得到图像尺寸的上限。
59.s209、加载网络结构初始化权重值。
60.s210、读取训练图片。
61.其中，读取训练图片后，还需要对图片进行增强、裁剪等预处理，以便后续训练。
62.s211、进行训练。
63.其中，进行训练时，按照批尺寸一次提取32张图片。
64.s212、前向推理以及反向推理。
65.其中，进行前向推理和反向推理时，记录loss(损失)值更新权重。
66.s213、特征提取，提取出三个不同大小的九个先验框。
67.其中，darknet53的基础网络提取特征后，提取出三个不同大小(13*13，26*26，52*52)的九个先验框。通过残差网络对特征图进行处理，降低学习难度。
68.s214、上采样和多尺度融合。
69.s215、处理网络的输出，根据设定阈值获取需要的向量。
70.其中，网络的输出边界框通常由一组5个或更多元素的向量表示。前4个元素代表对象的中心点坐标center_x(中心点x坐标)、center_y(中心点y坐标)、width(宽度)和height(高度)，第5个元素表示边界框包围对象的置信度。其余元素是与每个类相关的置信度(即对象类型)。这个框被分配到它得分最高相对应的那个类，边界框的最高分也被称为置信度。如果框的置信度小于给定阈值，则删除这个边界框并且不再考虑进行后续处理。
71.s216、使用非极大抑制(non
‑
maximum suppression,nms)算法去重，筛选出预测框，并指定类别标签和置信度分数。
72.对置信度等于或大于置信度阈值的框进行非极大抑制，可以减少重叠框的数量。非极大抑制由非极大抑制阈值进行控制，如果这个值设置得太低，比如0.1，那可能无法检测到相同或不同类的重叠对象。但如果设置得太高，如1，那可能会得到同一个对象的多个框。
73.s217、绘制预测框。
74.在输入框架上绘制经过非极大抑制过滤的边界框，并指定其类别标签和置信度分
数。
75.本实施例的技术方案，给出了对信号灯进行目标检测的具体情况介绍，通过获取待检测的目标图像；基于信号灯检测模型，确定目标图像中信号灯的类别和/或位置，其中，信号灯检测模型基于目标检测网络训练得到。本实施例的技术方案，可以解决现有技术中检测准确率及效率较低的问题，避免夜间、雨天、雾霾、有遮挡等困难场景对信号灯目标检测的影响，提高信号灯的目标检测效率及准确率，为信号灯的目标检测提供了一种新思路。
76.实施例三
77.图3为本发明实施例三所提供的一种信号灯的目标检测装置的结构示意图，该装置适用于执行本发明实施例提供的信号灯的目标检测方法，可以提高信号灯的目标检测效率及准确率。如图3所示，该装置包括图像获取模块310、类别位置确定模块320。
78.其中，图像获取模块310，用于获取待检测的目标图像；类别位置确定模块320，用于基于信号灯检测模型，确定目标图像中信号灯的类别和/或位置；其中，信号灯检测模型基于目标检测网络训练得到。
79.本实施例的技术方案，通过获取待检测的目标图像；基于信号灯检测模型，确定目标图像中信号灯的类别和/或位置，其中，信号灯检测模型基于目标检测网络训练得到。本实施例的技术方案，可以解决现有技术中检测准确率及效率较低的问题，避免夜间、雨天、雾霾、有遮挡等困难场景对信号灯目标检测的影响，提高信号灯的目标检测效率及准确率，为信号灯的目标检测提供了一种新思路。
80.优选的，装置还包括：波动幅度确定模块、学习率降低模块和学习率提高模块。其中，波动幅度确定模块，用于在信号灯检测模型的训练过程中，确定信号灯检测模型的损失函数波动幅度；学习率降低模块，用于在损失函数波动幅度大于第一幅度阈值的情况下，降低信号灯检测模型的学习率；学习率提高模块，用于在损失函数波动幅度小于第二幅度阈值的情况下，提高信号灯检测模型的学习率；其中，第一幅度阈值大于第二幅度阈值。
81.相应的，上述信号灯检测模型的训练过程中，信号灯检测模型的批尺寸为32。
82.优选的，装置还包括：参数聚类模块，用于对样本图像中信号灯的参数进行聚类，并根据聚类结果确定信号灯检测模型中先验框的参数；其中，参数为尺寸和/或形状。
83.优选的，装置还包括：最大尺寸确定模块，用于确定样本图像中信号灯的最大尺寸，并将最大尺寸作为信号灯检测模型的边界框尺寸上限。
84.本发明实施例所提供的信号灯的目标检测装置可执行本发明任意实施例所提供的信号灯的目标检测方法，具备执行方法相应的功能模块和有益效果。
85.实施例四
86.图4为本发明实施例四提供的一种电子设备的结构示意图。图4示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图4显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
87.如图4所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
88.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举
例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
89.电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
90.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd
‑
rom,dvd
‑
rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
91.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
92.电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
93.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的信号灯的目标检测方法。
94.实施例五
95.本发明实施例五还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本技术任意发明实施例提供的信号灯的目标检测方法。
96.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者
与其结合使用。
97.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
98.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
99.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如”c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
100.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。