基于交通出行场景违章智能的分析方法、系统及存储介质与流程

本发明涉及计算机技术领域，尤其涉及一种基于交通出行场景违章智能的分析方法、系统及存储介质。

背景技术：

由于目前交通出行场景中违章类型较多且交通工具的日益增多，因此，每日交通场景中电子监控卡口抓拍量与日俱增。而监控抓拍的违章图片中大量出现未造成违章的情况(称为废片)，抓拍的大量图片中只有一小部分可以构成违法依据(称为正片)，则需要增加更多的人力去人工审核这些抓拍图片，工作量相当巨大且繁琐。所以需要创新性的解决方案来突破原有的约束，来实现降低人工成本同时提高审片的速度和质量。

技术实现要素：

针对上述技术问题，本发明适用于交通场景违章抓拍图片的过滤，在智能违章分析系统中创新性的设计了一套包含最常见的：闯红灯、超速、开车打手机、不系安全带等14种交通违章废片过滤，只需要用户提供抓拍的违章类型等参数即可。

违章分析系统会返回正废片分类和造成废片的原因(如：特殊车辆、特殊车牌、车牌抓拍模糊、违章误判、关键信息遮挡、抓拍证据不全等因素均可分析返回)，通过违章分析系统废片过滤预审之后大大降低人工审核违章图片的工作量。

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开了一种基于交通出行场景违章智能分析方法，所述方法包括如下步骤：

步骤1，通过交通监控设备抓拍违章图片，构建智能违章分析系统分析所抓拍的违章图片；

步骤2，所述智能违章分析系统接收用户输入的抓拍的违章类型对应的参数；

步骤3，所述智能违章分析系统根据建立的交通违章废片过滤模型对违章图片进行过滤，其中，所述过滤模型包括闯红灯、超速、开车打手机、不系安全带过滤模型；

步骤4，根据用户输入的所述参数及所述过滤模型进行处理并返回正废片分类和造成废片的原因。

更进一步地，所述步骤3进一步包括闯红灯废片过滤模型，所述闯红灯废片过滤模型包括如下步骤：

步骤101，前端抓拍的特写图中车辆进行检测算法，找到特写图中的嫌疑车辆，同时还对嫌疑车辆进行特殊车辆识别和非机动车识别；

步骤102，对抓拍的违章前、中、后的图片使用交警识别算法进行处理，判断图片中是否出现交警指挥交通，如出现路段施工、交通事故等特殊情况由交警指挥则为废片；对抓拍的违章前、中、后的图片使用车辆识别和车牌识别算法进行处理，从中找到特写图中的嫌疑车辆，如图中无特写图中的嫌疑车辆则为废片；对场景图片使用交通信号灯识别和地标识别算法进行处理，判断嫌疑车辆所在车道方向是红灯还是绿灯，绿灯则车辆是正常行驶为废片；利用线体检测算法进行处理，判断违章图中车辆车辆相对于停止线的位置，未过停止线则为废片未闯红灯；若上述的判断条件均满足则判为正片，所述智能违章分析系统返回构成违反闯红灯的证据和嫌疑车辆信息；

步骤103，识别交通灯，交通灯识别采用了one-stagedetector的检测算法，损失loss用focalloss能够在既不降低推理速度的情况下准确率也可以达到two-stagedetector的精度。

focalloss函数可以通过减少已分类样本权重，使模型在训练时更专注于难分类样本，首先在交叉熵函数的基础上进行改进，增加了通过设定α值来控制正负样本对总loss的共享权重，α取比较小的值来降低负样本的权重，公式如下：

ce(pt)＝-αtlog(pt).

虽然上述改进后的公式可以控制正负样本的权重，但是没法控制容易样本和困难样本的权重，于是就有了focalloss：

fl(pt)＝-(1-pt)^γlog(pt).

其中，γ称作focusingparameter，称为调制系数(modulatingfactor)，目的是通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。

更进一步地，所述步骤3进一步包括安全带判罚过滤模型，所述安全带判罚过滤模型包括如下步骤：

步骤201，前端抓拍的特写图中车辆进行检测算法，找到特写图中的嫌疑车辆，同时还对嫌疑车辆进行特殊车辆识别和非机动车识别；

步骤202，对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆；利用驾驶员检测算法对嫌疑车辆进行处理，定位驾驶员位置信息并返回(根据需求算法可以提供副驾驶信息)；对图中定位到的驾驶员使用安全带识别算法进行处理，若驾驶员已佩戴安全带则返回为废片，否则为正片，系统返回构成不系安全带的证据和嫌疑车辆信息；

步骤203，对已经检测到的驾驶员图像进行处理，假设图像大小为hxw像素，我们的方案是将h行分为若干和h行个分类问题，而且由于在哪些行上进行定位是可以认为设定的，因此h的大小按需设置，这样一来将hxw个分类问题缩减到h个分类问题，解决了分割算法速度慢的问题，极大地提速安全带分割算法的速度；我们将邻行上分类的l1范数定义为平滑性，希望安全带位置在邻行上是相近切平滑变化的；

由于分割方法得到的为安全带的二值分割图，其结构是逐像素建模，因此几乎无法实现对上述高层语义(平滑、刚性)层级的约束。

更进一步地，所述步骤3进一步包括开车打手机判罚模型，所述开车打手机判罚模型包括如下步骤：

步骤301，前端抓拍的特写图中车辆进行检测算法，找到特写图中的嫌疑车辆，同时还对嫌疑车辆进行特殊车辆识别和非机动车识别；

步骤302，对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆；利用驾驶员检测算法对嫌疑车辆进行处理，定位驾驶员位置信息并返回；对图中定位到的驾驶员使用手部检测算法定位手部位置，和手部姿态识别算法来判断驾驶员是否打手机或者手抓脸等非打手机行为；

步骤303，通过手部识别算法针对手部、打手机、握手机、握方向盘、手机进行识别，利用多尺度、多角度和多场景下的车辆驾驶员图片的手部区域数据进行网络的预训练来初始化yolov4网络，网络输出用于计算的损失函数有三个：回归损失、分类损失、置信度损失；回归损失采用giou损失函数，用于高效的收敛模型的位置预测能力，公式如下：

其中，其中ai表示预测框与真实框之间的重合框面积，ap表示预测框的面积，ag表示真实框的面积；

分类损失预测类别概率使用focalloss作为预测框的分类，公式如下：

其中，ai表示该类别的损失权重，γ表示困难样本权重，pi表示预测的类别概率；置信度损失使用二元交叉熵损失计算目标框的置信度损失，公式如下：

ls＝-clog(ps)-(1-c)log(1-ps)

其中，c表示该类别的置信度值，ps表示预测置信度；最后将训练好的模型再验证集和测试集上测试，后处理使用非极大值抑制对网络输出的多个预测框进行处理，将得分较低及重叠度较高的预测框提取，得到最终的预测结果。

更进一步地，所述步骤3进一步包括礼让行人判罚模型，所述礼让行人判罚模型包括如下步骤：

步骤401，前端抓拍的特写图中车辆进行检测算法，找到特写图中的嫌疑车辆，同时还对嫌疑车辆进行特殊车辆识别和非机动车识别；

步骤402，对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆；分别使用车牌颜色识别和车型识别算法对嫌疑车辆已经处理，若为救护车等特殊车辆则为废片；对场景图利用人行道检测算法进行处理，得到人行道的位置信息，再使用行人检测算法计算人行道上和行人的相对位置，若行人道上无行人则为废片；结合嫌疑车辆于人行道的交集和嫌疑车辆与人行道上的行人的最短距离，设置阈值x，若距离小于x则视为未礼让行人，判为正片；

步骤403，通过行人检测算法检测行人，采用mosaic做数据增强方法，mosaic属于cutmix的扩展。cutmix是两张图像的混合，即cutout仅有一块区域，而mosaic是4张图像的混合，一张图相当于4张图相当于变相的增加了训练过程中batch的数量，也可以相应减少训练过程中的batch，降低对于硬件的要求，在训练过程中不会出现非信息像素，从而能够提高训练效率，训练和推理代价保持不变；

训练模型时采用warmup(预热学习)，由于刚开始训练时，模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来模型的不稳定(振荡)，选择warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小，在预热的小学习率下，模型可以慢慢趋于稳定，等模型相对稳定后再选择预先设置的学习率进行训练，使得模型收敛速度变得更快，模型效果更佳；激活函数选用mish，一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化，公式如下：

f(x)＝x*tanh(log(1+ex))。

更进一步地，所述步骤3进一步包括不按导向行驶判罚模型，所述不按导向行驶判罚模型包括如下步骤：

步骤501，前端抓拍的特写图中车辆进行检测算法，找到特写图中的嫌疑车辆，

同时还对嫌疑车辆进行特殊车辆识别和非机动车识别；

步骤502，对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆；利用地标检测算法对违章图中地标进行识别并得到位置信息；将嫌疑车辆和地标位置进行匹配，计算车辆属于哪个车道位置，再利用车辆方向角识别算法判断车辆方向是否和地标所指吻合，不吻合则为不按导向行驶，正片处理；

步骤503，通过地标检测算法检测地标位置，地标检测采用yolo算法系列中最新的v5，loss函数沿用交通灯识别的focalloss，激活函数创新性的使用了hard-swish非线性激活，将原先激活函数relu6的后半段替换为h-swish，因为经实验表明swish只有在更深的网络层(也就是后半段)使用才能体现其优势，公式如下：

首先swish的非线性提高了精度，然后在量化模式下sigmoid函数计算代价太大，所以才有了relu6版本的h-swish激活函数。

本发明进一步公开了一种电子系统，包括：处理器；以及，存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述的基于交通出行场景违章智能分析方法。

本发明进一步公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于交通出行场景违章智能分析方法。

本发明与现有技术相比，有益效果为：本发明通过设置废片过滤模型，通过违章分析系统废片过滤预审之后大大降低人工审核违章图片的工作量。

附图说明

从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。

图1是本发明的基于交通出行场景违章智能的分析方法的流程图；

图2是本发明一实施例中的闯红灯判罚过滤模型的流程图；

图3是本发明一实施例中的不系安全带判罚过滤模型的流程图；

图4是本发明一实施例中的开车打手机判罚过滤模型的流程图；

图5是本发明一实施例中的礼让行人判罚过滤模型的流程图；

图6是本发明一实施例中的不按导向行驶判罚过滤模型的流程图。

具体实施方式

实施例一

特写图：目标嫌疑车辆的大尺寸图片。

违章图：违章图分为违章前、违章中和违章后三张图片。

下面介绍我们的发明是如何实现的：

该违章智能分析系统中的几个主要功能模块。

一、闯红灯判罚(如图一)

·应用逻辑

1、特写图算法处理

前端抓拍的特写图中车辆进行检测算法，找到特写图中的嫌疑车辆，同时还对嫌疑车辆进行特殊车辆识别(如救护车等视为废片)和非机动车识别(如摄像头误拍自行车、三轮车等非机动车视为废片)。

2、违章图算法处理

a)对抓拍的违章前、中、后的图片使用交警识别算法进行处理，判断图片中是否出现交警指挥交通，如出现路段施工、交通事故等特殊情况由交警指挥则为废片。

b)对抓拍的违章前、中、后的图片使用车辆识别和车牌识别算法进行处理，从中找到特写图中的嫌疑车辆，如图中无特写图中的嫌疑车辆则为废片。

c)对场景图片使用交通信号灯识别和地标识别算法进行处理，判断嫌疑车辆所在车道方向是红灯还是绿灯，绿灯则车辆是正常行驶为废片。

d)利用线体检测算法进行处理，判断违章图中车辆车辆相对于停止线的位置，未过停止线则为废片未闯红灯。

若以上条件均满足则判为正片，系统返回构成违反闯红灯的证据和嫌疑车辆信息。

·交通灯识别算法实现

交通灯识别采用了one-stagedetector的检测算法，损失loss用focalloss能够在既不降低推理速度的情况下准确率也可以达到two-stagedetector的精度。

focalloss函数可以通过减少已分类样本权重，使模型在训练时更专注于难分类样本，首先在交叉熵函数的基础上进行改进，增加了通过设定α值来控制正负样本对总loss的共享权重，α取比较小的值来降低负样本的权重。(公式如下)

ce(pt)＝-αtlog(pt).

虽然上述改进后的公式可以控制正负样本的权重，但是没法控制容易样本和困难样本的权重，于是就有了focalloss：

fl(pt)＝-(1-pt)^γlog(pt).

这里的γ称作focusingparameter，称为调制系数(modulatingfactor)，目的是通过减少易分类样本的权重，从而使得模型在训练时更专注于难分类的样本。

二、不系安全带判罚(如图二)

·应用逻辑

1.特写图算法处理(同上)

2.违章图算法处理

a)对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆。

b)利用驾驶员检测算法对嫌疑车辆进行处理，定位驾驶员位置信息并返回(根据需求算法可以提供副驾驶信息)。

c)对图中定位到的驾驶员使用安全带识别算法进行处理，若驾驶员已佩戴安全带则返回为废片，否则为正片，系统返回构成不系安全带的证据和嫌疑车辆信息。

·安全带分割算法实现

对已经检测到的驾驶员图像进行处理，假设图像大小为hxw像素，我们的方案是将h行分为若干和h行个分类问题，而且由于在哪些行上进行定位是可以认为设定的，因此h的大小按需设置。这样一来将hxw个分类问题缩减到h个分类问题，解决了分割算法速度慢的问题，极大地提速安全带分割算法的速度。

我们将邻行上分类的l1范数定义为平滑性，希望安全带位置在邻行上是相近切平滑变化的。

由于分割方法得到的为安全带的二值分割图，其结构是逐像素建模，因此几乎无法实现对上述高层语义(平滑、刚性)层级的约束，这也是我们方法的另一个优点。

三、开车打手机判罚(如图三)

·应用逻辑

1.特写图算法处理(同上)

2.违章图算法处理

a)对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆。

b)利用驾驶员检测算法对嫌疑车辆进行处理，定位驾驶员位置信息并返回。

c)对图中定位到的驾驶员使用手部检测算法定位手部位置，和手部姿态识别算法来判断驾驶员是否打手机或者手抓脸等非打手机行为。

·手部识别算法实现

该算法是一种5类别(手部、打手机、握手机、握方向盘、手机)的目标检测网络。利用多尺度、多角度和多场景下的车辆驾驶员图片的手部区域数据进行网络的预训练来初始化yolov4网络，网络输出用于计算的损失函数有三个：回归损失、分类损失、置信度损失。

回归损失采用giou损失函数，用于高效的收敛模型的位置预测能力(公式如下)，其中ai表示预测框与真实框之间的重合框面积，ap表示预测框的面积，ag表示真实框的面积。

分类损失预测类别概率使用focalloss作为预测框的分类，(公式如下)其中ai表示该类别的损失权重，γ表示困难样本权重，pi表示预测的类别概率。

置信度损失使用二元交叉熵损失计算目标框的置信度损失，(公式如下)其中c表示该类别的置信度值，ps表示预测置信度。

ls＝-clog(ps)-(1-c)log(1-ps)

最后将训练好的模型再验证集和测试集上测试，后处理使用非极大值抑制对网络输出的多个预测框进行处理，将得分较低及重叠度较高的预测框提取，得到最终的预测结果。

四、礼让行人判罚(如图四)

·应用逻辑

1.特写图算法处理(同上)

2.违章图算法处理

a)对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆。

b)分别使用车牌颜色识别和车型识别算法对嫌疑车辆已经处理，若为救护车等特殊车辆则为废片。

c)对场景图利用人行道检测算法进行处理，得到人行道的位置信息，再使用行人检测算法计算人行道上和行人的相对位置，若行人道上无行人则为废片

d)结合嫌疑车辆于人行道的交集和嫌疑车辆与人行道上的行人的最短距离，设置阈值x，若距离小于x则视为未礼让行人，判为正片。

·行人检测算法实现

采用mosaic做数据增强方法，mosaic属于cutmix的扩展。cutmix是两张图像的混合，即cutout仅有一块区域，而mosaic是4张图像的混合，一张图相当于4张图相当于变相的增加了训练过程中batch的数量，也可以相应减少训练过程中的batch，降低对于硬件的要求。在训练过程中不会出现非信息像素，从而能够提高训练效率。训练和推理代价保持不变。

训练模型时采用warmup(预热学习)，由于刚开始训练时，模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来模型的不稳定(振荡)，选择warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小，在预热的小学习率下，模型可以慢慢趋于稳定，等模型相对稳定后再选择预先设置的学习率进行训练，使得模型收敛速度变得更快，模型效果更佳。

激活函数选用mish，一种自正则的非单调神经激活函数，平滑的激活函数允许更好的信息深入神经网络，从而得到更好的准确性和泛化。(公式如下)

f(x)＝x*tanh(log(1+e^x))

五、不按导向行驶判罚(如图五)

·应用逻辑

1.特写图算法处理(同上)

2.违章图算法处理

a)对违章图使用车辆识别和车牌识别算法进行处理，和特写图进行匹配，找到嫌疑车辆。

b)利用地标检测算法对违章图中地标进行识别并得到位置信息。

c)将嫌疑车辆和地标位置进行匹配，计算车辆属于哪个车道位置，再利用车辆方向角识别算法判断车辆方向是否和地标所指吻合，不吻合则为不按导向行驶，正片处理。

·地标检测算法实现

地标检测采用yolo算法系列中最新的v5，loss函数沿用交通灯识别的focalloss。激活函数创新性的使用了hard-swish非线性激活，将原先激活函数relu6的后半段替换为h-swish，因为经实验表明swish只有在更深的网络层(也就是后半段)使用才能体现其优势。(公式如下)

首先swish的非线性提高了精度，然后在量化模式下sigmoid函数计算代价太大，所以才有了relu6版本的h-swish激活函数。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。