一种面向智慧交通的多模型检测方法及系统

本发明涉及目标检测、智慧交通，主要涉及一种面向智慧交通的多模型检测方法及系统。

背景技术：

1、目标检测是计算机视觉领域中一个重要而热门的话题。由于其高效性和可发展性，目标检测在如今日益错综复杂的交通环境下具有较高的实用价值，但在准确性、跟踪精度、嵌入式平台部署难度和实时性等方面仍存在问题，因此阻碍了其在智慧交通方面大规模的部署和场景应用。先前的研究者为了解决此类问题，采用mobilenet等网络进行深度可分卷积分类，以进行车辆，行人的识别，其特点是速度较快，但其检测精度上并不是非常高，并且模型不够轻量化，对部署到嵌入式设备的要求较高，仍有较大的改善空间。并且，常规的单一模型检测用在智慧交通领域时，实时检测和计算能力较差，当单帧检测获取和处理的数据量过多时会导致卡顿，该问题在极度看重实时性和检测精度的领域无疑是致命的。因此，仅用单一模型检测无法做到单帧内并行检测主要目标和次要目标，解决这一问题对于目标检测应用在智慧交通领域是至关重要的。

技术实现思路

1、发明目的：本发明通过提出一种面向智慧交通的多模型检测方法及系统来帮助目标检测在智慧交通领域的轻量化部署，以多模型检测替代原先的单一检测模型，提高实时检测帧率，缩短单帧检测时间，有效避免帧内检测大量目标并处理时造成的卡顿，减轻对嵌入式设备的算力需求。以yolo v5目标检测主要检测网络为基础进行改进，采用siou和ghostnet替换原损失函数和原骨干网络，在满足实时性的基础上，提升了交通场景中主要目标检测的准确率和多目标跟踪的效果，同时采用mtcnn和resnet进行次要目标辅助检测，提升检测速度。并编写了可视化界面，为该发明进一步的实施提供了软件平台。

2、技术方案：为实现上述目的，本发明采用的技术方案为：

3、一种面向智慧交通的多模型检测方法，包括以下步骤：

4、步骤s1、将yolov5作为主网络，并将其原损失函数替换为siou；

5、步骤s2、在步骤s1的基础上同时将yolov5网络结构backbone(神经网络中的根基结构)内的c3模块替换为ghostnet(一种低成本高效益提取特征图的方法)；

6、步骤s3、在步骤s2的基础上同时对训练集样本使用9-mosaic(数据增强方法)处理，然后送入模型训练得到最优权重文件；

7、步骤s4、将yolov5作为系统主检测网络的同时，在系统内部署次级网络mtcnn、lprnet和resnet，次级网络mtcnn用于检测车牌区域，次级网络lprnet用于车牌文字识别，次级网络resnet用于红绿灯颜色识别；

8、步骤s5、在系统中读取步骤s3得到的权重文件，设置各系统参数，标定斑马线，红绿灯，车道线类标志物，然后对车辆和行人进行检测；

9、步骤s6、根据主网络yolov5的检测结果，提取并保存车辆区域和行人区域；对提取到的车辆区域进行切片，并送入次级网络mtcnn中二次识别，获取车牌区域；若检测到车牌区域，则再次对该区域切片，并送入次级网络lprnet进行车牌文字识别，后返回识别结果并保存；

10、步骤s7、并行提取次级网络resnet对标定红绿灯区域的检测结果并保存；

11、步骤s8、结合所有主次网络检测所得结果与标定区域坐标、帧间坐标位移量数据进行行为判断。

12、进一步的，所述步骤s1中，所引用的损失函数siou，定义如下：

13、

14、

15、

16、

17、其中，δ为距离损失；ρx为真实框和预测框中心点的宽度差与最小外接矩形的宽的平方之比,ρy为真实框和预测框中心点的高度差与最小外接矩形的高的平方之比；e为自然常数；γ为2-λ，其中λ为角度损失；ω为形状损失；θ控制对形状损失的关注程度；w为预测框的宽，h为预测框的高；wt为预测框的宽(高)减真实框的宽(高)的绝对值与预测框的宽(高)和真实框的宽(高)中的最大值之比；iou为交并比，b为预测框，bgt为真实框；lbox为边界框回归损失。

18、进一步的，所述步骤s2中，ghostnet模块的设计理论如下：

19、步骤s2.1、首先通过主卷积生成基本特征图集合：x为输入特征图，其中尺寸参数为宽度him,长度wim，输入通道数c；f’为卷积层，其中尺寸参数为卷积核尺寸k，输出通道数m；输入特征图x在与卷积层f’卷积后输出特征图集合y’，其中尺寸参数为宽度h’，长度w’；r为特征图集合；

20、y'∈rh'×w'×m,f'∈rc×k×k×m

21、y'＝x*f'；

22、步骤s2.2、对输出的基本特征图集合y’做线性变化，以生成ghost特征图；其中yi'是基本特征图集合y’中第i个特征图,是通过生成的第j个ghost特征图所做的线性变化，此处操作即指对应基本特征图集合中每个特征图通过线性操作生成s个ghost特征图，最后一个线性操作为恒等映射以保留固有特征；

23、

24、y'＝[y1,y2,...ynum]

25、y＝[y11,y12,...y1s,....ynums]；

26、其中num,s均为常数；ynum为第num张特征图；φi，,j为线性变换；

27、步骤s2.3、输出num×s张特征图来作为最终输出特征图集合，即y(上式中yi,j的集合)。

28、进一步的，所述步骤s3中，使用了9-mosaic数据增强方法；该方法将9张图片进行随机裁剪、缩放后，再随机排列拼接形成一张图片，实现丰富数据集的同时，增加了小样本目标，保证近处高识别率的同时提高了模型的道路远景检测能力，提升网络的训练速度；在进行归一化操作时会一次性计算9张图片的数据，因此模型对内存的需求降低。

29、进一步的，所述步骤s4中，mtcnn模型(次级网络mtcnn)中卷积网络所采用的激活函数为prelu(parametric rectified linear unit，带参数的relu)，其公式如下：

30、f(yi)＝max(0,yi)+aimin(0,yi)

31、其中，yi是非线性激活函数f在第i个通道的输入；f(yi)为激活函数的输出值；ai负责控制负半轴的斜率；允许不同通道的激活函数不一样；当ai＝0时，prelu(parametricrectified linear unit，带参数的relu)就变成了relu(激活函数)，而且ai是一个能学习的参数。

32、进一步的，步骤s4中，次级网络mtcnn舍弃常规的级联第三层o-net网络，并将级联第二层r-net结构的核心合并至p-net网络末尾。

33、进一步的，步骤s6中，所提取的区域格式为(x1,y1,x2,y2,cls)，分别为左上坐标(x1,y1)、右下坐标(x2,y2)和类别；该格式为后续区域切片的通用格式；送入次级网络mtcnn的操作如下：

34、步骤s6.1、首先将输入图像进行不同尺度的变换，构建图像金字塔；

35、步骤s6.2、输入p-net网络，快速生成候选窗口；对步骤s6.1构建完成的图像金字塔，通过一个fcn全卷积网络(fully convolutional networks，全卷积网络)进行特征提取与标定边框，并进行bounding-box regression(边框回归)调整窗口与nms非极大抑制(nonmaximum suppression，非极大抑制)进行窗口的过滤，并输出结果。

36、进一步的，由mtcnn网络输出的结果，在图像切片送入lprnet前，先经过透视变换进行倾斜校正，透视变换的通用公式如下：

37、

38、其中，aij代表透视变换矩阵的9个元素；u,v为原位置，d为常数1；x',y'为变换后位置，d'为高维参数；

39、经过透视变换后所得到的坐标为：

40、

41、

42、该操作在不大量增加模型复杂度的同时提高lpr_detect的文字识别准确率。

43、进一步的，所述步骤s7中，resnet残差网络为resnet-18，其所采用的residual结构(残差结构)为basicblock(我们一段线性代码序列)；当输入数据时，其步骤如下所示：

44、步骤s7.1、conv1，第一层卷积，该卷积层不附带shortcut机制(cnn模型中一种解决增加网络深度引发梯度发散的方法)；该层计算公式为：

45、

46、式中nout为卷积输出图像尺寸；nin为卷积输入图像尺寸；p代表补零数目；k为卷积核尺寸；st为步长；该层输出为64×112×112；

47、步骤s7.2、conv2：第一个残差块，一共有2个，输出为64×56×56；

48、步骤s7.3、conv3：第二个残差块，一共有2个，输出为128×28×28；

49、步骤s7.4、conv4：第三个残差块，一共有2个，输出为256×14×14。

50、步骤s7.5、conv5：第四个残差块，一共有2个，输出为512×7×7；

51、步骤s7.6、fc：全连阶层，输出为512×1×1；

52、该resnet残差网络中还包括空洞卷积模块，用于增加卷积核对待识别图像的感受野。

53、本发明还公开了一种面向智慧交通的多模型检测方法的系统，该系统为一种面向智慧交通的多模型检测系统，其进行权重文件选择、检测设备选择、交并比阈值设置；所述系统进行道路标志物标定，检测时同步进行行为判断的计算，并将交通违规行为实时记录并保存并显示在系统可视化界面上。

54、有益效果：

55、本发明通过提出一种面向智慧交通的多模型检测方法及系统来帮助目标检测在智慧交通领域的轻量化部署，其核心思想为优化后的多模型检测替代原先的单一检测模型，对于主检测模型，采用siou和ghostnet替换原损失函数和原骨干网络，在满足实时性的基础上，能够做到提升其在交通场景中对主要目标检测的准确率和多目标跟踪的效果。同时采用次级模型mtcnn和resnet对次要目标进行并行辅助检测，不占用主要目标检测、计算时间的同时对次要目标进行检测和计算，能够大幅提升整体运算速度，减小单一线程内的算力占用需求。多模型思想的引入使得原网络提高了对多数量、多类别目标的检测能力，尤其对原本检测后需要进行大量计算的目标来说是至关重要的，因此这种检测方法可以很好的解决智慧交通领域单一模型的检测速率较慢和部署困难等问题。