一种基于改进FasterRCNN的车身划痕检测方法

一种基于改进faster rcnn的车身划痕检测方法
技术领域
1.本发明涉及计算机视觉目标检测技术领域，更具体的说是涉及一种基于改进faster rcnn的车身划痕检测方法。


背景技术：

2.近年来损伤车辆定损问题吸引了大量国内外企业的关注；如美国snapsheet企业通过搭建虚拟的保险理赔服务点，服务点集成了远程信息服务，图像检测等技术辅助企业高效地进行保险理赔。美国spex公司搭建数字化查勘和报告平台，平台包括两个部分：spex掌控端和spex侦查端。掌控端主要负责业务划分和管理员与侦查员的在线合作。侦察端主要给侦查员提供各种必要的服务以及收集与处理侦查员收集到的图像等数据，最后生成理赔方案。泰国claimdi公司开发了基于lbs技术和uber模式的移动端理赔软件，实现了小案件迅速赔偿，用户使用软件报案时，可以利用定位技术派遣距离最近的勘查员进行勘察工作，以上方法虽然较传统方法效率上有了一定的提升，但仍需要派遣相关人员到达现场进行定损，在国内，以“定损宝”为例，通过用户上传车辆全景和受损部位照片到云端服务器，经过传统目标检测算法评估后得到理赔结果，常见目标检测算法为ssd、faster rcnn等，传统定损方法虽然能够满足大部分车辆损伤部位的检测，但由于车身划痕中有些划痕损伤特征不明显导致传统算法不能准确地进行识别与定位而且使用传统目标检测算法训练得出的模型体积庞大，很难在移动设备上进行推理使用。
3.因此，如何解决现有检测方法对车身划痕检测准确度不高，可用性较差是本领域技术人员亟需解决的问题。


技术实现要素：

4.有鉴于此，本发明提供了一种基于改进faster rcnn的车身划痕检测方法，用于至少部分解决背景技术中存在的技术问题。
5.为了实现上述目的，本发明采用如下技术方案：
6.一种基于改进faster rcnn的车身划痕检测方法，包括以下步骤：
7.s1、获取待检测图片和带有标签的车身划痕数据集；
8.s2、构建改进faster rcnn网络模型，其中，所述改进faster rcnn网络模型具体包括，faster rcnn网络的特征提取层采用m-fpn网络，所述m-fpn网络为与特征金字塔网络相融合的mobilenet v3网络；
9.s3、将带有标签的车身划痕数据集作为训练样本训练改进faster rcnn网络模型；
10.s4、将待检测图片输入训练后的改进faster rcnn网络模型，获取车身划痕检测结果。
11.优选的，步骤s2中mobilenet v3网络与特征金字塔网络相融合的具体步骤包括，
12.根据mobilenet v3网络输出特征图的维度大小对mobilenet v3网络进行分层；
13.针对每一层对应卷积层输出的特征矩阵通过1*1*256且步距为1的卷积核进行升
维或降维操作，使得每一层输出的特征矩阵的维度相同；
14.针对得到的维度相同的的上一层特征矩阵进行上采样操作获取与下一层特征矩阵空间尺寸相同的特征矩阵并进行特征融合；
15.将特征融合后的特征矩阵分别进行3*3*256卷积操作获取mobilenet v3网络输出特征图每一层对应的新的特征矩阵；
16.将3*3*256卷积操作后维度最高的特征矩阵通过1*1*256且步距为2的卷积层并进行下采样获取附加特征矩阵；
17.将新的特征矩阵和附加特征矩阵输出对应尺度的特征图，实现mobilenet v3网络与特征金字塔网络的融合。
18.优选的，步骤s3中训练改进faster rcnn网络模型具体包括以下步骤：
19.s31、利用imagenet数据集预训练改进faster rcnn网络模型，获取预训练权重，利用预训练权重初始化改进faster rcnn网络模型的rpn网络，在此基础上，使用带有标签的车身划痕数据集作为训练样本单独训练改进faster rcnn网络模型的rpn网络层参数；
20.s32、固定rpn网络独有的卷积层以及全连接层参数，并利用rpn网络生成的目标建议框训练fast rcnn网络参数；
21.s33、利用fast rcnn训练好的前置卷积网络层参数微调rpn网络独有的卷积层以及全连接层参数；
22.s34、保持固定前置卷积网络层参数，微调fast rcnn网络的全连接层参数；
23.s35、rpn网络与fast rcnn网络共享前置卷积网络层参数，构成一个统一的网络。
24.优选的，步骤s4中具体包括：
25.s41、将待检测图片输入m-fpn网络，得到相应的特征矩阵；
26.s42、利用rpn网络生成具有车身划痕的候选框；
27.s43、将候选框与特征矩阵输入到训练好的fast rcnn网络中进行候选框的微调，并检测候选框中车身划痕类别，得到最终检测结果。
28.优选的，上述方法还包括还包括：将改进faster rcnn网络的roi pooling层替换为roi align，所述roi align取消对候选框边界以及每个单元边界坐标的量化操作，使用双线性插值算法计算出每个单元的边界坐标，然后再进行最大池化操作，最后将得到的尺寸相同的特征矩阵输入到改进fast rcnn网络。
29.本发明中的量化可以理解为对数据的取整操作，比如1.78经过量化操作后成为1。
30.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于改进faster rcnn的车身划痕检测方法，具有以下有益效果：
31.1、本发明在faster rcnn性能基础上为了进一步提高faster rcnn在车身划痕检测实际应用场景中的可用性，引入适用于移动端推理的mobilenet-v3网络替换掉fasster rcnn中特征提取层常用的vgg、zf网络，并提出了m-fpn网络结构，即本发明利用与多尺度目标检测算法特征金字塔网络fpn相融合的mobilenet v3网络替换fasster rcnn中特征提取层常用的vgg、zf网络，更好地提取部分尺寸较小的划痕特征信息和有关划痕区域的细节信息，提高了现有检测方法的准确度和可用性。
32.2、本发明引入roi align方法，取消faster rcnn算法中对目标候选框的两次量化操作，采用双线性插值方法提高了图片中检测目标定位的精准度。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
34.图1为本发明提供的方法流程图；
35.图2为本发明实施例提供的m-fpn网络框架图；
36.图3为本发明实施例提供的改进后的faster rcnn算法整体框架图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.如图1所示，本发明公开了一种基于改进faster rcnn的车身划痕检测方法，包括以下步骤：
39.s1、获取待检测图片和带有标签的车身划痕数据集；
40.具体实施例中，带有标签的车身划痕数据集可以是在实习企业提供的只带有划痕类型标签的数据集基础上，应用数据增强技术对数据集进行扩充，构建出的带有标签的车身划痕数据集。
41.s2、构建改进faster rcnn网络模型，其中，所述改进faster rcnn网络模型具体包括，faster rcnn网络的特征提取层采用m-fpn网络，所述m-fpn网络为与特征金字塔网络相融合的mobilenet v3网络；
42.mobilenet v3网络与特征金字塔网络相融合的具体步骤包括，
43.根据mobilenet v3网络输出特征图的维度大小对mobilenet v3网络进行分层；
44.针对每一层对应卷积层输出的特征矩阵通过1*1*256且步距为1的卷积核进行降维操作；
45.针对每一层降维后的特征矩阵进行上采样操作获取与前一层维度相同的特征矩阵并进行特征融合；
46.将特征融合后的特征矩阵分别进行3*3*256卷积操作获取mobilenet v3网络每一层特征维度对应的新的特征矩阵；
47.将3*3*256卷积操作后维度最高的特征矩阵通过1*1*256且步距为2的下采样获取附加特征矩阵；
48.将新的特征矩阵和附件特征矩阵输出对应尺度的特征图，实现mobilenet v3网络与特征金字塔网络的融合。
49.s3、将带有标签的车身划痕数据集作为训练样本训练改进faster rcnn网络模型；
50.具体包括以下步骤：
51.s31、利用imagenet数据集预训练改进faster rcnn网络模型，获取预训练权重，利用预训练权重初始化改进faster rcnn网络模型的rpn网络，在此基础上，使用带有标签的
车身划痕数据集作为训练样本单独训练改进faster rcnn网络模型的rpn网络层参数；
52.s32、固定rpn网络独有的卷积层以及全连接层参数，并利用rpn网络生成的目标建议框训练fast rcnn网络参数；
53.s33、利用fast rcnn训练好的前置卷积网络层参数微调rpn网络独有的卷积层以及全连接层参数；
54.s34、保持固定前置卷积网络层参数，微调fast rcnn网络的全连接层参数；
55.s35、rpn网络与fast rcnn网络共享前置卷积网络层参数，构成一个统一的网络。
56.因为车身划痕数据相比于imagenet数据较少，因此本发明先使用imagenet数据集训练该网络，得到网络的预训练权重，然后使用划痕数据集训练，对得到的权重进行进一步的调整。两个数据集都需要参与整个网络的训练，其中，前置卷积网络层参数就是网络层的权重，训练网络的目的在于将网络各层的权重进行调整，使网络可以正确检测出车身划痕的类别与位置，训练过程中使用两个训练集提高了网络预测的准确性。
57.s4、将待检测图片输入训练后的改进faster rcnn网络模型，获取车身划痕检测结果。具体包括：
58.s41、将待检测图片输入m-fpn网络，得到相应的特征矩阵；
59.s42、利用rpn网络生成具有车身划痕的候选框；
60.s43、将候选框与特征矩阵输入到训练好的fast rcnn网络中进行候选框的微调，并检测候选框中车身划痕类别，得到最终检测结果。
61.下面结合具体实施例及图2、图3，对本发明的技术方案进行进一步的说明：
62.传统faster rcnn网络模型中使用经典的vgg net和zf net对原图进行特征提取，参数的计算量十分巨大，得到的网络模型庞大不适合在移动设备上进行网络的正向传播。车身划痕的尺寸大小不一，而faster rcnn算法只使用特征提取网络最后一层卷积得到的特征图，这使得输入到rpn网络的特征信息会缺失部分尺寸较小的划痕特征信息和有关划痕区域的细节信息，从而降低模型对各类车身划痕的定位与检测的准确性，为了能够在特征提取层提取更多各类划痕的特征信息以及减少网络模型的计算量；本发明使用mobilenet v3作为网络的特征提取层,mobilenet v3是一种轻量化的网络结构，该网络在mobilenet v2网络提出的倒残差结构的基础上进行了优化，特征矩阵通过1*1卷积层进行升维，升维后的特征矩阵进入深度可分离卷积(depthwise separable convolution简称dw卷积)，在该卷积层之后引入se模块，对预测特征层进行池化处理，经过两个全连接层得到特征矩阵每层特征的权重值，与池化之前的特征矩阵每个特征层相乘，最后通过不含激活函数的1*1卷积层降维，得到与输入矩阵相同的特征矩阵，最后将输入矩阵与倒残差块输出的特征矩阵进行相加，这样不仅通过dw卷积有效的降低了网络的参数量和计算量，而且一定程度上解决了在训练过程中dw卷积部分卷积核参数会出现大部分为0的情况，确保特征矩阵有效特征不被丢失。
63.在此基础上，本发明将特征金字塔网络fpn(feature pyramid network)与mobilenet v3网络进行融合，即提出了一种m-fpn网络模型。
64.低维度的特征图对原图像中细节信息(利于定位)的损失较少但语义特征(利于分类)较弱，高维度的特征图细节信息损失较大但特征语义强，所以按照表1所示将mobilenet v3网络结构分成三类，目的是得到不同深度的特征图。以输入图片尺寸为640*640*3为例，
将整个mobilenet v3网络按照输出特征图维度大小分为3类(层)卷积块，针对每类(层)卷积层输出的特征矩阵分别与fpn网络进行结合得到4类特征图。
65.具体的，如图2所示，输入图片尺寸为640*640*3为例，通过上述3类卷积块，分别得到80*80*40、40*40*112、20*20*960三个特征矩阵，然后都通过1*1*256且步距为1的卷积核升维或降维得到维度都为256的特征矩阵，再对上一层的特征矩阵进行上采样操作(upsample)得到与下一层特征矩阵维度(shape)相同的特征矩阵并进行特征融合操作(用图中“+”表示)，最后通过3*3*256卷积得到每一层对应的新的特征矩阵(p1，p2，p3)，通过3*3*256卷积能够减少上采样的混叠效应，并且p3特征图通过1*1*256且步距为2的卷积层得到10*10*256的特征矩阵p4，最终得到4种不同尺度的特征图，实现了mobilenet v3网络与fpn网络的结合。
[0066][0067]
表1 mobilenet v3网络分类表
[0068]
将上述特征图输入到rpn网络，首先经过一个3*3且步距为1的滑动窗口得到特征向量，同时对于特征图上每个3*3的滑动窗口，计算滑动窗口中心点与原图像上对应中心点的映射关系，并计算出在该像素点上的k个矩形框。使用尺寸为{322，642，1282，2562，5122}的矩形框框分别对应{1:2，1:1，2:1}的长宽比，依次在相应特征矩阵上生成矩形框。之后通过两个全连接层得到目标为前景或者背景的概率以及目标建议框的回归参数，预测的回归参数包括建议框中心点的坐标以及宽高，因此每个特征矩阵会得到2k个概率分数和4k个建议框回归参数，忽略跨越边界的矩形框后，根据每个区域候选框对应的目标为前景的概率分数排序选取前n个候选框，在训练时设置选取2000个候选框，在测试时设置选取1000个候选框。计算每个候选框与真实目标框的iou值(intersection over union)，筛选iou值大于指定阈值的矩形框作为候选框。待检测图片输入改进faster rcnn网络模型的检测过程与上述过程保持一致。
[0069]
如图3所示，针对传统faster rcnn算法使用的roi pooling层，本发明引入roi align，采用双线性插值计算出每个单元的边界坐标，然后再进行最大池化操作，最后将得到的尺寸相同的特征矩阵输入到fast rcnn网络。经过池化层得到的特征矩阵通过全连接层和softmax预测每个候选框中的目标类别得到类别概率，同时通过另一个全连接层得到候选框的回归参数，对候选框进行进一步调整，提升候选框的精度。
[0070]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说
明即可。
[0071]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。