一种车辆表观毁伤评估方法与流程

[0001]
本发明涉及目标毁伤评估技术领域，尤其涉及一种车辆表观毁伤评估方法、计算机设备及计算机可读存储介质。


背景技术：

[0002]
目前，在目标毁伤评估中物理毁伤评估领域，基于光学图像的车辆目标的表观毁伤评估主要分主观评估方法和客观评估方法：主观评估方法，即人工判读方法，由判读人员通过目视观测车辆目标表观毁伤状态，对其毁伤程度进行直接评估；客观评估方法，即采用一定的计算方法、规则对目标表观毁伤程度进行评估，例如变化检测法等。主观评估方法工作量大，需要耗费大量的人力，受判读员主观意识影响较大，且难以量化毁伤程度，客观评估方法则往往需要具备同一目标相同/近状态下毁伤前后图像，且需要配准、对标等工作，操作繁琐、局限性大。
[0003]
因此，针对以上不足，需要提供一种更为有效、快捷且准确的车辆目标表观毁伤评估方法。


技术实现要素：

[0004]
本发明的目的是针对上述至少一部分不足之处，提供一种基于人工智能计算的车辆目标表观毁伤评估方法，以解决车辆目标表观毁伤评估中存在的人工判断短板、变化检测评估局限等问题，并满足车辆表观毁伤程度有效评估以及毁伤程度量化的需求。
[0005]
为了实现上述目的，本发明提供了一种车辆表观毁伤评估方法，该方法包括如下步骤：
[0006]
s1、对输入的车辆图像进行尺寸归一化处理；
[0007]
s2、对归一化处理后的图像，分两路进行灰度化，一路直接进行灰度化处理，得到含目标及背景的灰度图像，另一路先利用训练好的目标语义分割模型进行像素级分割，分割出目标区域，再对分割得到的图像进行灰度化处理，得到只含目标的灰度图像；
[0008]
s3、基于卷积神经网络构建特征提取模型，对得到的含目标及背景的灰度图像和只含目标的灰度图像分别进行高维特征提取，获得各自对应的目标高维卷积特征；
[0009]
s4、对得到的两路目标高维卷积特征进行特征融合，将融合后的新特征作为最终目标的融合特征；
[0010]
s5、搭建并训练全连接网络对最终目标的融合特征进行回归计算，全连接网络包括全连接层和回归计算模块，并输出一个0～1范围内的连续值，作为车辆目标表观毁伤程度评估值。
[0011]
优选地，所述步骤s1中进行尺寸归一化处理时，对输入的车辆图像，以长边为基准进行宽高等比缩放，并对缺失部分进行黑色填充，得到预定尺寸的图像。
[0012]
优选地，所述步骤s2中进行灰度化处理时，利用gray函数对三通道数据进行加权处理，gray函数的浮点计算式为：
[0013]
gray＝0.1140
×
b+0.5870
×
g+0.2989
×
r
[0014]
其中，b代表三通道数据中的蓝色通道数值，g代表三通道数据中的绿色通道数值，r代表三通道数据中的红色通道数值。
[0015]
优选地，所述步骤s2中的目标语义分割模型基于扩张卷积网络构建，通过相应的车辆目标数据集进行训练。
[0016]
优选地，所述步骤s3中构建的卷积神经网络包括16个卷积层、5个池化层和1个全连接层，激活函数是relu函数。
[0017]
优选地，所述步骤s4中对得到的两路目标高维卷积特征进行特征融合时，采用扩维融合方式，不改变两路目标高维卷积特征各自的值，仅将特征的维度翻倍。
[0018]
优选地，所述步骤s5中，通过带有标签真值的测试样本训练全连接网络，训练时，将测试样本对应的最终目标的融合特征输入搭建好的全连接网络中，根据相应的标签真值，通过前向传播和反向传播修正全连接网络的权重，直至完成全连接网络的训练，其中，回归计算模块的激活函数采用sigmoid函数，反向传播计算回归损失的损失函数采用欧式距离函数。
[0019]
优选地，回归计算模块的激活函数sigmoid函数的表达式为：
[0020][0021]
其中，x表示全连接网络中的全连接层提取的卷积特征，作为激活函数的输入；
[0022]
损失函数的表达式为：
[0023][0024]
其中，n表示维度，a表示n维的特征标签向量，来自于测试样本对应的标签真值，b表示n维的实际提取向量，来自于全连接网络中的全连接层实际提取的卷积特征，x
1k
表示向量a中的第k个特征标签值，x
2k
表示向量b中的第k个实际提取值。
[0025]
本发明还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述车辆表观毁伤评估方法的步骤。
[0026]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述车辆表观毁伤评估方法的步骤。
[0027]
本发明的上述技术方案具有如下优点：本发明提供了一种车辆表观毁伤评估方法、计算机设备及计算机可读存储介质，该方法将含目标及背景的图像和只含目标的图像分别进行灰度化处理，并搭建卷积神经网络分别提取高维特征进行特征融合，利用全连接网络对融合特征进行回归计算，实现对每个输入的车辆图像输出一个0～1范围内量化的毁伤程度评估值。该方法基于智能回归计算，可有效实现车辆表观毁伤量化评估，能够节省人力，且无需具备同一目标相同/近状态下毁伤前后图像，无需配置、对标等工作，易于实现，处理速度快。
附图说明
[0028]
图1是本发明实施例中一种车辆表观毁伤评估方法步骤图；
[0029]
图2是本发明实施例中一种车辆表观毁伤评估方法流程图；
[0030]
图3是本发明实施例中图像预处理流程及效果示意图；
[0031]
图4是本发明实施例中基于卷积神经网络构建特征提取模型的结构示意图；
[0032]
图5是本发明实施例中训练全连接网络示意图；
[0033]
图6是本发明实施例中一种车辆表观毁伤评估方法得到的车辆目标表观毁伤评估效果可视化图。
具体实施方式
[0034]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
如图1至图6所示，本发明实施例提供的一种车辆表观毁伤评估方法，包括如下步骤：
[0036]
s1、图像尺寸处理：对输入的车辆图像进行尺寸归一化处理。
[0037]
为满足后续神经网络对于目标特征尺寸要求，首先将输入的、待评估车辆图像尺寸进行归一化。优选地，可将车辆图像的尺寸归一化处理为224
×
224(像素)。
[0038]
s2、图像像素分割及灰度化处理：对归一化处理后的图像，分两路进行灰度化，一路直接进行灰度化处理，得到含目标及背景的灰度图像，另一路先利用训练好的目标语义分割模型对归一化处理后的图像进行像素级分割，分割出图像中的目标区域，再对分割得到的(目标区域)图像进行灰度化处理，得到只含目标的灰度图像。
[0039]
目标语义分割模型的功能是语义分割，使得目标与背景分离，从而得到图像中目标区域。目标语义分割模型可采用现有技术实现，优选地，步骤s2中的目标语义分割模型可基于扩张卷积网络构建，通过收集相应的车辆目标数据集，构成训练集进行训练。进一步地，mask rcnn等网络也可以实现该功能。该目标语义分割模型可以永久用于车辆目标分割，也可以根据需求进行模型版本的升级、更新，在此不再进一步限定。目标语义分割效果如图3中标注的语义分割图像所示。
[0040]
如图2和图3所示(图3中在进行图像灰度化之前，车辆图像为彩色图像)，步骤s1和步骤s2对于图像的归一化处理和图像灰度化处理，可以视为对待评估的车辆图像的预处理，预处理后获取两路图像数据，一路为含目标及背景的图像数据，另一路为只含目标的灰度图像数据。
[0041]
s3、目标特征提取：基于卷积神经网络构建特征提取模型，对得到的含目标及背景的灰度图像和只含目标的灰度图像分别进行高维特征提取，分别获得两路图像各自对应的目标高维卷积特征。
[0042]
s4、特征融合：对步骤s3得到的、两路各自对应的目标高维卷积特征进行特征融合，将融合后的新特征作为最终目标的融合特征。
[0043]
s5、融合特征回归计算：搭建并训练全连接网络对最终目标的融合特征进行回归计算，全连接网络包括全连接层和回归计算模块，输出一个0～1范围内的连续值，即，全连接网络中全连接层的输入为步骤s4得到的最终目标的融合特征，该全连接层的输出为回归
计算模块的输入，回归计算模块输出一个0～1范围内的连续值，作为车辆目标表观毁伤程度评估值，完成车辆表观毁伤评估。
[0044]
为避免图像归一化过程中目标畸变，优选地，步骤s1中进行尺寸归一化处理时，对输入的车辆图像，以长边为基准进行宽高等比缩放，并对缺失部分进行黑色填充(padding)，得到预定尺寸的图像。如图3所示，将输入的车辆图像处理为224
×
224时，对于宽高比为1：1的图像完成等比缩放处理即可，对于宽高比不是1：1的图像，则以宽、高中的长边为基准进行缩放，短边因过度缩放缺失部分采用黑色padding进行填充，以获得预定尺寸的图像。
[0045]
优选地，步骤s2中利用gray函数实现图像灰度化，即一路直接利用gray函数对归一化后的图像进行灰度化处理，另一路先通过目标语义分割模型分割出归一化后的图像中的目标区域，然后对像素分割后的图像利用gray函数进行灰度化处理。
[0046]
进一步地，步骤s2中进行灰度化处理时，利用gray函数对归一化处理后的图像的三通道数据进行加权处理，gray函数的浮点计算式为：
[0047]
gray＝0.1140
×
b+0.5870
×
g+0.2989
×
r
[0048]
其中，b代表三通道数据中的蓝色通道数值，g代表三通道数据中的绿色通道数值，r代表三通道数据中的红色通道数值。
[0049]
优选地，步骤s3中构建的卷积神经网络包括16个卷积层、5个池化层和1个全连接层，激活函数是relu函数。图像卷积目标图像经由卷积层和池化层不断进行卷积和下采样操作，卷积之后的特征通过全连接层处理，获得该卷积神经网络最终的特征图像尺度信息为224
×
224
×
3，单幅图像特征信息为4096维。具体地，如图4所示，16个卷积层conv1-1至conv5-4可分为五组，图像输入第一组的2个卷积层conv1-1、conv1-2，然后依次输入第一个池化层pool1，第二组的2个卷积层conv2-1、conv2-2，第二个池化层pool2，第三组的4个卷积层conv3-1、conv3-2、conv3-3、conv3-4，第三个池化层pool3，第四组的4个卷积层conv4-1、conv4-2、conv4-3、conv4-4，第四个池化层pool4，第五组的4个卷积层conv5-1、conv5-2、conv5-3、conv5-4，第五个池化层pool5，以及1个全连接层fc6，最终输出单幅图像特征信息，也即一路目标高维卷积特征。
[0050]
针对两路特征，可通过特征加权融合和扩维融合两种处理方式得到融合特征。其中，加权融合需要对两路特征分配权重，然后进行融合，特征维度不会改变、尺度也不变，加权融合示意表达式为：
[0051]
fea(4096)＝a
×
fea1(4096)+b
×
fea2(4096),a+b＝1
[0052]
其中，fea(4096)表示(64
×
64特征矩阵归一化为4096
×
1特征矩阵)加权融合后特征，fea1(4096)表示一路特征，fea2(4096)表示另一路特征，a、b代表权值。
[0053]
扩维融合则不改变两路中各自特征的值，只是使得特征维度翻倍，扩维融合示意表达式为：
[0054]
fea(4096,2)＝dstack(fea1(4096),fea2(4096))
[0055]
其中，fea(4096)表示(64
×
64特征矩阵归一化为4096
×
1特征矩阵)扩维融合后特征，dstack()为拼接函数。
[0056]
本发明进行了特征加权融合和扩维融合两种方式的研究与实验，通过比较实验效果，扩维融合对于毁伤评估的结果更精准，并最终确定采用扩维融合处理方式对两路目标
高维卷积特征进行融合。即，优选地，步骤s4中对得到的两路目标高维卷积特征进行特征融合时，采用扩维融合方式，扩维融合不改变两路目标高维卷积特征各自的值，仅将特征的维度翻倍，使得毁伤评估更加精准。
[0057]
步骤s5中，通过带有标签真值的测试样本对全连接网络进行训练，测试样本为车辆图像，标签真值包括毁伤度和特征标签向量，毁伤度为0～1之间的数值，对应车辆表观毁伤程度，毁伤度为0代表车辆表观无毁伤，为1代表车辆表观完全毁伤，特征标签向量对应全连接网络中全连接层提取的卷积特征输出。进一步地，训练全连接网络时，按照步骤s1至步骤s4的方式处理测试样本，得到相应的最终目标融合特征，然后将测试样品对应的最终目标融合特征输入搭建好的全连接网络中，根据相应的标签真值，通过前向传播和反向传播修正全连接网络的权重，直至模型收敛完成全连接网络的训练，如图5所示。训练全连接网络时，回归计算模块的所需的激活函数采用sigmoid函数，反向传播计算回归损失的损失函数采用欧式距离函数。
[0058]
进一步地，训练全连接网络时，回归计算模块的激活函数sigmoid函数的表达式为：
[0059][0060]
其中，x表示全连接网络中的全连接层提取的卷积特征，作为激活函数的输入；
[0061]
反向传播计算回归损失的损失函数的表达式为：
[0062][0063]
其中，n表示维度，a表示n维的特征标签向量，来自于测试样本对应的标签真值，b表示n维的实际提取向量，来自于全连接网络中的全连接层实际提取的卷积特征，即a＝a(x
11
,x
12
,...,x
1n
)，b＝b(x
21
,x
22
,...,x
2n
)，x
1k
表示向量a中的第k个特征标签值，x
2k
表示向量b中的第k个实际提取值，k＝1,...,n。
[0064]
本发明还基于如图6中所示的测试样本进行了测试并给出了可视化结果，由图6中各测试样本对应的预测值(即本发明的方法中步骤s5给出的车辆目标表观毁伤程度评估值)及偏差可知，本发明所提供的基于智能回归计算的车辆表观毁伤评估方法可有效实现车辆目标表观毁伤全流程一体化评估，且可实现目标表观毁伤的量化评估，评估的偏差在可接受的范围之内。
[0065]
特别地，在本发明一些优选的实施方式中，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施方式中所述车辆表观毁伤评估方法的步骤。
[0066]
在本发明另一些优选的实施方式中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施方式中所述车辆表观毁伤评估方法的步骤。
[0067]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述车辆表观毁伤评估方法实施例的流程，在此不再重复说明。
[0068]
综上，本发明提供了一种车辆表观毁伤评估方法、计算机设备和计算机可读存储介质，本发明可覆盖车辆目标表观毁伤评估的全流程，只需用户提供待评估的车辆图像，即可得到车辆表观毁伤评估值。并且，该方法可客观地实现车辆表观毁伤评估，并实现毁伤评估的连续量化，能够辅助人工进行车辆表观毁伤评估，弥补人工工作量大、一定程度不够客观的短板，同时也极大地削减了诸如变化检测等评估方法的局限性。同时，本发明提供的方法也可拓展至其他目标、领域，可用于战争、自然灾害中车辆表观毁伤评估，也可用于车企、车辆维修和服务机构，具有较好的应用前景与经济效益。
[0069]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。