一种用于车辆定损的车辆表面划痕检测方法及其系统

本技术涉及车辆，具体而言，涉及一种用于车辆定损的车辆表面划痕检测方法及其系统。

背景技术：

1、汽车保有量的大幅度提升，使得车辆定损划痕检测任务也越来越多。目前，车辆定损的划痕检测主要通过人工检测的方式，耗时耗力。随着深度学习技术的出现，许多任务可以通过图像识别算法完成，例如，可通过图像识别算法实现划痕检测。基于算法进行划痕检测的装置一般是具有固定位置的检测棚，固定车辆位置，并在检测棚内安装多个围绕车辆的摄像头，通过多个摄像头采集车辆表面图像回传到服务器进行检测。在现有技术中，划痕及缺陷检测方法与车辆定损中使用的划痕检测技术类似或通用，均是通过基于图像分割的方法，对划痕进行检测。

2、然而，车辆表面划痕检测问题具有一定的挑战，与普通的产品缺陷检测不同。一般工业用缺陷检测大多是垂直场景，可有效检测且精度高，但由于车辆有不同的厂家、不同的车型、不同的颜色，划痕的表现特征多样且划痕与车辆表面的设计、装饰可能有一定的相似性。现有技术中基于图像分割的技术，通过单一模型进行图像分割来检测车辆表面划痕的方式不能适应检测目标多样化的情况，往往会出现虚警，此外，现有技术直接将图像目标分割方法应用到车辆表面划痕检测中，没有考虑划痕检测的实际需求或特点，因而不能更好的体现场景与技术的紧密结合的特点，也就在场景下无法达到最佳的性能。

技术实现思路

1、本技术提供一种用于车辆定损的车辆表面划痕检测方法及其系统，用以克服现有技术中存在的至少一个技术问题。

2、具体的技术方案如下：

3、第一方面，本技术实施例提供了一种用于车辆定损的车辆表面划痕检测方法，包括：

4、构建初始划痕特征融合模型；

5、获取若干不同车型的整车样本图像和车表样本图像，将相同车型的整车样本图像和车表样本图像作为一组样本图像集，对每组所述样本图像集分别执行图像文本特征获取步骤，以获得每个所述车表样本图像所对应的文本样本特征，将所有的所述车表样本图像及其对应的所述文本样本特征作为所述初始划痕特征融合模型的训练集；其中，所述图像文本特征获取步骤包括：将每组所述样本图像集中的所述整车样本图像输入至已训练的车型识别模型中，获得样本车型信息，并将所述样本车型信息和所述样本图像集中的所述车表样本图像，分别输入至已训练的图像文本对齐模型中，获得所述车表样本图像所对应的所述文本样本特征；

6、基于所述训练集对所述初始划痕特征融合模型进行训练，直至模型收敛得到训练好的划痕特征融合模型；

7、当对任一车辆进行车辆表面划痕检测时，通过摄像设备采集待检测车辆的若干待检整车图像和待检车表图像，将若干所述待检整车图像输入至所述车型识别模型中，获得所述待检测车辆的待检车型信息，并将所述待检车型信息和所述待检车表图像输入至所述图像文本对齐模型中，获得所述待检测表图像所对应的待检文本特征，根据所述待检测表图像及其对应的所述待检文本特征，并基于所述划痕特征融合模型获得所述待检测车辆的划痕检测结果；其中，所述划痕检测结果包括检测部位置信息、检测部是否存在划痕、划痕信息，所述划痕信息包括划痕长度。

8、在本技术的一些实施例中，所述划痕特征融合模型的损失函数loss为：

9、

10、其中，h和w分别为划痕区域的最小面积外接矩形框的高和宽；dice0为全区域内两个像素集合的相似性度量；dice1为划痕核心区域内两个样本像素集合的相似性度量，α为dice1的权重系数；dice2为划痕非核心区域内两个样本像素集合的相似性度量，1-α为dice2的权重系数。

11、在本技术的一些实施例中，所述dice0具体为：

12、

13、其中，|s1∩s2|表示样本像素集合s1与样本像素集合s2之间的交集，|s1|表示样本像素集合s1的元素个数，|s2|表示样本像素集合s2的元素个数；

14、所述dice1和dice2分别具体为：

15、

16、

17、其中，gt1为划痕核心区域真值，gt2为划痕非核心区域真值，p1为与gt1对应的区域预测值，p2为除与gt1对应区域外的其他区域预测值。

18、在本技术的一些实施例中，所述划痕特征融合模型的划痕核心区域计算过程包括：

19、根据划痕区域的最小面积外接矩形框，确定所述划痕区域的总体梯度方向，并针对所述最小面积外接矩形框中的每一列像素计算核心区域中心点，定义所述最小面积外接矩形框的其中一列像素中有n个划痕像素，则所述核心区域中心点的横坐标x、纵坐标y分别为：

20、x＝(x1+x2+…+xn)/n

21、y＝(y1+y2+…+yn)/n

22、其中，x1表示第一个像素的横坐标，x2表示第二个像素的横坐标，xn表示第n个像素的横坐标，y1表示第一个像素的纵坐标，y2表示第二个像素的纵坐标，yn表示第n个像素的纵坐标；所述核心区域中心点的横坐标x和纵坐标y均为整数，若计算结果为非整数，通过四舍五入对非整数的计算结果进行整数化；

23、设置所述车表样本图像的膨胀系数r，并获取基于所述膨胀系数r下的所述最小面积外接矩形框的总体梯度垂直方向的划痕宽度wi，将所述核心区域中心点的横坐标x和纵坐标y沿着所述最小面积外接矩形框的总体梯度垂直方向分别向外扩展r*wi/2，形成所述划痕核心区域，其余区域作为划痕非核心区域。

24、在本技术的一些实施例中，所述膨胀系数r的取值范围为0.1–0.3，所述dice1的权重系数α的取值不低于0.8。

25、在本技术的一些实施例中，所述摄像设备包括环设于所述待检测车辆的车身四周的多个摄像头，且相邻两个所述摄像头所拍摄的车辆区域具有部分重叠。

26、在本技术的一些实施例中，所述样本车型信息和所述待检车型信息均包括车辆的品牌和款式。

27、在本技术的一些实施例中，所述图像文本对齐模型输出的文本特征包括：车型信息和所述摄像设备对应的车体拍照部位，所述车体拍照部位包括前、后、前上、后上、左前、左后、右前、右后。

28、在本技术的一些实施例中，对所述车型识别模型进行训练的方法包括：

29、获取若干组不同车型的车型识别样本图像集，预先标记出每组所述车型识别样本图像集所属的车型信息，得到以车型识别样本图像集作为输入目标，以标记的车型识别样本图像集所属的车型信息作为输出目标的训练样本；其中，所述车型信息包括车辆的品牌和款式；

30、将通过若干组训练样本进行深度学习后得到的待训练车型识别模型作为初始车型识别模型；

31、获取对所述初始车型识别模型进行检测的多个检测样本；其中，所述检测样本为标记有车型信息的检测图像；

32、基于所述初始车型识别模型，对多个所述检测样本进行识别，分别得到每个所述检测样本的车型信息，若由所述初始车型识别模型识别的车型信息与所述检测样本所标记的车型信息相同，则所述初始车型识别模型的识别结果正常，否则，所述初始车型识别模型的识别结果错误；

33、由所述初始车型识别模型对若干所述检测样本的车型信息进行识别的识别结果，计算所述初始车型识别模型进行车型识别的正确率，若所述正确率大于预设正确阈值时，则将所述初始车型识别模型作为训练完成后的所述车型识别模型，否则，继续对所述初始车型识别模型进行训练。

34、第二方面，本技术实施例提供了一种用于车辆定损的车辆表面划痕检测系统，包括：

35、模型构建模块，用于构建初始划痕特征融合模型；

36、训练集获取模块，用于获取若干不同车型的整车样本图像和车表样本图像，将相同车型的整车样本图像和车表样本图像作为一组样本图像集，对每组所述样本图像集分别执行图像文本特征获取步骤，以获得每个所述车表样本图像所对应的文本样本特征，将所有的所述车表样本图像及其对应的所述文本样本特征作为所述初始划痕特征融合模型的训练集；其中，所述图像文本特征获取步骤包括：将每组所述样本图像集中的所述整车样本图像输入至已训练的车型识别模型中，获得样本车型信息，并将所述样本车型信息和所述样本图像集中的所述车表样本图像，分别输入至已训练的图像文本对齐模型中，获得所述车表样本图像所对应的所述文本样本特征；

37、模型训练模块，用于基于所述训练集对所述初始划痕特征融合模型进行训练，直至模型收敛得到训练好的划痕特征融合模型；

38、车表划痕检测模块，用于当对任一车辆进行车辆表面划痕检测时，通过摄像设备采集待检测车辆的若干待检整车图像和待检车表图像，将若干所述待检整车图像输入至所述车型识别模型中，获得所述待检测车辆的待检车型信息，并将所述待检车型信息和所述待检车表图像输入至所述图像文本对齐模型中，获得所述待检测表图像所对应的待检文本特征，根据所述待检测表图像及其对应的所述待检文本特征，并基于所述划痕特征融合模型获得所述待检测车辆的划痕检测结果；其中，所述划痕检测结果包括检测部位置信息、检测部是否存在划痕、划痕信息，所述划痕信息包括划痕长度。

39、第三方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的用于车辆定损的车辆表面划痕检测方法。

40、第四方面，本技术实施例提供了一种电子设备，所述电子设备包括处理器和存储器；所述处理器与所述存储器耦合，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行，使所述电子设备实现如第一方面所述的用于车辆定损的车辆表面划痕检测方法。

41、第五方面，本技术实施例提供了一种计算机程序产品，所述计算机程序产品中包含有指令，当指令在计算机或处理器上运行时，使得计算机或处理器执行如第一方面所述的用于车辆定损的车辆表面划痕检测方法。

42、本技术实施例的有益效果如下：

43、采用车辆品牌、款式和车辆部位特征融合的划痕检测方式，能够灵活的根据当前的检测目标生成对应的特征与卷积特征进行融合，实现对车身不同部位的精确检测，同时，通过对车型、车辆部位进行细分的方式训练模型，可使得模型达到更高的检测精度。此外，本技术中的损失函数能够适应形状差距较大的划痕目标，并能够使得深度学习模型在训练时倾向于在划痕的长度方向上进行更加精确的检测。