车辆区域修复方法、装置、设备和存储介质与流程

1.本技术涉及图像处理技术领域，具体而言，涉及一种车辆区域修复方法、装置、设备和存储介质。


背景技术：

2.因为道路中的车辆处于运动状态，导致车辆在三维模型中显示效果比较差，在三维模型中属于噪音数据。现有技术中，通常采用人工检查和修模的方式来将部分车辆进行结构修复平整；人工处理的方式效率比较低。


技术实现要素：

3.本技术的主要目的在于提供一种车辆区域修复方法、装置、设备和存储介质，以解决上述问题。
4.为了实现上述目的，根据本技术的一个方面，提供了一种车辆区域修复方法，包括：
5.获取车辆以及所述车辆所在的道路的三维模型；
6.在所述三维模型的正向投影视图中，获取所述视图中的每一个像素的语义标签，所述语义标签包括：车辆标签或者道路标签；
7.统计车辆标签的像素集合范围；对所述车辆标签的像素进行预处理，得到车辆区域；
8.根据所述车辆矩形包围盒确定出道路区域；
9.根据所述道路区域的平面对所述车辆区域进行修复处理。
10.在一种实施方式中，根据所述车辆矩形包围盒确定出道路区域，包括：
11.基于所述车辆矩形包围盒确定出道路探测区域；
12.对所述道路探测区域进行调整得到道路区域。
13.在一种实施方式中，对所述道路探测区域进行调整得到道路区域，包括：
14.如果检测到车辆语义标签位于车辆包围盒的右边缘的右侧，以及道路探测区的右边缘的左侧范围内，则调整道路探测区域的右边线的位置往所述车辆包围盒的右边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
15.如果检测到如果检测到车辆语义标签位于车辆包围盒的左边缘的左侧，以及道路探测区的左边缘的右侧范围内，则调整道路探测区域的左边线的位置往所述车辆包围盒的左边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
16.如果检测到如果检测到车辆语义标签位于车辆包围盒的上边缘的上侧，以及道路探测区的上边缘的下侧范围内，则调整道路探测区域的上边缘的位置往所述车辆包围盒的上边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
17.如果检测到车辆语义标签位于车辆包围盒的下边缘的下侧，以及道路探测区的下边缘的上侧范围内，则调整道路探测区域的下边缘的位置往所述车辆包围盒的下边缘的方
向移动，直至将所述车辆语义标签调整到道路探测区域之外。
18.在一种实施方式中，对所述车辆的矩形包围盒进行调整，包括：
19.计算车辆矩形包围盒的面积；
20.如果所述车辆矩形包围盒的面积小于预定的车辆矩形包围盒的面积阈值，则扩大所述车辆矩形包围盒的范围，以使得所述车辆矩形包围盒的面积大于所述车辆矩形包围盒的面积阈值。
21.在一种实施方式中，根据所述车辆矩形包围盒确定出道路探测区域，包括：
22.根据所述车辆包围盒的左边缘的位置，和预定的左边缘扩展宽度确定道路探测区的左边缘；
23.根据所述车辆包围盒的右边缘的位置，和预定的右边缘扩展宽度确定道路探测区的右边缘；
24.根据所述车辆包围盒的上边缘的位置，和预定的上边缘扩展宽度确定道路探测区的上边缘；
25.根据所述车辆包围盒的下边缘的位置，和预定的下边缘扩展宽度确定道路探测区的下边缘。
26.在一种实施方式中，所述获取所述视图中的每一个像素的语义标签之前，所述方法还包括：基于深度学习算法确定出每一个像素的语义标签。
27.在一种实施方式中，确定所述道路区域的平面，包括：
28.利用最近邻方法，在所述三维模型中确定所述道路的相关顶点；
29.根据所述相关顶点确定出所述道路的平面。
30.为了实现上述目的，根据本技术的另一方面，提供了一种车辆区域修复装置，包括：
31.获取模块，用于获取车辆以及所述车辆所在的道路的三维模型；以及在所述三维模型的正向投影视图中，获取所述视图中的每一个像素的语义标签，所述语义标签包括：车辆标签或者道路标签；
32.车辆预处理模块，用于统计车辆标签的像素集合范围；对所述车辆标签的像素进行预处理，得到车辆区域；
33.道路区域模块，用于根据所述车辆矩形包围盒确定出道路区域；
34.修复模块，用于根据所述道路区域的平面对所述车辆区域进行修复处理。
35.在一种实施方式中，道路区域模块包括：
36.道路探测单元，用于基于所述车辆矩形包围盒确定出道路探测区域；
37.道路调整单元，用于对所述道路探测区域进行调整得到道路区域。
38.在一种实施方式中，第二单元还用于，如果检测到车辆语义标签位于车辆包围盒的右边缘的右侧，以及道路探测区的右边缘的左侧范围内，则调整道路探测区域的右边线的位置往所述车辆包围盒的右边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
39.如果检测到如果检测到车辆语义标签位于车辆包围盒的左边缘的左侧，以及道路探测区的左边缘的右侧范围内，则调整道路探测区域的左边线的位置往所述车辆包围盒的左边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
40.如果检测到如果检测到车辆语义标签位于车辆包围盒的上边缘的上侧，以及道路探测区的上边缘的下侧范围内，则调整道路探测区域的上边缘的位置往所述车辆包围盒的上边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
41.如果检测到车辆语义标签位于车辆包围盒的下边缘的下侧，以及道路探测区的下边缘的上侧范围内，则调整道路探测区域的下边缘的位置往所述车辆包围盒的下边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外。
42.在一种实施方式中，道路区域模块还包括：包围盒调整单元；
43.所述包围盒调整单元还用于，计算车辆矩形包围盒的面积；
44.如果所述车辆矩形包围盒的面积小于预定的车辆矩形包围盒的面积阈值，则扩大所述车辆矩形包围盒的范围，以使得所述车辆矩形包围盒的面积大于所述车辆矩形包围盒的面积阈值。
45.在一种实施方式中，道路探测单元还用于，根据所述车辆包围盒的左边缘的位置，和预定的左边缘扩展宽度确定道路探测区的左边缘；
46.根据所述车辆包围盒的右边缘的位置，和预定的右边缘扩展宽度确定道路探测区的右边缘；
47.根据所述车辆包围盒的上边缘的位置，和预定的上边缘扩展宽度确定道路探测区的上边缘；
48.根据所述车辆包围盒的下边缘的位置，和预定的下边缘扩展宽度确定道路探测区的下边缘。
49.在一种实施方式中，还包括像素语义标签模块，用于所述获取模块或哦亲所述视图中的每一个像素的语义标签之前，基于深度学习算法确定出每一个像素的语义标签。
50.在一种实施方式中，还包括道路平面确定模块，用于利用最近邻方法，在所述三维模型中确定所述道路的相关顶点；根据所述相关顶点确定出所述道路的平面。
51.为了实现上述目的，根据本技术的第三方面，提供了一种电子设备；包括至少一个处理器和至少一个存储器；所述存储器用于存储一个或多个程序指令；所述处理器，用于运行一个或多个程序指令，用以执行上述任一项所述的步骤。
52.根据本技术的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任意一项所述的步骤。
53.在本技术实施例中，对车辆道路的三维模型中，根据车辆矩形包围盒确定出道路区域；根据道路区域的平面对所述车辆区域进行修复处理。提高了对于车辆区域修复的自动化水平，代替了现有技术中的人工手工操作，提高了图形修复的效率。
附图说明
54.构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和优点变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
55.图1是根据本技术实施例的一种车辆修复示意图；
56.图2a是根据本技术实施例的一种车辆的俯视图示意图；
57.图2b是根据本技术实施例的一种一种三维模型重建后的车辆示意图；
58.图3是根据本技术实施例的一种车辆区域修复方法的流程图；
59.图4a是根据本技术实施例的一种道路探测区示意图；
60.图4b是根据本技术实施例的另一种道路探测区示意图；
61.图5是根据本技术实施例的一种车辆语义标签位于道路探测区的范围内的示意图；
62.图6是根据本技术实施例的一种车辆区域修复装置的结构示意图；
63.图7是根据本技术实施例的一种电子设备的结构示意图。
具体实施方式
64.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
65.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
66.并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在本发明发明中的具体含义。
67.此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本发明发明中的具体含义。
68.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
69.三维重建中，道路中运动的车辆通常会被部分的重建出来，在三维模型中属于噪音数据，参见附图1所示的一种车辆修复示意图；这些道路中的车辆都属于运动的车辆，因为运动的原因导致模型不能被很好的重建出来，在模型中的效果很差，通常采用人工检查和人工修模的方式来解决这一问题，人工将部分重建出来的车辆结构修复平整。但是人工处理的方式效率低下。
70.参见附图2a所示的一种车辆的俯视图示意图；图中两辆车发生了重叠。
71.参见附图2b所示的一种三维模型重建后的车辆示意图；如图可知，车辆发生了扭曲变形。该图片属于噪音数据。
72.基于此，本技术提出了一种车辆区域修复方法，参见附图3所示的一种车辆区域修复方法的流程图；该方法包括：
73.步骤s302，获取车辆以及所述车辆所在的道路的三维模型；
74.步骤s304，在所述三维模型的正向投影视图中，获取所述视图中的每一个像素的语义标签，所述语义标签包括：车辆标签或者道路标签；
75.步骤s306，统计车辆标签的像素集合范围；对所述车辆标签的像素进行预处理，得到车辆区域；
76.步骤s308，根据所述车辆矩形包围盒确定出道路区域；
77.步骤s310，根据所述道路区域的平面对所述车辆区域进行修复处理。
78.具体的，修复处理时，对车辆区域进行压平处理。
79.本发明的上述的方法，对车辆道路的三维模型中，根据车辆矩形包围盒确定出道路区域；根据道路区域的平面对所述车辆区域进行修复处理。提高了对于车辆区域修复的自动化水平，代替了现有技术中的人工手工操作，提高了图形修复的效率。
80.在一种实施方式中，根据所述车辆矩形包围盒确定出道路区域时，基于所述车辆矩形包围盒确定出道路探测区域；对所述道路探测区域进行调整得到道路区域。
81.如果检测到如果检测到车辆语义标签位于车辆包围盒的左边缘的左侧，以及道路探测区的左边缘的右侧，则调整道路探测区域的左边线的位置往所述车辆包围盒的左边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
82.如果检测到车辆语义标签位于车辆包围盒的上边缘的上侧，以及道路探测区的上边缘的下侧范围内，则调整道路探测区域的上边线的位置往所述车辆包围盒的上边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
83.如果检测到如果检测到车辆语义标签位于车辆包围盒的下边缘的下侧，以及道路探测区的下边缘的上侧范围内，则调整道路探测区域的下边线的位置往所述车辆包围盒的下边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外。
84.车辆矩形包围盒的大小范围应该合适，过大或者过小都不利于车辆区域的修复，在一种实施方式中，对所述车辆的矩形包围盒进行调整时，计算车辆矩形包围盒的面积；
85.如果所述车辆矩形包围盒的面积小于预定的车辆矩形包围盒的面积阈值，则扩大所述车辆矩形包围盒的范围，以使得所述车辆矩形包围盒的面积大于所述车辆矩形包围盒的面积阈值。
86.其中，车辆矩形包围盒的面积阈值可以灵活设置。
87.示例性的，普通轿车的包围盒的取值范围[10,15]，公交车的包围盒的取值范围[30,35]，单位平方米。
[0088]
在一种实施方式中，根据所述车辆矩形包围盒确定出道路探测区域，包括：
[0089]
根据所述车辆包围盒的左边缘的位置，和预定的左边缘扩展宽度确定道路探测区的左边缘；
[0090]
根据所述车辆包围盒的右边缘的位置，和预定的右边缘扩展宽度确定道路探测区的右边缘；
[0091]
根据所述车辆包围盒的上边缘的位置，和预定的上边缘扩展宽度确定道路探测区的上边缘；
[0092]
根据所述车辆包围盒的下边缘的位置，和预定的下边缘扩展宽度确定道路探测区的下边缘。
[0093]
示例性的，参见附图4a所示的，以车辆包围盒为基础，基于w
l
、wr、hu、hd分别表示左边缘扩展宽度、右边缘扩展宽度、上边缘扩展高度、下边缘扩展高度，由该四个参数构建了一个“道路探测区”。得到附图4b所示的道路探测区。
[0094]
示例性的，w
l
、wr的取值与车辆平面包围盒宽度的比例范围为[0.3，0.5]；
[0095]hu
、hd的取值与车辆平面包围盒高度的比例范围为[0.3，0.5]。
[0096]
在一种实施方式中，对所述道路探测区域进行调整得到道路区域时，如果检测到车辆语义标签位于车辆包围盒的右边缘的右侧，以及道路探测区右边缘的左侧，则调整道路探测区域的右边线的位置往所述车辆包围盒的右边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外。
[0097]
示例性的，参见附图5所示的一种车辆语义标签位于道路探测区的范围内的示意图。如图所示，调整时，把道路探测区域的右边缘线向左侧移动，直到把车辆语义标签排除在道路探测区的范围。
[0098]
示例性的，设定“道路探测区”的面积阈值s
p
；面积阈值s
p
与平面包围盒面积的比值范围为[0.1，0.3]；如果当前“道路探测区”面积大于等于面积阈值s
p
，则将调整之后的“道路探测区”记录为“道路识别区”。
[0099]
在一种实施方式中，所述获取所述视图中的每一个像素的语义标签之前，基于深度学习算法确定出每一个像素的语义标签。
[0100]
具体的，可以将二维图像输入预先训练的语义分割网络中，根据语义分割网络的输出确定二维图像中各像素点的语义标签。本技术中的语义标签包括两种，一种为车辆，一种为道路。
[0101]
在一种实施方式中，确定所述道路区域的平面时，利用最近邻方法，在所述三维模型中确定所述道路的相关顶点；根据所述相关顶点确定出所述道路的平面。
[0102]
具体的，相关顶点的数量至少为3个。
[0103]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0104]
根据本发明实施例，还提供了一种车辆区域修复装置，如图6所示，该装置包括：
[0105]
获取模块，用于获取车辆以及所述车辆所在的道路的三维模型；以及在所述三维模型的正向投影视图中，获取所述视图中的每一个像素的语义标签，所述语义标签包括：车辆标签或者道路标签；
[0106]
车辆预处理模块，用于统计车辆标签的像素集合范围；对所述车辆标签的像素进行预处理，得到车辆区域；
[0107]
道路区域模块，用于根据所述车辆矩形包围盒确定出道路区域；
[0108]
修复模块，用于根据所述道路区域的平面对所述车辆区域进行修复处理。
[0109]
在一种实施方式中，道路区域模块63包括：
[0110]
道路探测单元631，用于基于所述车辆矩形包围盒确定出道路探测区域；
[0111]
道路调整单元632，用于对所述道路探测区域进行调整得到道路区域。
[0112]
在一种实施方式中，道路调整单元632还用于，如果检测到车辆语义标签位于车辆包围盒的右边缘的右侧，以及道路探测区的右边缘的左侧范围内，则调整道路探测区域的右边线的位置往所述车辆包围盒的右边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
[0113]
如果检测到如果检测到车辆语义标签位于车辆包围盒的左边缘的左侧，以及道路探测区的左边缘的右侧范围内，则调整道路探测区域的左边线的位置往所述车辆包围盒的左边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
[0114]
如果检测到如果检测到车辆语义标签位于车辆包围盒的上边缘的上侧，以及道路探测区的上边缘的下侧范围内，则调整道路探测区域的上边缘的位置往所述车辆包围盒的上边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外；
[0115]
如果检测到车辆语义标签位于车辆包围盒的下边缘的下侧，以及道路探测区的下边缘的上侧范围内，则调整道路探测区域的下边缘的位置往所述车辆包围盒的下边缘的方向移动，直至将所述车辆语义标签调整到道路探测区域之外。
[0116]
在一种实施方式中，道路区域模块63还包括：包围盒调整单元633；
[0117]
所述包围盒调整单元还用于，计算车辆矩形包围盒的面积；
[0118]
如果所述车辆矩形包围盒的面积小于预定的车辆矩形包围盒的面积阈值，则扩大所述车辆矩形包围盒的范围，以使得所述车辆矩形包围盒的面积大于所述车辆矩形包围盒的面积阈值。
[0119]
在一种实施方式中，道路探测单元631还用于，根据所述车辆包围盒的左边缘的位置，和预定的左边缘扩展宽度确定道路探测区的左边缘；
[0120]
根据所述车辆包围盒的右边缘的位置，和预定的右边缘扩展宽度确定道路探测区的右边缘；
[0121]
根据所述车辆包围盒的上边缘的位置，和预定的上边缘扩展宽度确定道路探测区的上边缘；
[0122]
根据所述车辆包围盒的下边缘的位置，和预定的下边缘扩展宽度确定道路探测区的下边缘。
[0123]
在一种实施方式中，还包括像素语义标签模块64，用于所述获取模块或哦亲所述视图中的每一个像素的语义标签之前，基于深度学习算法确定出每一个像素的语义标签。
[0124]
在一种实施方式中，还包括道路平面确定模块65，用于利用最近邻方法，在所述三维模型中确定所述道路的相关顶点；根据所述相关顶点确定出所述道路的平面。
[0125]
根据本技术的第三方面，提供了一种电子设备，参见附图7所示的电子设备的结构示意图；包括至少一个处理器71和至少一个存储器72；所述存储器72用于存储一个或多个程序指令；所述处理器71，用于运行一个或多个程序指令，用以执行上述任意一项的方法。
[0126]
第四方面，本技术还提出了一种计算机可读存储介质，计算机可读存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任一项所述的方法。
[0127]
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储
器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
[0128]
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0129]
其中，非易失性存储器可以是只读存储器(read-onlymemory，简称rom)、可编程只读存储器(programmablerom，简称prom)、可擦除可编程只读存储器(erasableprom，简称eprom)、电可擦除可编程只读存储器(electricallyeprom，简称eeprom)或闪存。
[0130]
易失性存储器可以是随机存取存储器(randomaccessmemory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，简称sram)、动态随机存取存储器(dynamicram，简称dram)、同步动态随机存取存储器(synchronousdram，简称sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlinkdram，简称sldram)和直接内存总线随机存取存储器(directrambusram，简称drram)。
[0131]
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0132]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0133]
以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。