障碍物朝向的确定方法、装置、系统、设备、介质及产品与流程

1.本发明涉及障碍物检测技术领域，尤其涉及一种障碍物朝向的确定方法、装置、系统、设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.随着3d障碍物和激光雷达技术的逐步成熟，相关技术中，虽然通过从像素坐标系中获取的车辆的3d坐标信息，可以确定车辆的朝向(yaw)角度，但是，在基于摄像头的环视感知任务中，障碍物(比如大卡车等)在主车侧向相机范围内穿越时，如果没有获取到像素坐标系中该大卡车完整的3d坐标信息，即在像素坐标系下存在障碍物的截断信息，则会导致3d障碍物的朝向产生严重误差。
3.因此，如何准确的确定3d障碍物的朝向，是目前有待解决的技术问题。


技术实现要素：

4.本发明提供一种障碍物朝向的确定方法、装置、系统、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中由于像素坐标系下3d障碍物的截断信息，导致3d障碍物朝向确定不准确的技术问题。本发明的技术方案如下：
5.根据本发明实施例的第一方面，提供一种障碍物朝向的确定方法，包括：
6.获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
7.在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
8.获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
9.将所述接地位置映射到世界坐标系下的路面位置；
10.基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
11.可选的，所述确定所述多个车轮之间的距离最大的车轮对包括：
12.将所述多个车轮中每个车轮尺寸与模板池中车轮模板尺寸进行匹配；
13.如果匹配结果满足设定阈值，则获取满足设定阈值的车轮在像素坐标中的坐标信息；
14.根据所述坐标信息分别计算两两车轮之间的距离；
15.选取距离最大的一对车轮。
16.可选的，在所述多个车轮为同一车辆的车轮时，所述方法还包括：
17.对所述多个车轮的尺寸进行一致性校验；
18.如果一致性校验成功，则执行所述确定所述多个车轮之间的距离最大的车轮对的步骤；
19.如果一致性校验失败，则对所述车轮按照设定策略进行补全。
20.可选的，在对所述多个车轮的尺寸进行一致性校验之前，所述方法还包括
21.判断所述多个车轮中每个车轮是否存在车轮截断情况；
22.如果没有存在车轮截断情况，则执行所述对所有车轮尺寸的一致性进行校验的步骤；
23.如果存在车轮截断情况，则对所述车轮按照设定策略进行补全。
24.可选的，所述对所述车轮按照设定策略进行补全，包括：
25.选取最大面积的截断车轮，将所述最大面积的的截断车轮与模板池中的车轮模板进行匹配；根据匹配到的车轮模板，对所有截断车轮进行补全；或者
26.若从所述多个车轮中选取一个完整的车轮，则按照选取的所述完整车轮补全所有的截断车轮；或者
27.若从所述多个车轮中选择两个完整车轮，则计算所述两个完整车轮的车轮面积的平均值，根据所述平均值补全所有的截断车轮。
28.可选的，所述将所述接地位置映射到在世界坐标系下的路面位置包括：
29.通过逆透视变换公式将所述接地位置映射到在世界坐标系下的路面位置。
30.可选的，所述基于所述世界坐标系下的路面位置确定所述车辆的朝向角度，包括：
31.计算所述车轮对在世界坐标系下的路面位置的车轮连线；
32.将所述车轮连线绕着重力方向的朝向确定为车辆的朝向角度。
33.根据本发明实施例的第二方面，提供一种一种障碍物朝向的确定方法，包括：
34.确定检测区域内当前车辆的第一朝向角度，所述第一朝向角度是基于检测区域的目标障碍图像中的车轮对所确定当前车辆的朝向角度；
35.获取3d障碍物检测模型输出的检测区域内检测到当前车辆的第二朝向角度；
36.确定所述第一朝向角度和第二朝向角度的差值；
37.如果所述差值小于预设阈值，则确定所述第一朝向角度和第二朝向角度的角度平均值；
38.将所述角度平均值确定为所述当前车辆的朝向角度。
39.可选的，所述方法还包括：
40.如果所述差值不小于预设阈值，则获取当前车辆的历史朝向角度；
41.通过随机抽样一致性ransac校验算法对所述历史朝向角度进行曲线拟合，预测当前车辆的第三朝向角度；
42.将与所述第三朝向角度相最接近的所述第一朝向角度或第二朝向角度确定为所述当前车辆的朝向角度。
43.可选的，所述确定当前车辆的第一朝向角度，包括：
44.获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
45.在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
46.获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
47.将所述接地位置映射到世界坐标系下的路面位置；
48.基于所述世界坐标系下的路面位置确定所述车辆的第一朝向角度。
49.根据本发明实施例的第三方面，提供一种一种障碍物朝向的确定装置，包括：
50.第一获取模块，用于获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
51.第一确定模块，用于在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
52.第二获取模块，用于获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
53.映射模块，用于将所述接地位置映射到世界坐标系下的路面位置；
54.第二确定模块，用于基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
55.可选的，所述第一确定模块包括：
56.第一匹配模块，用于将所述多个车轮中每个车轮尺寸与模板池中车轮模板尺寸进行匹配；
57.第三获取模块，用于在所述第一匹配模块的匹配结果满足设定阈值时，获取满足设定阈值的车轮在像素坐标中的坐标信息；
58.第一计算模块，用于根据所述坐标信息分别计算两两车轮之间的距离；
59.第一选取模块，用于选取距离最大的一对车轮。
60.可选的，所述装置还包括：
61.校验模块，用于在所述多个车轮为同一车辆的车轮时，对所述多个车轮的尺寸进行一致性校验；
62.所述第一确定模块，还用于在所述校验模块一致性校验成功时，确定所述多个车轮之间的距离最大的车轮对；
63.补全模块，用于在所述校验模块进行一致性校验失败时，对所述车轮按照设定策略进行补全。
64.可选的，所述装置还包括：
65.第一判断模块，用于在所述校验模块对所述多个车轮的尺寸进行一致性校验之前，判断所述多个车轮中每个车轮是否存在车轮截断情况；
66.所述第一确定模块，还用于在所述第一判断模块判定没有存在车轮截断情况时，确定所述多个车轮之间的距离最大的车轮对。
67.所述补全模块，还用于在所述第一判断模块判定存在车轮截断情况时，对所述车轮按照设定策略进行补全。
68.可选的，所述补全模块包括：第二选取模块，第二匹配模块和第一补全模块；和/或第三选取模块和第二补全模块；和/或第四选取模块和第三补全模块；其中，
69.所述第二选取模块，用于选取最大面积的截断车轮；
70.所述第二匹配模块，用于将所述最大面积的的截断车轮与模板池中的车轮模板进行匹配；
71.所述第一补全模块，用于根据所述第二匹配模块匹配到的车轮模板，对所有截断车轮进行补全；
72.所述第三选取模块，用于从所述多个车轮中选取一个完整的车轮；
73.所述第二补全模块，用于按照所述第三选取模块选取的所述完整车轮补全所有的截断车轮；
74.所述第四选取模块，用于从所述多个车轮中选取两个完整车轮；
75.所述第二计算模块，用于计算所述第四选取模块选取的所述两个完整车轮的车轮面积的平均值，根据所述平均值补全所有的截断车轮。
76.可选的，所述映射模块，具体用于通过逆透视变换公式将所述接地位置映射到在世界坐标系下的路面位置。
77.可选的，所述第二确定模块包括：
78.第三计算模块，用于计算所述车轮对在世界坐标系下的路面位置的车轮连线；
79.朝向角度确定模块，用于将所述车轮连线绕着重力方向的朝向确定为车辆的朝向角度。
80.根据本发明实施例的第四方面，提供一种障碍物朝向的确定装置，包括：
81.第一确定模块，用于确定检测区域内当前车辆的第一朝向角度，所述第一朝向角度是基于检测区域的目标障碍图像中的车轮对所确定当前车辆的朝向角度；
82.获取模块，用于获取3d障碍物检测模型输出的检测区域内检测到当前车辆的第二朝向角度；
83.第二确定模块，用于确定所述第一朝向角度和第二朝向角度的差值；
84.第三确定模块，用于在所述所述差值小于预设阈值时，确定所述第一朝向角度和第二朝向角度的角度平均值；
85.第四确定模块，用于将所述角度平均值确定为所述当前车辆的朝向角度。
86.可选的，所述装置还包括：
87.第二获取模块，用于在所述差值不小于预设阈值时，获取当前车辆的历史朝向角度；
88.拟合模块，用于通过随机抽样一致性ransac校验算法对所述历史朝向角度进行曲线拟合，预测当前车辆的第三朝向角度；
89.第五确定模块，用于将与所述第三朝向角度相最接近的所述第一朝向角度或第二朝向角度确定为所述当前车辆的朝向角度。
90.可选的，所述第一确定模块包括：
91.第三获取模块，用于获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
92.第六确定模块，用于在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
93.第四获取模块，用于获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
94.映射模块，用于将所述接地位置映射到世界坐标系下的路面位置；
95.第七确定模块，用于基于所述世界坐标系下的路面位置确定所述车辆的第一朝向角度。
96.根据本发明实施例的第五方面，提供一种障碍物朝向的确定系统，所述系统应用于3d障碍物检测网络，所述系统包括：
97.2d障碍物检测模块，用于对3d障碍物检测网络中的解码器解码后的图像进行检测，获取检测区域的目标障碍图像，所述目标障碍图像包括多个车轮；在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；获取距离最大的所述车轮
对在所述目标障碍图像中的接地位置；
98.参数变换模块，用于将所述接地位置映射到所述3d障碍物检测网络中世界坐标系下的路面位置；基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
99.本发明实施例中，该系统基于3d障碍物检测网络，也就是说，本实施例提供的车轮检测网络，是在3d障碍物检测网络分出一个2d head，因此，对主干网络的改动较小，同时，在检测车轮后，对检测车辆的结果通过一个后处理对车轮进行校验及补全，从而此获得更加精细的车辆的朝向角度。
100.根据本发明实施例的第六方面，提供一种电子设备，其特征在于，包括：
101.处理器；
102.用于存储所述处理器可执行指令的存储器；
103.其中，所述处理器被配置为执行所述指令，以实现如上所述的障碍物朝向的确定方法。
104.根据本发明实施例的第七方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的障碍物朝向的确定方法。
105.根据本发明实施例的第八方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的障碍物朝向的确定方法。
106.本发明的实施例提供的技术方案至少带来以下有益效果：
107.本发明实施例中，在获取检测区域检测到的目标障碍图像包括多个车轮时，若所述多个车轮为同一车辆的车轮，则确定所述多个车轮之间的距离最大的车轮对；获取所述车轮对在所述目标障碍图像中的接地位置；将所述接地位置映射到世界坐标系下的路面位置；基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。也就是说，本发明实施例中，基于车轮检测，获取同一车辆的多个车轮中距离最大的一对车轮的接地位置，利用这一对车轮的接地位置的车轮连线在一条直线上，来确定障碍车辆的朝向角度(即偏航yaw角度)。所以，本发明实施例基于车轮检测，可以快速确定主车附近区域的3d障碍车辆的朝向，解决了相关技术中，由于像素坐标系下3d障碍物的截断信息，导致3d障碍物朝向确定不准确的技术问题。采用本发明实施例，可以有效提升障碍车辆的朝向角度的精度。
108.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
109.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理，并不构成对本发明的不当限定。
110.图1是本发明实施例提供的一种障碍物朝向的确定方法的流程图。
111.图2是本发明实施例提供的一种标记车轮检测框的示意图。
112.图3是本发明实施例提供的一种截断车轮的示意图。
113.图4是本发明实施例提供的一种截断车轮的示意图。
114.图5是本发明实施例提供的一种障碍物朝向的确定方法的应用示例图。
115.图6是本发明实施例提供的一种障碍物朝向的确定方法的另一流程图。
116.图7是本发明实施例提供的一种障碍物朝向的确定方法的又一流程图。
117.图8是本发明实施例提供的一种障碍物朝向的确定装置的框图。
118.图9是本发明实施例提供的一种障碍物朝向的确定装置的另一框图。
119.图10是本发明实施例提供的一种障碍物朝向的确定系统的框图。
120.图10a是本发明实施例提供的一种障碍物朝向的确定系统的应用框图。
121.图11是本发明实施例提供的一种电子设备的框图。
122.图12是本发明实施例提供的一种具有障碍物朝向的确定的装置的框图。
具体实施方式
123.为了使本领域普通人员更好地理解本发明的技术方案，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述。
124.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
125.图1是本发明实施例提供的一种障碍物朝向的确定方法的流程图，如图1所示，该障碍物朝向的确定方法包括以下步骤：
126.步骤101：获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
127.步骤102：在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
128.步骤103：获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
129.步骤104：将所述接地位置映射到世界坐标系下的路面位置；
130.步骤105：基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
131.本发明实施例所述的障碍物朝向的确定方法可以应用于终端等，所述终端的实施设备可以是车载终端、自动驾驶车辆的主控平台或车机等电子设备，在此不作限制。
132.下面结合图1，对本发明实施例提供的一种障碍物朝向的确定方法的具体实施步骤进行详细说明。
133.在步骤101中，获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮。
134.该步骤中，基于3d障碍物检测网络(3d head，又称为3d检测头)分出的一个2d障碍物检测网络(2d head，又称为2d检测头)，该2d head用来检测预设区域内车辆的车轮，即主车的主控平台通过该2d head中的摄像头可以获取到该主车附近预定区域内的目标障碍图像，比如车辆图像等，该目标障碍图像中可以包括多个车轮，所述多个车轮可以为同一辆车的车轮，也可以是不同车辆的个车轮。当所述车轮为多个车轮的不同车轮时，比如同一个车辆只有一个车轮的情况，系统会自动过滤掉一个车辆只有一个车轮的情况。之后，对目标障碍图像中每辆车的多个车轮进行标记，可以通过车轮检测框来标记车轮，进一步，还可以对
每个车辆的车轮检测框进行标号排序。比如，主控平台检测到预定区域内的一辆大卡车车轮的三个车轮检测框，如图2中所示，图2为本发明实施例提供的一种标记车轮检测框的示意图，图2中，标记车轮的车轮检测框分别以标号1、标号2和标号3为例来说明等，再比如，本实施例检测到的车辆也可以是一辆小轿车等，本实施例不做限制。
135.在步骤102中，若所述多个车轮为同一车辆的车轮，确定所述所述多个车轮之间的距离最大的车轮对。
136.该步骤中，在主控平台获取到检测区域检测到的目标障碍图像包括的多个车轮后，先根据多个车轮判断车辆的数量，如果判定多个车轮属于不同的车辆，且每个车辆只包括一个车轮，则结束本操作流程；如果所述多个车轮属于同一车辆，则确定所述多个车轮之间的距离最大的车轮对。
137.其中，确定所述多个车轮之间的距离最大的车轮对，包括：
138.首先，主控平台将所述多个车轮中每个车轮尺寸与模板池中车轮模板尺寸进行匹配。
139.该步骤中，与模板池中车轮模块匹配的目的就是为了保证检测的多个车轮为核心区域的车辆的车轮，也就是说，本实施例通常对自驾车辆附近核心区域的障碍车辆的车轮进行朝向角度的修正，避免核心区域外的障碍车辆所引入的误差。其中，车轮尺寸大小需要满足于模板池的阈值。
140.其一种匹配过程为：确定该车辆的车型，从模板池中查找该车型的车轮模板，之后，计算多个车轮中每个车轮的尺寸与查找到的车轮模板尺寸的差值，判断该差值是否小于设定阈值时，如果小于，认为该车轮尺寸满足设定阈值，匹配成功；否则，认为匹配不成功。
141.其次，如果匹配结果满足设定阈值，则获取满足设定阈值的车轮在像素坐标中的坐标信息。
142.该步骤中，如果匹配结果满足设定阈值，则获取该满足设定阈值的车轮在像素坐标中的坐标信息。其获取满足设定阈值的每个车轮在像素坐标中的坐标信息，对于本领域技术来说，已是熟知技术，在此不再赘述。
143.再次，根据所述坐标信息分别计算两两车轮之间的距离。
144.该步骤中，在获取到满足设定阈值的每个车轮的坐标信息后，可以利用两个坐标点之间的计算公式来计算每两个车轮的坐标点之间的距离，具体的计算公式对于本领域技术人员来说，已是熟知技术，在此不再赘述。
145.最后，选取距离最大的一对车轮。
146.在计算出各个坐标点之间的距离后，选取距离最大的两个坐标点对应的车轮对。
147.在步骤103中，获取所述车轮对在所述目标障碍图像中的接地位置。
148.该步骤中，主控平台在确定距离最大的一对车轮后，可以获取到这一对车轮在目标障碍图像中的接地位置的坐标信息，即车轮对接地点在像素坐标系中的坐标信息，其获取的方式对于本领域技术人员来说，已是熟知技术，在此不再赘述。
149.在步骤104中，将所述接地位置映射到世界坐标系下的路面位置。
150.该步骤中，一种映射方式是，主控平台通过逆透视变换公式将所述接地位置映射到在世界坐标系下的路面位置，当然，在实际应用中，并不限于此。
151.该步骤中，将车轮接地位置(即车轮接地点)回归到世界坐标系的路面位置上，需要依赖无人车相机的内外参数，由于车轮接地位置在世界坐标系的坐标z＝0，故通过车轮在图像中的位置(u,v)通过逆透视变换公式换得到在世界坐标系下的(x,y)，具体逆透视变换公式如下：
[0152][0153]
其中x0(u,v)和y0(u,v)分别表示世界坐标系中的路面坐标；其中，u和v分别表示图像坐标系(即像素坐标系)中的横纵坐标映射到世界坐标系下的横纵坐标值；m和n分别表示图像坐标系的宽和高；(cx,cy,h),表示相机在世界坐标系当中的坐标位置。相机架设位置相对固定，选择合适的世界坐标系，可以使得h等于相机离地面的高度；αv表示相机上下视场角范围；αu表示相机水平视场角范围。θ表示相机上下俯仰角。
[0154]
其中，αv和αa的值通常可以用其他内参数据表示，如下：
[0155][0156]
其中，该公式中的w，h分别表示为摄像头感光元器件尺寸长度和宽度，f为摄像头焦距。
[0157]
需要说明的是，对于本领域技术人员，上述的逆透视变换公式已是熟知技术在，在此不在赘述。
[0158]
在步骤105中，基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
[0159]
该步骤中，先计算所述车轮对在世界坐标系下的路面位置的车轮连线；在将所述车轮连线绕着重力方向的朝向确定为车辆的朝向角度。
[0160]
也就是说，基于车轮检测，在获得车轮对的路面位置后，基于车辆的刚性结构，前后任意两个车轮会在一条直线上，所以，计算车轮对在世界坐标系下的路面位置的车轮连线，该车轮连线围绕着重力的朝向就是车辆的朝向(即偏航yaw角度)。也就是说，在知道车轮对的路面坐标的情况下，可以准确的估算出车辆朝向。
[0161]
本发明实施例中，在获取检测区域检测到的目标障碍图像包括多个车轮时，若所述多个车轮为同一车辆的车轮，则确定所述多个车轮之间的距离最大的车轮对；获取所述车轮对在所述目标障碍图像中的接地位置；将所述接地位置映射到世界坐标系下的路面位置；基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。也就是说，本发明实施例中，基于车轮检测，获取同一车辆的多个车轮中距离最大的一对车轮的接地位置，利用这一
对车轮的接地位置的车轮连线在一条直线上，来确定障碍车辆的朝向角度(即偏航yaw角度)。所以，本发明实施例基于车轮检测，可以快速确定主车附近区域的3d障碍车辆的朝向，解决了相关技术中，由于像素坐标系下3d障碍物的截断信息，导致3d障碍物朝向确定不准确的技术问题。采用本发明实施例，可以有效提升障碍车辆的朝向角度的精度。
[0162]
可选的，在另一实施例中，该实施例在上述实施例的基础上，在所述目标障碍图像中的多个车轮为同一车辆的车轮，对所述多个车轮的尺寸进行一致性校验，如果一致性校验成功，则执行所述确定所述多个车轮之间的距离最大的车轮对的步骤；如果一致性校验失败，则对所述车轮按照设定策略进行补全。
[0163]
其中，对所述多个车轮的尺寸进行一致性校验的方式有多种，一种是，先计算每个车轮的面积，然后比较面积的是否相等，或是否近似相等，如果所述多个车轮的面积相等或接近相等，则认为所述多个车轮的一致性较强，即确认为一致性校验成功，如果多个车轮的的面积不相等，或者至少有一个车轮的面积与其他车轮的面积不等或相差较大，则认为该面积较小的车轮为截断车轮，需要按照设定策略对该截断车轮进行补全。
[0164]
该实施例中的车轮一致性校验，其目的是为了部分车轮的截断问题，比如，当多个车轮中有轻微的截断车轮时，但是在对该多个车轮的尺寸进行一致性校验时，其一致性校验成功，在该情况下，本实施例默认为不需要进入对轻微截断的车轮进行补充处理。
[0165]
可选的，在另一实施例中，该实施例在上述实施例的基础上，在对所述多个车轮的尺寸进行一致性校验之前，所述方法还可以包括：判断所述多个车轮中每个车轮是否存在车轮截断情况；如果没有存在车轮截断情况，则执行所述对所有车轮尺寸的一致性进行校验的步骤；如果存在车轮截断情况，则对所述车轮按照设定策略进行补全。
[0166]
本实施例中，在对所述多个车轮的尺寸进行一致性校验之前，需要先判断多个车轮中的每个车轮是否存在车轮截断情况，如果存在车轮截断，则说明多个车轮的尺寸不一致，一致性比较差，需要对截断车轮按照设定策略进行补全，然后再执行确定所述多个车轮之间的距离最大的车轮对的步骤；如果没有存在车轮截断，则说明所述多个车轮的尺寸一致性比较强，直接执行所述对所有车轮尺寸的一致性进行校验的步骤。
[0167]
需要判断每个车轮是否存在车轮截断情况，其判断方式有多种，其中，可以将同一车辆的车轮的直径进行比对，直接最大的车轮为完整车轮，其余为截断车轮，当然，也可以先计算每个车轮的面积，然后比较面积的大小，确定面积最大的车轮为完整车轮，其余面积小的车轮为截断车辆等。当然，还可以在计算出面积后，如果两个较大车轮面积之差小于预定值，也可以确定为完整车轮等。
[0168]
为了便于理解完整车轮和截断车轮的情况，还请一并参阅图2至图4，如上述图2所示，图2中以检测到大卡车的三个车轮为例，该标号1至标号3的三个车轮都是完整车轮，没有出现截断情况。还请参阅图3，图3为本发明实施例提供的一种截断车轮的示意图，图3仍以大卡车为例，由图3可知，标号为1的车轮为截断车轮，而标号为2和3的车轮为完整车轮，还请参阅图4，图4为本发明实施例提供的另一种截断车轮的示意图，图4仍以大卡车为例，由图4可知，标号为1和表3的车轮为截断车轮，而标号为2的车轮为完整车轮。需要说明的是，图3和图4中所述的截断车轮只是举例说明，在实际应用中，并不限于此。
[0169]
进一步，在另一实施例中，该实施例在上述实施例的基础上，所述方法还可以包括：判断所述多个车轮中每个车轮是否存在车轮截断情况；如果不存在截断，则进入车轮一
致性校验，如果车轮尺寸一致性较强，进而继续判断车轮和模板池中的车轮模板尺匹配，如果尺寸大小满足于模板池的阈值，则匹配成功，利用匹配到的车轮模板，对所有截断车轮进行补全。
[0170]
需要说明的是，本发明实施例中，基于车轮检测是因为：1、车轮的大小比较固定，特征明显，检测网络容易设计和应用；2、每辆车的车轮处必定有接地点，将车轮接地点在像素坐标系中的坐标点可以通过逆透视变换到世界坐标系中对应的坐标点；3、同一辆车辆车轮大小一致，因此，可以针对车轮部分截断问题，利用补全策略进行补全。
[0171]
进一步，在另一实施例中，该实施例在上述实施例的基础上，所述对所述车轮按照设定策略进行补全，包括：
[0172]
选取最大面积的截断车轮，将所述最大面积的的截断车轮与模板池中的车轮模板进行匹配；根据匹配到的车轮模板，对所有截断车轮进行补全；或者
[0173]
若从所述多个车轮中选取一个完整的车轮，则按照选取的所述完整车轮补全所有的截断车轮；或者
[0174]
若从所述多个车轮中选择两个完整车轮，则计算所述两个完整车轮的车轮面积的平均值，根据所述平均值补全所有的截断车轮。
[0175]
本发明实施例中，并不是对主车辆感知到的所有障碍车辆进行车轮朝向角度的修正，而是基于与模板池中的车轮模板相匹配的车轮的车轮进行朝向角度修正，从而能够很精细的将距离较远且可能产生较大误差的车辆过滤掉，保证了对感知车辆朝向的正向收益。
[0176]
还请参阅图5，为本发明实施例提供的一种障碍物朝向的确定方法的应用示例图，所述方法包括：
[0177]
步骤501：获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮。
[0178]
步骤502：判断所述多个车轮是否为同一车辆的车轮，如果是，执行步骤503；否则，执行步骤512；
[0179]
步骤503：对所述多个车轮的尺寸进行一致性校验；如果一致性校验失败，执行步骤504，之后执行步骤505；如果一致性校验成功，执行步骤505；
[0180]
步骤504：对所述车轮按照设定策略进行补全。
[0181]
步骤505：将所述多个车轮中每个车轮尺寸与模板池中车轮模板尺寸进行匹配；如果匹配结果满足设定阈值，执行步骤506；如果匹配结果未满足设定阈值，执行步骤512：
[0182]
步骤506：获取满足设定阈值的车轮在像素坐标中的坐标信息；
[0183]
步骤507：根据所述坐标信息分别计算两两车轮之间的距离；
[0184]
步骤508：选取距离最大的一对车轮；
[0185]
步骤509：获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
[0186]
步骤510：通过逆透视变换公式将所述接地位置映射到世界坐标系下的路面位置；
[0187]
步骤511：基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
[0188]
步骤512：结束本次操作。
[0189]
本发明实施例中，通过车轮检测进而求取车辆朝向在侧向摄像头中效果是非常鲁棒的，所以，采用本发明实施例，可以有效的提升对主车附近设定的检测区域的车辆朝向角
度的检测精度。
[0190]
还请参阅图6，为本发明实施例提供的一种障碍物朝向的确定方法的另一流程图，所述方法包括：
[0191]
步骤601：确定检测区域内当前车辆的第一朝向角度，所述第一朝向角度是基于检测区域的目标障碍图像中的车轮对所确定车辆的朝向角度；
[0192]
其中，该步骤中，第一朝向角度的确定过程包括：车辆的主控平台或车机获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；将所述接地位置映射到世界坐标系下的路面位置；基于所述世界坐标系下的路面位置确定所述车辆的朝向角度，即第一朝向角度。
[0193]
需要说明的是，车辆的主控平台或车机确定第一朝向角度的各个步骤的具体实现过程，详见上述方法中对应步骤的实现过程，在此不在赘述。
[0194]
步骤602：获取3d障碍物检测模型输出的所述检测区域内检测到到当前车辆的第二朝向角度；
[0195]
该步骤中，车辆的主控平台或车机可以通过3d障碍物检测模型直接得到当前检测区域内车辆的第二朝向角度。其获取的具体过程，对于本领域技术人员来说，已是熟知技术，在此不再赘述。
[0196]
步骤603：确定所述第一朝向角度和第二朝向角度的差值；
[0197]
该步骤中，车辆的主控平台或车机通过计算公式计算第一朝向角度和第二朝向角度的差值。
[0198]
步骤604：如果所述差值小于预设阈值，则确定所述第一朝向角度和第二朝向角度的角度平均值；
[0199]
该实施例中，预设阈值是超参数thres，该超参数针对不同的3d障碍物检测模型的选择性能，选取不同的值。
[0200]
步骤605：将所述角度平均值调整为所述当前车辆的朝向角度。
[0201]
该步骤中，车辆的主控平台或车机将所述角度平均值调整为所述当前车辆的朝向角度。
[0202]
本发明实施例中，确定检测区域内当前车辆的第一朝向角度，以及获取3d障碍物检测模型输出的检测区域内检测到当前车辆的第二朝向角度；确定所述第一朝向角度和第二朝向角度的差值；如果所述差值小于预设阈值，则确定所述第一朝向角度和第二朝向角度的角度平均值；将所述角度平均值调整为所述当前车辆的朝向角度。本发明实施例中，将基于车轮确定的障碍物车辆的朝向角度与3d障碍物检测模型输出的该障碍车辆的朝向角度进行融合，从而适应性调整该障碍车辆的朝向角度，提升车辆的朝向角度的精准度。
[0203]
还请参阅图7，为本发明实施例提供的一种障碍物朝向的确定方法的又一流程图，所述方法包括：
[0204]
步骤701：确定检测区域内当前车辆的第一朝向角度，所述第一朝向角度是基于检测区域的目标障碍图像中的车轮对所确定车辆的朝向角度。
[0205]
步骤702：获取3d障碍物检测模型输出的检测区域内检测到当前车辆的第二朝向角度。
[0206]
步骤703：确定所述第一朝向角度和第二朝向角度的差值。
[0207]
步骤704：判断所述差值是否小于预设阈值，如果小于，执行步骤705和步骤706；否则，执行步骤707至步骤709。
[0208]
步骤705：确定所述第一朝向角度和第二朝向角度的角度平均值。
[0209]
步骤706：将所述角度平均值确定为所述当前车辆的朝向角度，结束本次操作。
[0210]
步骤707：获取当前车辆的历史朝向角度。
[0211]
步骤708：通过随机抽样一致性(ransac)校验算法对所述历史朝向角度进行曲线拟合，预测当前车辆的第三朝向角度。
[0212]
该步骤中，随机抽样一致性(ransac)校验算法，通常选择的曲线是一次曲线(curve of the first degree)，即一条直线，这是因为在正常行驶的情况下，车辆的朝向是相对固定的，即使在变道情况下，车辆朝向变动幅度也不会很大，故，车辆朝向是稳定在一次曲线的，即使车辆掉头，也可理解为匀角速度状态，其曲线仍是一次曲线。本发明实施例中，对当前车辆的历史朝向角度通过随机抽样一致性校验判断，可以清楚反映出历史朝向角度与当前角度的预测量，称为第三朝向角度，之后，通过比较第三朝向角度与第一朝向角度或第二朝向角度，哪个朝向角度最接近，则将最接近的朝向角度确定为当前车辆的朝向角度。其目的是避免确定的朝向角度和模型预测的朝向角度的严重失真，从而影响最终的检测结果。
[0213]
步骤709：将与所述第三朝向角度相最接近的所述第一朝向角度或第二朝向角度确定为所述当前车辆的朝向角度。
[0214]
本发明实施例提供对于确定的车辆的朝向角度和模型预测的车辆的朝向角度进行比对，并根据比对结果按照融合策略进行融合，从而提高了车辆朝向角度的精准度。
[0215]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本实施公开并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。
[0216]
还请参阅图8，是本发明实施例提供的一种障碍物朝向的确定装置装置框图。所述装置包括：第一获取模块801，第一确定模块802，第二获取模块803，映射模块804和第二确定模块805，其中，
[0217]
该第一获取模块801，用于获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
[0218]
该第一确定模块802，用于在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
[0219]
该第二获取模块803，用于获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
[0220]
该映射模块804，用于将所述接地位置映射到世界坐标系下的路面位置；
[0221]
该第二确定模块805，用于基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
[0222]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一确定模块包括：第一匹配模块，第三获取模块，第一计算模块和第一选取模块，其中，
[0223]
该第一匹配模块，用于将所述多个车轮中每个车轮尺寸与模板池中车轮模板尺寸进行匹配；
[0224]
该第三获取模块，用于在所述第一匹配模块的匹配结果满足设定阈值时，获取满足设定阈值的车轮在像素坐标中的坐标信息；
[0225]
该第一计算模块，用于根据所述坐标信息分别计算两两车轮之间的距离；
[0226]
该第一选取模块，用于选取距离最大的一对车轮。
[0227]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还包括：校验模块和策略补全模块，其中，
[0228]
该校验模块，用于在所述多个车轮为同一车辆的车轮时，对所述多个车轮的尺寸进行一致性校验；
[0229]
所述第一确定模块，还用于在所述校验模块一致性校验成功时，确定所述多个车轮之间的距离最大的车轮对；
[0230]
该策略补全模块，用于在所述校验模块进行一致性校验失败时，对所述车轮按照设定策略进行补全。
[0231]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还包括：第一判断模块，其中，
[0232]
该第一判断模块，用于在所述校验模块对所述多个车轮的尺寸进行一致性校验之前，判断所述多个车轮中每个车轮是否存在车轮截断情况；
[0233]
所述第一确定模块，还用于在所述第一判断模块判定没有存在车轮截断情况时，确定所述多个车轮之间的距离最大的车轮对。
[0234]
所述补全模块，还用于在所述第一判断模块判定存在车轮截断情况时，对所述车轮按照设定策略进行补全。
[0235]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述补全模块包括：第二选取模块，第二匹配模块和第一补全模块；和/或第三选取模块和第二补全模块；和/或第四选取模块和第三补全模块；其中，
[0236]
所述第二选取模块，用于选取最大面积的截断车轮；
[0237]
所述第二匹配模块，用于将所述最大面积的的截断车轮与模板池中的车轮模板进行匹配；
[0238]
所述第一补全模块，用于根据所述第二匹配模块匹配到的车轮模板，对所有截断车轮进行补全；
[0239]
所述第三选取模块，用于从所述多个车轮中选取一个完整的车轮；
[0240]
所述第二补全模块，用于按照所述第三选取模块选取的所述完整车轮补全所有的截断车轮；
[0241]
所述第四选取模块，用于从所述多个车轮中选取两个完整车轮；
[0242]
所述第二计算模块，用于计算所述第四选取模块选取的所述两个完整车轮的车轮面积的平均值，根据所述平均值补全所有的截断车轮。
[0243]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述映射模块，具体用于通过逆透视变换公式将所述接地位置映射到在世界坐标系下的路面位置。
[0244]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第二确定模块包
括：第三计算模块和朝向角度确定模块，其中，
[0245]
该第三计算模块，用于计算所述车轮对在世界坐标系下的路面位置的车轮连线；
[0246]
该朝向角度确定模块，用于将所述车轮连线绕着重力方向的朝向确定为车辆的朝向角度。
[0247]
还请参阅图9，为本发明实施例提供的一种障碍物朝向的确定装置的另一框图，所述装置包括：第一确定模块901，获取模块902，第二确定模块903，第三确定模块904和第四确定模块905，其中，
[0248]
该第一确定模块901，用于确定检测区域内当前车辆的第一朝向角度，所述第一朝向角度是基于检测区域的目标障碍图像中的车轮对所确定当前车辆的朝向角度；
[0249]
该获取模块902，用于获取3d障碍物检测模型输出的检测区域内检测到当前车辆的第二朝向角度；
[0250]
该第二确定模块903，用于确定所述第一朝向角度和第二朝向角度的差值；
[0251]
该第三确定模块904，用于在所述所述差值小于预设阈值时，确定所述第一朝向角度和第二朝向角度的角度平均值；
[0252]
该第四确定模块905，用于将所述角度平均值确定为所述当前车辆的朝向角度。
[0253]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述装置还可以包括：第二获取模块，拟合模块和第五确定模块，其中，
[0254]
该第二获取模块，用于在所述差值不小于预设阈值时，获取当前车辆的历史朝向角度；
[0255]
该拟合模块，用于通过随机抽样一致性ransac校验算法对所述历史朝向角度进行曲线拟合，预测当前车辆的第三朝向角度；
[0256]
该第五确定模块，用于将与所述第三朝向角度相最接近的所述第一朝向角度或第二朝向角度确定为所述当前车辆的朝向角度。
[0257]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一确定模块包括：
[0258]
第三获取模块，用于获取检测区域检测到的目标障碍图像，所述目标障碍图像包括多个车轮；
[0259]
第六确定模块，用于在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；
[0260]
第四获取模块，用于获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
[0261]
映射模块，用于将所述接地位置映射到世界坐标系下的路面位置；
[0262]
第七确定模块，用于基于所述世界坐标系下的路面位置确定所述车辆的第一朝向角度。
[0263]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0264]
还请参阅图10,为本发明实施例提供的一种障碍物朝向的确定系统，所述系统基于3d障碍物检测网络1000，所述系统包括：2d障碍物检测模块1001和参数变换模块1002，其中，2d障碍物检测模块1001和参数变换模块1002可以位于2d检测网络中，2d检测网络也可
以称为车轮检测网络。其中，
[0265]
2d障碍物检测模块1001，用于对3d障碍物检测网络1000中的解码器解码后的图像进行检测，获取检测区域的目标障碍图像，所述目标障碍图像包括多个车轮；在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；
[0266]
参数变换模块1002，用于将所述接地位置映射到所述3d障碍物检测网络中世界坐标系下的路面位置；基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。
[0267]
其中，3d障碍物检测网络1000用来检测3d物体的，其检测3d物体的目标通常是要根据点云数据来找到场景中所有感兴趣的物体，比如自动驾驶场景中的车辆，行人，静态障碍物等等。可以包括但不限于下述模块：图像(image)模块、特征(backbone)模块、解码器、3d障碍物检测模块和3d矩形框(3d bbox)。上述模块依次连接；其中，3d矩形框(3d bbox，3d boundingbox)，每个3d矩形框对应一个场景中的物体。3d bbox可以有多种表示方法，一般最常用的就是用中心点3d坐标，长宽高，以及3d旋转角度来表示,简单一些的话可以只考虑平面内旋转等。2d障碍物检测网络(即车轮检测网络)1003包括：2d障碍物检测模块1001和参数变换模块1002，其中，2d障碍物检测模块1001，用于对3d障碍物检测网络中的解码器解码后的图像进行检测，获取检测区域的目标障碍图像，所述目标障碍图像包括多个车轮；在所述多个车轮为同一车辆的车轮时，确定所述多个车轮之间的距离最大的车轮对；获取距离最大的所述车轮对在所述目标障碍图像中的接地位置；参数变换模块1002，用于将所述接地位置映射到所述3d障碍物检测网络中世界坐标系下的路面位置，即3d bbox；由基于所述世界坐标系下的路面位置确定所述车辆的朝向角度。其对应的框图如图10a所示，图10a为本发明实施例通过的一种障碍物朝向的确定系统的应用框图。
[0268]
其中，本实施例提供的2d障碍物检测网络(即车轮检测网络)连接在3d障碍物检测网络中的解码decode器模块之后。其中，2d障碍物检测网络可以用最简单的yolo网络。之后，2d障碍物检测网络中的2d障碍物检测模块可以对解码器解码后的图像进行检测，获取检测区域的目标障碍图像中的多个车轮，以及每个车轮的车轮检测框，可以先同一车辆的车轮检测框进行排序，计算属于同一辆车的任意两个车轮的距离，按照按距离降序进行排序，查找到距离更远的一对车轮，根据该车辆的接地位置；参数变换模块1002，通过逆透视变换公式得到世界坐标系下该车辆的朝向角度；同时还需要判断每个车轮框中的车辆是否存在截断，如果车轮存在截断，则根据策略对截断车轮进行补全。从而提高了主车辆附近检测区域的车辆朝向角度的检测精度。
[0269]
可选的，本发明实施例还提供一种电子设备，包括：
[0270]
处理器；
[0271]
用于存储所述处理器可执行指令的存储器；
[0272]
其中，所述处理器被配置为执行所述指令，以实现如上所述的障碍物朝向的确定方法。
[0273]
可选的，本发明实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上所述的障碍物朝向的确定方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0274]
可选的，本发明实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的障碍物朝向的确定方法
[0275]
可选的，本发明实施例还提供了一种电子设备，如图11所示，包括处理器1101、通信接口1102、存储器1103和通信总线1104，其中，处理器1101，通信接口1102，存储器1103通过通信总线1104完成相互间的通信，其中，
[0276]
所述存储器1103，用于存放计算机程序；
[0277]
所述处理器1101，用于执行存储器1103上所存放的程序时，实现如上所述的障碍物朝向的确定方法。
[0278]
上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0279]
通信接口用于上述终端与其他设备之间的通信。
[0280]
存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0281]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0282]
在实施例中，电子设备1101可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述所示的障碍物朝向的确定方法。
[0283]
在实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1103，上述指令可由电子设备的处理器1101执行以完成上述所示的障碍物朝向的确定方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0284]
在实施例中，还提供了一种计算机程序产品，当计算机程序产品中的指令由电子设备的处理器1101执行时，使得电子设备执行上述所示的障碍物朝向的确定方法。
[0285]
图12是本发明实施例提供的一种用于障碍物朝向的确定的装置1200的框图。例如，装置1200可以被提供为一服务器。参照图12，装置1200包括处理组件1222，其进一步包括一个或多个处理器，以及由存储器1232所代表的存储器资源，用于存储可由处理组件1222的执行的指令，例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1222被配置为执行指令，以执行上述方法。
[0286]
装置1200还可以包括一个电源组件1226被配置为执行装置1200的电源管理，一个有线或无线网络接口1250被配置为将装置1200连接到网络，和一个输入输出(i/o)接口
1258。装置1200可以操作基于存储在存储器1232的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0287]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
[0288]
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。