定位方法、行驶控制方法、装置、计算机设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，具体而言，涉及一种定位方法、行驶控制方法、装置、计算机设备及存储介质。


背景技术：

2.在自动驾驶领域中，确定车辆的位姿信息是非常基础的环节，在自动驾驶中的车辆感知、决策以及路径规划等任务，都需要在确定当前车辆位姿信息的基础上进一步处理实现，因此确定的位姿信息的精度直接影响后续感知的准确率、决策的合理性以及规划的精细程度。
3.当前的基于视觉的定位技术在确定位姿信息时，存在效率低的问题，无法满足自动驾驶领域的需求。


技术实现要素：

4.本公开实施例至少提供一种定位方法、行驶控制方法、装置、计算机设备及存储介质。
5.第一方面，本公开实施例提供了一种定位方法，包括：获取对目标场景进行采集得到的目标图像；基于所述目标图像，确定所述目标图像中包括的第一目标对象在所述目标图像中的第一二维几何特征；基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配；基于位置匹配的结果，确定采集所述目标图像的采集设备的目标位姿信息。
6.该实施方式中，通过利用目标对象的几何特征，对第一目标对象和第二目标对象进行位置匹配，匹配过程简单，且处理的数据量更少，因此具有更快的处理速度，可以提升确定目标图像的采集设备的目标位姿信息时的效率。
7.一种可选的实施方式中，在所述第一目标对象包括具有矩形轮廓的第一道路标志对象的情况下，所述第一目标对象的第一二维几何特征，包括：所述第一目标对象的顶点；在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，所述第一目标对象的第一二维几何特征包括：所述第一目标对象的轮廓线和/或角点；在所述第一目标对象包括线型的第三道路标志对象的情况下，所述第一目标对象的第一二维几何特征，包括：属于所述第一目标对象所在图像区域、且位于所述第一目标对象的中心线上的目标线段。
8.该实施方式中，通过对不同的第一目标对象有针对性的确定对应的第一二维几何特征，能够使得不同的第一目标对象的第一二维几何特征容易识别得到，并且可以较为准确的表征第一目标对象在目标场景中的实际位置。
9.一种可选的实施方式中，所述基于所述目标图像，确定所述目标图像中包括的第一目标对象在所述目标图像中的第一二维几何特征，包括：对所述目标图像进行语义分割处理，确定所述目标图像中多个像素点分别对应的语义分割结果；基于多个像素点分别对
应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征。
10.该实施方式中，由于在对目标图像进行语义分割处理时，可以较为准确地确定目标图像中多个像素点分别对应的语义分割结果，因此利用多个像素点分别对应的语义分割结果确定多个像素点在目标图像中的位置时，得到的第一二维几何特征更为准确。
11.一种可选的实施方式中，在所述第一目标对象包括具有矩形轮廓的第一道路标志对象的情况下，所述基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征，包括：基于所述语义分割结果，从所述目标图像中确定属于所述第一目标对象的轮廓的像素点；基于属于所述第一目标对象的轮廓的像素点，拟合得到所述第一目标对象在所述目标图像中对应的包围框；基于所述包围框的顶点确定所述第一目标对象在所述目标图像中的第一二维几何特征。
12.一种可选的实施方式中，在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，所述基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征，包括：基于所述语义分割结果，从所述目标图像中确定属于所述第一目标对象的轮廓的像素点；基于属于所述第一目标对象的轮廓的像素点在所述目标图像中的位置，得到所述第一目标对象的轮廓线；基于所述第一目标对象的轮廓线，确定所述第一目标对象在所述目标图像中的第一二维几何特征。
13.该实施方式中，通过从目标图像中确定属于第一目标对象的轮廓的像素点，可以确定第一目标对象的轮廓线，降低了基于像素点确定的轮廓线边缘不整齐造成的顶点识别难度，同时在较大程度上简化了对第一目标对象的第一二维几何特征的表达，有利于相同目标对象之间的匹配。
14.一种可选的实施方式中，在所述第一目标对象包括线型的第三道路标志对象的情况下，所述基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征，包括：基于所述语义分割结果，拟合得到第一目标对象的中心线；基于位于所述中心线上、且属于所述第一目标对象所在图像区域的像素点在所述目标图像中的二维坐标值，确定属于所述第一目标对象所在图像区域、且位于所述中心线上的目标线段；基于所述目标线段得到所述第一目标对象的第一二维几何特征。
15.该实施方式中，通过确定的第一目标对象的目标线段得到第一目标对象的第一二维几何特征，可以较好的解决由于停止线以及车道实线在道路上持续地连续出现的，仅确定停止线以及车道实线的轮廓线无法对自动驾驶车辆进行准确地位姿解算的问题，以较为准确的确定第一目标对象的第一二维几何特征。
16.一种可选的实施方式中，还包括：基于所述目标场景中的第二目标对象在所述目标场景中的三维几何特征、所述第一目标对象的第一二维几何特征，生成所述第一目标对象和所述第二目标对象的所述对应关系。
17.该实施方式中，由于第二目标对象在目标场景中的三维几何特征、以及第一目标对象的第一二维几何特征均是较为简单的几何特征，因此在利用三维几何特征以及第一二
维几何特征生成第一目标对象和第二目标对象的对应关系时计算量较小，处理速度较快，因此可以提高处理的效率。
18.一种可选的实施方式中，所述基于所述目标场景中的第二目标对象在所述目标场景中的三维几何特征、所述第一目标对象的第一二维几何特征，生成所述第一目标对象和所述第二目标对象的所述对应关系，包括：基于所述采集所述目标图像的采集设备的初始位姿信息、以及所述第二目标对象在所述目标场景中的三维几何特征，将所述第二目标对象投影至所述目标图像的图像坐标系中，得到所述第二目标对象在所述图像坐标系中的第一投影几何特征；基于所述第一目标对象在所述图像坐标系中的第一二维几何特征、以及所述第二目标对象在所述图像坐标系中的第一投影几何特征，对所述第一目标对象和所述第二目标对象进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系。
19.该实施方式中，通过确定的第一投影几何特征与第一二维几何特征进行匹配，一方面由于第一投影几何特征以及第一二维几何特征分别对应的几何特征均较为简单，因此在匹配时计算量较小，效率较高；另一方面，可以通过在同一个图像坐标系下较为容易地进行匹配，从而确定第一目标对象和第二目标对象的对应关系。
20.一种可选的实施方式中，所述基于所述目标场景中的第二目标对象在所述目标场景中的三维几何特征、所述第一目标对象的第一二维几何特征，生成所述第一目标对象和所述第二目标对象的所述对应关系，包括：基于所述目标图像与所述第二目标对象所在目标平面之间的单应矩阵，将所述目标图像中的第一目标对象投影至所述目标平面中，得到所述第一目标对象在所述目标平面中的第二投影几何特征；基于所述第一目标对象在所述目标平面中的第二投影几何特征、以及所述第二目标对象在所述目标平面中的几何特征，对所述第一目标对象和所述第二目标对象进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系；其中，所述第二目标对象在所述目标平面中的几何特征，是基于所述第二目标对象在所述场景坐标系中的三维几何特征确定的。
21.该实施方式中，由于利用单应矩阵可以较为准确的将第一目标对象投影至目标平面中的转换矩阵，因此将第一目标对象投影至目标平面中得到的第二投影几何特征也较为准确，使得可以利用第一目标对象在目标平面中的第二投影几何特征、以及第二目标对象在所述目标平面中的几何特征，对第一目标对象和第二目标对象进行匹配时，能够较为准确的得到第一目标对象和第二目标对象的对应关系。
22.一种可选的实施方式中，所述基于所述第一目标对象在所述目标平面中的第二投影几何特征、以及所述第二目标对象在所述目标平面中的几何特征，对所述第一目标对象和所述第二目标对象进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系，包括：在所述第一目标对象包括具有矩形轮廓的第一道路标志对象的情况下，利用所述第二投影几何特征中表征所述第一目标对象的顶点的特征、以及所述第二目标对象在所述目标平面中的几何特征中表征所述第二目标对象确定的顶点的特征进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系；在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，利用所述第二投影几何特征中表征所述第一目标对象的轮廓线和/或角点的特征、以及所述第二目标对象在所述目标平面中的几何特征中表征所述第二目标对象确定的轮廓线和/或角点的特征进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系；在第一目标对象包括线型的第三道路标志对象的情况下，对所述第二
投影几何特征、以及所述第二目标对象在所述目标平面中的几何特征进行最大图匹配，得到所述第一目标对象和所述第二目标对象的对应关系。
23.一种可选的实施方式中，所述基于位置匹配的结果，确定采集所述目标图像的采集设备的目标位姿信息，包括：基于位置匹配的结果，确定位置匹配误差；基于所述位置匹配误差以及采集所述目标图像的采集设备的初始位姿信息，确定采集所述目标图像的采集设备的目标位姿信息。
24.该实施方式中，利用位置匹配误差可以反应目标图像的采集设备的位姿信息的准确程度，并且，基于该匹配损失对位姿信息进行不断优化，提升目标位姿信息的精确度。
25.一种可选的实施方式中，所述基于所述位置匹配误差以及采集所述目标图像的采集设备的初始位姿信息，确定采集所述目标图像的采集设备的目标位姿信息，包括：检测是否满足预设的迭代停止条件；在满足所述迭代停止条件的情况下，将最后一次迭代得到的所述初始位姿信息，确定为所述目标位姿信息；在不满足所述迭代停止条件的情况下，基于所述位置匹配误差、以及最近一次迭代过程中的初始位姿信息，确定新的初始位姿信息，并返回至基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配的步骤。
26.该实施方式中，通过设置预设的迭代停止条件，可以使得得到的目标位姿信息可以达到较高的置信度，也即得到的目标位姿信息较为准确。
27.一种可选的实施方式中，所述迭代停止条件包括下述任一项：迭代次数大于预设迭代次数阈值；所述第一目标对象和所述第二目标对象的位置匹配误差小于预设的损失阈值。
28.一种可选的实施方式中，所述基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配，包括：在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，对所述第一目标对象的第一二维几何特征进行插值处理，得到所述第一目标对象的第二二维几何特征；其中，所述第二二维几何特征包括：多个顶点、以及多个插值点；基于所述第二二维几何特征、所述三维几何特征以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行点对点的位置匹配。
29.该实施方式中，通过对所述第一目标对象的第一二维几何特征进行插值处理，可以平衡不同语义之间的权重，同时也可以缓解使用较少的顶点在进行位置匹配处理时匹配不佳的问题。
30.一种可选的实施方式中，所述基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配，包括：基于采集所述目标图像的所述采集设备的初始位姿信息、以及所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征，将所述第二目标对象投影至所述目标图像的图像坐标系中，得到所述第二目标对象在所述图像坐标系中的第三投影几何特征；基于所述第二目标对象在所述图像坐标系中的所述第三投影
几何特征、所述第一目标对象的第一二维几何特征，对具有对应关系的第一目标对象和第二目标对象进行位置匹配。
31.第二方面，本公开实施例提供了一种智能行驶装置的行驶控制方法，包括：获取智能行驶装置在行驶过程中采集的视频帧数据；利用第一方面或者第一方面任一种可选的实施方式中的定位方法处理所述视频帧数据，检测所述视频帧数据中的目标对象；基于检测的目标对象，控制所述智能行驶装置。
32.该实施方式中，由于利用本公开实施例提供的定位方法，能够更高效的确定目标位姿信息，因此该定位方法更利于部署在智能行驶装置中，提升自动驾驶控制过程中的安全性，更好的满足自动驾驶领域的需求。
33.第三方面，本公开实施例还提供一种定位装置，包括：第一获取模块，用于获取对目标场景进行采集得到的目标图像；第一确定模块，用于基于所述目标图像，确定所述目标图像中包括的第一目标对象在所述目标图像中的第一二维几何特征；匹配模块，用于基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配；第二确定模块，用于基于位置匹配的结果，确定采集所述目标图像的采集设备的目标位姿信息。
34.第四方面，本公开实施例还提供一种智能行驶装置的行驶控制装置，包括：
35.第二获取模块，用于获取智能行驶装置在行驶过程中采集的视频帧数据；
36.检测模块，用于利用第一方面或者第一方面任一种可选的实施方式中的定位方法处理所述视频帧数据，检测所述视频帧数据中的目标对象；
37.控制模块，用于基于检测的目标对象，控制所述智能行驶装置。
38.第五方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面或第二方面中任一种可能的实施方式中的步骤。
39.第六方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面或第二方面中任一种可能的实施方式中的步骤。
40.关于上述装置、计算机设备、及计算机可读存储介质的效果描述参见上述对应方法的说明，这里不再赘述。
41.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
42.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
43.图1示出了本公开实施例所提供的一种定位方法的流程图；
44.图2示出了本公开实施例所提供一种基于目标图像，确定目标图像中包括的第一目标对象在目标图像中的第一二维几何特征的具体方法的流程图；
45.图3示出了本公开实施例所提供的一种对目标图像进行语义分割后得到的语义分割图的示意图；
46.图4示出了本公开实施例所提供的一种确定第一目标对象在目标图像中的第一二维几何特征的具体方法的流程图；
47.图5示出了本公开实施例提供的一种基于红绿灯的语义分割结果确定红绿灯的第一二维几何特征的示意图；
48.图6示出了本公开实施例提供的另一种确定第一目标对象在目标图像中的第一二维几何特征的具体方法的流程图；
49.图7示出了本公开实施例提供的一种基于直行指示指向标识的语义分割结果确定直行指向标识的第一二维几何特征的示意图；
50.图8示出了本公开实施例提供的另一种确定第一目标对象在目标图像中的第一二维几何特征的具体方法的流程图；
51.图9示出了本公开实施例提供的一种基于车道实线的语义分割结果确定车道实线的第一二维几何特征的示意图；
52.图10示出了本公开实施例提供的一种确定第一目标对象和第二目标对象之间的对应关系的示意图；
53.图11示出了本公开实施例所提供的一种智能行驶装置的行驶控制方法的流程图；
54.图12示出了本公开实施例所提供的一种定位装置的示意图；
55.图13示出了本公开实施例所提供的一种智能行驶装置的行驶控制装置的示意图；
56.图14示出了本公开实施例所提供的一种计算机设备的示意图。
具体实施方式
57.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
58.经研究发现，在基于视觉的定位方法中，通过拍摄目标场景得到的场景图像，然后从提取场景的特征点，并将提取出来的特征点、和预先基于目标场景建立的三维场景模型中的特征点进行匹配，以得到获取场景图像的图像获取设备在目标场景中的位姿信息。对于高速运动的自动驾驶车辆而言，为了保证自动驾驶车辆的安全性，需要实时、高效、精准的确定自动驾驶车辆的位姿信息，而当前基于视觉的定位方法中，基于特征点的匹配关系解算位姿信息的过程需要耗费较多的时间，效率较低，进而无法满足自动驾驶领域的需求。
59.基于上述研究，本公开提供了一种定位方法、行驶控制方法、装置、计算机设备及
存储介质，利用了目标对象的几何特征对第一目标对象和第二目标对象进行位置匹配，并基于位置匹配的结果，得到目标图像的目标位姿信息，该方法中匹配过程简单，且处理的数据量更少，因此具有更快的处理速度，提升确定采集目标图像的采集设备的目标位姿信息的效率。
60.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
61.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
62.为便于对本实施例进行理解，首先对本公开实施例所公开的一种定位方法进行详细介绍，本公开实施例所提供的定位方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该定位方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
63.下面对本公开实施例提供的定位方法加以说明。
64.参见图1所示，为本公开实施例提供的定位方法的流程图，所述方法包括步骤s101～s104，其中：
65.s101：获取对目标场景进行采集得到的目标图像；
66.s102：基于目标图像，确定目标图像中包括的第一目标对象在目标图像中的第一二维几何特征；
67.s103：基于目标场景中的第二目标对象在目标场景对应的场景坐标系中的三维几何特征、第一目标对象的第一二维几何特征、以及第一目标对象和第二目标对象的对应关系，对第一目标对象和第二目标对象进行位置匹配；
68.s104：基于位置匹配的结果，确定采集目标图像的采集设备的目标位姿信息。
69.本公开实施例通过获取对目标场景进行采集得到的目标图像，并确定目标图像中第一目标对象在目标图像中的二维几何特征后，利用目标场景中第一目标对象和目标场景中第二目标对象的匹配关系，结合目标场景中的第二目标对象在目标场景中的三维几何特征，对第一目标对象和第二目标对象进行位置匹配，并基于匹配结果，确定目标图像的目标位姿信息，该过程利用了目标对象的几何特征对第一目标对象和第二目标对象进行位置匹配，匹配过程简单，且处理的数据量更少，因此具有更快的处理速度，提升确定采集目标图像的采集设备的目标位姿信息的效率。
70.下面对上述s101～s104加以详细说明。
71.针对上述s101，本公开实施例提供的定位方法可以应用于多种领域，例如自动驾驶领域、智能仓储领域；在应用于自动驾驶领域的情况下，目标场景例如包括自动驾驶的道路场景；在该种情况下，目标场景中的目标对象可以包括道路标志对象，例如包括以下至少一项：路牌、红绿灯、斑马线、路面指向标志、停止线、车道实线以及车道虚线，等等。
72.另外，在将该定位方法应用于自动驾驶领域的情况下，目标场景还可以包括停车
场场景；目标场景内的目标对象例如包括：监控摄像头、感应刷卡器、车辆检测线、道路指向标志、停车线等。
73.在应用于智能仓储领域的情况下，目标场景例如包括仓库；在目标场景中的目标对象例如包括仓库中的货架、指示地标等。
74.此处，行驶车辆以及对应的目标场景可以根据实际情况确定，在此不做限定。
75.本公开实施例以目标场景为自动驾驶车辆行驶的道路为例，在获取目标场景的目标图像时，例如可以在自动驾驶车辆上安装图像获取设备；该图像获取设备能够实时对目标场景进行扫描，得到目标场景的目标图像。
76.另外，在本公开示例中，还可以在自动驾驶车辆上安装雷达、深度相机、距离传感器等其他设备，自动驾驶车辆也可以基于其他设备获取的数据进行定位，并利用基于本公开实施例提供的定位方法确定的定位结果、和利用其他设备获取的检测数据确定的定位结果结合，得到更为准确的定位结果。
77.针对上述s102，在获取目标图像后，即可以利用目标图像，确定目标图像中包括的第一目标对象、以及第一目标对象在目标图像中的第一二维几何特征。其中，第一目标对象例如可以包括目标图像中的路牌、红绿灯、斑马线、路面指向标志、禁止标记、停止线、车道实线以及车道虚线中至少一种；上述目标对象为目标场景中较为通用的标志性元素。由于不同的目标对象在目标图像中示出时，会呈现为不同的图形特征，因此可以根据在目标图像中的不同目标对象，确定其对应的二维几何信息。其中：
78.(1)：在第一目标对象包括路牌、红绿灯、斑马线、以及车道虚线中至少一种时，第一目标对象的图形特征例如包括具有矩形轮廓。此时，第一目标对象为包括具有矩形轮廓的第一道路标志对象。则第一目标对象的第一二维几何特征包括第一目标对象的顶点。例如，在第一目标对象为斑马线时，其轮廓可以利用多个连续的矩形示出，则其对应的第一二维几何特征例如可以包括其中一个矩形的顶点，或者连续示出的多个矩阵分别对应的顶点。
79.(2)：在第一目标对象包括路面指向标志、以及禁止标记中至少一种时，第一目标对象的图形特征例如包括具有不规则轮廓。此时，第一目标对象为包括具有不规则轮廓的第二道路标志对象。则第一目标对象的第一二维几何特征包括第一目标对象的轮廓线和/或角点。例如，第一目标对象包括路面指向标志中的右转指向标识时，其轮廓线不能由矩形和圆形等基础轮廓线直接构成，其对应的第一二维几何特征则直接对应其不规则的轮廓线。
80.(3)：在第一目标对象包括停止线、以及车道实线中至少一种时，第一目标对象的图形特征例如包括以线型示出。此时，第一目标对象为包括线型的第三道路标志。则第一目标对象的第一二维几何特征包括：相邻的两个第一目标对象的中心线上的目标线段。例如，在第一目标对象包括车道实线时，由于车道实线较长，因此在目标图像中可能仅能示出车道实线中的一端，或者任一端均不能示出，其对应的第一二维几何特征对应的几何特征对应属于所述第一目标对象所在图像区域、且位于所述第一目标对象的中心线上的目标线段。
81.此处，第一目标对象在目标图像中的第一二维几何信息，例如可以表示为第一目标对象在目标图像对应的图像坐标系中的二维坐标值。
82.示例性的，第一目标对象的顶点，例如可以表示为顶点在图像坐标系中的二维坐标值；轮廓线例如可以表示为轮廓线的端点在图像坐标系中的二维坐标值；目标线段可以表示为线段的端点在图像坐标系中的二维坐标值。
83.目标图像对应的图像坐标系，例如可以依据目标图像中任一像素点确定，例如将任一像素点作为坐标原点确定图像坐标系；具体的，可以基于图像获取设备在自动驾驶车辆中的安装位置确定；例如若图像获取设备安装在较高的位置，且视野也较高，则可以将目标图像中位置较低的像素点作为原点，确定图像坐标系。若图像获取设备安装在较低的位置，视野也较低，则可以将目标图像中位置较高的像素点作为原点确定图像坐标系。另外，也可以将图像获取设备的光轴在目标图像中的投影像素点作为原点，建立图像坐标系。具体可以根据实际情况确定，在此不再赘述。
84.参见图2所示，为本公开实施例提供的一种基于目标图像，确定目标图像中包括的第一目标对象在目标图像中的第一二维几何特征的具体方法，包括：
85.s201：对目标图像进行语义分割处理，确定目标图像中多个像素点分别对应的语义分割结果。
86.该实施方式中，在对目标图像进行语义分割处理时，例如可以采用下述至少一种方法：全卷积网络(fully convolutional networks，fcn)、带图像卷积网络(convolutional neural networks
‑
fully convolutional networks，cnn
‑
crf)、编码器解码器模型(convolution
‑
deconvolution networks，cdn)、以及特征金字塔模型(feature pyramid network，fpn)。
87.在对目标图像进行语义分割处理后，即可以确定目标图像中的多个像素点分别对应的语义分割结果。参见图3所示，为本公开实施例提供的一种对目标图像进行语义分割后得到的语义分割图的示意图。其中，图3中31所示的区域表示红绿灯、32所示的区域表示道路实线、33所示的区域表示路面指向标志、以及34所示的区域表示道路虚线。
88.s202：基于多个像素点分别对应的语义分割结果，以及多个像素点分别在目标图像中的位置，确定第一目标对象在目标图像中的第一二维几何特征。
89.此处，在根据不同像素点分别对应的语义分割结果、以及多个像素点在目标图像中的位置，确定第一目标对象在目标图像中的第一二维几何特征时，针对不同的第一目标对象，对应的确定第一目标对象在目标图像中的二维几何特征的方法也有所不同。
90.具体地，在确定第一目标对象在目标图像中的第一二维几何特征时：
91.a：针对第一目标对象包括具有矩形轮廓的第一道路标志对象的情况，例如可以采用下述图4所示的方式确定第一目标对象在目标图像中的第一二维几何特征：
92.s401：基于语义分割结果，从目标图像中确定属于第一目标对象的轮廓的像素点；
93.s402：基于属于第一目标对象的轮廓的像素点，拟合得到第一目标对象在目标图像中对应的包围框；
94.s403：基于包围框的顶点确定第一目标对象在目标图像中的第一二维几何特征。
95.示例性的，在基于语义分割结果确定属于第一目标对象的轮廓的像素点时，例如基于目标图像中各个像素点的语义分割结果，从目标图像中确定第一目标对象的所有像素点构成的区域，然后将区域边缘的像素点，确定为属于第一目标对象的轮廓的像素点。
96.在确定了属于第一目标对象的轮廓的像素点后，由于由属于第一目标对象的轮廓
的像素点所构成的轮廓线，通常是一条呈现小幅度波动的波纹状或者锯齿状的线条。一方面，由于该轮廓线的边缘不整齐，因此在基于该轮廓线确定的顶点表征第一目标对象的几何特征时，识别难度较大；另一方面，在基于该轮廓线确定的顶点表征第一目标对象的几何特征时，数据量也较多，不利于相同目标对象之间的匹配。因此本公开实施例中。基于属于第一目标对象的轮廓的像素点，拟合得到第一目标对象在目标图像中对应的包围框，通过包围框的顶点，构成第一目标对象的第一二维几何特征，在较大程度上简化了对第一目标对象的第一二维几何特征的表达，有利于相同目标对象之间的匹配，降低识别难度。
97.在基于属于第一目标对象的轮廓的像素点，拟合得到第一目标对象在目标图像中对应的包围框时，例如可以基于属于第一目标对象的轮廓的像素点，确定多条直线，并对多条直线进行拟合，得到第一目标对象的包围框。
98.另外，由于第一目标对象在目标场景中的实际尺寸较大，较少会出现拍摄时俯仰角过大造成的变形的情况，因此在目标图像中，得到的包围框近似为矩形。
99.示例性的，在基于属于第一目标对象的轮廓的像素点进行拟合得到的在目标图像中对应的包围框，例如可以由属于第一目标对象的轮廓的像素点所构成的轮廓线部分重合，或者包围第一目标对象所在的区域。该包围框可以将目标图像中的第一目标对象对应的像素点包围，通过包围框的顶点能够较为准确地表征第一目标对象在目标图像中具体的第一二维几何特征，包围框的顶点在目标图像对应的图像坐标系中的坐标值，即可以表征第一目标对象在目标图像中的具体位置。
100.示例性的，在确定包围框后，依据矩形框中确定对顶角的二维坐标值即能够确定矩形框在目标图像中的位置，例如可以将包围框左上角顶点和右下角顶点、或者包围框左下角顶点和右下角顶点在目标图像中的二维坐标值，作为第一目标对象在目标图像中的具体位置。利用这种方式可以在保证第一目标对象的几何特征能够准确表达，同时减少后续处理过程(如将第一目标对象和第二目标对象进行位置匹配)中的数据量。
101.或者，例如还可以直接将矩形框的四个顶角的二维坐标值确定为第一目标对象在目标图像中的具体位置的表示。利用这种方法处理得到的第一目标对象在目标图像中的具体位置，使得目标对象的第一二维几何特征具有更高的可读性。
102.参见图5所示，为本公开实施例提供的一种基于红绿灯的语义分割结果确定红绿灯的第一二维几何特征的示意图；其中，图5中a表示第一目标对象包括红绿灯时，第一目标对象在目标图像中的语义分割结果的示意图；图5中b表示第一目标对象对应的包围框的示意图，51以及52表示包围框对应的两个顶点。
103.b：针对第一目标对象包括具有不规则轮廓的第二道路标志对象的情况，例如可以采用下述图6所示的方式确定第一目标对象在目标图像中的第一二维几何特征：
104.s601：基于语义分割结果，从目标图像中确定属于第一目标对象的轮廓的像素点；
105.s602：基于属于第一目标对象的轮廓的像素点在目标图像中的位置，得到第一目标对象的轮廓线；
106.s603：基于第一目标对象的轮廓线，确定第一目标对象在目标图像中的第一二维几何特征。
107.在具体实施中，在第一目标对象包括路面指向标识的情况下，由于第一目标对象的形状不规则，因此在确定第一目标对象的第一二维几何特征时，需要基于属于第一目标
对象的轮廓的像素点确定第一目标对象的第一二维几何特征。
108.以路面指向标志为例，用于确定第一二维几何特征的顶点例如可以选取在包围第一目标对象的边缘中较大角度转折的转折点。由于实际的第一目标对象的轮廓线中转折点对应的位置线条起伏、转折等变化较大，因此第一目标对象的轮廓线即使呈现的小幅度波动，对顶点识别的干扰也较小，从而使得对基于语义分割结果确定的轮廓线进行识别以确定顶点时较为容易，也即可以较为方便地确定第一目标对象在目标图像中的具体位置。
109.示例性的，参见图7所示，为本公开实施例提供的一种基于直行指示指向标识的语义分割结果确定直行指向标识的第一二维几何特征的示意图。图7中a示出了一种直行指向标识对应的语义分割图的示意图，图7中b示出了一种第一目标对象的轮廓线的示意图。其中，轮廓线为不规则的箭头型。图7中b中71、72以及73分别表示识别得到的确定第一目标对象在目标图像中对应的轮廓线的多个顶点。
110.c：针对第一目标对象包括线型的第三道路标志对象的情况，例如可以采用下述图8所示的方式确定第一目标对象在目标图像中的第一二维几何特征：
111.s801：基于语义分割结果，拟合得到第一目标对象的中心线；
112.s802：基于位于中心线上、且属于第一目标对象所在图像区域的像素点在目标图像中的二维坐标值，确定属于第一目标对象所在图像区域、且位于中心线上的目标线段；
113.s803：基于目标线段得到第一目标对象的第一二维几何特征。
114.在具体实施中，在第一目标对象包括轮廓中至少一端未在所述目标图像中示出的目标对象的情况下，由于在车辆正常驾驶的过程中，停止线以及车道实线在道路上是持续地连续出现的，仅确定停止线以及车道实线的轮廓线无法对自动驾驶车辆进行准确地位姿解算，因此选用停止线以及车道实线的目标线段作为第一目标对象的第一二维几何特征。
115.其中，目标线段可以表示为目标线段的端点在目标图像中的二维坐标值。
116.示例性的，在确定第一目标对象的目标线段时，例如可以先确定第一目标对象的中心线。在基于第一目标对象的语义分割结果提取中心线时，例如可以采用下述至少一种方法：基于拓扑细化的方法、基于距离变换的方法、基于路径规划的方法、以及基于追踪的方法。示例性的，在利用基于拓扑细化的方法提取中心线时，可以先确定第一目标对象对应的语义分割图，然后利用形态学的原理对语义分割图的边界进行腐蚀消除的迭代处理，直至得到语义分割图中第一目标对象对应的中心线。由于不同的提取中心线的方法适用场景以及对图像的质量要求不同，因此具体提取中心线方法的选取和具体的执行过程可以根据实际情况确定，在此不再赘述。
117.在确定第一目标对象的中心线后，还可以在中心线上确定两个点，作为目标线段的端点。
118.具体地，在确定中心线上目标线段的端点时，例如可以采用逐点搜索的方法，逐一确定中心线上的点是否在第一目标对象对应的图像区域中有对应的像素点；或者在第一目标对象对应的图像区域中确定位于中心线上的像素点。此时，即可确定属于第一目标对象所在图像区域、且位于中心线上的所有像素点，并将距离最远的两个像素点作为目标线段的端点。然后，将距离最远的两个像素点确定的目标线段，作为第一目标对象的第一二维几何特征。
119.参见图9所示，为本公开实施例提供的一种基于车道实线的语义分割结果确定车
道实线的第一二维几何特征的示意图。其中，图9中a表示车道实线的语义分割图，图9中b表示车道实线对应的目标线段。
120.此时，在完成上述a、b以及c中至少一种的情况下，即可确定第一目标对象的第一二维几何特征。在具体实施中，在第一目标对象包括第一道路标志对象和第二道路标志对象中至少一项时，第一目标对象的第一二维几何特征例如可以表示为p
j
；其中，j表示多个第一目标对象中的第j个第一目标对象。在第一目标对象包括第三道路标志对象中至少一种时，第一目标对象的第一二维几何特征例如可以表示为l
i
；其中，i表示多个第一目标对象中的第i个第一目标对象。
121.针对上述s103，第二目标对象与第一目标对象对应，例如可以包括路牌、红绿灯、斑马线、车道实线、路面指向标志、禁止标记、停止线、以及车道虚线中至少一项。第二目标对象所在的目标场景对应的场景坐标系，例如可以包括预先建立的场景坐标系。其中，场景坐标系是针对目标场景建立的三维坐标系。具体地，可以直接选用世界坐标系作为场景坐标系，或者以目标场景中任一位置点作为原点，建立场景坐标系。具体的场景坐标系可以根据实际情况确定，在此不再赘述。
122.在确定了目标场景的场景坐标系的情况下，可以确定目标场景中的第二目标对象在目标场景对应的场景坐标系中的三维几何特征。其中，第二目标对象的三维几何特征例如可以是预先确定的，示例性的，例如可以利用同步定位与建图(simultaneous localization and mapping，slam)建模、运动恢复结构(structure
‑
from
‑
motion，sfm)建模中任一种方法确定目标场景中的第二目标对象的三维几何特征。具体确定第二目标对象的三维几何特征的方法可以根据实际情况确定，在此不再赘述。
123.在具体实施中，在第二目标对象包括第一道路标志对象和第二道路标志对象中至少一项的情况，第二目标对象的三维几何特征例如包括第二目标对象中的各个顶点。另外，对于第二目标对象包括具有不规则轮廓的第二道路标志对象的情况，对应的三维几何特征例如还可以包括第二目标对象的角点。
124.其中，可以利用各个顶点在三维坐标系中的三维坐标值表示第二目标对象的三维几何特征。
125.第二目标对象包括第三道路标志对象的情况，第二目标对象的三维几何特征例如包括位于第二目标对象的中线，且属于第二目标对象的线段。其中，可以利用线段的端点在三维坐标系中的三维坐标值表示第二目标对象的三维几何特征。
126.在具体实施中，在第二目标对象包括轮廓利用至少一个矩形示出的目标对象或利用不规则图形示出的目标对象中至少一项时，第二目标对象的三维几何特征例如可以表示为p
j
；其中，j表示多个第二目标对象中的第j个第二目标对象。在第二目标对象包括轮廓中至少一端未在所述目标图像中示出的目标对象中至少一种时，第二目标对象的三维几何特征例如可以表示为l
i
；其中，i表示多个第二目标对象中的第i个第二目标对象。
127.此时，还可以基于目标场景中的第二目标对象在目标场景中的三维几何特征、第一目标对象的第一二维几何特征，生成第一目标对象和第二目标对象的对应关系。
128.本公开实施例还提供一种生成第一目标对象和第二目标对象的对应关系的具体方法，包括：基于目标场景中的第二目标对象在目标场景中的三维几何特征、第一目标对象的第一二维几何特征，生成第一目标对象和第二目标对象的对应关系。
129.示例性的，第二目标对象包括：轮廓利用至少一个矩形示出的目标对象或利用不规则图形示出的目标对象中至少一项的情况，可以采用下述方式生成的第一目标对象和第二目标对象之间的对应关系：
130.基于采集目标图像的采集设备的初始位姿信息、以及第二目标对象在目标场景中的三维几何特征，将第二目标对象投影至目标图像的图像坐标系中，得到第二目标对象在图像坐标系中的第一投影几何特征；
131.基于第一目标对象在图像坐标系中的第一二维几何特征、以及第二目标对象在图像坐标系中的第一投影几何特征，对第一目标对象和第二目标对象进行匹配，得到第一目标对象和第二目标对象的对应关系。
132.在具体实施中，在获取采集目标图像的采集设备的初始位姿信息时，由于自动驾驶车辆在目标场景中的道路上正常行驶时，位姿通常不会发生较大幅度的变化，因此例如可以预先获取先前确定的自动驾驶车辆在道路上的位姿信息，作为初始位姿信息；或者，由于目标场景中道路的信息可以较容易的得到，例如采用全球定位系统(global positioning system，gps)确定道路的位置信息，然后基于目标场景中道路的位置信息估算得到自动驾驶车辆的初始位姿信息。其中，初始位姿信息例如可以表示为t0。具体地确定目标图像的初始位姿的信息的方法可以按照实际情况确定，在此不再赘述。
133.此时，由于目标图像例如可以是基于自动驾驶车辆上安装的图像采集设备得到的，因此采集目标图像的采集设备的位姿信息与自动驾驶车辆对应的位姿信息相关联。在忽略图像采集设备与自动驾驶车辆的相对位姿关系的情况下，或者可以通过其他位姿解算方式，例如基于图像采集设备与自动驾驶车辆的相对位姿关系能够确定自动驾驶车辆的位姿信息的情况下，基于采集目标图像的采集设备位姿信息即可确定自动驾驶车辆的位姿信息。
134.在确定采集目标图像的采集设备的初始位姿信息、以及第二目标对象在目标场景中的三维几何特征后，通过将第二目标对象投影至目标图像的图像坐标系中，可以得到第二目标对象在图像坐标系中的第一投影几何特征。
135.在具体实施中，将第二目标对象投影至目标图像的图像坐标系中时，也即将第二目标对象的三维几何特征投影至目标图像对应的图像坐标系中，例如可以采用下述方式：将第二目标对象的三维几何特征由场景坐标系转换至世界坐标系，完成由场景空间坐标到世界空间坐标的模型空间转换；然后基于采集目标图像的采集设备的初始位姿信息，将转换至世界坐标系下的三维几何特征由世界坐标系转换至图像坐标系，完成由世界空间坐标到相机空间坐标的观察空间转化。此时，即可以得到在图像坐标系中第二目标对象的第一投影几何特征。具体确定第二目标对象的第一投影几何特征的方法可以根据实际情况确定，在此不再赘述。
136.此时，由于目标图像中的第一目标对象与目标场景中的第二目标对象之间存在对应关系，因此得到的第二目标对象在图像坐标系中的第一投影几何特征与第一目标对象在图像坐标系中的第一二维几何特征之间也存在对应关系，从而可以基于第一目标对象在图像坐标系中的第一二维几何特征、以及第二目标对象在图像坐标系中的第一投影几何特征，对第一目标对象和第二目标对象进行匹配，以得到第一目标对象和第二目标对象的对应关系。
137.其中，在对第一目标对象和第二目标对象进行匹配时，例如可以采用最近邻匹配(k
‑
nearest neighbor，knn)或者其他匹配方法确定第一目标对象和第二目标对象的对应关系，具体的匹配过程在此不再赘述。
138.此时，即可确定在第二目标对象包括轮廓利用至少一个矩形示出的目标对象或利用不规则图形示出的目标对象中至少一项时，第一目标对象和第二目标对象的对应关系。
139.在第二目标对象包括轮廓利用至少一个矩形示出的目标对象或利用不规则图形示出的目标对象中至少一种时，生成第一目标对象和第二目标对象的对应关系的具体方法，包括：
140.基于目标图像以及第二目标对象所在目标平面之间的单应矩阵，将目标图像中的第一目标对象投影至目标平面中，得到第一目标对象在目标平面中的第二投影几何特征；基于第一目标对象在目标平面中的第二投影几何特征、以及第二目标对象在目标平面中的几何特征，对第一目标对象和第二目标对象进行匹配，得到第一目标对象和第二目标对象的对应关系。其中，第二目标对象在目标平面中的几何特征，是基于第二目标对象在场景坐标系中的三维几何特征确定的。
141.其中，目标图像以及第二目标对象所在目标平面之间的单应矩阵(homography)用于将目标图像中的第一目标对象投影至目标平面中。
142.示例性的，在获取目标图像以及第二目标对象所在目标平面之间的单应矩阵时，例如可以获取第二目标对象在目标平面上的任一像素点的坐标值，其中，第二目标对象在目标平面中的几何特征，是基于第二目标对象在场景坐标系中的三维几何特征确定的，例如表示为o1＝(x1,y1,z1)；以及获取第二目标对象包括的至少两个像素点在目标图像上对应位置的坐标系o2＝(x2,y2,z2)，然后例如可以根据下述公式(1)确定单应矩阵，例如可以用h表示：
143.o2＝ho1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
144.其中，由于在坐标值o1中的z1、以及o2中的z2在平面中为0，因此在计算单应矩阵时，可以设置为z1＝1,z2＝1进行计算。获取单应矩阵h的具体过程在此不再赘述。
145.在确定单应矩阵h后，例如可以将第一目标对象投影至目标平面中，以获取第一目标对象在目标平面中的第二投影几何特征。
146.在确定第二投影几何特征后，即可以基于第一目标对象在图像坐标系中的第一二维几何特征、以及第一目标对象在目标平面中的第二投影几何特征，对第一目标对象和第二目标对象进行匹配，得到第一目标对象和第二目标对象的对应关系。
147.在具体实施中，在第一目标对象包括具有矩形轮廓的第一道路标志对象的情况下，利用第二投影几何特征中表征第一目标对象的顶点的特征、以及第二目标对象在目标平面中的几何特征中表征第二目标对象确定的顶点的特征进行匹配，得到第一目标对象和第二目标对象的对应关系。
148.此处，由于第一目标对象包括具有矩形轮廓的第一道路标志，通过第二投影几何特征中表征第一目标对象的顶点的特征、以及第二目标对象在目标平面中的几何特征中表征第二目标对象确定的顶点的特征进行匹配，即可以较为简单的确定第一目标对象和第二目标对象的对应关系。通过采用这样以几何特征中的点进行匹配的方式，对于第一目标对象包括具有矩形轮廓的第一道路标志对象，在运算量少的同时，准确性也较高。
149.类似的，在第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，利用第二投影几何特征中表征第一目标对象的轮廓线和/或角点的特征、以及第二目标对象在目标平面中的几何特征中表征第二目标对象确定的轮廓线和/或角点的特征进行匹配，得到第一目标对象和第二目标对象的对应关系。
150.此处，由于第一目标对象包括具有不规则轮廓的第二道路标志对象，对应的将第二投影几何特征中表征第一目标对象的轮廓线和/或角点的特征、以及第二目标对象在目标平面中的几何特征中表征第二目标对象确定的轮廓线和/或角点的特征进行匹配的方式，可以与第一道路标志对应的匹配方式相似，采用轮廓线中的轮廓线顶点和/或直接采用确定的角点进行匹配。这样，对于较之第一道路标志对象而言图形表达更复杂的第二道路标志对象，可以相应的提高其匹配时的准确性。
151.在第一目标对象包括线型的第三道路标志对象的情况下，对第二投影几何特征、以及第二目标对象在目标平面中的几何特征进行最大图匹配，得到第一目标对象和第二目标对象的对应关系。
152.具体地，针对线型的第三道路标志，采用最大图匹配算法对第一目标对象和第二目标对象进行匹配的过程中，可以随机地以任意匹配方式构建多个候选匹配对，每个候选匹配对包含一个第一目标对象和一个第二目标对象，且每个第一目标对象仅包含于一个候选匹配对，每个第二对象仅包含于一个候选匹配对。可以计算各个候选匹配对中第一目标对象和第二目标对象的直线距离，确定各个候选匹配对对应的上述直线距离的平均值。在匹配过程中，去除上述平均值过大的匹配方式，由此获得第一目标对象和第二目标对象的匹配关系。该方式在待匹配的第一目标对象的数量与第二目标对象的数量不相同的情况下也可以完成匹配过程，获得数量较少的第一目标对象与数量较多的第二目标对象的匹配结果，由此通过最大图匹配实现了对目标图像中漏检的线型的第三道路标志的自动识别，能够获得比较准确的匹配结果。
153.此处，由于第一目标对象包括线型的第三道路标志对象，由于其在投影后不能示出其包括的所有点的信息，尤其是表征其实际位置的所有点。因此上述利用点、轮廓线、角点中至少一种对第一道路标志对象和/或第二道路标志对象进行匹配的方式并不适用。而通过最大图匹配的方式，可以对第二投影几何特征、以及第二目标对象在目标平面中的几何特征直接进行匹配，而不需要重新对第三道路标志对象进行采集，以保证定位的效率。
154.示例性的，在对第一目标对象和第二目标对象进行匹配时，由于目标图像的初始位姿信息并不准确，且道路中的第二目标对象具有连续出现的特点，因此利用最近邻匹配得到的对应关系并不准确，从而在匹配时容易出现漏检线条，使得确定的第一目标对象和第二目标对象的对应关系不准确。因此，例如可以选用最优匹配算法(kuhn
‑
munkras，km)对第一目标对象和第二目标对象进行匹配，通过将第一目标对象中任一两个目标线段之间的距离的倒数作为两个目标线段对应的第一目标对象的权重值，可以去除匹配候选中对目标线段距离平均值过大的匹配，从而获取第一目标对象和第二目标对象之间的对应关系。
155.参见图10所示，为本公开实施例提供的一种确定第一目标对象和第二目标对象之间的对应关系的示意图。其中，11表示第一目标对象，12表示第二目标对象，13表示通过最大图匹配算法对线条进行匹配后发现的不存在与之相匹配的第二目标对象的第一目标对象，即13表示在目标图像中漏检的线条，14表示一组对应的第一目标对象和第二目标对象。
其中，在存在漏检线条的情况下，例如可以不对漏检线条进行处理。
156.在确定了第一目标对象和第二目标对象之间的对应关系后，即可以基于目标场景中的第二目标对象在目标场景对应的场景坐标系中的三维几何特征、第一目标对象的第一二维几何特征，对第一目标对象和第二目标对象进行位置匹配。
157.在对第一目标对象和第二目标对象进行位置匹配时，由于已经确定了第一目标对象和第二目标对象的对应关系，通过第二目标对象在场景坐标系中的三维几何特征与第一目标对象的第一二维几何特征进行位置匹配，可以确定由于初始位姿信息与实际位姿信息的偏差造成的匹配损失，从而基于确定的匹配损失确定采集目标图像的采集设备的目标位姿信息。
158.基于采集目标图像的采集设备的初始位姿信息、以及目标场景中的第二目标对象在目标场景对应的场景坐标系中的三维几何特征，将第二目标对象投影至图像坐标系中，得到第二目标对象在图像坐标系中的第三投影几何特征。基于第二目标对象在图像坐标系中的第三投影几何特征、第一目标对象的第一二维几何特征、以及第一目标对象和第二目标对象的对应关系，对具有对应关系的第一目标对象和第二目标对象进行位置匹配。
159.在具体实施中，确定第二目标对象在图像坐标系中的第三投影几何特征的方法与上述确定第一投影几何特征的方式相似，在此不再赘述。在第一目标对象包括轮廓中至少一端未在所述目标图像中示出的目标对象中中至少一种的情况下，确定的第三投影几何特征，例如可以表示为π(l
i
,t0)；其中，π为投影函数，用于将第二目标对象的三维几何特征l
i
根据初始位姿信息t0投影至图像坐标系中。在第一目标对象包括轮廓利用至少一个矩形示出的目标对象或利用不规则图形示出的目标对象中至少一项的情况下，确定的第三投影几何特征，例如可以表示为π(p
j
,t0)；其中，投影函数π用于将第二目标对象的三维几何特征p
j
根据初始位姿信息t0投影至图像坐标系中。
160.此时，例如还可以确定对应于第一目标对象中顶点或者目标线段，第二目标对象中的投影顶点或者投影目标线段。具体确定投影顶点或者投影目标线段的方法，与上述确定第一目标对象中顶点或者目标线段的方法相似，在此不再赘述。
161.在第一目标对象包括轮廓中至少一端未在所述目标图像中示出的目标对象中中至少一种的情况下，根据第一目标对象和第二目标对象的对应关系，可以将第一目标对象的第一二维几何特征，与对应的第二目标对象在图像坐标系中的第三投影几何特征进行位置匹配，从而确定第一目标对象与第二目标对象的对应关系。
162.此时，由于第一目标对象的第一二维几何特征是通过第一目标对象的目标线段的端点坐标值确定的，因此在确定对应关系时，只需要对端点进行位置匹配，运算量更少，从而使得在位置匹配时效率更高。
163.在第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，为本公开实施例提供的一种对第一目标对象和第二目标对象进行位置匹配的具体方法，包括：对第一目标对象的第一二维几何特征进行插值处理，得到第一目标对象的第二二维几何特征；其中，第二二维几何特征包括：多个顶点在目标图像中的坐标值、以及多个插值点在目标图像中的坐标值；基于第二二维几何特征、三维几何特征以及第一目标对象和第二目标对象的对应关系，对第一目标对象和第二目标对象进行点对点的位置匹配。
164.在具体实施中，在第一目标对象包括轮廓利用至少一个矩形示出的目标对象至少
一种的情况下，由于第一目标对象的第一二维几何特征例如可以是基于在第一目标对象上的两个或者四个顶点的坐标值得到的，顶点可能较少，通过对各个顶点进行插值处理，确定的多个插值点可以形成第一目标对象的稀疏轮廓线，使得在图像坐标系上两个坐标轴方向上的多个顶点数目差距较小，从而平衡不同语义之间的权重，同时也可以缓解使用较少的顶点在进行位置匹配处理时匹配不佳的问题。
165.在对各个顶点进行插值处理时，例如可以采用下述至少一种方法：泰勒插值(taylor interpolation)、拉格朗日插值(lagrange interpolation)、牛顿插值(newton interpolation)、以及艾尔米特插值(hermite interpolation)。具体的插值方法可以根据实际情况选取，在此不再赘述。
166.针对上述s104，在基于位置匹配结果，确定采集目标图像的采集设备的目标位姿信息时，例如可以基于位置匹配的结果，确定位置匹配误差，并基于位置匹配误差以及采集目标图像的采集设备的初始位姿信息，确定采集目标图像的采集设备的目标位姿信息。
167.在具体实施中，在确定了第三投影几何特征π(l
i
,t0)以及π(p
j
,t0)的情况下，可以确定对应的位置匹配误差。其中，第三投影几何特征π(l
i
,t0)对应的位置匹配误差例如可以表示为d
l
(π(l
i
,t0),l
i
)，d
l
表示投影目标线段的端点到目标线段所在中心线的距离的残差项。第三投影几何特征π(p
j
,t0)对应的位置匹配误差例如可以表示为d
p
(π(p
j
,t0),p
i
)，d
p
表示顶点与投影顶点之间的重投影误差。
168.此时，由于可能存在多个第一目标对象，确定位置匹配误差时例如可以采用下述公式(2)：
[0169][0170]
其中，q表示第一目标对象中包括的轮廓利用至少一个矩形示出的目标对象或利用不规则图形示出的目标对象的总数量；p表示第一目标对象中包括的轮廓中至少一端未在所述目标图像中示出的目标对象中的总数量；error表示确定的匹配损失。
[0171]
此时，匹配损失error越小，表征采集目标图像的采集设备的位姿信息较为准确；匹配损失error越大，表征采集目标图像的采集设备的位姿信息与实际的位姿信息差异较大，需要进一步确定目标图像的采集设备的位姿信息，以使匹配损失error减小。
[0172]
在确定匹配损失的情况下，基于匹配损失确定采集目标图像的采集设备的目标位姿信息时，例如可以采用下述方法：检测是否满足预设的迭代停止条件；在满足迭代停止条件的情况下，将最后一次迭代得到的初始位姿信息，确定为目标位姿信息；在不满足迭代停止条件的情况下，基于位置匹配误差、以及最近一次迭代过程中的初始位姿信息，确定新的初始位姿信息，并返回至基于目标场景中的第二目标对象在目标场景对应的场景坐标系中的三维几何特征、第一目标对象的第一二维几何特征、以及第一目标对象和第二目标对象的对应关系，对第一目标对象和第二目标对象进行位置匹配的步骤。
[0173]
其中，迭代停止条件包括下述至少一种：迭代次数大于预设迭代次数阈值；第一目标对象和第二目标对象的位置匹配误差小于预设的损失阈值。在选取迭代停止条件为迭代次数大于预设迭代次数阈值的情况下，例如可以基于经验确定预设迭代次数阈值，例如6次或者8次，以使得在迭代足够多次数后的匹配损失较小。在选取迭代停止条件为第一目标对象和第二目标对象的位置匹配误差小于预设的损失阈值的情况下，可以通过设置一个较小
的损失阈值，使得得到的目标位姿信息置信度更高。具体地迭代停止条件的选取可以根据实际情况确定，在此不再赘述。
[0174]
在不满足迭代停止条件的情况下，基于此时确定的位置匹配误差，确定迭代的方向为将位置匹配误差减少的方向，并将最近一次迭代过程中的初始位姿信息确定为新的初始位姿信息，然后返回对第一目标对象和第二目标对象进行位置匹配的步骤，重新根据新的初始位姿信息确定匹配损失，直至位置匹配误差满足迭代停止条件。在满足迭代停止条件的情况下，可以将此时的初始位姿信息确定为目标位姿信息，例如可以表示为t
aim
。
[0175]
此时，即可以确定目标位姿信息t
aim
，也即目标图像的目标位姿信息t
aim
。
[0176]
基于同一发明构思，本公开实施例中还提供了一种智能行驶装置的行驶控制方法。
[0177]
参见图11所示，为本公开实施例提供的一种智能行驶装置的行驶控制方法的流程图，智能行驶装置的行驶控制方法包括步骤s1101～s1103，其中：
[0178]
s1101：获取智能行驶装置在行驶过程中采集的视频帧数据；
[0179]
s1102：利用本公开实施例提供的定位方法得到目标检测神经网络，检测视频帧数据中的目标对象；
[0180]
s1103：基于检测的目标对象，控制智能行驶装置。
[0181]
在具体实施中，行驶装置例如但不限于下述任一种：自动驾驶车辆、装有高级驾驶辅助系统(advanced driving assistance system，adas)的车辆、或者机器人等。
[0182]
控制行驶装置，例如包括控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
[0183]
此处，由于利用本公开实施例提供的定位方法，能够更高效的确定目标位姿信息，因此该定位方法更利于部署在智能行驶装置中，提升自动驾驶控制过程中的安全性，更好的满足自动驾驶领域的需求。
[0184]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0185]
基于同一发明构思，本公开实施例中还提供了与定位方法对应的定位装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述定位方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0186]
参照图12所示，为本公开实施例提供的一种定位装置的示意图，所述装置包括：第一获取模块121、第一确定模块122、匹配模块123、以及第二确定模块124；其中，
[0187]
第一获取模块121，用于获取对目标场景进行采集得到的目标图像；第一确定模块122，用于基于所述目标图像，确定所述目标图像中包括的第一目标对象在所述目标图像中的第一二维几何特征；匹配模块123，用于基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配；第二确定模块124，用于基于位置匹配的结果，确定采集所述目标图像的采集设备的目标位姿信息。
[0188]
一种可选的实施方式中，在所述第一目标对象包括具有矩形轮廓的第一道路标志
对象的情况下，所述第一目标对象的第一二维几何特征，包括：所述第一目标对象的顶点；在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，所述第一目标对象的第一二维几何特征包括：所述第一目标对象的轮廓线和/或角点；在所述第一目标对象包括线型的第三道路标志对象的情况下，所述第一目标对象的第一二维几何特征，包括：属于所述第一目标对象所在图像区域、且位于所述第一目标对象的中心线上的目标线段。
[0189]
一种可选的实施方式中，所述第一确定模块122在基于所述目标图像，确定所述目标图像中包括的第一目标对象在所述目标图像中的第一二维几何特征时，用于：对所述目标图像进行语义分割处理，确定所述目标图像中多个像素点分别对应的语义分割结果；基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征。
[0190]
一种可选的实施方式中，在所述第一目标对象包括具有矩形轮廓的第一道路标志对象的情况下，所述第一确定模块122在基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征时，用于：基于所述语义分割结果，从所述目标图像中确定属于所述第一目标对象的轮廓的像素点；基于属于所述第一目标对象的轮廓的像素点，拟合得到所述第一目标对象在所述目标图像中对应的包围框；基于所述包围框的顶点确定所述第一目标对象在所述目标图像中的第一二维几何特征。
[0191]
一种可选的实施方式中，在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，所述第一确定模块122在基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征时，用于：基于所述语义分割结果，从所述目标图像中确定属于所述第一目标对象的轮廓的像素点；基于属于所述第一目标对象的轮廓的像素点在所述目标图像中的位置，得到所述第一目标对象的轮廓线；基于所述第一目标对象的轮廓线，确定所述第一目标对象在所述目标图像中的第一二维几何特征。
[0192]
一种可选的实施方式中，在所述第一目标对象包括线型的第三道路标志对象的情况下，所述第一确定模块122在基于多个像素点分别对应的语义分割结果，以及所述多个像素点分别在所述目标图像中的位置，确定所述第一目标对象在所述目标图像中的第一二维几何特征时，用于：基于所述语义分割结果，拟合得到第一目标对象的中心线；基于位于所述中心线上、且属于所述第一目标对象所在图像区域的像素点在所述目标图像中的二维坐标值，确定属于所述第一目标对象所在图像区域、且位于所述中心线上的目标线段；基于所述目标线段得到所述第一目标对象的第一二维几何特征。
[0193]
一种可选的实施方式中，还包括生成模块125，用于：基于所述目标场景中的第二目标对象在所述目标场景中的三维几何特征、所述第一目标对象的第一二维几何特征，生成所述第一目标对象和所述第二目标对象的所述对应关系。
[0194]
一种可选的实施方式中，所述生成模块125在基于所述目标场景中的第二目标对象在所述目标场景中的三维几何特征、所述第一目标对象的第一二维几何特征，生成所述第一目标对象和所述第二目标对象的所述对应关系时，用于：基于所述采集所述目标图像的采集设备的初始位姿信息、以及所述第二目标对象在所述目标场景中的三维几何特征，将所述第二目标对象投影至所述目标图像的图像坐标系中，得到所述第二目标对象在所述
图像坐标系中的第一投影几何特征；基于所述第一目标对象在所述图像坐标系中的第一二维几何特征、以及所述第二目标对象在所述图像坐标系中的第一投影几何特征，对所述第一目标对象和所述第二目标对象进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系。
[0195]
一种可选的实施方式中，所述生成模块125在基于所述目标场景中的第二目标对象在所述目标场景中的三维几何特征、所述第一目标对象的第一二维几何特征，生成所述第一目标对象和所述第二目标对象的所述对应关系时，用于：基于所述目标图像与所述第二目标对象所在目标平面之间的单应矩阵，将所述目标图像中的第一目标对象投影至所述目标平面中，得到所述第一目标对象在所述目标平面中的第二投影几何特征；基于所述第一目标对象在所述目标平面中的第二投影几何特征、以及所述第二目标对象在所述目标平面中的几何特征，对所述第一目标对象和所述第二目标对象进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系；其中，所述第二目标对象在所述目标平面中的几何特征，是基于所述第二目标对象在所述场景坐标系中的三维几何特征确定的。
[0196]
一种可选的实施方式中，所述生成模块125在基于所述第一目标对象在所述目标平面中的第二投影几何特征、以及所述第二目标对象在所述目标平面中的几何特征，对所述第一目标对象和所述第二目标对象进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系时，用于：在所述第一目标对象包括具有矩形轮廓的第一道路标志对象的情况下，利用所述第二投影几何特征中表征所述第一目标对象的顶点的特征、以及所述第二目标对象在所述目标平面中的几何特征中表征所述第二目标对象确定的顶点的特征进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系；在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，利用所述第二投影几何特征中表征所述第一目标对象的轮廓线和/或角点的特征、以及所述第二目标对象在所述目标平面中的几何特征中表征所述第二目标对象确定的轮廓线和/或角点的特征进行匹配，得到所述第一目标对象和所述第二目标对象的对应关系；在第一目标对象包括线型的第三道路标志对象的情况下，对所述第二投影几何特征、以及所述第二目标对象在所述目标平面中的几何特征进行最大图匹配，得到所述第一目标对象和所述第二目标对象的对应关系。
[0197]
一种可选的实施方式中，所述第二确定模块124在基于位置匹配的结果，确定采集所述目标图像的采集设备的目标位姿信息时，用于：基于位置匹配的结果，确定位置匹配误差；基于所述位置匹配误差以及采集所述目标图像的采集设备的初始位姿信息，确定采集所述目标图像的采集设备的目标位姿信息。
[0198]
一种可选的实施方式中，所述第二确定模块124在基于所述位置匹配误差以及采集所述目标图像的采集设备的初始位姿信息，确定采集所述目标图像的采集设备的目标位姿信息时，用于：检测是否满足预设的迭代停止条件；在满足所述迭代停止条件的情况下，将最后一次迭代得到的所述初始位姿信息，确定为所述目标位姿信息；在不满足所述迭代停止条件的情况下，基于所述位置匹配误差、以及最近一次迭代过程中的初始位姿信息，确定新的初始位姿信息，并返回至基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配的步骤。
[0199]
一种可选的实施方式中，所述迭代停止条件包括下述任一项：迭代次数大于预设迭代次数阈值；所述第一目标对象和所述第二目标对象的位置匹配误差小于预设的损失阈值。
[0200]
一种可选的实施方式中，所述匹配模块123在基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配时，用于：在所述第一目标对象包括具有不规则轮廓的第二道路标志对象的情况下，对所述第一目标对象的第一二维几何特征进行插值处理，得到所述第一目标对象的第二二维几何特征；其中，所述第二二维几何特征包括：多个顶点、以及多个插值点；基于所述第二二维几何特征、所述三维几何特征以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行点对点的位置匹配。
[0201]
一种可选的实施方式中，所述匹配模块123在基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配时，用于：基于采集所述目标图像的采集设备的初始位姿信息、以及所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征，将所述第二目标对象投影至所述目标图像的图像坐标系中，得到所述第二目标对象在所述图像坐标系中的第三投影几何特征；基于所述第二目标对象在所述图像坐标系中的所述第三投影几何特征、所述第一目标对象的第一二维几何特征，对具有对应关系的第一目标对象和第二目标对象进行位置匹配。
[0202]
关于定位装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述定位方法实施例中的相关说明，这里不再详述。
[0203]
基于同一发明构思，本公开实施例中还提供了与智能行驶装置的行驶控制对应的智能行驶装置的行驶控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述定位方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0204]
参照图13所示，为本公开实施例提供的一种智能行驶装置的行驶控制装置的示意图，所述装置包括：第二获取模块131、检测模块132、以及控制模块133；其中，
[0205]
第二获取模块131，用于获取智能行驶装置在行驶过程中采集的视频帧数据；
[0206]
检测模块132，用于利用基于本公开实施例提供的任一种定位方法处理所述视频帧数据，检测所述视频帧数据中的目标对象；
[0207]
控制模块133，用于基于检测的目标对象，控制所述智能行驶装置。
[0208]
关于智能行驶装置的行驶控制装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述智能行驶装置的行驶控制方法实施例中的相关说明，这里不再详述。
[0209]
本公开实施例还提供了一种计算机设备，如图14所示，为本公开实施例提供的计算机设备结构示意图，包括：
[0210]
处理器141和存储器142；所述存储器142存储有处理器141可执行的机器可读指令，处理器141用于执行存储器142中存储的机器可读指令，所述机器可读指令被处理器141
执行时，处理器141执行下述步骤：
[0211]
获取对目标场景进行采集得到的目标图像；基于所述目标图像，确定所述目标图像中包括的第一目标对象在所述目标图像中的第一二维几何特征；基于所述目标场景中的第二目标对象在所述目标场景对应的场景坐标系中的三维几何特征、所述第一目标对象的第一二维几何特征、以及所述第一目标对象和所述第二目标对象的对应关系，对所述第一目标对象和所述第二目标对象进行位置匹配；基于位置匹配的结果，确定采集所述目标图像的采集设备的目标位姿信息。
[0212]
或者，处理器141执行下述步骤：
[0213]
获取智能行驶装置在行驶过程中采集的视频帧数据；利用基于本公开实施例提供的任一种定位方法处理所述视频帧数据，检测所述视频帧数据中的目标对象；基于检测的目标对象，控制所述智能行驶装置。
[0214]
上述存储器142包括内存1421和外部存储器1422；这里的内存1421也称内存储器，用于暂时存放处理器141中的运算数据，以及与硬盘等外部存储器1422交换的数据，处理器141通过内存1421与外部存储器1422进行数据交换。
[0215]
上述指令的具体执行过程可以参考本公开实施例中所述的定位方法、或者智能行驶装置的行驶控制方法的步骤，此处不再赘述。
[0216]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的定位方法、或者智能行驶装置的行驶控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0217]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的定位方法、或者智能行驶装置的行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0218]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0219]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0220]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0221]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0222]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0223]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。