车位重建方法、装置、电子设备和存储介质与流程

1.本公开涉及计算机视觉技术，尤其是一种车位重建方法、装置、电子设备和存储介质。


背景技术：

2.车位重建已成为hpa(自学习型泊车)、avp(代客泊车)等泊车场景中的重要技术，是高精地图中必不可少的部分。目前的车位重建通常采用激光雷达扫描的方式获得点云，进而基于点云提取车位的参数信息，实现车位重建。但是现有这种车位重建方式重建成本较高。


技术实现要素：

3.为了解决上述车位重建成本较高等技术问题，提出了本公开。本公开的实施例提供了一种车位重建方法、装置、电子设备和存储介质。
4.根据本公开实施例的一个方面，提供了一种车位重建方法，包括：确定当前目标帧集对应的车辆坐标系下的当前车位观测信息，所述当前目标帧集包括当前帧和预设数量的历史帧；基于所述当前车位观测信息，确定当前车位跟踪结果；基于所述当前车位跟踪结果，确定所述当前目标帧集的各车位分别对应的第一状态量，所述第一状态量包括其对应的所述车位在世界坐标系下的车位信息；基于所述当前车位观测信息、所述当前车位跟踪结果及预设优化规则，对各所述第一状态量进行优化，获得所述当前目标帧集的各所述车位分别对应的优化后的第二状态量；基于所述当前目标帧集的各所述车位分别对应的所述第二状态量，确定各所述车位分别对应的世界坐标系下的目标位置信息。
5.根据本公开实施例的另一个方面，提供了一种车位重建装置，包括：第一确定模块，用于确定当前目标帧集对应的车辆坐标系下的当前车位观测信息，所述当前目标帧集包括当前帧和预设数量的历史帧；第一处理模块，用于基于所述当前车位观测信息，确定当前车位跟踪结果；第二确定模块，用于基于所述当前车位跟踪结果，确定所述当前目标帧集的各车位分别对应的第一状态量，所述第一状态量包括其对应的所述车位在世界坐标系下的车位信息；第二处理模块，用于基于所述当前车位观测信息、所述当前车位跟踪结果及预设优化规则，对各所述第一状态量进行优化，获得所述当前目标帧集的各所述车位分别对应的优化后的第二状态量；第三处理模块，用于基于所述当前目标帧集的各所述车位分别对应的所述第二状态量，确定各所述车位分别对应的世界坐标系下的目标位置信息。
6.根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的车位重建方法。
7.根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的车位重建方法。
8.基于本公开上述实施例提供的车位重建方法、装置、电子设备和存储介质，通过基
于车位的观测信息、跟踪结果及一定的优化规则，对车位在世界坐标系下的状态量进行优化，实现车位重建，从而实现了基于相机图像的车位重建，无需采用激光雷达，有效降低车位重建成本，解决现有技术车位重建成本较高等问题。
9.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
10.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
11.图1是本公开提供的车位重建方法的一个示例性的应用场景；
12.图2是本公开一示例性实施例提供的车位重建方法的流程示意图；
13.图3是本公开另一示例性实施例提供的车位重建方法的流程示意图；
14.图4是本公开一示例性实施例提供的步骤204的流程示意图；
15.图5是本公开一示例性实施例提供的入库线的第三端点坐标和第四端点坐标的确定原理示意图；
16.图6是本公开另一示例性实施例提供的步骤204的流程示意图；
17.图7是本公开再一示例性实施例提供的车位重建方法的流程示意图；
18.图8是本公开一示例性实施例提供的车位重建装置的结构示意图；
19.图9是本公开一示例性实施例提供的第二处理模块504的结构示意图；
20.图10是本公开一示例性实施例提供的第一处理单元5041的结构示意图；
21.图11是本公开一示例性实施例提供的第三处理单元5043的结构示意图；
22.图12是本公开另一示例性实施例提供的车位重建装置的结构示意图；
23.图13是本公开一示例性实施例提供的第三处理模块505的结构示意图；
24.图14是本公开再一示例性实施例提供的车位重建装置的结构示意图；
25.图15是本公开一示例性实施例提供的第一确定模块501的结构示意图；
26.图16是本公开一示例性实施例提供的第一处理模块502的结构示意图；
27.图17是本公开一示例性实施例提供的第二确定模块503的结构示意图；
28.图18是本公开电子设备一个应用实施例的结构示意图。
具体实施方式
29.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
30.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
31.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
32.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
33.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
34.另外，本公开中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本公开中字符“/”，一般表示前后关联对象是一种“或”的关系。
35.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
36.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
37.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
38.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
39.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
40.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
41.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
42.本公开概述
43.在实现本公开的过程中，发明人发现，车位重建已成为hpa(自学习型泊车)、avp(代客泊车)等泊车场景中的重要技术，是高精地图中必不可少的部分。目前的车位重建通常采用激光雷达扫描的方式获得点云，进而基于点云提取车位的参数信息，实现车位重建。但是现有这种车位重建方式成本较高。
44.示例性概述
45.图1是本公开提供的车位重建方法的一个示例性的应用场景。
46.在泊车场景中，可以通过设置在车辆上的摄像头拍摄车辆周围环境图像，周围环境图像包括车位信息，从而可以基于车辆周围环境图像确定当前目标帧集对应的车辆坐标系下的当前车位观测信息，当前目标帧集包括当前帧和预设数量的历史帧，当前车位观测
信息可以包括当前目标帧集中各帧分别观测获得的车位相关信息，比如车位类型、车位角点位置、车位长边线方向、车位占用情况、车位角点类型(是否为截断点)等信息中的一种或多种。进而基于当前车位观测信息，确定当前车位跟踪结果，当前车位根据结果可以包括当前目标帧集中存在的各车位的跟踪信息，以及在前一目标帧集中存在而在当前目标帧集中不存在的车位的跟踪信息，前一目标帧集包括当前帧的前一帧及前一帧之前的预设数量的历史帧。车位的跟踪信息可以包括车位标识(比如车位id)、车位观测次数等信息，当前目标帧集中存在的车位具体包括在预设数量的历史帧中存在而在当前帧中不存在的车位，在当前帧中新出现的车位。基于当前车位跟踪结果，确定当前目标帧集的各车位分别对应的第一状态量，该第一状态量包括其对应的车位在世界坐标系下的车位信息；其中，对于预设数量的历史帧中已有的车位，可以采用前一目标帧集优化后的状态量作为当前目标帧集下该车位的第一状态量，对于当前帧中新观测到的车位，可以基于该车位的观测信息确定该车位的初始状态量作为该车位的第一状态量；不同帧中的相同车位的第一状态量相同。基于当前车位观测信息、当前车位跟踪结果及预设优化规则，对各第一状态量进行优化，获得当前目标帧集的各车位分别对应的优化后的第二状态量，预设优化规则可以根据实际需求设置，具体可以基于相邻车位约束、车位入库线端点观测重投影约束等设置目标函数，优化结果使得各车位在满足一定约束的条件下使得目标函数值最小，优化后的第二状态量用于确定各车位分别对应的世界坐标系下的目标位置信息，既保证车位信息的准确性，还能使车位满足相邻车位的约束，基于车位的观测、跟踪实现车位重建，从而实现了基于相机图像的车位重建，无需采用激光雷达，有效降低车位重建成本。
47.示例性方法
48.图2是本公开一示例性实施例提供的车位重建方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：
49.步骤201，确定当前目标帧集对应的车辆坐标系下的当前车位观测信息，当前目标帧集包括当前帧和预设数量的历史帧。
50.其中，当前目标帧集是当前时刻对应的目标帧集，当前目标帧集包括当前帧和预设数量的历史帧，预设数量可以根据实际需求设置。比如可以设置为7帧，则当前目标帧集包括8帧，预设数量也可以是根据车辆行驶距离确定，比如5米距离对应的帧数减去当前帧这一帧，即为预设数量。具体不做限定。当前车位观测信息可以包括当前目标帧集中各帧分别观测获得的车位相关信息，比如车位类型、车位角点位置、车位长边线方向、车位占用情况、车位角点类型(是否为截断点)等信息中的一种或多种。当前车位观测信息可以基于车辆上的摄像头拍摄的环境图像数据获得。比如将环境图像数据转换到车辆坐标系下，获得车辆坐标系下的鸟瞰图像，基于鸟瞰图像确定当前车位观测信息。或者也可以先基于环境图像数据获得第一车位观测信息，再将第一车位观测信息转换到车辆坐标系下，获得当前车位观测信息。当前车位观测信息的具体获得方式不做限定。
51.步骤202，基于当前车位观测信息，确定当前车位跟踪结果。
52.其中，当前车位跟踪结果是对车位进行跟踪获得的车位跟踪结果，当前车位跟踪结果可以包括当前目标帧集中存在的各车位的跟踪信息，以及在前一目标帧集中存在而在当前目标帧集中不存在的车位的跟踪信息，前一目标帧集包括当前帧的前一帧及前一帧之前的预设数量的历史帧。车位的跟踪信息可以包括车位标识(比如车位id)、车位观测次数
等信息，当前目标帧集中存在的车位具体包括在预设数量的历史帧中存在而在当前帧中不存在的车位，在当前帧中新出现的车位。车位观测次数是指该车位在当前目标帧集中观测到的次数，也即当前目标帧集中跟踪到该车位的帧数，比如当前目标帧集包括8帧，在前4帧中跟踪到车位1，则车位1的观测次数为4，随着车辆的移动，不断有新的帧数据产生，每产生一新的帧，该新的帧作为当前帧，原来的当前帧成为预设数量的历史帧中的帧，原来的预设数量的历史帧中最早的一帧被淘汰，形成新的当前目标帧集，若新的当前目标帧集中的当前帧中没有观测到车位1，则车位1的观测次数因最早的历史帧的淘汰减少1成为3，对于当前帧新观测到的车位(比如车位2)，其观测次数设置为1，当下一帧中再次跟踪到车位2，车位2的观测次数变为2。依此类推，实时维护当前目标帧集的当前车位跟踪结果。车位的跟踪可以采用预设跟踪算法实现，预设跟踪算法可以根据实际需求采用任意可实施的算法，比如相邻两帧车位的交并比，确定出两帧中车位的对应关系，从而基于前一帧的跟踪结果确定当前帧中车位的跟踪结果，以此类推实现车位的跟踪。具体可以根据实际需求设置。
53.在实际应用中，随着时间的推移或者随着车辆的移动，当前目标帧集可以通过滑动窗口算法或其他可实施的方式实现更新，具体不做限定。
54.步骤203，基于当前车位跟踪结果，确定当前目标帧集的各车位分别对应的第一状态量，第一状态量包括其对应的车位在世界坐标系下的车位信息。
55.其中，第一状态量是各车位在当前目标帧集的优化流程中的初始状态量，各车位的第一状态量可以根据实际需求设置。
56.示例性的，对于在前一目标帧集对应的车位跟踪结果中已存在的车位，将该车位基于前一目标帧集确定的第二状态量作为当前目标帧集的该车位的第一状态量，对于在当前车位跟踪结果中新增的车位，基于当前车位观测信息中该车位对应的车位观测信息，确定该车位的第一状态量。第一状态量具体可以包括车位入库线中心点的横坐标x和纵坐标y、入库线的航向角yaw、入库线的长度width等信息，具体可以根据实际需求设置。
57.步骤204，基于当前车位观测信息、当前车位跟踪结果及预设优化规则，对各第一状态量进行优化，获得当前目标帧集的各车位分别对应的优化后的第二状态量。
58.其中，预设优化规则可以根据实际需求设置，比如可以基于相邻车位约束、车位入库线端点观测重投影约束等设置目标函数，优化结果使得各车位在满足一定约束的条件下使得目标函数值最小，具体不做限定。第二状态量与第一状态量类似，包括其对应的车位在世界坐标系下的优化后的车位信息。具体不再赘述。
59.在实际应用中，对第一状态量的优化可以采用优化器实现，优化器可以为任意可实施的优化器，本公开不做限定。
60.步骤205，基于当前目标帧集的各车位分别对应的第二状态量，确定各车位分别对应的世界坐标系下的目标位置信息。
61.其中，车位在世界坐标系下的目标位置信息可以包括该车位的轮廓点坐标，比如至少包括该车位四个角点坐标，具体可以根据实际需求设置。对于一个车位来说，其目标位置信息是通过至少一次的优化流程后的第二状态量确定，具体可以根据实际需求设置。
62.示例性的，获得的第二状态量包括车位的优化后的入库线中心点的横坐标x和纵坐标y、入库线的航向角yaw、入库线的长度width等信息，基于入库线的航向角结合车位类型可以确定车位方向，结合入库线的长度width可以确定车位入库线相邻边的长度，结合入
库线中心点的横坐标和纵坐标、入库线的航向角和入库线长度可以确定出入库线两端点的坐标，入库线两端点的坐标即车位的两个角点坐标，基于入库线两端点的坐标、车位类型、入库线相邻边的长度等信息可以确定出车位另外两个角点的坐标，从而获得了车位的目标位置信息。
63.示例性的，当一个车位在前一目标帧集中存在，而在当前目标帧集中不存在，也即该车位在当前目标帧集中的观测结束，则可以基于前一目标帧集获得的该车位的第二状态量确定该车位在世界坐标系下的目标位置信息，当一个车位在当前目标帧集中还能观测到，则基于该车位的第二状态量进入下一优化流程，作为下一优化流程的当前目标帧集中车位的第一状态量，基于进行优化，直至该车位被滑出当前目标帧集，可确定出该车位的目标位置信息。
64.可选地，车位可以是垂直车位、横向车位和斜向车位。垂直车位的入库线的长度是垂直车位短边的长度，横向车位的入库线的长度是横向车位长边的长度，斜向车位与垂直车位类似，入库线的长度是短边长度，对于斜向车位，车位目标位置信息可以结合相邻两边之间的角度或者长边方向确定。比如当车位滑出当前目标帧集，获得该车位的最终的第二状态量为[x1,y1,yaw1,width1]，与入库线相邻边的长度采用预设长度或者基于观测结果的长度，对于预设长度，不同类型的车位可以设置不同的长度，比如对于横向车位，入库线为长边，则宽边为2.5米，对于垂直车位，入库线为短边，则长边为5.3米，对于斜向车位，可以根据通常情况设置，或者采用观测结果确定，具体可以根据实际需求设置。
[0065]
示例性的，基于滑动窗口实现当前目标帧集的更新，则当车位滑出当前窗口后，可以确定出该车位的目标位置信息。
[0066]
本实施例提供的车位重建方法，通过基于车位的观测信息、跟踪结果及一定的优化规则，对车位在世界坐标系下的状态量进行优化，实现车位重建，从而实现了基于相机图像的车位重建，无需采用激光雷达，有效降低车位重建成本，解决现有技术车位重建成本较高等问题。
[0067]
图3是本公开另一示例性实施例提供的车位重建方法的流程示意图。
[0068]
在一个可选示例中，步骤204的基于当前车位观测信息、当前车位跟踪结果及预设优化规则，对各第一状态量进行优化，获得当前目标帧集的各车位分别对应的优化后的第二状态量，具体可以包括以下步骤：
[0069]
步骤2041，基于各第一状态量及当前目标帧集中各帧分别对应的车辆位姿，确定当前目标帧集的各车位在车辆坐标系下分别对应的入库线的第一端点坐标和第二端点坐标。
[0070]
其中，各帧分别对应的车辆位姿是指车辆采集各帧数据时刻的世界坐标系下的位姿，比如当前帧对应的车辆位姿则为车辆采集当前帧数据时刻的车辆坐标系下的位姿。由于车辆不断运动，两帧之间具有时间间隔，因此不同帧对应的车辆位姿可能不同。车位的第一状态量包括了车位的入库线中心点的横坐标x和纵坐标y、入库线的航向角yaw、入库线的长度width等信息，结合各帧分别对应的车辆位姿，可以反推出该车位在车辆坐标系下的入库线的第一端点坐标和第二端点坐标。示例性的，可以先基于第一状态量确定出车位在世界坐标系下的入库线端点坐标，再基于世界坐标系与车辆坐标系的转换关系，将世界坐标系下的入库线端点坐标转换到对应帧的车辆坐标系，从而获得各车位在其对应帧的车辆坐
标系下的入库线的第一端点坐标和第二端点坐标。
[0071]
步骤2042，基于当前车位观测信息，确定当前目标帧集中观测的各车位分别对应的入库线的第一观测端点坐标和第二观测端点坐标。
[0072]
其中，第一观测端点坐标和第二观测端点坐标是基于观测获得的入库线的两个端点的坐标。由于当前车位观测信息包括了当前目标帧集中各帧分别观测获得的车位相关信息，比如车位类型、车位角点位置、车位长边线方向、车位占用情况、车位角点类型(是否为截断点)等信息中的一种或多种。入库线的第一观测端点和第二观测端点表示车位的两个角点，因此，第一观测端点坐标和第二观测端点坐标可以从当前车位观测信息的车位角点位置获得。
[0073]
步骤2043，基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标、第二观测端点坐标，以及预设目标函数，对各第一状态量进行优化，获得各第二状态量。
[0074]
其中，预设目标函数可以根据实际优化需求设置，比如，预设目标函数可以包括入库线端点重投影残差函数和相邻车位约束残差函数。其中，入库线端点重投影残差函数用于确定当前目标帧集的各车位的第一端点坐标和第二端点坐标与对应的第一观测端点坐标和第二观测端点坐标的残差，相邻车位约束残差函数用于确定状态量的相邻车位约束残差。综合端点重投影残差和相邻车位约束残差确定目标函数值，优化目的是在状态量满足一定约束条件下，使目标函数值最小。具体优化原理不再赘述。
[0075]
本公开通过各车位的第一状态量反推出入库线端点坐标，与观测的入库线端点坐标进行对比，基于预设目标函数对第一状态量进行优化，实现车位重建，从而实现基于相机图像的车位重建，无需采用激光雷达，有效降低车位重建成本，解决现有技术车位重建成本较高等问题。
[0076]
图4是本公开一示例性实施例提供的步骤204的流程示意图。
[0077]
在一个可选示例中，第一状态量包括其对应的车位的入库线在世界坐标系下的中心点坐标、入库线的航向角及入库线的长度；步骤2041的基于各第一状态量及当前目标帧集中各帧分别对应的车辆位姿，确定当前目标帧集的各车位在车辆坐标系下分别对应的入库线的第一端点坐标和第二端点坐标，包括：
[0078]
步骤20411，基于各第一状态量中的入库线的长度、入库线的航向角和入库线的中心点坐标，确定当前目标帧集的各车位在世界坐标系下分别对应的入库线的第三端点坐标和第四端点坐标。
[0079]
其中，车位可以是垂直车位、横向车位和斜向车位。垂直车位的入库线的长度是垂直车位短边的长度，横向车位的入库线的长度是横向车位长边的长度。第一状态量是世界坐标系下的车位信息，因此，基于第一状态量中的入库线的长度、入库线的航向角和入库线的中心点坐标可以反推确定出车位入库线的两端点坐标。
[0080]
示例性的，图5是本公开一示例性实施例提供的入库线的第三端点坐标和第四端点坐标的确定原理示意图。第一状态量表示为[x1,y1,yaw1,width1]，入库线中心点坐标为(x1,y1)，入库线的航向角为yaw1，入库线的长度为width1，入库线的第三端点坐标(x3,y3)对应第三端点p3，第四端点坐标(x4,y4)对应第四端点p4，可以确定第三端点坐标和第四端点坐标如下：
[0081][0082][0083][0084][0085]
步骤20412，基于各车位分别对应的第三端点坐标、第四端点坐标，及当前目标帧集中各帧分别对应的车辆位姿，确定各车位在其对应帧的车辆坐标系下分别对应的第一端点坐标和第二端点坐标。
[0086]
具体的，基于各帧分别对应的车辆位姿将各车位分别对应的第三端点坐标和第四端点坐标转换到车辆坐标系下，获得各车位在其对应帧的车辆坐标系下的第一端点坐标和第二端点坐标。具体转换原理不再赘述。
[0087]
在一个可选示例中，步骤2043的基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标、第二观测端点坐标，以及预设目标函数，对各第一状态量进行优化，获得各第二状态量，包括：
[0088]
步骤20431，基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标、第二观测端点坐标，以及预设目标函数，确定目标函数值。
[0089]
其中，预设目标函数可以包括入库线端点重投影残差函数和相邻车位约束残差函数。入库线端点重投影残差函数用于确定当前目标帧集的各车位的第一端点坐标和第二端点坐标与对应的第一观测端点坐标和第二观测端点坐标的残差，相邻车位约束残差函数用于确定状态量的相邻车位约束残差。综合端点重投影残差和相邻车位约束残差确定目标函数值，优化目的是在状态量满足一定约束条件下，使目标函数值最小。具体优化原理不再赘述。
[0090]
步骤20432，基于目标函数值，采用最小二乘算法，对各第一状态量进行更新，获得各第一状态量分别对应的第三状态量。
[0091]
其中，目标函数值表征了优化结果的代价值，基于目标函数值，采用最小二乘算法进行梯度下降，获得优化后的结果。具体原理不再赘述。
[0092]
步骤20433，响应于各第三状态量不满足预设条件，将各第三状态量作为各第一状态量，再次进行优化，以此类推，直至各第三状态量满足预设条件，将各第三状态量作为各第二状态量。
[0093]
其中，预设条件可以根据实际需求设置，比如预设条件为目标函数值最小，还可以是在满足一定约束下使得目标函数值最小，具体不做限定。
[0094]
在实际应用中，可以通过优化器实现状态量的优化，通过优化器求解优化问题可以包括：构建代价函数，也即寻优的目标函数，通过代价函数构建待求解的优化问题，配置求解器参数并求解问题，也即设置如何求解，求解过程是否输出等。具体可以借助一定的优化工具实现优化问题的求解，在此不再赘述。
[0095]
图6是本公开另一示例性实施例提供的步骤204的流程示意图。
[0096]
在一个可选示例中，步骤2042的基于当前车位观测信息，确定当前目标帧集中观测的各车位分别对应的入库线的第一观测端点坐标和第二观测端点坐标，包括：
[0097]
步骤20421，基于当前车位观测信息，确定当前目标帧集中观测的各车位分别对应的入库线的观测中心点坐标、第一观测端点坐标和第二观测端点坐标。
[0098]
其中，入库线的观测中心点坐标可以基于第一观测端点坐标和第二观测端点坐标获得，具体不再赘述。
[0099]
步骤20431的基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标、第二观测端点坐标，以及预设目标函数，确定目标函数值，包括：
[0100]
步骤204311，基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标和第二观测端点坐标，确定预设目标函数中的端点重投影残差函数值。
[0101]
其中，端点重投影残差函数值通过各车位的入库线的观测端点坐标(包括第一观测端点坐标和第二观测端点坐标)与基于第一状态量反推的端点坐标(包括第一端点坐标和第二端点坐标)的对比获得。
[0102]
步骤204312，基于当前目标帧集的各车位分别对应的观测中心点坐标、及各车位分别对应的第一状态量中入库线的长度，确定预设目标函数中的相邻车位约束残差函数值。
[0103]
示例性的，预设目标函数为：
[0104][0105]
其中，e表示当前目标帧集中包括的帧数，f表示第i帧中的车位数量，e
ij
表示第i帧中的第j个车位的端点重投影残差，m和n表示相邻车位集合中的两个相邻车位，e
mn
表示相邻车位m和n的相邻车位约束残差。
[0106]
其中，e
ij
表示如下：
[0107]eij
＝z
ij-h(ti,pj)
[0108]
其中，z
ij
表示在车辆位姿ti处观测车位pj获得的入库线端点坐标，即上述的第一观测端点坐标和第二端点观测坐标，h(ti,pj)表示通过第一状态量反推获得的入库线端点坐标，即上述的第一端点坐标和第二端点坐标。
[0109]emn
表示如下：
[0110]emn
＝z
mn-f(pm,pn)
[0111]
其中，z
mn
表示相邻车位pm和pn的入库线的观测中心点之间的距离，f(pm,pn)表示基于第一状态量反推获得的车位pm和pn的入库线的中心点之间的距离。
[0112][0113]
其中，widthm和widthn分别表示车位pm和pn的第一状态量中的入库线长度。
[0114]
步骤204313，基于端点重投影残差函数值和相邻车位约束残差函数值，确定目标函数值。
[0115]
基于端点重投影残差函数值和相邻车位约束残差函数值即可确定目标函数值。
[0116]
在实际应用中，在确定各车位的第一状态量时，还可以基于相邻车位约束，将相邻车位的入库线的航向角设置为相同的航向角，比如上述相邻车位pm和pn，其第一状态量中入库线的航向角yawm＝yawn，以保证重建车位结果中相邻车位的入库线方向一致，更加符合实际车位情况。
[0117]
图7是本公开再一示例性实施例提供的车位重建方法的流程示意图。
[0118]
在一个可选示例中，在步骤202的基于当前车位观测信息，确定当前车位跟踪结果之后，还包括：
[0119]
步骤202a，基于当前车位观测信息、当前车位跟踪结果及预设分组规则，确定当前目标帧集中的相邻车位分组。
[0120]
其中，预设分组规则可以根据实际需求设置，比如两个车位框的入库角点之间的距离小于预设阈值，两车位框有相互平行的边，等等，基于预设分组规则，采用聚类算法进行分组获得当前目标帧集中的相邻车位分组。
[0121]
步骤204的基于当前车位观测信息、当前车位跟踪结果及预设优化规则，对各第一状态量进行优化，获得当前目标帧集的各车位分别对应的优化后的第二状态量，包括：
[0122]
步骤2041a，基于当前车位观测信息、当前车位跟踪结果、相邻车位分组、预设相邻车位约束规则及预设优化规则，对各第一状态量进行优化，获得当前目标帧集的各车位分别对应的第二状态量。
[0123]
其中，预设相邻车位约束规则可以包括距离约束和角度约束，距离约束是指优化过程中观测的两车位的入库线中心点之间的距离是状态量中的两车位的入库线长度和的一半。角度约束是指相邻车位的平行性，即相邻车位的入库线应该是平行的，因此在状态量中相邻车位的入库线采用同一航向角进行优化。
[0124]
本公开通过设置相邻车位约束规则，使得重建的车位更加符合实际相邻车位情况，有效提高车位重建结果的准确性。
[0125]
在一个可选示例中，步骤205的基于当前目标帧集的各车位分别对应的第二状态量，确定各车位分别对应的世界坐标系下的目标位置信息，包括：
[0126]
步骤2051，基于当前目标帧集及下一帧，确定下一目标帧集。
[0127]
其中，下一目标帧集通过将当前目标帧集中最早的历史帧去除，将新的一帧(即当前帧的下一帧)加入获得。具体可以基于滑动窗口或其他类似方式实现，具体原理不再赘述。
[0128]
步骤2052，将下一目标帧集作为当前目标帧集，响应于当前目标帧集对应的车位跟踪结果中目标车位的观测次数为0，基于目标车位对应的第二状态量，确定目标车位在世界坐标系下的轮廓点坐标，作为目标车位的目标位置信息。
[0129]
具体的，当有下一帧产生，则时间产生推移，下一帧成为当前帧，原来的当前帧成为历史帧，以此类推，具体不再赘述。以滑动窗口为例，当前目标帧集表示当前窗口，当前车位跟踪结果记录了当前窗口中的车位跟踪信息，以及刚滑出窗口的车位跟踪信息，车位跟踪信息包括车位标识和车位观测次数，观测次数变为0表示该车位滑出窗口了，也即表示该车位的优化结束，可以基于优化结果确定出该车位的目标位置信息。
[0130]
在一个可选示例中，当一个车位1滑出窗口，其状态量不再变化，还在窗口中的车
位2若是滑出窗口的车位1的相邻车位，则该车位2需要保持与滑出窗口的车位1的相邻车位约束。比如车位2的状态量的入库线航向角在优化过程中不再变化，保持与车位1最终优化后的航向角相同，等等。
[0131]
步骤2053，对于当前目标帧集对应的车位跟踪结果中观测次数大于0的车位，将该车位对应的第二状态量作为第一状态量，继续进行优化，直至该车位的观测次数为0，获得该车位的目标位置信息。
[0132]
其中，对于当前目标帧集中观测次数大于9的车位，表示其还未完成优化，还需要继续优化，将其在前一优化流程优化后的第二状态量作为当前优化流程的初始状态量，也即第一状态量，继续按照前述优化流程进行优化，直至该车位的观测次数为0，可以基于最终优化获得的第二状态量确定该车位的目标位置信息。
[0133]
在一个可选示例中，当前车位跟踪结果包括跟踪的各车位的观测次数；在步骤202的在基于当前车位观测信息，确定当前车位跟踪结果之后，还包括：
[0134]
步骤206，对于当前车位跟踪结果中观测次数为0的目标车位，基于前一目标帧集获得的目标车位的第二状态量，确定目标车位在世界坐标系下的轮廓点坐标，作为目标车位的目标位置信息。
[0135]
其中，在当前优化流程观测次数为0的车位，表示其在进入当前优化流程时滑出了窗口，完成了优化，因此将其前一目标帧集获得的第二状态量作为其最终优化的状态量，基于此确定该车位在世界坐标系下的轮廓点坐标，将轮廓点坐标作为该车位的目标位置信息。轮廓点坐标可以包括车位的四个角点坐标。优化后的第二状态量中包括了入库线的两个端点坐标，也即包括了车位的两个角点坐标，基于该两个角点坐标及车位其他相关信息(比如观测获得的车位类型、车位长边方向、车位通用长度、宽度等等)，可以确定出其他两个角点坐标，从而获得车位的轮廓点坐标作为目标位置信息。
[0136]
在一个可选示例中，步骤201的确定当前目标帧集对应的车辆坐标系下的当前车位观测信息，包括：
[0137]
步骤2011，确定当前目标帧集中的当前帧对应的车辆坐标系下的鸟瞰图像。
[0138]
其中，当前帧对应的车辆坐标系下的鸟瞰图像可以基于摄像头拍摄的当前帧图像经ipm(inverse perspective mapping，逆透视变换)变换获得，具体原理不再赘述。
[0139]
步骤2012，基于鸟瞰图像，确定当前帧对应的车辆坐标系下的当前帧车位观测信息。
[0140]
其中，当前帧车位观测信息可以是基于预设感知算法或模型对鸟瞰图像进行感知，获得其中包含的车位信息，从而获得当前帧车位观测信息，具体原理不再赘述。
[0141]
步骤2013，基于当前帧车位观测信息及预先获得的预设数量的历史帧车位观测信息，确定当前车位观测信息。
[0142]
具体的，由于每一新的帧产生都会进行车位观测，观测后可以存储对应的车位观测信息，因此在当前目标帧集下，只需要对当前帧进行观测获得当前帧车位观测信息，再从存储区域获取到历史帧车位观测信息即可获得当前目标帧集对应的当前车位观测信息。
[0143]
同理，在基于当前车位观测信息确定当前车位跟踪结果时，也可以结合历史的车位跟踪结果一起确定当前车位跟踪结果，具体原理不再赘述。
[0144]
在一个可选示例中，步骤202的基于当前车位观测信息，确定当前车位跟踪结果，
包括：
[0145]
步骤2021，基于当前车位观测信息，确定当前帧的各车位分别与当前帧的前一帧的各车位的交并比。
[0146]
其中，交并比(intersection over union，简称：iou)是指两个帧的各车位的交集和并集之比，由于车辆两帧之间的时间很短，同一车位在相邻两帧中的变化不会太大，基于交并比可以确定出两帧中车位的对应关系，从而实现车位的跟踪。
[0147]
步骤2022，基于当前帧的各车位分别与当前帧的前一帧的各车位的交并比，确定当前车位跟踪结果。
[0148]
具体的，基于各车位的交并比可以确定出当前帧中的车位与前一帧中车位的对应关系，前一帧中车位是已经跟踪过的，具有了相应的车位id，基于当前帧与前一帧车位的对应关系，可以确定当前帧中各车位的的车位id，对于当前帧中新观测到的车位，可以根据车位id设置规则为其设置车位id，以在后续帧中进行跟踪，具体车位跟踪原理不再赘述。
[0149]
在一个可选示例中，步骤203的基于当前车位跟踪结果，确定当前目标帧集的各车位分别对应的第一状态量，包括：对于在前一目标帧集对应的车位跟踪结果中已存在的车位，将该车位基于前一目标帧集确定的第二状态量作为当前目标帧集的该车位的第一状态量；对于在当前车位跟踪结果中新增的车位，基于当前车位观测信息中该车位对应的车位观测信息，确定该车位的第一状态量。
[0150]
其中，车位观测信息是车辆坐标系下的车位信息，可以确定出车辆坐标系下的入库线中心点、入库线方向、入库线长度，通过车辆坐标系到世界坐标系的转换，获得世界坐标系下的第一状态量。具体不再赘述。
[0151]
本公开基于ipm图(鸟瞰图像)进行车位的重建，仅对ipm图中的车位轮廓的各个顶点做三维重建，无需先通过激光雷达重建地面上的点云再在点云的基础上提取车位的参数信息，有效降低车位重建成本，并且本公开通过最小化车位各顶点重投影误差及构造车位的相邻约束，可以获得更加符合物理意义的车位轮廓点坐标。其中，ipm图可以使用量产的鱼眼相机获得，进一步降低车位重建成本。
[0152]
本公开实施例提供的任一种车位重建方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种车位重建方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种车位重建方法。下文不再赘述。
[0153]
示例性装置
[0154]
图8是本公开一示例性实施例提供的车位重建装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图8所示的装置包括：第一确定模块501、第一处理模块502、第二确定模块503、第二处理模块504和第三处理模块505。
[0155]
第一确定模块501，用于确定当前目标帧集对应的车辆坐标系下的当前车位观测信息，当前目标帧集包括当前帧和预设数量的历史帧；第一处理模块502，用于基于第一确定模块501确定的当前车位观测信息，确定当前车位跟踪结果；第二确定模块503，用于基于第一处理模块502确定的当前车位跟踪结果，确定当前目标帧集的各车位分别对应的第一状态量，第一状态量包括其对应的车位在世界坐标系下的车位信息；第二处理模块504，用于基于当前车位观测信息、当前车位跟踪结果及预设优化规则，对各第一状态量进行优化，
获得当前目标帧集的各车位分别对应的优化后的第二状态量；第三处理模块505，用于基于第二处理模块504获得的当前目标帧集的各车位分别对应的第二状态量，确定各车位分别对应的世界坐标系下的目标位置信息。
[0156]
在一个可选示例中，图9是本公开一示例性实施例提供的第二处理模块504的结构示意图。在本示例中，第二处理模块504包括：第一处理单元5041、第二处理单元5042和第三处理单元5043。
[0157]
第一处理单元5041，用于基于各第一状态量及当前目标帧集中各帧分别对应的车辆位姿，确定当前目标帧集的各车位在车辆坐标系下分别对应的入库线的第一端点坐标和第二端点坐标；第二处理单元5042，用于基于当前车位观测信息，确定当前目标帧集中观测的各车位分别对应的入库线的第一观测端点坐标和第二观测端点坐标；第三处理单元5043，用于基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标、第二观测端点坐标，以及预设目标函数，对各第一状态量进行优化，获得各第二状态量。
[0158]
在一个可选示例中，图10是本公开一示例性实施例提供的第一处理单元5041的结构示意图。在本示例中，第一状态量包括其对应的车位的入库线在世界坐标系下的中心点坐标、入库线的航向角及入库线的长度；第一处理单元5041包括：第一处理子单元50411和第二处理子单元50412。
[0159]
第一处理子单元50411，用于基于各第一状态量中的入库线的长度、入库线的航向角和入库线的中心点坐标，确定当前目标帧集的各车位在世界坐标系下分别对应的入库线的第三端点坐标和第四端点坐标；第二处理子单元50412，用于基于各车位分别对应的第三端点坐标、第四端点坐标，及当前目标帧集中各帧分别对应的车辆位姿，确定各车位在其对应帧的车辆坐标系下分别对应的第一端点坐标和第二端点坐标。
[0160]
在一个可选示例中，图11是本公开一示例性实施例提供的第三处理单元5043的结构示意图。在本示例中，第三处理单元5043包括：第三处理子单元50431、第四处理子单元50432和第五处理子单元50433。
[0161]
第三处理子单元50431，用于基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标、第二观测端点坐标，以及预设目标函数，确定目标函数值；第四处理子单元50432，用于基于目标函数值，采用最小二乘算法，对各第一状态量进行更新，获得各第一状态量分别对应的第三状态量；第五处理子单元50433，响应于各第三状态量不满足预设条件，将各第三状态量作为各第一状态量，再次进行优化，以此类推，直至各第三状态量满足预设条件，将各第三状态量作为各第二状态量。
[0162]
在一个可选示例中，第二处理单元5042，还用于基于当前车位观测信息，确定当前目标帧集中观测的各车位分别对应的入库线的观测中心点坐标、第一观测端点坐标和第二观测端点坐标；第三处理子单元50431，具体用于：基于当前目标帧集的各车位分别对应的第一端点坐标、第二端点坐标、第一观测端点坐标和第二观测端点坐标，确定预设目标函数中的端点重投影残差函数值；基于当前目标帧集的各车位分别对应的观测中心点坐标、及各车位分别对应的第一状态量中入库线的长度，确定预设目标函数中的相邻车位约束残差函数值；基于端点重投影残差函数值和相邻车位约束残差函数值，确定目标函数值。
[0163]
图12是本公开另一示例性实施例提供的车位重建装置的结构示意图。
[0164]
在一个可选示例中，本公开的装置还包括：第四处理模块506，用于基于当前车位观测信息、当前车位跟踪结果及预设分组规则，确定当前目标帧集中的相邻车位分组；相应的，第二处理模块504，包括：第四处理单元5041a，用于基于当前车位观测信息、当前车位跟踪结果、相邻车位分组、预设相邻车位约束规则及预设优化规则，对各第一状态量进行优化，获得当前目标帧集的各车位分别对应的第二状态量。
[0165]
图13是本公开一示例性实施例提供的第三处理模块505的结构示意图。
[0166]
在一个可选示例中，第三处理模块505，包括：第一确定单元5051、第二确定单元5052和第三确定单元5053。
[0167]
第一确定单元5051，用于基于当前目标帧集及下一帧，确定下一目标帧集；第二确定单元5052，用于将下一目标帧集作为当前目标帧集，响应于当前目标帧集对应的车位跟踪结果中目标车位的观测次数为0，基于目标车位对应的第二状态量，确定目标车位在世界坐标系下的轮廓点坐标，作为目标车位的目标位置信息；第三确定单元5053，用于对于当前目标帧集对应的车位跟踪结果中观测次数大于0的车位，将该车位对应的第二状态量作为第一状态量，继续进行优化，直至该车位的观测次数为0，获得该车位的目标位置信息。
[0168]
图14是本公开再一示例性实施例提供的车位重建装置的结构示意图。
[0169]
在一个可选示例中，当前车位跟踪结果包括跟踪的各车位的观测次数；本公开的装置，还包括：第五处理模块507，用于对于当前车位跟踪结果中观测次数为0的目标车位，基于前一目标帧集获得的目标车位的第二状态量，确定目标车位在世界坐标系下的轮廓点坐标，作为目标车位的目标位置信息。
[0170]
在一个可选示例中，图15是本公开一示例性实施例提供的第一确定模块501的结构示意图。在本示例中，第一确定模块501，包括：第四确定单元5011、第五确定单元5012和第六确定单元5013。
[0171]
第四确定单元5011，用于确定当前目标帧集中的当前帧对应的车辆坐标系下的鸟瞰图像；第五确定单元5012，用于基于鸟瞰图像，确定当前帧对应的车辆坐标系下的当前帧车位观测信息；第六确定单元5013，用于基于当前帧车位观测信息及预先获得的预设数量的历史帧车位观测信息，确定当前车位观测信息。
[0172]
在一个可选示例中，图16是本公开一示例性实施例提供的第一处理模块502的结构示意图。在本示例中，第一处理模块502，包括：第七确定单元5021和第八确定单元5022。
[0173]
第七确定单元5021，用于基于当前车位观测信息，确定当前帧的各车位分别与当前帧的前一帧的各车位的交并比；第八确定单元5022，用于基于当前帧的各车位分别与当前帧的前一帧的各车位的交并比，确定当前车位跟踪结果。
[0174]
在一个可选示例中，图17是本公开一示例性实施例提供的第二确定模块503的结构示意图。在本示例中，第二确定模块503，包括：第五处理单元5031和第六处理单元5032。
[0175]
第五处理单元5031，用于对于在前一目标帧集对应的车位跟踪结果中已存在的车位，将该车位基于前一目标帧集确定的第二状态量作为当前目标帧集的该车位的第一状态量；第六处理单元5032，用于对于在当前车位跟踪结果中新增的车位，基于当前车位观测信息中该车位对应的车位观测信息，确定该车位的第一状态量。
[0176]
本公开的装置的各实施例或可选示例可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施。
[0177]
示例性电子设备
[0178]
本公开实施例还提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本公开上述任一实施例所述的车位重建方法。
[0179]
图18是本公开电子设备一个应用实施例的结构示意图。本实施例中，该电子设备10包括一个或多个处理器11和存储器12。
[0180]
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0181]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本公开的各个实施例的方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
[0182]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0183]
例如，该输入装置13可以是上述的麦克风或麦克风阵列，用于捕捉声源的输入信号。
[0184]
此外，该输入装置13还可以包括例如键盘、鼠标等等。
[0185]
该输出装置14可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0186]
当然，为了简化，图18中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0187]
示例性计算机程序产品和计算机可读存储介质
[0188]
除了上述方法和设备以外，本公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
[0189]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0190]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本公开各种实施例的方法中的步骤。
[0191]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0192]
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0193]
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0194]
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0195]
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
[0196]
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
[0197]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0198]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。