车辆跟踪方法、装置及电子设备与流程

1.本公开涉及人工智能技术领域中的计算机视觉和智能交通技术领域，尤其涉及一种车辆跟踪方法、装置及电子设备。


背景技术：

2.在如今的交通和车辆管理中对违规车辆进行检测、抓拍和上报，能够很大程度规范行车、保障车辆安全。其中包括车牌和停车状态在内的车辆信息通常作为违规行为判定的依据，如何准确、高效地获取车辆信息显得尤为重要。


技术实现要素：

3.提供了一种车辆跟踪方法、装置及电子设备。
4.根据第一方面，提供了一种车辆跟踪方法，包括：获取第一设备的设备标识；根据所述设备标识，确定所述第一设备所在的设备集群，所述设备集群中还包括所述第一设备所关联的第二设备；根据所述设备集群中各设备的车辆跟踪信息和所述第一设备当前采集的道路图像，更新所述第一设备对应的第一车辆跟踪信息。
5.根据第二方面，提供了一种车辆跟踪装置，包括：获取模块，用于获取第一设备的设备标识；确定模块，用于根据所述设备标识，确定所述第一设备所在的设备集群，所述设备集群中还包括所述第一设备所关联的第二设备；更新模块，用于根据所述设备集群中各设备的车辆跟踪信息和所述第一设备当前采集的道路图像，更新所述第一设备对应的第一车辆跟踪信息。
6.根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的车辆跟踪方法。
7.根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开第一方面所述的车辆跟踪方法。
8.根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述车辆跟踪方法的步骤。
9.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
10.附图用于更好地理解本方案，不构成对本公开的限定。其中：
11.图1是根据本公开第一实施例的车辆跟踪方法的流程示意图；
12.图2是根据本公开第二实施例的车辆跟踪方法的流程示意图；
13.图3是根据本公开第三实施例的车辆跟踪方法的流程示意图；
14.图4是根据本公开第四实施例的语音处理方法的流程示意图；
15.图5是一种第一设备当前采集的道路图像；
16.图6是一种第二设备的历史道路图像；
17.图7是根据本公开第五实施例的车辆跟踪方法的流程示意图；
18.图8是根据本公开第六实施例的车辆跟踪方法的流程示意图；
19.图9是对道路图像进行3d重建时生成候选车辆的3dbox框的示意图；
20.图10是根据图9所示的道路图像生成的对应的俯视图；
21.图11是根据本公开实施例的车辆跟踪方法的示例性整体流程图；
22.图12是根据本公开第一实施例的语音处理装置的框图；
23.图13是根据本公开第二实施例的语音处理装置的框图；
24.图14是用来实现本公开实施例的方法的电子设备的框图。
具体实施方式
25.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
26.人工智能(artificialintelligence，简称ai)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。目前，ai技术具有自动化程度高、精确度高、成本低的优点，得到了广泛的应用。
27.计算机视觉(computer vision)，又称为机器视觉(machine vision)，是使用计算机及相关设备对生物视觉的一种模拟，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
28.智能交通(intelligent traffic system，简称its)又称智能运输系统(intelligent transportation system)，是将先进的科学技术(信息技术、计算机技术、数据通信技术、传感器技术、电子控制技术、自动控制理论、运筹学、人工智能等)有效地综合运用于交通运输、服务控制和车辆制造，加强车辆、道路、使用者三者之间的联系，从而形成一种保障安全、提高效率、改善环境、节约能源的综合运输系统。
29.下面结合附图描述本公开实施例的车辆跟踪方法、装置及电子设备。
30.图1是根据本公开第一实施例的车辆跟踪方法的流程示意图。
31.如图1所示，本公开实施例的车辆跟踪方法具体可包括以下步骤：
32.s101，获取第一设备的设备标识。
33.具体的，本公开实施例的车辆跟踪方法的执行主体可为本公开实施例提供的车辆跟踪装置，该车辆跟踪装置可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。
34.本公开实施例可基于道路中架设的图像采集设备，对道路中行驶或停放的车辆进行车辆跟踪，并更新、存储车辆跟踪信息以便根据需要从中活获取车辆信息。
35.其中，道路中架设的任一图像采集设备可作为本公开实施例的第一设备，在对该第一设备监控区域中的车辆进行跟踪时，获取该第一设备的设备标识。
36.s102，根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备。
37.在本公开实施例中，根据第一设备的设备标识确定第一设备所在的设备集群，在该设备集群中包括第一设备和第一设备所关联的第二设备。
38.在一些实施例中，可以以道路中架设的相机设备作为上述图像采集设备，将一条道路或一个划定区域内的多个相机设备作为一个设备集群，预先构建各相机设备间的位置关系图，可以将与当前相机设备相邻的相机设备确定为该相机设备的关联设备，可以通过一台中间服务器管理设备集群，并存储各相机设备的位置关系和每台相机设备的车辆跟踪信息，以便根据需要调取某一台相机设备的车辆跟踪信息。
39.s103，根据设备集群中各设备的车辆跟踪信息和第一设备当前采集的道路图像，更新第一设备对应的第一车辆跟踪信息。
40.在本公开实施例中，设备集群中的各设备实时采集各自监控区域内的道路图像，可以在每采集到一帧道路图像后对设备下的车辆跟踪信息进行更新，例如每个设备下对应一个跟踪列表，跟踪列表中包括该设备跟踪的每个车辆的车辆跟踪信息。对于第一设备而言，在采集到当前道路图像后，根据设备集群中各设备的车辆跟踪信息和道路图像更新第一设备对应的车辆跟踪信息(即上述第一车辆跟踪信息)的内容。
41.综上，本公开实施例的车辆跟踪方法，获取第一设备的设备标识；根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备；根据设备集群中各设备的车辆跟踪信息和第一设备当前采集的道路图像，更新第一设备对应的第一车辆跟踪信息。结合设备集群和采集的道路图像更新车辆的跟踪信息，充分利用集群中的关联设备来共享跟踪信息，拓宽车辆跟踪信息的获取路径，以保障车辆跟踪信息的准确度，可以从不断更新的车辆跟踪信息中获取需要的车辆信息，增强车辆信息的准确性和车辆信息获取的效率。
42.图2是根据本公开第二实施例的车辆跟踪方法的流程示意图。
43.如图2所示，在图1所示实施例的基础上，本公开实施例的车辆跟踪方法具体可包括以下步骤：
44.s201，获取第一设备的设备标识。
45.s202，根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备。
46.s203，对道路图像进行识别，响应于道路图像中存在候选车辆。
47.在本公开实施例中，对第一设备当前采集到的道路图像进行目标识别，以识别道路图像中存在的车辆，响应于道路图像中存在车辆，将存在的车辆作为候选车辆，根据本公开实施例的车辆跟踪方法对候选车辆进行跟踪。
48.s204，识别候选车辆对应的跟踪类型。
49.实际中，道路图像中存在的候选车辆可能为新出现在第一设备监控区域内的车辆，也可能为已经在第一设备监控区域内出现过的车辆，即第一设备已经跟踪过的车辆。
50.在本公开实施例中，候选车辆的跟踪类型可以分为第一设备未跟踪过的新增跟踪
车辆，和第一设备已跟踪过的历史跟踪车辆。
51.s205，根据跟踪类型，从设备集群中各设备的车辆跟踪信息和道路图像中，确定用于更新第一车辆跟踪信息的更新参考对象。
52.在本公开实施例中，若候选车辆为第一设备未跟踪过的新增跟踪车辆，将设备集群中第二设备的第二车辆跟踪信息和道路图像，确定为更新参考对象，基于该更新参考对象更新第一车辆跟踪信息中候选车辆对应的新增跟踪车辆的跟踪信息；
53.若候选车辆为第一设备已跟踪过的历史跟踪车辆，则将道路图像确定为更新参考对象，基于该更新参考对象更新第一车辆跟踪信息中候选车辆对应的历史跟踪车辆的跟踪信息。
54.s206，根据更新参考对象，更新第一车辆跟踪信息中候选车辆的跟踪信息。
55.在本公开实施例中，基于第二设备的第二车辆跟踪信息和道路图像，更新第一车辆跟踪信息中候选车辆对应的新增跟踪车辆的跟踪信息。
56.基于道路图像，更新第一车辆跟踪信息中候选车辆对应的历史跟踪车辆的跟踪信息。
57.具体的，步骤s201-s202与上述步骤s101-s102相同，此处不再赘述。
58.在上述实施例的基础上，如图3所示，上述步骤s204中“识别候选车辆对应的跟踪类型”，可包括以下步骤：
59.s301，获取候选车辆的候选特征向量。
60.在本公开实施例中，对道路图像进行目标检测，识别出候选车辆，对道路图像中的候选车辆进行特征提取，以获取候选车辆的候选特征向量。
61.s302，对候选特征向量和历史跟踪车辆的特征向量进行特征向量匹配。
62.在本公开实施例中，将每个候选车辆的候选特征向量依次与第一设备的历史跟踪车辆的特征向量进行特征向量匹配。
63.s303，根据特征向量的匹配结果，确定候选车辆的跟踪类型。
64.在本公开实施例中，若匹配成功，即存在与候选车辆匹配的历史跟踪车辆，则将该候选车辆的跟踪类型确定为第一设备已跟踪过的历史跟踪车辆；若匹配未成功，即不存在与候选车辆匹配的历史跟踪车辆，则将该候选车辆的跟踪类型确定为第一设备未跟踪过的新增跟踪车辆。
65.此外，在一些实施例中，特征向量可以作为一种跟踪信息存放在各设备的车辆跟踪信息中，因此，上述获取到的候选车辆的候选特征向量也可以作为一种跟踪信息存放在第一车辆跟踪信息中候选车辆的跟踪信息内。
66.在上述实施例的基础上，如图4所示，候选车辆的跟踪类型为第一设备未跟踪过的新增跟踪车辆，则上述步骤s206中“根据更新参考对象，更新第一车辆跟踪信息中候选车辆的跟踪信息”，可包括以下步骤：
67.s401，对道路图像进行候选车辆的车牌识别。
68.在本公开实施例中，基于道路图像，对道路图像中候选车辆的车牌进行识别。
69.s402，响应于道路图像中识别出候选车辆的车牌，将识别出的车牌确定为候选车辆的车牌信息。
70.在本公开实施例中，响应于从道路图像中识别出候选车辆的车牌，将识别出的车
牌确定为候选车辆在第一车辆跟踪信息中的一种跟踪信息——车牌信息。
71.s403，响应于道路图像中未识别出候选车辆的车牌，基于候选车辆的候选特征向量，从第二设备的历史跟踪车辆中确定候选车辆对应的参考车辆。
72.在本公开实施例中，例如由于角度、拍摄环境等原因，从道路图像中未识别到候选车辆的车牌，则可以依赖于跨设备跟踪来传递捕获的车辆细节，从而最大程度规避掉环境因素的影响。
73.在本公开实施例中，若从道路图像中未识别到候选车辆的车牌信息，则基于候选车辆的候选特征向量，从关联的第二设备的历史跟踪车辆中确定该候选车辆对应的参考车辆。
74.不难理解的，在当前的第一设备下新出现的车辆，是经过第二设备下的监控区域行驶而来的，已经在第二设备的监控区域下出现过，为第二设备的历史跟踪对象，因此根据候选特征向量对多个关联的第二设备的历史跟踪车辆进行筛选，可找到与候选车辆对应的第二设备的历史跟踪车辆，记为上述参考车辆。
75.如图5和图6所示，图5可以为第一设备采集到的道路图像，根据该道路图像难以识别图中检测框内的候选车辆的车牌，图6为某个第二设备采集的历史道路图像，根据该道路图像能够识别出图6中检测框内的车辆的车牌，因此可以通过候选特征向量从第二设备下匹配出可以与候选车辆认为是同一车辆的历史跟踪车辆，以获取当前道路图像不能识别出的车牌信息。
76.s404，将参考车辆的车牌信息，确定为候选车辆的车牌信息。
77.在本公开实施例中，将第二车辆跟踪信息中参考车辆的车牌信息，确定第一车辆跟踪信息中候选车辆的一种跟踪信息——车牌信息。
78.在上述实施例的基础上，候选车辆的跟踪信息还可以包括车牌识别图像的存储地址，在一些实施例中，响应于道路图像中识别出候选车辆的车牌，将道路图像进行存储，并将道路图像的存储地址确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址，作为候选车辆的一种跟踪信息。
79.响应于道路图像中未识别出候选车辆的车牌，将第二车辆跟踪信息中参考车辆的车牌识别图像的存储地址，确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址。
80.此外，若候选车辆不存在参考车辆，则将第一车辆跟踪信息中候选车辆的车牌信息设置为空。
81.在一些实施例中，可以将如图6所示的带有检测框的道路图像作为车牌识别图像。
82.在上述实施例的基础上，如图7所示，上述步骤s403中“基于候选车辆的候选特征向量，从第二设备的历史跟踪车辆中确定候选车辆对应的参考车辆”，可包括以下步骤：
83.s701，从第二设备的历史跟踪车辆中筛选出存在有效车牌信息且停车状态为未停稳状态的历史跟踪车辆。
84.在一些实施例中，根据第一设备当前采集的道路图像，获取候选车辆的车辆属性，车辆属性中至少包括车辆朝向，根据车辆朝向确定候选车辆的行驶方向，从设备集群中，筛选出位于候选车辆的行驶方向上的第二设备。
85.在一些实施例中，对筛选出的第二设备的第二车辆跟踪信息中的车牌信息进行识
别，筛选掉第二设备下车牌信息为空的历史跟踪车辆，对存在有效车牌信息的历史跟踪车辆进行停车状态筛选：从这些第二设备的存在有效车牌信息的历史跟踪车辆中筛选出停车状态为未停稳状态的历史跟踪车辆。
86.不难理解的，对车牌信息进行是否有效的筛选是为了满足通过第二设备的第二车辆跟踪信息获取车牌信息这一目的。此外，若某一车辆在第二设备的车辆跟踪信息中的停车状态为已停稳，那么该车辆将不会出现在当前的第一设备下，因此对未停稳状态进行筛选。以此减少特征向量匹配的工作量。
87.在一些实施例中，车辆属性和停车状态可以作为各设备的车辆跟踪信息中的一种跟踪信息，对于候选车辆而言，可以将根据道路图像获取到的车辆属性更新至第一车辆跟踪信息中候选车辆对应的跟踪信息内。
88.在一些实施例中，车辆属性还可以包括车辆颜色和车辆类型，在进行特征向量匹配之前，还可以进行车辆颜色和车辆类型的比对，进一步减少特征向量匹配的工作量。
89.s702，将候选车辆与筛选出的历史跟踪车辆，进行特征向量匹配，将匹配成功的历史跟踪车辆确定为参考车辆。
90.在本公开实施例中，将候选车辆的候选特征向量与筛选出的历史跟踪车辆的特征向量进行特征向量匹配，将匹配成功的历史跟踪车辆确定为候选车辆的参考车辆。
91.在上述实施例的基础上，候选车辆的跟踪类型为第一设备已跟踪过的历史跟踪车辆，则上述步骤s206中“根据参考对象，更新第一车辆跟踪信息中候选车辆的跟踪信息”，可包括以下过程：
92.在一些实施例中，对第一车辆跟踪信息中，候选车辆对应的历史跟踪车辆的车牌信息进行识别，若识别出第一车辆跟踪信息中候选车辆对应的历史跟踪车辆的车牌信息为空，则从道路图像中识别候选车辆的车牌，并将识别出的车牌确定为候选车辆的一种跟踪信息——车牌信息。
93.在一些实施例中，若识别出第一车辆跟踪信息中候选车辆对应的历史跟踪车辆的车牌信息为空，将道路图像确定为候选车辆的车牌识别图像，并存储车牌识别图像，将车牌识别图像的存储地址更新至第一车辆跟踪信息中，作为候选车辆的一种跟踪信息。
94.在一些实施例中，可以在根据道路图像识别出候选车辆的车牌时，更新车牌信息和车牌识别图像的存储地址，也可以在车牌信息为空时，无论是否识别出候选车辆的车牌，均根据当前采集的道路图像更新候选车辆的车牌信息和车牌识别图像的存储地址，即车牌信息设置为空、车牌识别图像的存储地址设置为空。
95.在上述实施例的基础上，运动轨迹也可以作为候选车辆的一种跟踪信息，停车状态也可以作为候选车辆的一种跟踪信息，其中已停稳状态下还包括停车行为，本公开实施例还可以包括：运行轨迹更新和停车状态确定的过程：
96.在一些实施例中，根据候选车辆在道路图像中的位置，更新候选车辆的运动轨迹。
97.本公开实施例设备集群中的各设备为经过3d标定的图像采集设备，以得到设备监控区域下，xyz三维方向的消隐点信息，例如沿车位长轴方向的消隐点x，沿车位短轴方向的消隐点z，以及垂直于地面方向的消隐点y。
98.基于3d标定后的第一设备采集的道路图像，可以确定候选车辆在道路图像中的位置，基于候选车辆在道路图像中的位置更新候选车辆的运动轨迹，该运动轨迹是根据多帧
道路图像进行车辆的位置更新得到的。
99.在一些实施例中，根据候选车辆的运动轨迹，确定候选车辆的停车状态。例如，根据更新后的运动轨迹确定候选车辆的停车状态，或者根据第一车辆跟踪信息中未更新的运动轨迹确定候选车辆的停车状态。
100.其中，响应于运动轨迹在预设时间范围内处于波动状态，将停车状态确定为未停稳状态；响应于运动轨迹在预设时间范围内处于稳定状态，将停车状态确定为已停稳状态。
101.在上述实施例的基础上，如图8所示，本公开实施例还包括对于新进入已停稳状态的候选车辆进行停车行为识别的过程，可包括以下步骤：
102.s801，响应于第一车辆跟踪信息中候选车辆的停车状态由未停稳状态更新为已停稳状态，确定候选车辆为待检测车辆。
103.在本公开实施例中，若第一车辆跟踪信息中候选车辆的停车状态由未更新前的未停稳状态，更新为了已停稳状态，则可认为该候选车辆为新停稳的车辆，将该候选车辆确定为待检测车辆。
104.s802，根据道路图像进行3d建模，以生成对应的俯视图。
105.在本公开实施例中，对道路图像中的待检测车辆进行3d建模，针对每一个待检测车辆获取如图9所示的3dbox框，基于待检测车辆的3dbox框生成道路图像对应的俯视图。需要说明的是，实际中可以只对确定的待检测车辆进行3d建模，对于图9中非机动车辆，可以不进行3d建模，以缩短响应时间。
106.s803，根据俯视图确定待检测车辆的停车行为。
107.在本公开实施例中，如图10所示俯视图中包括待检测车辆的示意框和目标区域的示意框，根据待检测车辆的示意框和目标区域的示意框，确定待检测车辆与目标区域的重叠度，根据重叠度，确定待检测车辆的停车行为。需要说明的是，图10为根据图9生成的对应的俯视图，实际中可以根据需要选择不添加非机动车辆的示意框。
108.其中，可以将停车行为作为候选车辆的一种与已停稳状态关联的跟踪信息，关联更新至第一车辆跟踪信息中。例如在停车状态下存在未停稳状态和已停稳状态，在已停稳状态下存在停车行为。
109.在上述实施例的基础上，目标区域中可以包括车位区域，车位区域中包括各车位，俯视图中可以包括各车位的示意框，上述“根据重叠度，确定待检测车辆的停车行为”，可以通过以下过程实现：
110.确定待检测车辆与车位区域内各车位的第一重叠度，获取大于第一阈值的第一重叠度的数量，响应于数量大于第二阈值，将待检测车辆的停车行为确定为跨车位停车，响应于数量小于或等于第二阈值，确定第一重叠度最高的车位与待检测车辆之间的位置关系，并根据位置关系确定待检测车辆的停车行为正常停车或违规停车。
111.例如，计算待检测车辆与各车位的第一重叠度，该第一重叠度可以理解为待检测车辆的示意框与车位的示意框的重叠区域占该待检测车辆的示意框的面积百分比，若存在两个车位与待检测车辆的第一重叠度超过40％，则确定该检测车辆的停车行为跨车位停车；若第一重叠度超过40％的数量小于或等于2，则确定第一重叠度最高的车位，利用俯视图，分析待检测车辆与该车位的位置关系：
112.基于待检测车辆的示意框和车位的示意框，计算待检测车辆长边与车位长边的夹
角，判断其是否超过20度；以及计算待检测车辆短边与车位长边是否存在相交；以及计算待检测车辆短边在车位外到车位的最远距离，判断其是否超过车辆短边宽度的15％。
113.若满足以上任意条件，则确定该待检测车辆属于不规范停车，若均不满足，则认为车辆属于正常停车。
114.在上述实施例的基础上，目标区域中还包括禁停区域，本公开实施例中上述确定待检测车辆与车位区域内各车位的第一重叠度的步骤中可以包括先对禁停区域的停车情况进行判断的过程：
115.获取待检测车辆与禁停区域的第二重叠度，判断第二重叠度是否大于第三阈值；响应于第二重叠度大于第三阈值，将待检测车辆的停车行为确定为违规停车；响应于第二重叠度小于或等于第三阈值，确定待检测车辆与车位区域中各车位的第一重叠度。
116.例如，基于待检测车辆的示意框和禁停区域的示意框，获取待检测车辆与禁停区域的第二重叠度，该第二重叠度可以理解为待检测车辆的示意框与禁停区域的示意框的重叠区域占该待检测车辆的示意框的面积百分比，若待检测车辆与禁停区域的第二重叠度大于60％，则确定该待检测车辆的停车行为为违法停车，若待检测车辆与禁停区域的第二重叠度小于或等于60％，则获取该待检测车辆与车位区域中各车位的第一重叠度，基于第一重叠度确定该待检测车辆的停车行为。
117.在上述实施例的基础上，本公开实施例的各设备对应的每个跟踪车辆可以设置一个跟踪编号和跟踪确认时间，将跟踪编号和跟踪确认时间分别作为一种跟踪信息。以第一车辆跟踪信息为例，在进行第一车辆跟踪信息的更新时，确定候选车辆的跟踪类型后，将该候选车辆对应的历史跟踪车辆的跟踪时间更新为道路图像对应的采集时间，保留该历史跟踪车辆对应的跟踪编号；对于被确定为新增跟踪车辆的候选车辆而言，需要新建跟踪编号，并将跟踪确认时间确定为道路图像对应的采集时间，在此基础上，可以在预设的一个时间间隔后对超时的跟踪车辆进行释放，例如根据第一车辆跟踪信息中每个跟踪车辆对应的跟踪确认时间和当前时间，判断两个时间的差值是否超过释放时间阈值，如超过2分钟，若超过则可认为该跟踪车辆已消失超过2分钟，则将该跟踪车辆及该跟踪车辆对应的跟踪信息清除释放，为后续跟踪比对减小压力。
118.在一些实施例中，车辆检测框和车牌识别时间也可作为一种跟踪信息，以第一车辆跟踪信息为例，在进行第一车辆跟踪信息的更新时，响应于对候选车辆继续过车牌识别，根据道路图像更新第一车辆跟踪信息中候选车辆对应的车辆检测框和车牌识别时间，例如将车辆检测框更新为根据道路图像识别出的候选车辆当前检测框，将车牌识别时间更新为道路图像对应的采集时间，在此基础上，可以通过判断第一车辆跟踪信息中车牌时间与道路图像对应的采集时间之间的差值是否超过时间阈值，或者判断候选车辆当前检测框相较于第一车辆跟踪信息中的车辆检测框是否发生移动(如移动10个像素点)对满足上述任一条件且在第一车辆跟踪信息中的车牌信息为空的候选车辆进行车牌识别，也可以理解为将是历史跟踪车辆的候选车辆筛选出来，对其中车牌信息为空的候选车辆进行车牌识别。
119.在一些实施例中，停车状态确认时间也可以作为一种跟踪信息，以第一车辆跟踪信息为例，在进行第一车辆跟踪信息的更新时，响应于对候选车辆的停车状态更新完成，将道路图像对应的采集时间确定为候选车辆的停车状态确认时间，(包括在未停稳状态确认后以及停车行为确认后对停车状态确认时间进行更新)，在此基础上，可以判读停车确认时
间与当前时间的差值是否满足上报时间阈值，若满足将需要的车辆信息上报，例如将已停稳状态的跟踪车辆的跟踪信息作为车辆信息上报。
120.综上，本公开实施例的车辆跟踪方法，获取第一设备的设备标识；根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备；根据设备集群中各设备的车辆跟踪信息和第一设备当前采集的道路图像，更新第一设备对应的第一车辆跟踪信息。结合设备集群和采集的道路图像更新车辆的跟踪信息，根据车辆对应的跟踪类型选择对应的更新参考对象，以快速地完成车辆跟踪信息的更新过程，在无法根据道路图像获取车牌信息时充分利用集群中的关联设备来共享车牌信息等，避免环境和角度等客观因素对跟踪信息采集的影响，拓宽车辆跟踪信息的获取路径，此外通过基于3d建模，量化车辆和各车位间的重叠度从而更加精确地对车辆的停车行为进行判断，可以从不断更新地车辆跟踪信息中获取需要的车辆信息，增强车辆信息的准确性和车辆信息获取的效率。
121.为详细地说明本公开实施例的车辆跟踪方法，现结合图11进行详细描述，图11是根据本公开实施例的车辆跟踪方法的示例性整体流程图。
122.s1101，获取第一设备的设备标识。
123.s1102，根据第一设备的设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备。
124.s1103，对道路图像进行识别，响应于道路图像中存在候选车辆。
125.s1104，获取候选车辆的候选特征向量。
126.s1105，对候选特征向量和第一设备的历史跟踪车辆的特征向量进行特征向量匹配。
127.s1106，响应于匹配成功，将候选车辆的跟踪类型确定为第一设备已跟踪过的历史跟踪车辆，将道路图像确定为该候选车辆的更新参考对象。
128.s1107，识别第一车辆跟踪信息中候选车辆的车牌信息为空，则从道路图像中识别候选车辆的车牌，并将识别出的车牌确定为候选车辆的车牌信息，将道路图像的存储地址确定为车牌识别图像的地址。
129.s1108，将道路图像进行存储，并将道路图像的存储地址确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址。
130.s1109，响应于匹配失败，将候选车辆的跟踪类型确定为第一设备未跟踪过的新增跟踪车辆，将设备集群中第二设备的第二车辆跟踪信息和道路图像，确定为该候选车辆的更新参考对象。
131.s1110，对道路图像进行候选车辆的车牌识别。
132.s1111，响应于道路图像中识别出候选车辆的车牌，将识别出的车牌确定为候选车辆的车牌信息。
133.s1112，响应于道路图像中未识别出候选车辆的车牌，根据道路图像，获取候选车辆的车辆属性，车辆属性中至少包括车辆朝向。
134.s1113，根据车辆朝向确定候选车辆的行驶方向。
135.s1114，从设备集群中，筛选出位于候选车辆的行驶方向上的第二设备。
136.s1115，从第二设备的历史跟踪车辆中筛选出存在有效车牌信息且停车状态为未停稳状态的历史跟踪车辆。
137.s1116，将候选车辆与筛选出的历史跟踪车辆，进行特征向量匹配，将匹配成功的历史跟踪车辆确定为参考车辆。
138.s1117，将参考车辆的车牌识别图像的存储地址，确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址。
139.s1118，根据候选车辆在道路图像中的位置，更新候选车辆的运动轨迹。
140.s1119，响应于运动轨迹在预设时间范围内处于波动状态，将停车状态确定为未停稳状态。
141.s1120，响应于运动轨迹在预设时间范围内处于稳定状态，将停车状态确定为已停稳状态。
142.s1121，响应于第一车辆跟踪信息中候选车辆的停车状态由未停稳状态更新为已停稳状态，确定候选车辆为待检测车辆。
143.s1122，根据道路图像进行3d建模，以生成对应的俯视图。
144.s1123，根据俯视图确定待检测车辆的停车行为。
145.s1124，根据待检测车辆的示意框和目标区域的示意框，确定待检测车辆与目标区域的重叠度。
146.s1125，根据重叠度，确定待检测车辆的停车行为。
147.图12是根据本公开第一实施例的车辆跟踪装置的框图。
148.如图12所示，本公开实施例的车辆跟踪装置1200，包括：获取模块1201、确定模块1202和更新模块1203。
149.获取模块1201，用于获取第一设备的设备标识；
150.确定模块1202，用于根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备；
151.更新模块1203，用于根据设备集群中各设备的车辆跟踪信息和第一设备当前采集的道路图像，更新第一设备对应的第一车辆跟踪信息。
152.需要说明的是，上述对车辆跟踪方法实施例的解释说明，也适用于本公开实施例的车辆跟踪装置，具体过程此处不再赘述。
153.综上，本公开实施例的车辆跟踪装置，获取第一设备的设备标识；根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备；根据设备集群中各设备的车辆跟踪信息和第一设备当前采集的道路图像，更新第一设备对应的第一车辆跟踪信息。结合设备集群和采集的道路图像更新车辆的跟踪信息，充分利用集群中的关联设备来共享跟踪信息，拓宽车辆跟踪信息的获取路径，可以从不断更新地车辆跟踪信息中获取需要的车辆信息，增强车辆信息的准确性和车辆信息获取的效率。
154.图13是根据本公开第二实施例装置的框图。
155.如图13所示，本公开实施例装置车辆跟踪装置1300，包括：获取模块1301、确定模块1302和更新模块1303。
156.其中，获取模块1301与上一实施例中的获取模块1201具有相同的结构和功能，确定模块1302与上一实施例中确定模块1302具有相同的结构和功能，更新模块1303与上一实施例中的更新模块1303具有相同的结构和功能。
157.进一步地，更新模块1303，包括：第一识别子模块13031，用于对道路图像进行识
别，响应于道路图像中存在候选车辆；第二识别子模块13032，用于识别候选车辆对应的跟踪类型；确定子模块13033，用于根据跟踪类型，从设备集群中各设备的车辆跟踪信息和道路图像中，确定用于更新第一车辆跟踪信息的更新参考对象；第一更新子模块13034，用于根据更新参考对象，更新第一车辆跟踪信息中候选车辆的跟踪信息。
158.进一步地，确定子模块，包括：第一确定单元，用于候选车辆的跟踪类型为第一设备未跟踪过的新增跟踪车辆，确定设备集群中第二设备的第二车辆跟踪信息和道路图像，为更新参考对象；第二确定单元，用于候选车辆的跟踪类型为第一设备已跟踪过的历史跟踪车辆，确定道路图像为更新参考对象。
159.进一步地，第二识别子模块，包括：第一获取单元，用于获取候选车辆的候选特征向量；第一匹配单元，用于对候选特征向量和历史跟踪车辆的特征向量进行特征向量匹配；第三确定单元，用于根据特征向量的匹配结果，确定候选车辆的跟踪类型。
160.进一步地，候选车辆的跟踪类型为第一设备未跟踪过的新增跟踪车辆，则第一更新子模块，包括：第一识别单元，用于对道路图像进行候选车辆的车牌识别；第四确定单元，用于响应于道路图像中识别出候选车辆的车牌，将识别出的车牌确定为候选车辆的车牌信息；第五确定单元，用于响应于道路图像中未识别出候选车辆的车牌，基于候选车辆的候选特征向量，从第二设备的历史跟踪车辆中确定候选车辆对应的参考车辆；以及第六确定单元，用于将参考车辆的车牌信息，确定为候选车辆的车牌信息；其中，候选车辆的车牌信息为候选车辆的一种跟踪信息。
161.进一步地，第一更新子模块，还包括：第一更新单元，用于响应于道路图像中识别出候选车辆的车牌，将道路图像进行存储，并将道路图像的存储地址确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址；第二更新单元，用于响应于道路图像中未识别出候选车辆的车牌，将参考车辆的车牌识别图像的存储地址，确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址；其中，候选车辆的车牌识别图像的存储地址为候选车辆的一种跟踪信息。
162.进一步地，候选车辆的跟踪类型为第一设备已跟踪过的历史跟踪车辆，第一更新子模块，包括：第七确定单元，用于识别第一车辆跟踪信息中候选车辆的车牌信息为空，则从道路图像中识别候选车辆的车牌，并将识别出的车牌确定为候选车辆的车牌信息；和/或第三更新单元，用于将道路图像进行存储，并将道路图像的存储地址确定为第一车辆跟踪信息中候选车辆的车牌识别图像的存储地址；其中，候选车辆的一种跟踪信息包括候选车辆的车牌信息和车牌识别图像的存储地址。
163.进一步地，第五确定单元，包括：筛选子单元，用于从第二设备的历史跟踪车辆中筛选出存在有效车牌信息且停车状态为未停稳状态的历史跟踪车辆；匹配子单元，用于将候选车辆与筛选出的历史跟踪车辆，进行特征向量匹配，将匹配成功的历史跟踪车辆确定为参考车辆。
164.进一步地，第五确定单元，还包括：获取子单元，用于根据道路图像，获取候选车辆的车辆属性，车辆属性中至少包括车辆朝向；第一确定子单元，用于根据车辆朝向确定候选车辆的行驶方向；第二筛选子单元，用于从设备集群中，筛选出位于候选车辆的行驶方向上的第二设备。
165.进一步地，第一更新子模块，还包括：第二获取单元，用于根据道路图像，获取候选
车辆的运动轨迹和/或停车状态；第四更新单元，用于分别将候选车辆的运动轨迹和/或停车状态作为候选车辆的一种跟踪信息，更新至第一车辆跟踪信息中。
166.进一步地，第二获取单元，包括：更新子单元，用于根据候选车辆在道路图像中的位置，更新候选车辆的运动轨迹；和/或第二确定子单元，用于根据候选车辆的运动轨迹，确定候选车辆的停车状态。
167.进一步地，第二确定子单元，进一步用于：响应于运动轨迹在预设时间范围内处于波动状态，将停车状态确定为未停稳状态；响应于运动轨迹在预设时间范围内处于稳定状态，将停车状态确定为已停稳状态。
168.进一步地，第二确定子单元，进一步用于：第八确定单元，用于响应于第一车辆跟踪信息中候选车辆的停车状态由未停稳状态更新为已停稳状态，确定候选车辆为待检测车辆；生成单元，用于根据道路图像进行3d建模，以生成对应的俯视图；第九确定单元，用于根据俯视图确定待检测车辆的停车行为。
169.进一步地，第二确定子单元，进一步用于：将停车行为作为候选车辆的一种与已停稳状态关联的跟踪信息，更新至第一车辆跟踪信息中。
170.进一步地，俯视图中包括待检测车辆的示意框和目标区域的示意框，第九确定单元，包括：第三确定子单元，根据待检测车辆的示意框和目标区域的示意框，确定待检测车辆与目标区域的重叠度；第四确定子单元，用于根据重叠度，确定待检测车辆的停车行为。
171.进一步地，目标区域中包括车位区域，第四确定子单元，进一步用于：确定待检测车辆与车位区域内各车位的第一重叠度；获取大于第一阈值的第一重叠度的数量；响应于数量大于第二阈值，将待检测车辆的停车行为确定为跨车位停车；响应于数量小于或等于第二阈值，确定第一重叠度最高的车位与待检测车辆之间的位置关系，并根据位置关系确定待检测车辆的停车行为正常停车或违规停车。
172.进一步地，目标区域中还包括禁停区域，第四确定子单元，进一步用于：获取待检测车辆与禁停区域的第二重叠度；判断第二重叠度是否大于第三阈值；响应于第二重叠度大于第三阈值，将待检测车辆的停车行为确定为违规停车；响应于第二重叠度小于或等于第三阈值，确定待检测车辆与车位区域中各车位的第一重叠度。
173.综上，本公开实施例的车辆跟踪装置，获取第一设备的设备标识；根据设备标识，确定第一设备所在的设备集群，设备集群中还包括第一设备所关联的第二设备；根据设备集群中各设备的车辆跟踪信息和第一设备当前采集的道路图像，更新第一设备对应的第一车辆跟踪信息。结合设备集群和采集的道路图像更新车辆的跟踪信息，根据车辆对应的跟踪类型选择对应的更新参考对象，以快速地完成车辆跟踪信息的更新过程，在无法根据道路图像获取车牌信息时充分利用集群中的关联设备来共享车牌信息等，避免环境和角度等客观因素对跟踪信息采集的影响，拓宽车辆跟踪信息的获取路径，此外通过基于3d建模，量化车辆和各车位间的重叠度从而更加精确地对车辆的停车行为进行判断，可以从不断更新地车辆跟踪信息中获取需要的车辆信息，增强车辆信息的准确性和车辆信息获取的效率。
174.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
175.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
176.图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
177.如图14所示，电子设备1400包括计算单元1401，其可以根据存储在只读存储器(rom)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(ram)1403中的计算机程序，来执行各种适当的动作和处理。在ram 1403中，还可存储电子设备1400操作所需的各种程序和数据。计算单元1401、rom1402以及ram1403通过总线1404彼此相连。输入/输出(i/o)接口1405也连接至总线1404。
178.电子设备1400中的多个部件连接至i/o接口1405，包括：输入单元1406，例如键盘、鼠标等；输出单元1407，例如各种类型的显示器、扬声器等；存储单元1408，例如磁盘、光盘等；以及通信单元1409，例如网卡、调制解调器、无线通信收发机等。通信单元1409允许电子设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
179.计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理，例如图1至图5所示的语音处理方法。例如，在一些实施例中，语音处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1408。在一些实施例中，计算机程序的部分或者全部可以经由rom 1402和/或通信单元1409而被载入和/或安装到电子设备1400上。当计算机程序加载到ram1403并由计算单元1401执行时，可以执行上文描述的语义解析方法的一个或多个步骤。备选地，在其他实施例中，计算单元1401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行语音处理方法。
180.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
181.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
182.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供
指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
183.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
184.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网以及区块链网络。
185.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
186.根据本公开的实施例，本公开还提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时实现根据本公开上述实施例所示的语音处理方法的步骤。
187.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
188.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。