一种路面异常区域监测方法、装置、设备及存储介质与流程

1.本技术涉及通信技术领域，尤其涉及一种路面异常区域监测方法、装置、设备及存储介质。


背景技术：

2.良好的道路状况为人们的日常出行提供了巨大的便利。然而，较差的道路状况会对人们的生活造成影响，比如，差的路况会对行驶的车辆造成一定程度上的损害；路面损坏可能导致交通阻塞，增加出行时间，甚至严重的情况下，还可能会导致车祸等。因此，需要及时对道路状况进行监测及维护。
3.常见的路况监测方法包括，根据车辆的行驶数据获得车辆的行驶轨迹，再根据车辆的行驶轨迹判断道路是否存在故障；或者利用车辆上的传感器采集车辆的加速度，根据加速度判断路面状况。现有这些路面监测方法不能对路面进行及时、有效的监测。


技术实现要素：

4.本技术实施例公开了一种路面异常区域监测方法、装置、设备及存储介质，所述方法能够实现路面的及时监测。
5.第一方面，本技术实施例提供了一种路面异常区域监测方法，包括：获取交通道路的视频数据，其中，所述视频数据记录了在所述交通道路的路面上的多个目标的运行状况；根据所述视频数据，获得所述多个目标在所述路面上的地理运行轨迹；根据所述多个目标在所述路面上的地理运行轨迹，确定所述路面上的异常区域，其中，所述异常区域为所述路面上存在影响正常交通的因素的区域。
6.可以看到，通过获取交通道路的视频数据，然后根据视频数据生成多个目标的地理运行轨迹，再根据多个目标的地理运行轨迹，确定路面上的异常区域。其中，地理运行轨迹表示的是目标在路面上实际的移动轨迹，构成地理运行轨迹的每个点(坐标点)表示目标在路面上的实际地理位置，其中每个点(坐标点)可以用二维坐标或三维坐标来表示，比如二维坐标可以是经度、纬度，三维坐标可以是经度、纬度和海拔。因此实施本实施例时，根据多个目标的地理运行轨迹确定出路面上的异常区域时，能够精准表示异常区域的实际地理位置(二维坐标或三维坐标表示)，便于相关人员及时定位异常区域，对异常区域进行及时处理；由于各个交通道路(路口或路段)的视频数据是实时持续采集/获取的，并实时持续进行处理的，所以能够实现各个路面的及时监测。
7.基于第一方面，在可能的实施方式中，所述影响正常交通的因素包括所述路面上发生坍塌、坑槽、凹陷、隆起、水毁、车祸事故、追尾事故、护栏拦截路面、排水井盖损坏和排水井盖丢失中的至少一种。
8.可以理解，影响正常交通的情况可能是路面上发生坍塌、坑槽、凹陷、隆起、水毁等，还可能是车祸、追尾、护栏倒塌在路面、排水井盖损坏或丢失等。因此路面上的异常区域可能是路面上发生坍塌、或坑槽、或凹陷、或隆起、或水毁的区域，也可能是路面上发生车祸
事故、或追尾事故、或护栏倒塌、或排水井盖损坏或丢失的区域。所以，本实施例可以实现路面和/或路基损坏、车祸事故、追尾事故、护栏拦截路面、排水井盖损坏以及排水井盖丢失等情况的及时监测。
9.基于第一方面，在可能的实施方式中，所述根据所述多个目标在所述路面上的地理运行轨迹，确定所述路面上的异常区域，包括：将所述多个目标在所述路面上的地理运行轨迹输入至变道模型，确定所述多个目标是否发生了变道；统计所述发生了变道的目标的数量；将所述发生了变道的目标的数量与变道阈值进行比较，确定所述路面是否异常；所述变道阈值是根据第一历史信息确定的，其中所述第一历史信息包括在所述路面未发生异常的情况下，采集的包括不同时期的历史目标的数据；在所述路面异常的情况下，确定所述路面上的异常区域；其中，所述变道模型是基于所述第一历史信息训练得到的人工智能ai模型。
10.可以理解，时期包括日期和时间，第一历史信息包括不同日期、不同时间的历史目标的数据，历史目标包括机动车、非机动车和行人等，历史目标的数据可以包括视频数据，还可以包括雷达数据或红外数据，因此第一历史信息具有多样性的特点，体现在时期多样、目标类型多样等。可以根据多样性的第一历史信息确定出合理的变道阈值，还可以根据第一历史信息训练得到精准的变道模型，其中，变道阈值表示在路面未发生异常的情况下，发生变道的目标的数量，精准的变道模型用于确定目标是否发生了变道，合理的变道阈值用于与实际发生变道的目标的数量进行比较。
11.基于第一方面，在可能的实施方式中，所述变道阈值包括多个；其中，每个变道阈值对应着一个时期标签；所述将所述发生了变道的目标的数量与变道阈值进行比较，确定所述路面是否异常，包括：根据获得所述地理运行轨迹的时期信息，从多个变道阈值中确定出待比较的变道阈值；将所述发生了变道的目标的数量与所述待比较的变道阈值进行比较；经比较，在所述发生了变道的目标的数量大于所述待比较的变道阈值的情况下，则确定所述路面异常。
12.可以看到，每个变道阈值对应一个时期标签，更加合理地，每个变道阈值对应一个日期标签和一个时间标签，确定出获得地理运行轨迹的具体日期和时间，将实际发生了变道的目标的数量与具有相同日期和时间的变道阈值进行比较，若发生了变道的目标的数量大于变道阈值，则这个实际发生变道的目标的数量是不正常的，确定路面上发生了异常。
13.同一个日期不同时间，变道阈值可能不同，比如：早高峰时段与平峰时段变道阈值不同，不同日期相同时间，变道阈值也可能不同，比如：周一(工作日)的8:00-9:00时间段的变道阈值与周日(非工作日)的8:00-9:00时间段的变道阈值不同。本实施例中，日期标签可以是具体的某月某日，比如，10月1日、10月8日、5月1日、5月6日、12月18日、12月31日等，日期标签也可以是周x，比如周一，周二，
…
，周日。将此时发生变道的目标的数量同与此时具有相同日期标签和相同时间标签的变道阈值进行比较，能够获得较准确的结果。
14.基于第一方面，在可能的实施方式中，所述确定所述路面上的异常区域，包括：将所述多个目标在所述路面上的地理运行轨迹分别输入识别模型，从而确定出所述多个目标在所述路面上的地理运行轨迹是否为异常轨迹；所述异常轨迹包括目标未按照道路标记线直行、或转弯、或超车、或换道而产生的运行轨迹；根据所有的异常轨迹确定所述路面上异常区域；其中，所述识别模型是基于第二历史信息训练得到的ai模型，所述第二历史信息包
括带标签的地理运行轨迹，所述带标签的地理运行轨迹是基于在所述路面未发生异常的情况下采集的所述历史目标的数据获得的。
15.可以理解，通过采集历史目标的数据，其中历史目标包括机动车、非机动车和行人等，历史目标的数据可以包括视频数据，还可以包括雷达数据、红外数据等，根据历史目标的数据生成地理运行轨迹，然后人为对地理运行轨迹中的异常轨迹进行标记，获得带标签的地理运行轨迹，即第二历史信息，然后基于第二历史信息对识别模型进行训练。本实施例中，采用人为标记的方式对异常轨迹添加标签，使得训练样本集更加准确，因此在使用训练好的识别模型进行识别时，能够获得更加准确的识别结果，从而使得后续利用识别出的异常轨迹确定异常区域的位置更加精准。
16.基于第一方面，在可能的实施方式中，所述根据所有的异常轨迹确定所述路面上的异常区域，包括：根据曲率确定各个异常轨迹中每条异常轨迹上的异常点集；根据所述各个异常轨迹中每条异常轨迹上的异常点集，确定所述路面上的异常区域。
17.可以理解，求每条异常轨迹上各个点的曲率，若某个点的曲率超过预设曲率的范围，则确定该点为异常点，从而确定出各条异常轨迹上的异常点集，再根据异常点集确定路面上的异常区域。
18.基于第一方面，在可能的实施方式中，在所述确定所述路面上的异常区域之后，所述方法还包括：进一步确定所述路面上的异常区域是否为路面故障区域；所述路面故障区域为所述路面上由于路基损坏和路面损坏而影响正常交通的区域。
19.可以理解，在确定出路面上的异常区域之后，进一步确定路面上的异常区域是否为路面故障区域，其中路面故障区域包括路面上发生坍塌、坑槽、凹陷、隆起和水毁中至少一种情况的区域，也就是排除发生车祸、追尾、护栏倒塌在路面、排水井盖损坏或丢失等的区域。
20.基于第一方面，在可能的实施方式中，所述方法还包括：获取交通道路的雷达数据，其中，所述雷达数据包括在所述交通道路的路面上的多个目标的速度数据；所述进一步确定所述路面上的异常区域是否为路面故障区域，包括：将所述异常点集所对应的目标的视频数据或雷达数据输入停留时长模型，获得目标在异常区域的实际停留时长；将所述目标在异常区域的实际停留时长与时间阈值进行比较，确定所述异常区域是否为路面故障区域；所述时间阈值是根据第三历史信息确定的，其中所述第三历史信息包括在所述路面为非故障的情况下，采集的所述历史目标的视频数据或雷达数据；所述停留时长模型是基于所述第三历史信息训练得到的ai模型。
21.可以理解，进一步根据视频数据或雷达数据，确定目标在异常区域的实际停留时长，将实际停留时长与时间阈值进行比较，从而确定路面上的异常区域是否为故障区域。本实施例中，时间阈值是根据第三历史信息确定的，其中第三历史信息包括在路面非故障的情况下，采集的历史目标的视频数据或雷达数据，也就是说时间阈值是根据实际交通路况的大量真实数据统计、确定出的，比较贴合实际情况，比较合理，通过将实际停留时长与时间阈值进行比较，从而排除由于车祸、追尾、护栏拦截在路面、排水井盖损坏或丢失的情况，确定出路面故障区域，提高路面故障区域的监测准确率。
22.基于第一方面，在可能的实施方式中，所述时间阈值包括多个；其中，每个时间阈值对应着一个时期标签；所述将所述目标在异常区域的实际停留时长与时间阈值进行比
较，确定所述异常区域是否为路面故障区域，包括：根据获得所述异常点集对应的原始数据的时期信息，从多个时间阈值中确定出待比较的时间阈值；将所述实际停留时长与所述待比较的时间阈值进行比较；经比较，在所述实际停留时长大于所述待比较的时间阈值的情况下，确定所述异常区域为路面故障区域。
23.可以看到，时间阈值包括多个，每个时间阈值对应一个时期标签，更加具体的，时期包括日期和时间，每个时间阈值对应一个日期标签和时间标签。在确定出获得异常轨迹的日期和时间后，选择与该日期和时间相同的日期标签和时间标签所对应的时间阈值作为待比较的时间阈值，更加合理，符合实际情况，所获得结果也更加准确。
24.基于第一方面，在可能的实施方式中，在所述确定所述异常区域为路面故障区域之后，所述方法还包括：生成监测报告，所述监测报告包括目标视频帧、路面故障区域发生的时间和路面故障区域的位置；其中，所述目标视频帧为含有所述路面故障区域且所述各个目标与所述路面故障区域无重叠的视频帧；发送所述监测报告至终端设备。
25.可以理解，在确定出异常区域为路面故障的区域的情况下，还可以生成监测报告，并将监测报告发送至终端设备。监测报告中包括路面故障区域发生的时间、路面故障区域的位置和包含路面故障区域的视频帧，其中，包含路面故障区域的视频帧未被目标遮盖或覆盖的视频帧，以便于相关人员根据监测报告快速定位到异常区域，并及时对异常区域进行处理，保证交通道路能够正常运行
26.第二方面，本技术实施例提供了一种路面异常区域监测装置，包括：获取单元，用于获取交通道路的视频数据，其中，所述视频数据记录了在所述交通道路的路面上的多个目标的运行状况；运行轨迹生成单元，用于根据所述视频数据，获得所述多个目标在所述路面上的地理运行轨迹；异常区域确定单元，用于根据所述多个目标在所述路面上的地理运行轨迹，确定所述路面上的异常区域，其中，所述异常区域为所述路面上存在影响正常交通的因素的区域。
27.基于第二方面，在可能的实施方式中，所述影响正常交通的因素包括所述路面上发生坍塌、坑槽、凹陷、隆起、水毁、车祸事故、追尾事故、护栏拦截路面、排水井盖损坏和排水井盖丢失中的至少一种。
28.基于第二方面，在可能的实施方式中，所述异常区域确定单元具体用于：将所述多个目标在所述路面上的地理运行轨迹输入至变道模型，确定所述多个目标是否发生了变道；统计所述发生了变道的目标的数量；将所述发生了变道的目标的数量与变道阈值进行比较，确定所述路面是否异常；所述变道阈值是根据第一历史信息确定的，其中所述第一历史信息包括在所述路面未发生异常的情况下，采集的包括不同时期的历史目标的数据；在所述路面异常的情况下，确定所述路面上的异常区域；其中，所述变道模型是基于所述第一历史信息训练得到的人工智能ai模型。
29.基于第二方面，在可能的实施方式中，所述变道阈值包括多个；其中，每个变道阈值对应着一个时期标签；所述异常区域确定单元用于：根据获得所述地理运行轨迹的时期信息，从多个变道阈值中确定出待比较的变道阈值；将所述发生了变道的目标的数量与所述待比较的变道阈值进行比较；经比较，在所述发生了变道的目标的数量大于所述待比较的变道阈值的情况下，则确定所述路面异常。
30.基于第二方面，在可能的实施方式中，所述异常区域确定单元用于：将所述多个目
标在所述路面上的地理运行轨迹分别输入识别模型，从而确定出所述多个目标在所述路面上的地理运行轨迹是否为异常轨迹；所述异常轨迹包括目标未按照道路标记线直行、或转弯、或超车、或换道而产生的运行轨迹；根据所有的异常轨迹确定所述路面上异常区域；其中，所述识别模型是基于第二历史信息训练得到的ai模型，所述第二历史信息包括带标签的地理运行轨迹，所述带标签的地理运行轨迹是基于在所述路面未发生异常的情况下采集的所述历史目标的数据获得的。
31.基于第二方面，在可能的实施方式中，所述异常区域确定单元用于：根据曲率确定各个异常轨迹中每条异常轨迹上的异常点集；根据所述各个异常轨迹中每条异常轨迹上的异常点集，确定所述路面上的异常区域。
32.基于第二方面，在可能的实施方式中，所述装置还包括：故障区域确定单元，用于进一步确定所述路面上的异常区域是否为路面故障区域；所述路面故障区域为所述路面上由于路基损坏和路面损坏而影响正常交通的区域。
33.基于第二方面，在可能的实施方式中，所述获取单元还用于，获取交通道路的雷达数据，其中，所述雷达数据包括在所述交通道路的路面上的多个目标的速度数据；所述故障区域确定单元具体用于：将所述异常点集对应的视频数据或雷达数据输入停留时长模型，获得目标在异常区域的实际停留时长；将所述目标在异常区域的实际停留时长与时间阈值进行比较，确定所述异常区域是否为路面故障区域；所述时间阈值是根据第三历史信息确定的，其中所述第三历史信息包括在所述路面为非故障的情况下，采集的所述历史目标的视频数据或雷达数据；其中，所述停留时长模型是基于所述第三历史信息训练得到的ai模型。
34.基于第二方面，在可能的实施方式中，所述时间阈值包括多个；其中，每个时间阈值对应着一个时期标签；所述故障区域确定单元用于：根据获得所述异常点集对应的原始数据的时期信息，从多个时间阈值中确定出待比较的时间阈值；将所述实际停留时长与所述待比较的时间阈值进行比较；经比较，在所述实际停留时长大于所述待比较的时间阈值的情况下，确定所述异常区域为路面故障区域。
35.基于第二方面，在可能的实施方式中，所述装置还包括：生成单元，用于生成监测报告，所述监测报告包括目标视频帧、路面故障区域发生的时间和路面故障区域的位置；其中，所述目标视频帧为含有所述路面故障区域且所述各个目标与所述路面故障区域无重叠的视频帧；通信单元，用于发送所述监测报告至终端设备。
36.上述装置中的各功能单元用于实现第一方面或第一方面的任一实施方式中所述的方法。
37.第三方面，本技术实施例提供了一种计算设备，计算花设备包括处理器和存储器，所述存储器存储计算机指令，所述处理器执行所述计算机指令，以使所述计算设备执行上述第一方面或第一方面的任一实施方式中的方法。
38.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现中的方法。该计算机可读存储介质包括但不限于易失性存储器，例如随机访问存储器，非易失性存储器，例如快闪存储器、硬盘(英文：hard disk drive，缩写：hdd)、固态硬盘(英文：solid state drive，缩写：ssd)。
39.第五方面，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序代码，在所述计算机程序代码被计算设备执行时，所述计算设备执行前述第一方面或第一方面的任意可能的实现中提供的方法。该计算机程序产品可以为一个软件安装包，在需要使用前述第一方面或第一方面的任意可能的实现中提供的方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
40.可以看到，本技术中，变道模型、识别模型和停留时长模型均是基于历史目标的数据或历史目标的地理运行轨迹训练得到的，历史目标的数据是在历史时刻采集的交通路况的真实数据，历史目标的地理运行轨迹是根据历史目标的数据生成的，因此，变道模型、识别模型和停留时长模型均是基于实际交通路况的数据建立、训练的模型，与基于理论数据建立的模拟的模型相比，模型更加符合实际情况，运用模型获得的结果更加准确；考虑了车祸、追尾、护栏倒塌在路面、排水井盖损坏或丢失的情况有可能造成路面异常，通过时间停留时长模型确定目标停留时长并与时间阈值比较等处理操作，排除车祸、追尾、护栏倒塌在路面、排水井盖损坏或丢失等的影响，从而确定异常区域是否为路面故障区域，增加了判断路面故障区域的准确性，使得监测结果更加准确；根据实际情况中的不同时期(具体的，时期包括日期和时间)，考虑了多个变道阈值、多个时间阈值，更加合理且符合实际；实现不同交通道路(路口或路段)视频数据(雷达数据或红外数据等)的实时采集/获取，实时处理，实现各个路面的及时监测。
附图说明
41.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1为本技术实施例提供的一种路面异常区域监测系统示意图；
43.图2为本技术实施例提供的一种交通盒子的部分内部结构示意图；
44.图3为本技术实施例提供的一种场景示意图；
45.图4为本技术实施例提供的一种路面异常区域监测方法的流程示意图；
46.图5a为本技术实施例提供的目标发生变道的一种场景示意图；
47.图5b为本技术实施例提供的目标发生变道的另一种场景示意图；
48.图5c为本技术实施例提供的目标发生变道的又一种场景示意图；
49.图6为本技术实施例提供的一种自适应滑动窗口算法的图解示意图；
50.图7为本技术实施例提供的一种确定路面上的异常区域的图解示意图；
51.图8为本技术实施例提供的一种场景示例图；
52.图9为本技术实施例提供的一种获得目标的地理运行轨迹方法的流程示意图；
53.图10为本技术实施例提供的一种路面异常区域监测装置的示意图；
54.图11为本技术实施例提供的一种计算设备的结构示意图。
具体实施方式
55.下面将结合本技术中的附图，对本技术提供的实施例中的方案进行详细描述。
56.本技术提供了一种路面异常区域监测方法，该方法由路面异常区域监测系统执
行。在介绍路面异常区域监测方法之前，先介绍本技术中的路面异常区域监测系统。
57.参考图1，图1为本技术实施例提供的一种路面异常区域监测系统的示意图。该路面异常区域监测系统包括采集设备110、网络设备120和服务器130。
58.采集设备110为用于采集路面异常区域监测系统所需的原始数据的设备。采集设备110可以包括置于交通道路的固定位置，且以自身视角采集交通道路上的实时原始数据的静态设备，例如摄像头、雷达、红外相机、磁感圈等，还可以包括动态采集路况数据的动态设备，例如无人机、巡回采读车、读数杆等。
59.网络设备120用于采集设备110通过任何通信机制/通信标准的通信网络与服务器130之间传输数据。其中，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。
60.服务器130可以是位于云环境中的计算设备，例如中心服务器，也可以是位于边缘环境中的计算设备，例如边缘服务器。其中，云环境指示云服务提供商拥有的，用于提供计算、存储、通信资源的中心计算设备集群，该计算设备集群通常离采集设备较远，边缘环境指示在地理位置上距离采集设备较近的，用于提供计算、存储、通信资源的边缘计算设备集群。本实施例中，服务器130用于对采集设备110采集的原始数据进行处理，来判断路面是否发生异常以及确定发生异常的位置。
61.可选的，服务器130还可以包括云环境中的计算设备以及边缘环境中的计算设备，云环境中的计算设备和边缘环境中的计算设备分别实现部分功能，例如边缘环境中的计算设备接收到采集设备110发送的原始数据后，对原始数据进行处理，然后将处理后的数据发送至云环境中的计算设备，云环境中的计算设备根据接收到的数据进一步进行处理，最终判断出路面是否发生异常以及确定发生异常的位置。
62.在一种示例中，采集设备110可以包括位于交通道路上方的交通盒子，还可以包括无人机、巡回采读车、读数杆等。其中，交通盒子中包括用于采集原始数据的设备，例如摄像头、雷达(毫米波雷达、微波雷达、光电雷达)、红外相机、磁感圈等。
63.交通盒子用于采集一个路段或一个路段上的部分路段的交通路况，还可以用于采集一个路口的交通路况，或者，用于采集一个路口的某个或某些方向上的交通路况，等等。在一种示例中，交通盒子中包括多个不同方向的摄像头，每个摄像头采集一个方向上的交通路况，获得一个方向上的视频数据。其中，每个视频数据是由多个按时间顺序依次排列的视频帧构成，且各个视频帧的时间戳是不同的。不同视频数据中同一时间戳的各个视频帧反映的是同一时刻采集的该道路上的不同方向的交通路况。
64.需要说明的是，交通盒子除了具有数据采集功能外，还可以具有数据处理功能，也就是说，交通盒子自身能够根据采集的原始数据进行数据处理，判断出路面是否发生异常以及确定发生异常的位置。
65.参考图2，图2为本技术实施例提供的交通盒子的部分内部结构示意图，本示例中交通盒子可以单独作为路面异常区域监测系统。交通盒子的基本结构包括：镜头211及传感器212(镜头及传感器整个装置210)、编码处理器220、ipc主控板230(ipc主控板230包括主控制器231、处理器232和其他装置)等部件，其中的主控制器231通过控制线控制编码处理器220，由编码处理器220将镜头211及传感器212采集的图像以视频信号的形式输入到ipc主控板230，ipc主控板230具有bnc(bayonet nut connector，刺刀螺母连接器)视频输出、
网络通讯接口、音频输入、音频输出、告警输出、告警输入、串口通讯接口等功能，ipc主控板230的处理器232可以通过串口通讯接口与外部设备连接。本领域技术人员可以理解，图2中示出的路面异常区域监测系统的结构并不构成对路面异常区域监测系统的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。
66.为了更好地理解本技术实施例，在描述本技术方法实施例之前，先对本技术涉及的应用场景进行描述。
67.参考图3，图3中示出的是位于某一路口上方某个位置的交通盒子通过自身视角采集的视频数据中的一张视频帧示意图，该视频帧反映了自身视角方向上的交通路况情况，交通盒子中还可以包括多个不同方向的摄像头，每个摄像头采集自身方向上的交通路况。在该路口的其他方向上也可以设置有一个或多个交通盒子(图中未示出交通盒子及其具体位置)。
68.交通盒子实时采集包括各个方向上的交通路况情况的视频数据(视频流是由以时间先后顺序依次排列的多张视频帧构成)，其中，视频流中包括一个或多个运动的目标，交通盒子通过对视频流进行处理确定该路口的路面是否有异常情况。
69.目标指在交通道路上运动的物体或交通道路上的物体，例如：机动车、行人、非机动车、动物等。其中，物体可以处于运动状态，也可以处于静止状态。每个目标都有属性信息，目标的属性信息指与该目标相关的信息，所述目标的属性信息包括直接属性信息和间接属性信息。直接属性信息，即根据该目标直接计算、识别、获得的属性信息，例如直接属性信包括车辆的颜色、车辆的车牌号、车辆的型号、车辆的运行速度等；间接属性信息，即需要根据该目标的直接属性进一步分析或查询相关数据库获得的属性信息，如间接属性信息包括车辆的车主身份信息、车辆的登记维护信息等。其中，目标的类型信息可以为目标的属性信息中的一种，即，目标的类型信息为目标的用于分类的一种属性信息。例如，目标的类型可以为机动车或非机动车或行人或动物等。根据目标的类型信息进行分类获得的不同类型的目标对应要观测的其他属性信息可以不同。
70.本技术实施例提供了一种路面异常区域监测方法的流程示意图，参见图4，方法应用于路面异常区域监测系统，该方法包括但不限于以下s101至s106的描述。
71.s101、获取原始数据。
72.原始数据可以包括视频数据，视频数据记录了在交通道路的路面上的多个目标的运行状况。视频数据是由多个按时间顺序依次排列的视频帧构成，一个视频数据中的各个视频帧的时间戳是不同的。
73.例如，原始数据可以为摄像头1采集到的视频帧数据a1，a2，
…
，an，摄像头2采集到的视频帧数据b1，b2，
…
，bn,
…
，以及摄像头n采集到的视频帧数据n1，n2，
…
，nn,其中，a1、b1、n1分别为时刻t1采集到的视频帧，a2、b2、n2分别为时刻2采集到的视频帧，
…
，an、bn、nn为时刻n采集到的图像。其中，视频帧a1、b1、n1包括目标a以及目标b，视频帧a2、b2、n2也包括目标a以及目标b，
…
，视频帧an、bn、nn也包括目标a以及目标b。
74.原始数据还可以包括雷达数据以及红外数据等，雷达数据以及红外数据可以作为视频数据的补充。例如，雷达数据可以包括交通道路上目标的位置和运行速度等，雷达数据对于体现目标的位置和运行速度等信息具有精度高的特点。
75.需要说明的是，尽管图像数据中目标为观察的主体，但是，原始数据中不可避免地
引入背景物体的数据，其中，背景物体指在交通道路上或交通道路周边的静态的物体，包括：道路标记线、警示牌、交通信号杆、站岗亭、周边建筑、行道树、花坛等。
76.s102、根据原始数据，获得多个目标的地理运行轨迹。
77.地理运行轨迹可以是目标正常运行的轨迹，也可以是目标异常运行的轨迹。其中，目标正常运行可以是，例如，对于位于直行路段的车辆来说，车辆依照道路标记线行驶未产生较大的转向角；对于行驶在路口即将转弯或正在转弯的车辆来说，车辆依照转弯标记线进行转弯，相对转弯标记线未产生大幅度的偏移，大幅度的偏移例如车辆在相邻车道对应的转弯标记线内进行转弯；对于在直行路段上或正在过人行横道的行人来说，运动过程中没有产生较大的转向角等。目标异常运行可以是，例如，位于直行路段的车辆，在该车道上行驶过程中产生了一个较大的转向角，或者，车辆先在车道1上行驶，然后转至车道2内行驶，后又转至车道1内继续行驶；正在转弯标记线1进行转弯的车辆，慢行至转弯标记线2内完成转弯过程；行走在直行路段的行人，在某一区域位置上绕了近似半个圆圈然后沿原来的方向继续行走等。
78.根据原始数据获得多个目标的地理运行轨迹的方法有多种，本技术在后续s1021至s1025中示例性地描述了一种根据原始数据获得多个目标的地理运行轨迹的方法，为了说明书的简洁，在此不再详述。
79.需要说明的是，前述步骤s101是持续执行的，因此，获得多个目标的地理运行轨迹也是实时持续执行的。
80.可选的，将获得的目标的地理运行轨迹与目标所在的道路标记线同时拟合出来。其中，道路标记线可以是根据雷达数据或红外数据采集获得，也可以是对视频帧中的道路标记线进行步骤s1021至s1025的操作后获得的。
81.s103、根据多个目标的地理运行轨迹，确定路面是否异常。
82.路面发生异常指的是道路路基、路面、构造物及附属设施等出现状况，构造物及附属设施例如可以是道路两侧的护栏、交通信号灯、交通标志、道路标记线等等。本技术中，路面异常比如可能是路面上存在坍塌、坑槽、凹陷、隆起、水毁、车祸、追尾等，路面异常还可能是道路两侧的护栏损坏以致倒塌拦截在道路上，路面异常还可能是位于路面上的井盖损坏、丢失或掀起，路面异常还可能是道路某一区域上存在积水等等。
83.根据多个目标的地理运行轨迹，确定路面是否异常，该过程包括如下几步：
84.第一步，将多个目标的地理运行轨迹分别输入变道模型，从而确定多个目标是否发生了变道。
85.本技术中，变道例如可以是，参见图5a所示的示意图，在运行过程中，目标与道路标记线的相对位置关系发生改变，即目标原来位于道路标记线的一侧，后来位于道路标记线的另一侧，比如超车；还可以是，参见图5b所示的示意图，在路口处进行转弯时，目标未依照指示转弯的道路标记线进行转弯；还可以是，参见图5c所示的示意图，在运行过程中，目标与道路标记线之间的距离发生了很大的变化，该变化超出了设置的阈值；等等。
86.以目标a为例，将目标a的地理运行轨迹输入变道模型，从而确定目标a是否发生了变道。
87.r＝f(t)
88.其中，r为输出结果，即目标a是否发生了变道，t为输入，即目标a的地理运行轨迹，
f为输出与输入之间的映射关系。f可以是通过大量的不同类型的目标的运行轨迹训练得到的。
89.在一具体的实施例中，变道模型根据目标a的地理运行轨迹判断目标a是否发生了变道的方法可以是：变道模型通过判断目标的运行轨迹上的各个点(坐标点)与目标所在道路标记线的相对位置关系以及两者之间的距离来确定目标是否发生变道，其中相对位置关系指的是，运行轨迹上的各个点位于道路标记线的第一侧还是第二侧。例如，若运行轨迹上的各个点既有位于道路标记线的第一侧的，也有位于道路标记线的第二侧的，那么认为目标发生了变道。又例如，将两者之间的距离与预设范围进行比较，若距离不在预设范围内，则认为目标在运行过程中发生了变道。对于不同路段来说，预设范围可以是不同的，具体可根据道路的实际宽度来确定。可以理解这种方法可以适用于位于直行路段上的目标形成的运行轨迹，或者路面上具有道路标记线(拟合出的运行轨迹包含道路标记线)的情况，例如，上述图5a和图5c的场景。
90.在又一具体的实施例中，变道模型根据目标a的地理运行轨迹判断目标a是否发生了变道的方法可以是：变道模型通过算法来确定目标是否发生了变道。例如，自适应滑动窗口算法，参考图6，图6为本技术提供的自适应滑动窗口算法的图解示意图，该算法的思想是，取运行轨迹上的两个点(坐标点)，其中这两个点可以为相邻的两个坐标点，连接两个坐标点并延长，作该连线的垂直窗口，求窗口内运行轨迹上各个坐标点到连线的距离，该距离用于衡量运行轨迹上各个坐标点的波动幅度，若波动幅度过大则认为目标发生了变道，实际实现时，可将距离与设置的阈值进行比较，若距离大于设置的阈值，则认为发生了变道。通过遍历运行轨迹上的所有点，确定目标是否发生了变道。可以理解该方式可以用于在路口进行转弯的目标形成的运行轨迹，也可以用于在路面上没有道路标记线的情况，例如适用于上述图5b的场景。
91.在通过变道模型确定多个目标是否发生了变道之后，可以统计出预设时长内实际发生了变道的目标的数量。其中，预设时长可以根据实际交通路况具体设置。若路段上的流量比较大，预设时长可以设置较短，比如可以为1分钟，也可以为30秒；若路段上的流量比较小，预设时长可以设置较长，比如可以为2分钟。可选的，用百分比表示实际发生了变道的目标的数量，该百分比为实际发生了变道的目标的数量占目标的总数量的百分数，其中目标的总数量指的是输入变道模型中的地理运行轨迹包含的目标的数量。对于不同日期、不同时间来说，道路上通过的目标总数量是不同的，用百分比表示实际发生了变道的目标的数量，相对于用数值表示，更加精准。
92.第二步，将实际发生了变道的目标的数量与变道阈值进行比较，确定路面是否异常。下面先对变道阈值进行说明。
93.变道阈值表示在路面未发生异常的情况下，允许的预设时长内进行变道的目标的数量。
94.变道阈值的具体取值受影响因素的影响。其中，影响因素包括：获得第一历史运行轨迹的日期和时间、涉及的目标的类型、每个类型的目标的数量，因此，在不同的影响因素之下可以有不同的变道阈值。
95.举例来说，如表1所示，表1为位于某城市的某一t型路口的变道阈值与影响因素的部分数据，其中涉及的目标的类型及数量是在1分钟内(预设时长)的平均统计量。
96.表1
97.日期标签时间标签涉及的目标的类型及数量变道阈值周一6:00-7:00机动车5；非机动车2；行人23周一7:00-8:00机动车8；非机动车3；行人55周一8:00-9:00机动车13；非机动车5；行人310
…………
周一14:00-15:00机动车5；非机动车3；行人205
…………
周三6:00-7:00机动车5；非机动车0；行人32周三7:00-8:00机动车7；非机动车5；行人54周三8:00-9:00机动车8；非机动车8；行人56
…………
周日
………
98.由表1可知：
99.a、在路面非异常情况下，在上午6:00-7:00时间段范围内，该t型路口平均每分钟通过5辆机动车、2辆非机动车、2个行人，变道阈值为3；
100.b、在日期相同、时间不同的情况，预设时长内通过的目标的类型及数量可能不同，变道阈值也是不同的；
101.c、在时间相同、日期不同的情况下，预设时长内通过的目标的类型及数量也可能不同，变道阈值也是不同的。
102.需要说明的是，该示例中，采集的是某城市的某一t型路口的历史数据，路面是非异常状态的，目标发生变道的情况可能包括，对于上午6:00-9:00时间段，尤其是8:00-9:00时间段，一般来说是上班高峰期，会出现略微堵车的情况，在既有机动车、非机动车行人的情况下，行人和非机动车可能未按道路标记线或人行横道标记线行走，而是绕行，产生变道。
103.再举例来说，如表2所示，表2为本技术示例性提供的某高速公路的变道阈值与影响因素的部分数据。其中涉及的目标的类型及数量是在1分钟内(预设时长)的平均统计量。
104.表2
[0105][0106][0107]
表2中，
[0108]
a、对于一些特殊日期，比如国庆节假日、春节、国际劳动节等，可以在日期标签中使用/添加月、日来表示；
[0109]
b、本示例的应用场景为高速公路，所以涉及的目标的类型为机动车；
[0110]
c、对于同一日期标签，在不同时间段时，变道阈值一般是不同的。
[0111]
需要说明的是，该示例中，采集的是某高速公路的历史数据，路面未发生异常状态的，目标发生变道的情况可能包括超车变道。
[0112]
需要说明的是，上述表1和表2只是示例性地表示不同场景下，变道阈值与影响因素的关系，并不构成对本技术的限定。
[0113]
还需要说明的是，对于不同道路来说，涉及的目标的类型不同，每个类型的目标的数量不同，变道阈值也是不同的(由表1和表2也可以看出)。
[0114]
变道阈值是根据第一历史信息确定的。其中，第一历史信息包括在路面未发生异常的情况下，采集的包括不同时期的历史目标的数据，所述历史目标的数据包括历史目标的视频数据。
[0115]
可选的，时期包括日期和时间，不同时期的历史目标的数据包括不同日期的历史目标的数据和同一日期内的不同时间的历史目标的数据。
[0116]
可选的，历史目标的数据还可以包括雷达数据。
[0117]
可选的，上述变道阈值也可以用百分比表示，即表示，在路面未发生异常的情况下，发生变道的目标的数量占输入的训练样本中包括的目标的总数量的百分数，其中输入的训练样本中包括的目标的总数量指的是训练时输入的第一历史运行轨迹中包含的目标的数量。对于不同日期标签、不同时间标签来说，道路上通过的目标的总数量是不等的，用百分比表示变道阈值的数量，更加精准，相对于用数值表示来说。
[0118]
下面说明如何根据实际发生变道的目标的数量与变道阈值之间的关系，确定路面是否异常。
[0119]
首先，由于变道阈值有多个，所以在将实际发生变道的目标的数量与变道阈值进行比较之前，需要先确定待比较的变道阈值是哪一个。
[0120]
根据获得地理运行轨迹的时期，具体的可以根据获得地理运行轨迹的日期和时间选择变道阈值，即选择与地理运行轨迹具有相同日期标签和时间标签的变道阈值。举例来说，以上述表1所在的应用场景为例，若地理运行轨迹的获得日期和时间为周一上午8:25，则待比较的变道阈值对应为周一上午8:00-9:00时间段的变道阈值；若地理运行轨迹的获得日期和时间为周三上午7:48，则待比较的变道阈值对应为周一上午7:00-8:00时间段的变道阈值。再以上述表2所在的应用场景为例，若地理运行轨迹的获得日期和时间为10月1日上午8:25，则待比较的变道阈值对应为10月1上午6:00-12:00时间段的变道阈值；若地理运行轨迹的获得日期和时间为10月1日16:32，则待比较的变道阈值对应为10月1日12:00-18:00时间段的变道阈值。
[0121]
然后，在确定了待比较的变道阈值之后，将实际发生变道的目标的数量与变道阈值进行比较，确定路面是否异常。
[0122]
若实际发生变道的目标的数量大于变道阈值，即实际发生变道的目标的数量超出了路面非异常情况下的变道阈值，则确定路面上发生了异常。
[0123]
可选的，若实际发生变道的目标的数量为百分比，变道阈值也为百分比，则在实际发生变道的目标的百分比大于变道阈值的百分比的情况下，确定路面上发生了异常。
[0124]
下面介绍变道模型是如何训练的。
[0125]
变道模型是基于第一历史信息训练得到的人工智能ai模型，根据第一历史信息可以获得：各个目标的第一历史运行轨迹、各个目标的类型、每个类型的目标的数量、获得第一历史运行轨迹的日期和时间。其中，目标的类型指的是第一历史运行轨迹中涉及到的目标的类型，比如，涉及到的目标的类型包括机动车、非机动车、行人和动物。获得第一历史运行轨迹的日期和时间也即是获得第一历史数据的日期和时间，比如日期可以为星期一，时间可以为上午8:00-9:00(早高峰)，又如日期可以为星期五，时间可以为下午6:00-8:00(晚高峰)，又如日期可以为星期三，时间可以为下午3:00-4:00(平峰)，又如日期可以为2019年10月1日，时间可以为上午6:00-8:00(假期出行高峰)，等等。通过的每个类型的目标的数量和各个目标中包括的目标的类型指的是预设时长内通过的目标的类型有哪些，以及每个类型的目标的数量为多少。
[0126]
由上述可知，影响变道模型的因素包括目标的类型、每个类型的目标的数量以及获得第一历史运行轨迹的日期和时间，因此，在训练变道模型时，第一历史信息中包含了各种类型的目标，且采集的第一历史信息包括不同日期、不同时间的。例如，将24小时分别划分为多个时间段(对于不同道路，时间段的数量可根据人流量情况具体划分)，从节假日(国庆节、春节)到非节假日，或者从星期一至星期日，或者从高峰期到非高峰期，采集各个时间段的交通路况，为了保证第一历史数据的丰富性，可以连续性或间隔性地多采集几个周期的交通路况。
[0127]
变道模型可以使用一类支持向量机、或机器学习、或深度学习等方法来训练，本技术对具体采用何种训练方式来训练不做具体限定。
[0128]
需要说明的是，位于每个路段或每个路口的路面异常区域监测系统均建立了自己的变道模型，一般来说，对于不同道路来说，道路等级可能不同，建立的变道模型也是不同的，各个路段和各个路口路面异常区域监测系统会应用自身的变道模型判断自身所在路面的路况。其中，道路等级指的是根据道路使用任务、功能和适应的交通量划分的等级，比如，道路等级可以包括高速公路、一级公路、二级公路、三级公路、四级公路。
[0129]
s104、确定路面上的异常区域。在上述步骤s103确定了路面上发生了异常的情况下，本技术的路面异常区域监测方案执行步骤s104～步骤s106，若上述步骤s103中确定路面上未发生异常，则流程结束。
[0130]
确定路面上的异常区域，该过程具体可以分为如下几个步骤：
[0131]
第一步，将各个目标的地理运行轨迹分别输入第一识别模型中，从而确定出各个目标的地理运行轨迹是否为异常轨迹。
[0132]
本技术中，异常轨迹例如可以是，目标未按照道路标记线运行而产生的轨迹，包括未按照道路标记线直行、转弯、超车、换道行驶等，如图5b所示的运行轨迹；还可以是，在直行路段上，目标在运行过程中产生很大的转向角，如图5c所示的运行轨迹；等等。
[0133]
以目标b为例，将目标b的地理运行轨迹输入至第一识别模型中，从而确定目标b的地理运行轨迹是否为异常轨迹。
[0134]
r＝g(t)
[0135]
其中，r为输出结果，即目标b的地理运行轨迹是否为异常轨迹，t为输入，即目标b的地理运行轨迹，g为输出与输入之间的映射关系，g可以通过对大量的目标的运行轨迹训练获得。
[0136]
在一种示例中，第一识别模型确定目标b的地理运行轨迹是否为异常轨迹的方法可以是：第一识别模型提取目标b的地理运行轨迹及道路标记线的特征，包括地理运行轨迹上各个点(坐标点)的梯度特征、地理运行轨迹上各个点与道路标记线的相对位置关系及两者之间的距离等特征。其中，通过判断地理运行轨迹上各个点的梯度特征可以获得目标的方向角，若方向角超过一定阈值，则认为是异常轨迹。若地理运行轨迹上各个点与道路标记线的相对位置关系未发生改变，但是两者之间的距离超出了阈值范围，则同样认为是异常轨迹，等等。
[0137]
在通过第一识别模型确定各个目标的地理运行轨迹是否为异常轨迹之后，可以获得所有的异常轨迹。
[0138]
第二步，根据所有的异常轨迹确定路面上的异常区域。
[0139]
首先，确定每一条异常轨迹上的异常点集。本技术示例性地给出了一种根据曲率确定任一异常轨迹上的异常点集的方法，参考图7所示，图7为本技术实施例提供的根据曲率确定异常轨迹上的异常点集的图解示例图，图7中的“1”表示道路标记线，图7中的“2”和“3”表示异常轨迹。求异常轨迹上各个点的曲率，并将异常轨迹上各个点的曲率与道路标记线上对应的各个点的曲率作差，曲率差较大的点即为异常轨迹上的异常点，实际实现时，可以设置曲率差阈值，当异常轨迹上某个点对应的曲率差大于曲率差阈值时，确定该点为异常点。遍历异常轨迹上的所有点(坐标点)，获得异常轨迹上的异常点集。
[0140]
然后，根据所有的异常轨迹上的异常点集确定路面上异常区域。参考图7所示，对于一条异常轨迹上异常点集中的任一个异常点，过异常点(也称为切点)作该点的切线的垂线，垂线与非异常运行轨迹相交于一个交点，由异常点至道路标记线的交点形成一条线段(垂线段)，并求该垂线段的中点。同理，对于异常点集中的其他各个点，用同样的方法作各个异常点的切线的垂线段，并确定各个垂线段的中点。然后使用同样的方法确定出其他异常轨迹上各个异常点(切点)对应的垂线段的中点，对各个垂线段的中点通过聚类算法进行聚类，目的是去掉个别或少数离散的中点(这些个别或少数离散的中点对应的，可以为在遇到异常区域前就已经完成了变道或掉头)，最终获得集中分布在某一区域的中点，那么这些集中分布的中点所在的区域即为异常区域。在一种示例中，参见图8所示的示例图，可以将聚类后的类中位于最外围的点连接起来构成的区域作为异常区域。
[0141]
在具体实现过程中，是以坐标的形式进行运算，计算出异常区域的位置，最终异常区域的位置是用地理坐标表示的。可选的，本技术中异常区域的位置可以采用二维地理坐标来表示，其中二维地理坐标分别为经度、纬度。可选的，本技术中异常区域的位置还可以采用三维地理坐标来表示，其中三维地理坐标分别为经度、纬度和海拔。
[0142]
下面介绍一下识别模型的训练过程。
[0143]
识别模型是基于第二历史信息训练得到的ai模型，第二历史信息包括带标签的地理运行轨迹。首先，在路面未发生异常的情况下，采集历史目标的数据，其中历史目标的数据包括视频数据(可选的还可以包括雷达数据、红外数据等)，然后根据历史目标的数据生成多个目标的地理运行轨迹，通过人为标记的形式将多个目标的地理运行轨迹中的异常轨迹标记出来，形成带标签的地理运行轨迹，再对带标签的地理运行轨迹进行训练，获得识别模型。其中，异常轨迹包括未按照道路标记线直行、或转弯、或超车、或换道而产生的运行轨迹。
[0144]
第一识别模型可以采用一类支持向量机、孤立森林、离群点算法等机器学习方法训练实现，也可以使用卷积神经网络、深度神经网络、循环神经网络(例如，长短期记忆网络lstm)等实现，本技术对识别模型的训练方式不做具体限定。
[0145]
s105、进一步确定路面上异常区域是否为路面故障区域。
[0146]
本技术中，路面故障指的是道路路基或路面等损坏，导致路面上发生坍塌、坑槽、水毁、凹陷、隆起等。值得注意的是，路面故障与路面上发生异常的区别在于，路面故障不包括车祸、追尾等情况，也就是机动车、非机动车或行人等之间发生冲突的情况，也不包括路面上存在积水、护栏损坏或倒塌在路面上、井盖损坏丢失或掀起等情况。
[0147]
该步骤是在通过变道模型确定了路面上存在异常区域的情况下，在识别出异常轨迹以及异常点集的基础上，进一步对异常轨迹或异常轨迹对应的原始数据(视频数据或雷达数据或红外数据等)进行处理，确定异常区域是否为路面故障区域。
[0148]
下面说明如何进一步确定路面上的异常区域是否为路面故障区域，具体可以包括如下几步：
[0149]
第一步，将异常轨迹对应的原始数据输入停留时长模型，获得目标在异常区域的实际停留时长。
[0150]
异常轨迹对应的原始数据可以是整个异常轨迹对应的原始数据，包括异常轨迹上各个点的速度或异常轨迹上各个点对应的视频帧；其中，每个点对应着一个地理位置，也对应着至少一个视频帧，每个点还对应着有一个速度；异常轨迹对应的原始数据也可以是异常轨迹上异常点集对应的原始数据，包括异常点集中各个点的速度或异常点集中各个点对应的视频帧。目标在异常区域的实际停留时长指的是目标在经过异常区域过程中，在某一个位置上速度为0的时长或位置(坐标)未发生改变的时长。
[0151]
将异常轨迹对应的各个目标的原始数据输入停留时长模型中，获得目标在异常区域的实际停留时长。可选的，也可以将异常轨迹上的异常点集对应的原始数据输入停留时长模型中，停留时长模型只对各个目标在异常区域内运行的原始数据进行统计，获得目标在异常区域的实际停留时长。
[0152]
以目标c的异常轨迹对应的原始数据为例，将异常轨迹对应的原始数据输入停留时长模型，从而获得目标c在异常区域的实际停留时长。
[0153]
t＝h(d)
[0154]
其中，t为输出的实际停留时长，d为输入的目标c的异常轨迹对应的原始数据，h为输出与输入之间的映射关系，h可以通过对各个目标对应的原始数据进行训练得到。
[0155]
在一种示例中，停留时长模型根据异常轨迹对应的原始数据获得目标在异常区域的实际停留时长可以是，原始数据为异常轨迹上各个异常点集对应的速度，统计速度为0的时长，获得实际停留时长。在又一种示例中，停留时长模型根据异常轨迹对应的原始数据获得目标在异常区域的实际停留时长还可以是，原始数据为异常轨迹的异常点集中各个点对应的视频帧，计算目标c的地理坐标未发生改变的时长，即获得实际停留时长。
[0156]
第二步，将目标在异常区域的实际停留时长与时间阈值进行比较，确定异常区域是否为路面故障区域。
[0157]
首先对时间阈值进行说明。
[0158]
时间阈值指的是在路面非故障的情况下，目标在某一位置的停留时长的范围。实
际上，该时间阈值对应的停留时长，可能是由车祸、追尾导致，也可能是因为机动车、非机动车或行人等之间发生冲突，或者也可能是路面上存在积水、护栏损坏或倒塌在路面上、井盖损坏丢失或掀起等情况导致。该时间阈值是对停留时长模型训练输出获得的。
[0159]
值得注意的是，路面非故障指的是路面上未发生坍塌、坑槽、水毁、凹陷、隆起等，但可以发生车祸、追尾等，也就是机动车、非机动车或行人等之间发生冲突的情况，也可以发生路面上存在积水、护栏损坏或倒塌在路面上、井盖损坏丢失或掀起等情况。
[0160]
本技术中，时间阈值可以是多个，每个时间阈值对应着一个时期标签，不同时期的时间阈值可能是不同的。可选的，时期包括日期和时间，每个时间阈值对应着一个日期标签和一个时间标签，不同日期或不同时间对应的阈值可能是不同的。例如，对于高速公路上的某一路段来说，10月1日(国庆假期)由于堵车造成的目标在高速公路上的停留时长，与10月13日(工作日)由于堵车造成的目标在高速公路上的停留时长是不同的，也就是10月1日(国庆假期)的时间阈值与10月13日(工作日)的时间阈值是不同的；而对于10月1日(国庆假期)来说，8:00-12:00、12:00-18:00、18:00-24:00等不同时间段，时间阈值也是不同的。
[0161]
需要说明的是，对于不同路段或路口来说，时间阈值也是不同的。
[0162]
时间阈值是根据第三历史信息确定的。关于第三历史信息参考下述关于停留时长模型的训练中的描述。
[0163]
下面说明如何根据实际停留时长与时间阈值的关系，确定异常区域是否为路面故障区域。
[0164]
首先，由于时间阈值有多个，所以需要从多个时间阈值中确定待比较的时间阈值是哪一个。可选的，可以根据日期标签、时间标签选择时间阈值。选择与获得地理运行轨迹具有相同的日期标签和时间标签的时间阈值。
[0165]
然后，将目标在异常区域的实际停留时长与时间阈值进行比较，确定异常区域是否为路面故障区域。若实际停留时长小于时间阈值，或者实际停留时长在时间阈值范围内，则认为实际停留时长可能是车祸、追尾导致，也可能是因为机动车、非机动车或行人等之间发生冲突，或者也可能是路面上存在积水、护栏损坏或倒塌在路面上、井盖损坏丢失或掀起等情况导致；若实际停留时长大于时间阈值，则认为不单纯是上述情况导致，而是由于路面故障导致停留时间较长。例如，停留时长模型输出的某个日期某个时间的时间阈值为30～240s，而统计获得的实际停留时长为900s，则认为实际停留时长是由路面故障导致。
[0166]
本技术中，s105步骤能够排除由于机动车、非机动车或行人冲突等情况而误认为路面故障的情况，更加准确地确定路面是否存在故障，增加了监测的准确性。
[0167]
下面介绍一下停留时长模型的训练过程。
[0168]
停留时长模型用于统计目标在某一位置的停留时长。其中，停留时长是指目标速度为0的时长或者目标的位置未发生改变的时长。在某一位置的停留时长指的是目标在某一位置上，速度为0的时长或者目标的位置未发生改变的时长。
[0169]
停留时长模型是基于第三历史信息训练得到的。第三历史信息包括在路面非故障的情况下，采集的各个目标的雷达数据，其中雷达数据中包括目标的速度数据(各个目标的速度可以是路面异常区域监测系统内的雷达设备或无人机或其他设备等采集的)。第三历史信息中包括不同时期(具体可以为不同日期、不同时间)的各个目标的速度，也即是说，停留时长模型是基于不同时期(具体可以为不同日期、不同时间)的样本数据进行训练的。
[0170]
可选的，第三历史信息包括在路面非故障状态下，采集的各个目标的视频数据。基于各个目标的视频数据对模型进行训练，从而统计出在路面非故障状态下，目标在某一位置上坐标未发生改变的时长，即时间阈值。
[0171]
需要说明的是，停留时长模型可以通过算法实现，例如聚类算法，也可以运用数学模型的方法，或统计学方法、权值方法等，本技术中对具体实现方式不做具体限定。
[0172]
s106、生成监测报告，并发送监测报告至终端设备。
[0173]
监测报告是相关部门或相关人员了解掌握路面状况的依据，相关部门或相关人员例如交通设施的养护部门、管理部门或交通设施的养护部门的相关人员、管理部门的相关人员。监测报告包括目标视频帧、路面故障发生的时间、路面故障区域的位置等，其中目标视频帧为含有路面故障区域且各个目标与路面故障区域无重叠的视频帧。
[0174]
终端设备可以是相关部门或相关人员所使用的终端设备，终端设备例如可以是，手机、平板电脑、ipad、笔记本等电子设备，甚至是便于相关人员携带的穿戴设备等。
[0175]
路面故障区域的位置经过步骤s104和步骤s105已经确定，下面介绍如何获得目标视频帧以及确定路面故障发生的时间。
[0176]
可选的，首先确定出由于路面故障导致的异常轨迹，然后根据异常轨迹上的异常点集筛选出对应的各个视频帧(这些视频帧即为包括故障区域的视频帧)，其次将各个视频帧中的故障区域的位置标记出来，再将各个视频帧中的各个目标所在区域的位置标记出来，判断各个目标所在区域的位置与故障区域的位置是否有重叠，若无，则可以作为目标视频帧。在具体实现中，目标所在区域的位置和故障区域的位置可以分别用不同颜色的框或不同颜色的线条标记出来，判断不同颜色的框所包含的区域或不同颜色的线条所包含的区域是否有重叠，来确定目标视频帧。
[0177]
可选的，获取上述筛选出的各个视频帧的时间戳，则最小时间戳即为路面故障发生的时间。
[0178]
可以看到，本技术实施例，首先，通过获取交通道路的原始数据，原始数据中包括视频数据和雷达数据等，根据原始数据生成多个目标的地理运行轨迹，再根据多个目标的地理运行轨迹确定路面是否存在异常，在存在异常的情况下，确定路面的异常区域。具体为，建立变道模型以及确定变道阈值，通过变道模型确定出发生了变道的目标，将发生了变道的目标的数量与变道阈值进行比较，从而可以确定路面上是否存在异常。在路面上存在异常的情况下，通过识别模型确定出异常轨迹，通过求异常轨迹上各个点的曲率的方式，确定出路面上的异常区域。最后，通过停留时长模型确定出目标在异常区域的停留时长，将停留时长与时间阈值进行比较，确定出路面上的异常区域是否为路面故障区域。其中，变道阈值、时间阈值均与时期(日期和时间)有关，不同时期(日期和时间)对应的变道阈值、时间阈值一般是不同的。实施本技术实施例，能够自动实现路面的及时监测，且能够排除由于车祸、追尾、排水井盖损坏或丢失等造成路面异常误判的情况，提升路面监测效率。
[0179]
本技术示例性地提供了一种根据视频数据获得各个目标的地理运行轨迹的具体方法，参考图9，图9为本技术实施例提供的一种根据视频数据流获得各个目标的地理运行轨迹的方法的流程示意图，该方法包括但不限于以下s1021至s1025内容的描述。
[0180]
s1021、目标检测和属性检测。
[0181]
具体地，对每个视频数据中的同一时刻的视频帧进行目标检测，获得目标的位置
信息和类型信息(其中，目标的位置信息即为目标在视频帧中的坐标)，进一步对检测到的目标进行目标属性检测，获得目标的属性信息。由于目标检测获得了视频帧中的目标的类型，根据目标属于的不同类型，目标属性检测所检测的属性类型可以不相同，例如：对于检测到的目标的类型为机动车，要检测的机动车的属性类型包括：车型、车身颜色、车牌等，对于检测到的目标的类型为行人，要检测的人的属性类型包括：性别、衣着颜色、身形等。
[0182]
值得注意的是，当获取的是多个视频数据时，在进行目标检测时，首先对多个视频数据进行时间对齐，即获得多个视频数据中表示同一时刻的交通状况的视频帧，然后对同一时刻的每个视频帧进行目标检测和目标属性检测。
[0183]
可选的，还可以对道路标记线进行检测，对视频帧中道路标记线进行检测，获得道路标记线的位置信息。
[0184]
s1022、目标定位。
[0185]
目标定位主要是将在视频帧中检测到的目标对应的像素坐标变换为目标在物理世界中的地理坐标，所述目标的像素坐标是视频帧中目标所在位置的像素点的坐标，像素坐标是二维坐标；目标的地理坐标是目标在物理世界中的任意一种坐标系下的坐标，例如：本技术中的地理坐标采用由目标在交通道路中的位置对应的经度、纬度组成的二维坐标。进行目标定位的具体方法在后续步骤中具体描述。
[0186]
目标定位主要是对各个视频帧中的目标进行定位，确定各个目标在视频帧中的坐标位置。进行目标定位的方法有很多种，本技术对目标定位方法不做具体限定。
[0187]
可选的，还可以执行道路标记线定位，确定视频帧中道路标记线的坐标。
[0188]
s1023、目标跟踪。
[0189]
目标跟踪指对一段视频数据中记录的目标在不同视频帧中的位置进行跟踪，具体为：确定视频数据中当前时刻的视频帧中和前一时刻的视频帧中记录的同一目标，使两个目标对应同一个目标id，且在目标轨迹表上记录该目标id在当前时刻的视频帧中的坐标，所述目标轨迹表为记录存在在摄像头拍摄的区域中的每个目标的当前时刻的坐标和历史时刻的坐标(由目标的当前时刻的坐标和历史时刻的坐标可拟合出目标的运动轨迹)。进行目标跟踪时，可以根据获得的当前处理的视频帧中的目标的类型、位置和属性与缓存的已处理的前一时刻视频帧中的目标的类型、位置和属性进行比较，确定相邻两个视频帧中目标之间的关联，即对相邻两个视频帧中判断为的同一个目标的目标标记为同一个目标id，且记录每个目标对应的目标id及其在视频帧中的坐标。目标跟踪的方法多种多样，本技术对目标跟踪的方法不做具体限定。
[0190]
s1024、数据分析。
[0191]
当前述步骤从同一时刻的多个视频帧中获得了多组处理后的数据(包括目标的类型信息、坐标、属性信息等数据)，该步骤对多组处理后的数据进行分析，获得分析后的数据。具体地，例如，对于多组数据中目标的类型、属性信息相同且目标的坐标相近的情况，将多组数据中该目标的坐标进行加权平均获得目标的分析后的坐标，将多组数据中的一组目标的类型、属性信息及分析后的目标的坐标组合形成一组该目标的分析后的数据。对于仅在同一时刻的一个视角的视频帧中存在，但在同一时刻的其他视频帧中无法观测的目标，该视频帧对应的一组数据中的坐标、类型、属性等数据即为获得的分析后的坐标、类型、属性等数据。经过多方向数据的分析，可以使得每个目标的数据更加准确(例如目标对应的坐
标)，且可以获得同一时刻下多个摄像机拍摄到的交通道路下的全部目标的数据。目标的分析后的数据可以更准确地展现该时刻的交通道路上的目标，避免单个摄像机视角下由于车辆遮挡、视角限制、光照阴影等原因导致的目标数据的不全面。
[0192]
可选的，还可以对从各个摄像头采集的原始数据中获得的道路标记线的数据进行分析，获得分析后的道路标记线的像素坐标。
[0193]
可选的，还可以将从各个摄像头采集的原始数据中获得的处理后的数据进行分析。例如：将雷达数据进行处理后获得的处理后的数据和从摄像机组采集到的原始数据中获得的处理后的数据进行分析，使数据更精确，例如，对于目标的位置，对视频数据进行目标检测、目标定位和目标坐标分析后获得的分析后的坐标可以与由雷达数据计算获得的该目标的坐标进一步进行分析(例如加权平均)，使获得的目标的最终坐标更加精确。
[0194]
s1025、确定各个目标的地理运行轨迹。
[0195]
将分析后的每个目标的坐标按照时间顺序串联起来，获得每个目标的地理运行轨迹。
[0196]
可选的，每个目标的地理运行轨迹中还可以包括相对应的道路标记线。
[0197]
值得注意的是，前述步骤s1023与步骤s1024的执行顺序可互换，即：可以先进行目标跟踪，即对获取的视频帧中的目标与已处理的前一时刻的视频帧中的目标进行比较，标记两个视频帧中相同的目标为同一个目标id，获得每个目标id在一段时间的运行轨迹。再对同一时刻的多个视频帧中的同一目标对应的数据进行分析，获得分析后的目标id及其对应的分析后的数据。也可以对同一时刻的多个视频帧中的同一目标对应的数据进行分析，获得分析后的目标id及其对应的分析后的数据，再对每个视频帧中的目标与已处理的前一时刻的视频帧中的目标进行比较，标记两个视频帧中相同的目标为同一个分析后的目标id。
[0198]
参见图10，图10为本技术实施例提供的一种路面异常区域监测装置800的示意图，该装置800包括：
[0199]
获取单元810，用于获取交通道路的视频数据，其中，视频数据记录了在交通道路的路面上的多个目标的运行状况；
[0200]
运行轨迹生成单元820，用于根据视频数据，获得多个目标在路面上的地理运行轨迹；
[0201]
异常区域确定单元830，用于根据多个目标在路面上的地理运行轨迹，确定路面上的异常区域，其中，异常区域为路面上存在影响正常交通的因素的区域。
[0202]
在可能的实施方式中，影响正常交通的因素包括路面上发生坍塌、坑槽、凹陷、隆起、水毁、车祸事故、追尾事故、护栏拦截路面、排水井盖损坏和排水井盖丢失中的至少一种。
[0203]
在可能的实施方式中，异常区域确定单元830具体用于：将多个目标在路面上的地理运行轨迹输入至变道模型，确定多个目标是否发生了变道；统计发生了变道的目标的数量；将发生了变道的目标的数量与变道阈值进行比较，确定路面是否异常；变道阈值是根据第一历史信息确定的，其中第一历史信息包括在路面未发生异常的情况下，采集的包括不同时期的历史目标的数据；在路面异常的情况下，确定路面上的异常区域；其中，变道模型是基于第一历史信息训练得到的人工智能ai模型。
[0204]
在可能的实施方式中，变道阈值包括多个；其中，每个变道阈值对应着一个时期标签；异常区域确定单元830用于：根据获得地理运行轨迹的时期信息，从多个变道阈值中确定出待比较的变道阈值；将发生了变道的目标的数量与待比较的变道阈值进行比较；经比较，在发生了变道的目标的数量大于待比较的变道阈值的情况下，则确定路面异常。
[0205]
在可能的实施方式中，异常区域确定单元830用于：将多个目标在路面上的地理运行轨迹分别输入识别模型，从而确定出多个目标在路面上的地理运行轨迹是否为异常轨迹；异常轨迹包括目标未按照道路标记线直行、或转弯、或超车、或换道而产生的运行轨迹；根据所有的异常轨迹确定路面上异常区域；其中，识别模型是基于第二历史信息训练得到的ai模型，第二历史信息包括带标签的地理运行轨迹，带标签的地理运行轨迹是基于在路面未发生异常的情况下采集的历史目标的数据获得的。
[0206]
在可能的实施方式中，异常区域确定单元830用于：根据曲率确定各个异常轨迹中每条异常轨迹上的异常点集；根据各个异常轨迹中每条异常轨迹上的异常点集，确定路面上的异常区域。
[0207]
在可能的实施方式中，装置800还包括：故障区域确定单元840，用于进一步确定路面上的异常区域是否为路面故障区域；路面故障区域为路面上由于路基损坏和路面损坏而影响正常交通的区域。
[0208]
在可能的实施方式中，获取单元810还用于，获取交通道路的雷达数据，其中，雷达数据包括在交通道路的路面上的多个目标的速度数据；故障区域确定单元840具体用于：将异常点集对应的视频数据或雷达数据输入停留时长模型，获得目标在异常区域的实际停留时长；将目标在异常区域的实际停留时长与时间阈值进行比较，确定异常区域是否为路面故障区域；时间阈值是根据第三历史信息确定的，其中第三历史信息包括在路面为非故障的情况下，采集的历史目标的视频数据或雷达数据；其中，停留时长模型是基于第三历史信息训练得到的ai模型。
[0209]
在可能的实施方式中，时间阈值包括多个；其中，每个时间阈值对应着一个时期标签；故障区域确定单元840用于：根据获得异常点集对应的原始数据的时期信息，从多个时间阈值中确定出待比较的时间阈值；将实际停留时长与待比较的时间阈值进行比较；经比较，在实际停留时长大于待比较的时间阈值的情况下，确定异常区域为路面故障区域。
[0210]
在可能的实施方式中，装置800还包括：生成单元850，用于生成监测报告，监测报告包括目标视频帧、路面故障区域发生的时间和路面故障区域的位置；其中，目标视频帧为含有路面故障区域且各个目标与路面故障区域无重叠的视频帧；
[0211]
通信单元860，用于发送监测报告至终端设备。
[0212]
上述装置800的各功能模块用于实现图4或图9实施例所描述的方法，具体内容可参考图4或图9实施例的相关内容中的描述，为了说明书的简洁，这里不再赘述。
[0213]
参见图11，本技术提供了一种计算设备900的结构示意图，该计算设备可以在交通盒子中实现，也可以在云服务集群中实现，至少包括：包括至少一个计算节点910以及至少一个存储节点920。其中，
[0214]
计算节点910包括一个或多个处理器911、收发器912和存储器913，处理器911、收发器912和存储器913之间可以通过总线914连接。
[0215]
处理器911包括一个或者多个通用处理器，通过调用存储器913中的程序代码，用
于运行图10中的获取单元810、运行轨迹生成单元820、异常区域确定单元830、故障区域确定单元840、生成单元850和通信单元860。其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括中央处理器(central processing unit，cpu)、微处理器、微控制器、主处理器、控制器以及asic(application specific integrated circuit，专用集成电路)等等。它能够是仅用于计算节点910的专用处理器或者能够与其它计算节点910共享。处理器911读取存储器913中存储的程序代码，与收发器912配合执行本技术上述实施例中一种界面数据的回放装置90执行的方法的部分或者全部步骤。
[0216]
收发器912可以为有线接口(例如以太网接口)，用于与其他计算节点或用户进行通信。当收发器912为有线接口时，收发器912可以采用tcp/ip之上的协议族，例如，raas协议、远程函数调用(remote function call，rfc)协议、简单对象访问协议(simple object access protocol，soap)协议、简单网络管理协议(simple network management protocol，snmp)协议、公共对象请求代理体系结构(common object request broker architecture，corba)协议以及分布式协议等等。
[0217]
存储器913可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，ram)；存储器也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，rom)、快闪存储器(flash memory)、硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)存储器还可以包括上述种类的存储器的组合。
[0218]
存储节点920包括一个或多个存储控制器921、存储阵列922。其中，存储控制器921和存储阵列922之间可以通过总线923连接。
[0219]
存储控制器921包括一个或者多个通用处理器，其中，通用处理器可以是能够处理电子指令的任何类型的设备，包括cpu、微处理器、微控制器、主处理器、控制器以及asic等等。它能够是仅用于单个存储节点920的专用处理器或者能够与计算节点900或者其它存储节点920共享。可以理解，在本实施例中，每个存储节点包括一个存储控制器，在其他的实施例中，也可以多个存储节点共享一个存储控制器，此处不作具体限定。
[0220]
存储器阵列922可以包括多个存储器。存储器可以是非易失性存储器，例如rom、快闪存储器、hdd或ssd存储器还可以包括上述种类的存储器的组合。例如，存储阵列可以是由多个hdd或者多个sdd组成，或者，存储阵列可以是由hdd以及sdd组成。其中，多个存储器在存储控制器921的协助下按不同的方式组合起来形成存储器组。可选地，存储器阵列922可以包括一个或者多个数据中心。多个数据中心可以设置在同一个地点，或者，分别在不同的地点，此处不作具体限定。存储器阵列922可以存储有程序代码以及程序数据。其中，程序代码包括获取单元810的代码、运行轨迹生成单元820的代码、异常区域确定单元830的代码、故障区域确定单元840的代码、生成单元850的代码和通信单元860的代码。程序数据包括：视频数据、雷达数据、变道阈值、时间阈值、监测报告等等。
[0221]
本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被硬件(例如处理器等)执行，以实现本技术实施例中一种路面异常区域监测装置执行的任意一种方法的部分或者全部步骤。
[0222]
本技术实施例还提供一种计算机程序产品，当计算机程序产品被计算机读取并执行时，使得路面异常区域监测装置执行本技术实施例中任意一种路面异常区域监测方法的
部分或全部步骤。
[0223]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态存储盘solid state disk，ssd))等。在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0224]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，也可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
[0225]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本技术实施例方案的目的。
[0226]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0227]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0228]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利
要求的保护范围为准。