一种基于时间序列的视频信标数据关联方法和系统与流程

1.本发明涉及智能交通技术领域，特别是涉及一种基于时间序列的视频信标数据关联方法和系统。


背景技术：

2.智能交通系统(简称its)，是未来几十年内交通系统的发展方向，它将计算机技术、传感器技术、信息技术和通信技术等有效地集成并应用于交通信息管理系统中，并建立起一种大范围、全方位、实时准确高效的综合交通运输管理系统。为获取交通信息流中全方位的实时交通数据信息，需要各种检测器(e.g.摄像头、地磁传感器、毫米波雷达等)协同工作，共同采集交通数据并由中央控制器对所采集到的各个数据进行融合分析，以此来评定道路交通状况。两类不同设备之间数据的融合，若直接采用两者的设备时间进行关联融合，受对时误差影响较为严重，当对时误差较大时，容易出现关联错误的情况；且当数据较为密集时，容易出现一个数据匹配多个数据的情况。


技术实现要素：

3.针对现有技术中存在的缺陷，本发明的目的在于提供一种基于时间序列的视频信标数据关联方法和系统，解决不同设备时间进行关联融合，受对时误差影响较为严重，当对时误差较大时，容易出现关联错误的情况；且当数据较为密集时，容易出现一个数据匹配多个数据的情况的技术问题。
4.为了达到上述目的，本发明所采用的具体技术方案如下：
5.一种基于时间序列的视频信标数据关联方法，具体包括以下步骤：
6.s1，通过视频监控设备拍摄车辆视频，从视频中提取车辆的标识信息、车道信息和时间戳；
7.s2，获取视频中单个车道对应的连续n个车辆的n-1个时间间隔并分别标记，n为大于3的整数；
8.s3，遍历所有信标数据，判断是否有连续n-1个信标时间间隔与视频监控设备的时间间隔匹配，若是则记录匹配成功的数据并判断是否完成所有匹配，若是则执行步骤s5，否则执行步骤s4，若匹配不成功，执行步骤s4；
9.s4，从视频数据中选择下一个车辆，执行步骤s2；
10.s5，根据所有匹配成功的数据计算出平均时间差，用于修正视频监控设备与信标的对时误差；
11.s6，遍历视频数据，根据视频中的最小时间间隔和平均时间差设计一个时间窗口；
12.s7，利用平均时间差修正视频数据，并按照步骤s6中的时间窗口在信标数据中寻找位于时间窗口内的数据且与修正后视频数据差距最小的信标数据值，设为关联数据；
13.s8，记录关联数据，将未关联的视频数据与信标数据进行对标处理。
14.优选的，还包括以下步骤：
15.s9，扩展到多车道应用场景，循环执行步骤s2-s8。
16.优选的，步骤s3中，判断是否有连续n-1个信标时间间隔与视频监控设备的时间间隔匹配具体指的是
17.计算连续n-1个时间间隔的均方差，遍历所有信标数据后，均方差数值最小对应的信标数据为视频数据的关联数据，若均方差数据超过设定值，则判定为匹配不成功。
18.优选的，步骤s5中，修正视频监控设备与信标的对时误差还包括以下方法：
19.根据历史数据建立视频监控设备与信标的时间偏差受车速和时钟抖动的函数。
20.优选的，步骤s8中，将未关联的视频数据与信标数据进行对标处理具体指的是
21.选择视频数据或者信标数据作为标准，对另一种数据进行修正，删除多余的数据，补齐漏检的数据，补齐方式为采用相同时间间隔或者卡尔曼滤波法。
22.一种基于时间序列的视频信标数据关联系统，包括视频监控设备、信标设备、数据处理设备，所述视频监控设备拍摄车辆视频，从视频中提取车辆的标识信息、车道信息和时间戳，发送至所述数据处理设备；所述信标设备将信标数据发送给所述数据处理设备；所述数据处理设备获取视频中单个车道对应的连续n个车辆的n-1个时间间隔并分别标记，n为大于3的整数；遍历所有信标数据，将连续n-1个信标时间间隔与视频监控设备的时间间隔匹配，直至所有视频数据的时间间隔匹配成功；根据所有匹配成功的数据计算出平均时间差，用于修正视频监控设备与信标的对时误差；遍历视频数据，根据视频中的最小时间间隔和平均时间差设计一个时间窗口；利用平均时间差修正视频数据，并按照的时间窗口在信标数据中寻找位于时间窗口内的数据且与修正后视频数据差距最小的信标数据值，设为关联数据；记录关联数据，将未关联的视频数据与信标数据进行对标处理。
23.优选的，所述数据处理设备还用于扩展到多车道应用场景，循环匹配视频数据和信标数据。
24.优选的，将连续n-1个信标时间间隔与视频监控设备的时间间隔匹配具体指的是计算连续n-1个时间间隔的均方差，遍历所有信标数据后，均方差数值最小对应的信标数据为视频数据的关联数据。
25.优选的，所述数据处理设备还用于根据历史数据建立视频监控设备与信标的时间偏差受车速和时钟抖动的函数，以便修正视频监控设备与信标的对时误差。
26.优选的，将未关联的视频数据与信标数据进行对标处理具体指的是选择视频数据或者信标数据作为标准，对另一种数据进行修正，删除多余的数据，补齐漏检的数据，补齐方式为采用相同时间间隔或者卡尔曼滤波法。
27.本发明的有益效果在于：采用时间间隔进行匹配将有效降低相关设备间存在的对时误差影响，并且当数据较为密集时，通过选取离修正后摄像机数据的最近值可以较为正确的关联上相对应的信标数据。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明一种基于时间序列的视频信标数据关联方法的流程图图；
30.图2是本发明一种基于时间序列的视频信标数据关联系统的原理框图。
具体实施方式
31.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
32.如图1所示，本发明提出了一种基于时间序列的视频信标数据关联方法，具体包括以下步骤：
33.s1，通过视频监控设备拍摄车辆视频，从视频中提取车辆的标识信息、车道信息和时间戳；也可通过摄像机抓拍车辆照片，获取车辆的信息有车牌号、车辆所属车道、抓拍车辆的时间戳等。
34.s2，获取视频中单个车道对应的连续n个车辆的n-1个时间间隔并分别标记，n为大于3的整数；比如获取摄像机采集的连续四辆车的三个时间间隔t1、t2、t3。
35.s3，遍历所有信标数据，判断是否有连续n-1个信标时间间隔与视频监控设备的时间间隔匹配，若是则记录匹配成功的数据并判断是否完成所有匹配，若是则执行步骤s5，否则执行步骤s4，若匹配不成功，执行步骤s4；
36.具体的，判断是否有连续n-1个信标时间间隔与视频监控设备的时间间隔匹配具体指的是计算连续n-1个时间间隔的均方差，遍历所有信标数据后，均方差数值最小对应的信标数据为视频数据的关联数据，若均方差数据超过设定值，则判定为匹配不成功。获取连续三个信标时间间隔t1'、t2'、t3'，计算均方差mse＝(t
1-t1')2+(t
2-t2')2+(t
3-t3')2，遍历完全部信标值后，获取最小的mse下的信标数据即为关联数据。若信标数据中存在缺失值，则遍历完所有信标数据后，计算出来的mse都将会很大，因此设定一个关联成功的最大均方差值即可发现信标数据存在缺失值，若存在缺失值，直接跳过这一轮摄像机数据。
37.s4，从视频数据中选择下一个车辆，执行步骤s2；
38.从视频数据中选择下一个车辆即将摄像机数据向下滑动一个单位车辆，表示上一轮摄像机数据已经关联完成或无法关联。
39.s5，根据所有匹配成功的数据计算出平均时间差，用于修正视频监控设备与信标的对时误差；
40.摄像机数据与信标数据有一些关联成功，有一些无法关联。将所有已成功关联的数据计算出平均时间差，认为是摄像机与信标的对时误差并进行下一轮重新遍历关联。
41.摄像机与信标的时钟误差主要跟车速和传感器系统时钟的抖动相关。还可以根据历史数据建立摄像机与信标的时间偏差受车速和时钟抖动的函数，时间抖动幅度一般不会太大，可以根据上一次计算出关于车速的函数，然后在结果上加上和减去最大抖动值，获取关联区间。
42.s6，遍历视频数据，根据视频中的最小时间间隔和平均时间差设计一个时间窗口；
43.利用上一步中计算出来的平均时间差，对每一个摄像机数据设置一个时间窗口，窗口的设计需尽可能的只有一辆车。因此设计方式可以是：假设该道路中检测到最接近的
两辆车为500ms，则窗口设置为[摄像机数据时间+平均时间偏差-500，摄像机数据时间+平均时间偏差+500]。
[0044]
s7，利用平均时间差修正视频数据，并按照步骤s6中的时间窗口在信标数据中寻找位于时间窗口内的数据且与修正后视频数据差距最小的信标数据值，设为关联数据；
[0045]
s8，记录关联数据，将未关联的视频数据与信标数据进行对标处理。
[0046]
具体的，步骤s8中，将未关联的视频数据与信标数据进行对标处理具体指的是
[0047]
选择视频数据或者信标数据作为标准，对另一种数据进行修正，删除多余的数据，补齐漏检的数据，补齐方式为采用相同时间间隔或者卡尔曼滤波法。
[0048]
优选的，还包括以下步骤：
[0049]
s9，扩展到多车道应用场景，循环执行步骤s2-s8。
[0050]
本发明主要进行车辆级别的数据融合，假设视频设备识别到的车顺序标号为x＝{x1,x2,...,xn}，按同样的方式将每辆车对应的真实时间进行标号，假设为t＝{t1,t2,...,tn}，则视频设备产生的对时误差：
[0051]
ε
x
＝x
1-t1＝x
2-t2＝...＝x
n-tn[0052]
同理将信标设备识别到的车辆顺序标号为y＝{y1,y2,...,yn}，则信标设备产生的对时误差为：
[0053]
εy＝y
1-t1＝y
2-t2＝...＝y
n-tn[0054]
因此，可以得到两类设备的相对时间误差为：
[0055]
ε
x-εy＝x
1-y1＝x
2-y2＝...＝x
n-yn[0056]
以上假设均建立在xi和yi是同一辆车的情况下，即视频设备检测到的车和信标设备检测到的车一一对应。可以使用如下公式将其数据进行对齐
[0057][0058]
其中，j＝i+k。
[0059]
当x＝{x1,x2,...,xn}不能找到对应的y＝{y
j+1
,y
j+2
,...,y
j+n-1
}与之对应时，则判定可能出现了数据漏检或者数据多检情况。本发明方案是将视频设备的数据整体向下滑动一个单位车辆，即使用x＝{x2,x3,...,x
n+1
}进行数据对齐，如果还未匹配出对应的信标设备数据，则继续向下滑动，直到x＝{xm,x
m+1
,...,x
n+m-1
}匹配到对应的y＝{yj,y
j+1
,...,y
j+n-1
}。如果视频设备的数据一直滑动到最后一个数据也没有信标设备数据匹配成功，则可将车辆数量n减少至n-1继续进行上述匹配，直至匹配成功。
[0060]
如图2所示，本发明还提出了一种基于时间序列的视频信标数据关联系统，包括视频监控设备、信标设备、数据处理设备，所述视频监控设备拍摄车辆视频，从视频中提取车辆的标识信息、车道信息和时间戳，发送至所述数据处理设备；所述信标设备将信标数据发送给所述数据处理设备；所述数据处理设备获取视频中单个车道对应的连续n个车辆的n-1个时间间隔并分别标记，n为大于3的整数；遍历所有信标数据，将连续n-1个信标时间间隔与视频监控设备的时间间隔匹配，直至所有视频数据的时间间隔匹配成功；根据所有匹配成功的数据计算出平均时间差，用于修正视频监控设备与信标的对时误差；遍历视频数据，根据视频中的最小时间间隔和平均时间差设计一个时间窗口；利用平均时间差修正视频数据，并按照的时间窗口在信标数据中寻找位于时间窗口内的数据且与修正后视频数据差距
最小的信标数据值，设为关联数据；记录关联数据，将未关联的视频数据与信标数据进行对标处理。
[0061]
具体的，信标设备包括依次连接的磁阻传感器模块、信号预处理模块、微处理器、无线通信模块和为上述各个模块供电的供电模块，信号预处理模块包括信号放大单元和模数转换单元，信号放大单元将磁阻传感器模块传送的信号放大后传输至模数转换单元，模数转换单元将放大后的信号转换为数字信号后传输给微处理器。为了提高信标数据的准确度，可在模数转换单元的输入端设置一低通滤波器，滤除高频噪声。微处理器还可采用滑动窗口均值算法对接收到的信标数据进行处理，以便进一步提高信标数据的准确度。
[0062]
优选的，所述数据处理设备还用于扩展到多车道应用场景，循环匹配视频数据和信标数据。
[0063]
具体的，在单车道应用场景中，信标设备的信号包括地球磁场波动、温度磁场波动和车辆波动，在多车道应用场景中，信标设备的信号包括相邻车道车辆波动、地球磁场波动、温度磁场波动和车辆波动，无线通信模块包括近距离通信单元，在使用时，微处理器控制近距离通信单元启动，判断是否存在其他近距离通信单元，若存在，则微处理器将信标数据记为相邻车道车辆波动、地球磁场波动、温度磁场波动和车辆波动，否则记为地球磁场波动、温度磁场波动和车辆波动。可以根据是否存在近距离通信单元启动不同的信标数据处理模型，以便提高数据处理准确度。
[0064]
优选的，将连续n-1个信标时间间隔与视频监控设备的时间间隔匹配具体指的是计算连续n-1个时间间隔的均方差，遍历所有信标数据后，均方差数值最小对应的信标数据为视频数据的关联数据。
[0065]
优选的，所述数据处理设备还用于根据历史数据建立视频监控设备与信标的时间偏差受车速和时钟抖动的函数，以便修正视频监控设备与信标的对时误差。
[0066]
优选的，将未关联的视频数据与信标数据进行对标处理具体指的是选择视频数据或者信标数据作为标准，对另一种数据进行修正，删除多余的数据，补齐漏检的数据，补齐方式为采用相同时间间隔或者卡尔曼滤波法。
[0067]
本发明主要进行车辆级别的数据融合，假设视频设备识别到的车顺序标号为x＝{x1,x2,...,xn}，按同样的方式将每辆车对应的真实时间进行标号，假设为t＝{t1,t2,...,tn}，则视频设备产生的对时误差：
[0068]
ε
x
＝x
1-t1＝x
2-t2＝...＝x
n-tn[0069]
同理将信标设备识别到的车辆顺序标号为y＝{y1,y2,...,yn}，则信标设备产生的对时误差为：
[0070]
εy＝y
1-t1＝y
2-t2＝...＝y
n-tn[0071]
因此，可以得到两类设备的相对时间误差为：
[0072]
ε
x-εy＝x
1-y1＝x
2-y2＝...＝x
n-yn[0073]
以上假设均建立在xi和yi是同一辆车的情况下，即视频设备检测到的车和信标设备检测到的车一一对应。可以使用如下公式将其数据进行对齐
[0074][0075]
其中，j＝i+k。
[0076]
当x＝{x1,x2,...,xn}不能找到对应的y＝{y
j+1
,y
j+2
,...,y
j+n-1
}与之对应时，则判定可能出现了数据漏检或者数据多检情况。本发明方案是将视频设备的数据整体向下滑动一个单位车辆，即使用x＝{x2,x3,...,x
n+1
}进行数据对齐，如果还未匹配出对应的信标设备数据，则继续向下滑动，直到x＝{xm,x
m+1
,...,x
n+m-1
}匹配到对应的y＝{yj,y
j+1
,...,y
j+n-1
}。如果视频设备的数据一直滑动到最后一个数据也没有信标设备数据匹配成功，则可将车辆数量n减少至n-1继续进行上述匹配，直至匹配成功。
[0077]
本发明上述所有信标设备为一种基于地磁技术的感知设备，信标数据为该设备对应的数据。
[0078]
本发明的有益效果在于：采用时间间隔进行匹配将有效降低相关设备间存在的对时误差影响，并且当数据较为密集时，通过选取离修正后摄像机数据的最近值可以较为正确的关联上相对应的信标数据。
[0079]
以上述依据本发明的理想实施例为启示，通过上述的说明内容，本领域技术人员完全可以在不偏离本发明技术思想的范围内，进行多样的变更以及修改。本发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求书范围来确定其技术性范围。