视频数据与遥测数据同步方法、装置、电子设备及介质与流程

1.本发明涉及无人机领域，特别涉及一种视频数据与遥测数据同步方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.无人机载荷的视频数据以及遥测数据是无人机采集到的重要数据。相关技术中，无人机的视频数据和遥测数据一般采用不同的传输通道进行传输，而地面端软件在接收数据的过程中，同一时刻视频解码得到的图像与遥测解析的得到的遥测数据存在不同的处理和传输延时，存在无人机视频和遥测数据不同步的问题。


技术实现要素：

3.本发明的目的是提供一种视频数据与遥测数据同步方法、装置、电子设备及计算机可读存储介质，可控制视频采集设备及遥测设备进行运动来产生突变数据，进而依照视频图像帧和遥测数据帧中出现突变的时刻对其进行有效对齐，确保视频数据与遥测数据能够同步输出。
4.为解决上述技术问题，本发明提供一种视频数据与遥测数据同步方法，包括：
5.对接收到的视频图像帧进行解码并标记第一解码时刻，同时对接收到的遥测数据帧进行解码并标记第二解码时刻；
6.控制视频采集设备及遥测设备进行同步运动，并对所述视频图像帧中的目标物体进行目标追踪，根据追踪结果及所述第一解码时刻确定画面突变时刻；
7.计算相邻所述遥测数据帧的遥测值变化量，并利用所述遥测值变化量及所述第二解码时刻确定遥测值突变时刻；
8.利用所述画面突变时刻及所述遥测值突变时刻计算相对延迟时间，并利用所述相对延迟时间对所述视频图像帧及所述遥测数据帧进行同步及输出。
9.优选地，所述控制视频采集设备及遥测设备进行同步运动，包括：
10.控制所述视频采集设备及所述遥测设备静止，并记录静止时间；
11.当静止时间到达预设阈值时，控制所述视频采集设备及所述遥测设备进行转动。
12.优选地，所述对所述视频图像帧中的目标物体进行目标追踪，根据追踪结果及所述第一解码时刻确定画面突变时刻，包括：
13.确定多个所述目标物体在所述视频图像帧中的位置，并利用所述位置计算所述目标物体在相邻所述视频图像帧中的位置变化值；
14.对同一对相邻的所述视频图像帧对应的所有位置变化值进行平均计算得到所述位置变化平均值，并判断所述位置变化平均值是否大于预设阈值；
15.若是，则将所述位置变化平均值所对应的后一视频图像帧的第一解码时刻设置为所述画面突变时刻。
16.优选地，所述计算相邻所述遥测数据帧的遥测值变化量，并利用所述遥测值变化
量及所述第二解码时刻确定遥测值突变时刻，包括：
17.利用所述遥测数据帧中的方位角、滚动角、俯仰角，分别计算相邻所述遥测数据帧的方位角变化量、滚动角变化量及俯仰角变化量；
18.利用所述方位角变化量、滚动角变化量及俯仰角变化量计算所述遥测值变化量；
19.判断所述遥测数据变化量是否大于预设阈值；
20.若是，则将所述遥测数据变化量所对应的后一遥测数据帧的第二解码时刻设置为所述遥测值突变时刻。
21.优选地，所述利用所述画面突变时刻及所述遥测值突变时刻计算相对延迟时间，包括：
22.利用所述画面突变时刻及所述遥测值突变时刻计算初始延迟时间；
23.对多个所述初始延迟时间进行平均计算，得到所述相对延迟时间。
24.优选地，所述利用所述相对延迟时间对所述视频图像帧及所述遥测数据帧进行同步及输出，包括：
25.利用所述相对延迟时间对所述第一解码时刻进行延时补偿，得到所述视频图像帧的延时补偿时刻；
26.根据所述延时补偿时刻及所述第二解码时刻，查找与所述视频图像帧相邻的遥测数据帧，并利用所述相邻的遥测数据帧为所述视频图像帧计算同步遥测数据；
27.对所述视频图像帧及所述同步遥测数据进行输出。
28.优选地，在根据所述延时补偿时刻及所述第二解码时刻，查找与所述视频图像帧相邻的遥测数据帧之前，还包括：
29.获取所述视频数据帧的第一帧率及所述遥测数据帧的第二帧率，并利用所述第一帧率和所述第二帧率计算延迟输出时间；
30.利用所述延迟输出时间对所述视频图像帧及所述遥测数据帧进行延迟输出处理，并利用处理后的视频图像帧及遥测数据帧执行所述根据所述补偿修正时间及所述第二解码时刻，查找与所述视频图像帧相邻的遥测数据帧的步骤。
31.本发明还提供一种视频数据与遥测数据同步装置，包括：
32.解码标记模块，用于对接收到的视频图像帧进行解码并标记第一解码时刻，同时对接收到的遥测数据帧进行解码并标记第二解码时刻；
33.画面突变检测模块，用于控制视频采集设备及遥测设备进行同步运动，并对所述视频图像帧中的目标物体进行目标追踪，根据追踪结果及所述第一解码时刻确定画面突变时刻；
34.遥测值突变检测模块，用于计算相邻所述遥测数据帧的遥测值变化量，并利用所述遥测值变化量及所述第二解码时刻确定遥测值突变时刻；
35.同步模块，用于利用所述画面突变时刻及所述遥测值突变时刻计算相对延迟时间，并利用所述相对延迟时间对所述视频图像帧及所述遥测数据帧进行同步及输出。
36.本发明还提供一种电子设备，包括：
37.存储器，用于存储计算机程序；
38.处理器，用于执行所述计算机程序时实现如上述所述的视频数据与遥测数据同步方法。
39.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上述所述的视频数据与遥测数据同步方法。
40.本发明提供一种视频数据与遥测数据同步方法，包括：对接收到的视频图像帧进行解码并标记第一解码时刻，同时对接收到的遥测数据帧进行解码并标记第二解码时刻；控制视频采集设备及遥测设备进行同步运动，并对所述视频图像帧中的目标物体进行目标追踪，根据追踪结果及所述第一解码时刻确定画面突变时刻；计算相邻所述遥测数据帧的遥测值变化量，并利用所述遥测值变化量及所述第二解码时刻确定遥测值突变时刻；利用所述画面突变时刻及所述遥测值突变时刻计算相对延迟时间，并利用所述相对延迟时间对所述视频图像帧及所述遥测数据帧进行同步并输出。
41.可见，本发明首先在对接收到的视频图像帧和遥测数据帧进行解码后为其标记了相应的解码时刻，并控制视频采集设备和遥测设备进行同步运动。由于运动会导致视频图像及遥测数据发生突变，因此本发明随后对视频图像帧中的目标进行了目标跟踪，并根据跟踪结果及第一解码时刻确定了画面突变时刻，以及计算了相邻遥测数据帧之间的遥测值变化量，并根据该变化量及第二解码时刻确定了遥测值突变时刻；进一步，由于视频采集设备和遥测设备之间的运动是同步的，换而言之，画面突变时刻与遥测值突变时刻应当相对应，因此本发明继续计算了画面突变时刻与遥测突变时刻之间的相对延迟时间，即得到了视频数据帧与遥测数据帧在解码之后的相对延时，最后便可利用相对延迟时间对视频数据帧与遥测数据帧进行有效对其，确保输出的视频数据帧与遥测数据帧同步。本发明还提供一种视频数据与遥测数据同步装置、电子设备和计算机可读存储介质，具有上述有益效果。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
43.图1为本发明实施例所提供的一种视频数据与遥测数据同步方法的流程图；
44.图2为本发明实施例所提供的一种平均相对延时估计过程的流程图；
45.图3为本发明实施例所提供的一种在线同步过程的流程图；
46.图4为本发明实施例所提供的一种视频数据与遥测数据同步装置的结构框图。
具体实施方式
47.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.无人机载荷的视频数据以及遥测数据是无人机采集到的重要数据。相关技术中，无人机的视频数据和遥测数据一般采用不同的传输通道进行传输，而地面端软件在接收数据的过程中，同一时刻视频解码得到的图像与遥测解析的得到的遥测数据存在不同的处理
和传输延时，存在无人机视频和遥测数据不同步的问题。有鉴于此，本发明提供一种视频数据和遥测数据同步方法，可控制视频采集设备及遥测设备进行运动来产生突变数据，进而依照视频图像帧和遥测数据帧中出现突变的时刻对其进行有效对齐，确保视频数据与遥测数据能够同步输出。请参考图1，图1为本发明实施例所提供的一种视频数据与遥测数据同步方法的流程图，该方法可以包括：
49.s100、对接收到的视频图像帧进行解码并标记第一解码时刻，同时对接收到的遥测数据帧进行解码并标记第二解码时刻。
50.需要说明的是，第一解码时刻和第二解码时刻均为对应数据帧完成解码的时刻。本发明实施例并不限定视频图像帧以及遥测数据帧的解码方式，可参考数据编码和解码的相关技术。
51.s200、控制视频采集设备及遥测设备进行同步运动，并对视频图像帧中的目标物体进行目标追踪，根据追踪结果及第一解码时刻确定画面突变时刻。
52.在本发明实施例中，为了实现视频图像帧和遥测数据帧的对齐同步，需要利用视频采集设备及遥测设备同步生成一些特征数据，进而才可根据这些特征数据的生成时刻，将视频数据和遥测数据进行对齐。为增强特征数据的特殊性，同时考虑到设备运动将会产生明显的图像画面变化及遥测数据变化，在本发明实施例中，将控制视频采集设备及遥测设备进行同步运动，并对视频数据和遥测数据中的突变情况进行检测，以此对视频数据和遥测数据进行同步。
53.需要说明的是，本发明实施例并不限定视频采集设备和遥测设备具体的运动方式，例如控制视频采集设备和遥测设备由静止开始转动，或是先控制两设备先进行缓动，进而再提升运动速度。考虑到控制两设备先静止后转动能够提升突变数据的特殊性及同步校准成功率，因此在本发明实施例中，将控制两设备先保持静止，随后开始转动。当然，为了便于记录静止时的稳定数据，也可控制两设备静止并记录静止时间，确保视频图像帧和遥测数据帧中包含足量的静止数据，直至静止时间到达预设阈值时才开始控制两设备进行转动。
54.在一种可能的情况中，步骤s200中的控制视频采集设备及遥测设备进行同步运动，可以包括：
55.s210：控制视频采集设备及遥测设备静止，并记录静止时间；
56.s220：当静止时间到达预设阈值时，控制视频采集设备及遥测设备进行转动。
57.需要说明的是，本发明实施例并不限定预设阈值的具体数值，可根据实际应用需求进行设定；本发明实施例也不限定两设备的转动速度、方向、转动持续时间等转动参数，可根据实际应用需求进行设定。进一步，可以理解的是，由于视频采集设备和遥测设备通常设置在无人机的吊舱中，因此仅需控制无人机吊舱移动，即可达到同时控制视频采集设备和遥测设备同时运动的效果。本发明实施例并不限定具体的视频采集设备、遥测设备、无人机，同时也不限定无人机吊舱的控制方法，均可参考相关技术，并结合实际需求进行设置。
58.进一步，为了对视频图像帧中的突变情况进行检测，本发明实施例将选用目标追踪对视频图像中的目标进行追踪。可以理解的是，当视频采集设备发生运动时，该设备将与视频图像所采集到的物体发生相对运动，因此仅需确定视频图像中的目标物体是否运动，即可确定视频图像帧中的画面突变情况。本发明实施例并不限定具体的目标追踪方式，例
如可使用deepsort、fairmot等基于深度学习的目标跟踪算法；本发明实施例也不限定目标物体的选择方式，例如可由目标跟踪算法自动选择，也可人工框选；本发明实施例也不限定目标物体的数量，可以为一个，也可以为多个；当单个目标物体即可满足突变检测的需求时，目标物体可以为一个；当需要提升突变检测的可靠性时，也可以选择多个目标物体。在本发明实施例中，为降低单个物体所带来的误差，将对视频图像帧中的多个目标物体进行目标追踪。需要强调的是，目标物体应当为静止物体。本发明实施例并不限定具体的静止物体，例如可以为房屋、树木等，可根据实际应用需求进行设定。
59.进一步，可以理解的是，为了对目标物体与视频采集设备的相对运动情况进行检测，需要确定目标物体在视频图像帧中的位置，进而可根据相邻视频图像帧中同一目标物体的位置变化情况确定该物体是否发生相对运动。
60.在一种可能的情况中，步骤s200中的对视频图像帧中的目标物体进行目标追踪，根据追踪结果及第一解码时刻确定画面突变时刻，可以包括：
61.s230：确定多个目标物体在视频图像帧中的位置，并利用位置计算目标物体在相邻视频图像帧中的位置变化值；
62.s240：对同一对相邻的视频图像帧对应的所有位置变化值进行平均计算得到位置变化平均值，并判断位置变化平均值是否大于预设阈值；若是，则进入步骤s250；若否，则进入步骤s230；
63.s250：将位置变化平均值所对应的后一视频图像帧的第一解码时刻设置为画面突变时刻。
64.需要说明的是，本发明实施例并不限定如何确定目标物体在视频图像帧中的位置，在一般情况中，目标识别算法通常使用矩形框对目标物体进行框选，因此可利用矩形框在视频图像帧中的位置确定目标物体的位置。本发明实施例并不限定利用矩形框中的哪一位置代表目标物体的位置，例如可采用矩形框四个顶角中的任一位置，当然也可根据顶角位置，计算矩形框的中心位置，进而利用中心位置代表目标物体的位置。在本发明实施例中，为提升突变检测的准确率，将采用矩形框的中心位置代表目标物体的位置。可以理解的是，仅需获取矩形框任意角的位置信息以及矩形框的长宽数据，即可确定矩形框的中心位置。
65.进一步，在得到目标物体在视频图像帧中的位置后，便可根据该物体在相邻视频图像帧中的位置变化情况，确定画面突变时刻。当然，若目标物体的数量为多个，也可计算目标物体在相邻视频图像帧中的初始位置变化值，进而对相同的相邻视频图像帧之间所有的初始位置变化值进行平均计算，得到位置变化值，最后根据位置变化值的大小确定画面突变时刻。可以理解的是，当设备突然运动时，位置变化值将突然增大，因此仅需在判定位置变化值大于预设阈值时，即可确定设备发生运动，进而便可将位置变化值所对应的后一视频图像帧(即生成时间较晚的一帧视频图像帧)的第一解码时刻设置为画面突变时刻。需要说明的是，本发明实施例并不限定预设阈值的具体数值，可根据实际应用需求进行确定。
66.下面结合具体的公式进行介绍。在一种可能的情况中，无人机吊舱将执行n次旋转，在第i次(i＜n)旋转中，第j帧(j＝0,1,2,
…
,m-1，m为第i次旋转中所采集的视频图像帧数)视频图像帧中的第k个静止目标的轨迹像素坐标为：
[0067][0068][0069]
其中，k＝0,1,2,
…
,k-1，k为第j帧视频图像帧中静止目标的轨迹数目，为第i次触发载荷转动对应的第j帧中第k个目标区域的左上角点的像素坐标，w
i,j,k
、h
i,j,k
分别为第i次触发载荷转动对应的第j帧中第k个目标区域的像素宽度和像素高度。
[0070]
在得到目标物体的轨迹像素坐标后，便可进行逐帧差分运算，得到目标轨迹的像素差分坐标
[0071][0072][0073]
然后从j＝1帧开始搜索，如果大于像素坐标变化阈值th
pixcel
，则将第j帧的解码时间作为第i次触发载荷转动对应的视频数据的突变时间t
i,v
，其中计算方法为：
[0074][0075][0076]
其中d
i,j,k
为初始位置变化值。
[0077]
s300、计算相邻遥测数据帧的遥测值变化量，并利用遥测值变化量及第二解码时刻确定遥测值突变时刻。
[0078]
与视频图像帧类似的，也可以通过计算相邻遥测数据帧之间的遥测值变化量确定遥测值突变时刻。需要说明的是，本发明实施例并不限定具体的遥测数据，可参考遥测的相关技术；本发明实施例也不限定利用遥测数据帧中的哪些遥测数据计算遥测值变化量，例如可对所有遥测数据进行计算，也可以对其中的载荷姿态值进行计算。考虑到载荷姿态值为表征遥测设备运动情况的数据，针对载荷姿态值进行计算不仅可降低运算量，同时更加准确，因此将利用遥测数据帧中的载荷姿态值计算遥测变换量。具体的，遥测数据包含遥测设备的方位角、滚动角和俯仰角，因此可利用这些数据计算对应的变化值，进而利用这些变化值计算遥测值变化量。
[0079]
在一种可能的情况中，计算相邻遥测数据帧的遥测值变化量，并利用遥测值变化量及第二解码时刻确定遥测值突变时刻，即步骤s300可以包括：
[0080]
s310：利用遥测数据帧中的方位角、滚动角、俯仰角，分别计算相邻遥测数据帧的方位角变化量、滚动角变化量及俯仰角变化量；
[0081]
s320：利用方位角变化量、滚动角变化量及俯仰角变化量计算遥测值变化量；
[0082]
s330：判断遥测数据变化量是否大于预设阈值；若是，则进入步骤s340；若否，则进
入步骤s310；
[0083]
s340：将遥测数据变化量所对应的后一遥测数据帧的第二解码时刻设置为遥测值突变时刻。
[0084]
需要说明的是，本发明实施例并不限定上述预设阈值的具体数值，可根据实际应用需求进行设定。
[0085]
下面结合具体的公式介绍上述过程。在一种可能的情况中，可利用下面结合具体的公式介绍上述过程。在一种可能的情况中，可利用分别表示第i次触发载荷转动对应的第s帧遥测数据对应的方位角、滚转角、俯仰角。分别为方位角、滚转角、俯仰角对应的逐帧差分数据(即方位角变化量、滚动角变化量及俯仰角变化量)：
[0086][0087][0088][0089][0090]
其中，为方位角、滚转角、俯仰角对应的逐帧差分数据的绝对值的和(即遥测值变化量)。然后从s＝0帧开始搜索，如果大于载荷旋转阈值th
angle
，则将第s帧遥测数据的解析时间作为第i次触发载荷转动对应的遥测数据的突变时间t
i,tel
。
[0091]
s400、利用画面突变时刻及遥测值突变时刻计算相对延迟时间，并利用相对延迟时间对视频图像帧及遥测数据帧进行同步及输出。
[0092]
由于视频采集设备和遥测设备同时运动，因此画面突变时刻和遥测值突变时刻应当相互对应，进而利用画面突变时刻和遥测值突变时刻计算得到相对延迟时间后，便可了解两种数据之间的延迟情况，并进行相应的对齐。
[0093]
需要说明的是，本发明实施例并不限定是否需要对多个相对延迟时间进行平均计算，并利用平均值对视频图像帧和遥测数据帧进行同步，当单个延迟时间能够满足应用需求时，可仅利用单个延迟时间进行同步；当需要减小误差影响，提高同步准确率时，也可以对多个相对延迟时间进行平均计算，并利用平均值进行同步。在本发明实施例中，为了提升同步的准确率，将计算多个相对延迟时间，并利用这些相对延迟时间的平均值对视频图像帧和遥测数据帧进行同步。可以理解的是，可控制视频采集设备和遥测设备(即无人机吊舱)进行多次运动，以计算多个相对延迟时间。本发明实施例并不限定视频采集设备和遥测设备运动的次数，可根据实际应用需求进行设定。
[0094]
在一种可能的情况中，步骤s400中的利用画面突变时刻及遥测值突变时刻计算相对延迟时间，可以包括：
[0095]
s410：利用画面突变时刻及遥测值突变时刻计算初始延迟时间；
[0096]
s420：对多个初始延迟时间进行平均计算，得到相对延迟时间。
[0097]
具体的，在一种可能的情况中，视频采集设备和遥测设备总计会运动n次，进而第i次触发载荷转动对应的视频数据与遥测数据的初始相对延时δti：
[0098]
δti＝t
i,v-t
i,tel
[0099]
重复运动直到i＝n，并计算视频数据帧与遥测数据帧的相对延迟时间
[0100][0101]
进一步，可以理解的是，为了检测突变时刻，需要对每轮运动所记录的视频图像帧和遥测数据帧进行缓存。本发明实施例并不限定具体的缓存方式，可根据实际应用需求进行设定。当然，为了避免历史数据对突变检测的干扰，在初次计算初始延迟时间时，或是每次完成初始延迟时间计算之后，还可以将缓存中的视频图像帧和遥测数据帧进行移除。
[0102]
进一步，本发明实施例并不限定在利用相对延迟时间对视频图像帧和遥测数据帧进行同步之后，是否需要利用遥测数据帧为视频图像帧进行插值运算，若视频图像帧和遥测数据帧的帧率一致，且仅根据相对延迟时间即可取得满足应用需求的对齐效果时，可不需要对遥测数据帧进行插值运算；若遥测数据帧与视频图像帧的采集帧率不同，或是需要进一步提升遥测数据帧与视频数据帧之间的对齐效果，也可以对遥测数据帧进行插值运算。在本发明实施例中，考虑到视频图像帧与遥测数据帧之间的帧率通常不同，例如视频图像帧的帧率通常为24fps～30fps(frame per second，帧每秒)，而遥测数据帧的帧率通常为10fps，因此为进一步提升视频图像帧和遥测数据帧的对齐效果，可以对遥测数据帧进行插值运算，得到与视频图像帧对齐的同步遥测数据。本发明实施例并不限定具体的插值方法，例如可以为线性插值，也可以为非线性插值，可根据实际应用需求进行设定。
[0103]
最后，需要说明的是，本发明实施例并不限定无人机是否在每次飞行时都需要执行由s100、s200、s300和s400中的“利用画面突变时刻及遥测值突变时刻计算相对延迟时间”所组成的“延迟时间计算过程”，假若无人机数据传输受飞行环境影响较大，可每次都执行上述延迟时间计算过程，并利用现场计算的相对延迟时间对视频图像帧和遥测数据帧进行对齐；当然，若无人机数据传输受飞行环境影响较小，也可以在无人机配准时执行上述计算过程，并将得到的相对延迟时间进行缓存，以便无人机在后续飞行时利用这一预存的相对延迟时间进行同步。
[0104]
基于上述实施例，本发明首先在对接收到的视频图像帧和遥测数据帧进行解码后为其标记了相应的解码时刻，并控制视频采集设备和遥测设备进行同步运动。由于运动会导致视频图像及遥测数据发生突变，因此本发明随后对视频图像帧中的目标进行了目标跟踪，并根据跟踪结果及第一解码时刻确定了画面突变时刻，以及计算了相邻遥测数据帧之间的遥测值变化量，并根据该变化量及第二解码时刻确定了遥测值突变时刻；进一步，由于视频采集设备和遥测设备之间的运动是同步的，换而言之，画面突变时刻与遥测值突变时刻应当相对应，因此本发明继续计算了画面突变时刻与遥测突变时刻之间的相对延迟时间，即得到了视频数据帧与遥测数据帧在解码之后的相对延时，最后便可利用相对延迟时间对视频数据帧与遥测数据帧进行有效对其，确保输出的视频数据帧与遥测数据帧同步。
[0105]
基于上述实施例，考虑到视频图像帧和遥测数据帧的帧率通常不同，视频图像帧
的帧率通常在25fps～30fps之间，而遥测数据帧的帧率通常在10fps左右，因此在本发明实施例中，为进一步提升视频图像帧和遥测数据帧之间的对齐效果，还可对遥测数据帧进行插值运算。下面对插值运算的具体过程进行介绍。在一种可能的情况中，步骤s400中的利用相对延迟时间对视频图像帧及遥测数据帧进行同步及输出，可以包括：
[0106]
s430、利用相对延迟时间对第一解码时刻进行延时补偿，得到视频图像帧的延时补偿时刻。
[0107]
延迟补偿即对视频图像帧的输出时间进行延迟或提前，延迟或提前由相对延迟时间的正负决定。
[0108]
进一步，可以理解的是，为了对视频图像帧和遥测数据帧进行处理，需要对其进行缓存。在本发明实施例中，可缓存最近预设时间t
latest
内解码的视频图像帧和遥测数据帧，其中预设时间t
latest
可根据实际应用需求进行设定。进一步，为对视频图像帧和遥测数据帧进行规范化缓存，确保其能够按照解码顺序“先解码先处理”，可将视频图像帧和遥测数据帧缓存于缓存队列中，并从队列中取出视频图像帧和遥测数据帧进行处理。
[0109]
s440、根据延时补偿时刻及第二解码时刻，查找与视频图像帧相邻的遥测数据帧，并利用相邻的遥测数据帧为视频图像帧计算同步遥测数据。
[0110]
可以理解的是，为了计算与视频图像帧同步的同步遥测数据，需要查找在延时补偿时刻前后解码的遥测数据帧(即相邻的遥测数据帧)，进而才可进行插值运算。下面将结合具体的公式进行计算：
[0111]
使用相对延迟时间对实时接收到的视频数据进行延时补偿，补偿方法为对视频图像帧标记的第一解码时间t
l
(l为帧序号，取值为正整数)加上相对延迟时间补偿后的标记时间为t
′
l
，补偿公式如下：
[0112][0113]
随后，针对视频图像帧及其补偿后的标记时间，在缓存区中搜索遥测数据帧帧的标记时间，如果满足如下判定条件则进行线性插值生成第l帧视频图像对应的同步遥测数据，判定条件为：
[0114][0115]
其中为第p帧遥测数据帧对应的标记时间，p为正整数(p＝1,2,3,
…
)。
[0116]
对于满足上述判定条件的情况，可通过遥测数据线性插值生成第l帧视频图像帧对应的遥测数据帧，插值方法如下：
[0117][0118]
其中分别为标记时间分别为的遥测帧数据，为生成的与第l帧视频图像同步的遥测帧数据。
[0119]
进一步，若仅能找到晚于延时补偿时刻解码的遥测数据帧，则无法为该延时补偿时刻所对应的视频图像帧计算同步遥测数据，进而可将该视频图像帧进行移除；若仅能找到早于延时补偿时刻解码的遥测数据帧，则可等待接收到下一遥测数据帧时，在为该延时
补偿时刻所对应的视频图像帧计算同步遥测数据。为了避免视频图像帧和遥测数据帧提前输出导致无法插值，也可以对视频图像帧和遥测数据帧进行延迟输出，并在延迟后再进行插值运算。本发明实施例并不限定具体的延迟输出时间，该时间可根据实际应用需求进行设定，当然也可根据视频图像帧和遥测数据帧的帧率进行计算。在本发明实施例中，考虑到帧率反映了视频图像帧和遥测数据帧的生成及传输情况，依照帧率进行延迟输出可以与数据的生成及传输状态相适应，因此将延迟输出时间将根据视频图像帧和遥测数据帧的帧率进行计算。
[0120]
在一种可能的情况中，在根据延时补偿时刻及第二解码时刻，查找与视频图像帧相邻的遥测数据帧之前，即步骤s440之前还可以包括：
[0121]
s450：获取视频数据帧的第一帧率及遥测数据帧的第二帧率，并利用第一帧率和第二帧率计算延迟输出时间；
[0122]
s460：利用延迟输出时间对视频图像帧及遥测数据帧进行延迟输出处理，并利用处理后的视频图像帧及遥测数据帧执行步骤s440，即根据补偿修正时间及第二解码时刻，查找与视频图像帧相邻的遥测数据帧的步骤。
[0123]
具体的，延迟输出时间可利用如下公式进行计算：
[0124][0125]
其中t
delay
表示延迟输出时间，fv和f
tel
分别表示视频图像帧和遥测数据帧的帧率；α为大于1的常数，可根据实际应用需求进行设定；max(
·
)表示最大值函数。
[0126]
需要说明的是，本发明实施例并不限定获取视频图像帧第一帧率的方式，例如可从解码数据中提取，当然也可计算每秒接收到的视频图像帧，并以此得到第一帧率；本发明实施例也不限定获取遥测数据帧第二帧率的方式，例如可根据遥测数据的传输协议，从遥测数据中提取帧率数据，当然也可以计算每秒接收到的遥测数据帧得到第二帧率，上述帧率获取方式均可根据实际应用需求进行设定。
[0127]
s470、对视频图像帧及同步遥测数据进行输出。
[0128]
需要说明的是，本发明实施例并不限定视频图像帧和同步遥测数据具体的输出形式，可根据实际应用需求进行设定。进一步，为避免输出非必要数据，可将为视频图像帧所标注的时刻信息进行移除，并输出完成移除的视频图像帧。
[0129]
基于上述实施例，本发明实施例还可为遥测数据帧进行插值运算，为视频图像帧计算同步遥测数据，可有效避免视频图像帧和遥测数据帧帧率不同所导致的对齐问题，能够进一步提升视频图像帧和遥测数据帧的对齐效果。
[0130]
下面结合具体的流程图介绍上述视频数据与遥测数据同步方法。请参考图2，图2为本发明实施例所提供的一种平均相对延时估计过程的流程图，该过程可包含：
[0131]
1、设置吊舱转动总次数n；
[0132]
2、清除缓存数据，并控制飞行中的无人机载荷拍摄地面静止目标；
[0133]
3、控制无人机吊舱静止t秒，并在t秒后控制无人机吊舱进行快速转动；
[0134]
4、对接收到的视频图像帧进行解码并标记第一解码时刻，同时对接收到的遥测数据帧进行解码并标记第二解码时刻；
[0135]
5、计算静止目标在视频图像帧中的目标轨迹坐标，并在判定相邻视频图像帧中的目标轨迹坐标差变化值大于像素坐标变化阈值时，利用第一解码时间确定视频图像帧的画面突变时刻；
[0136]
6、计算相邻遥测数据帧的载荷姿态变化值，并在判定载荷姿态变化值大于载荷旋转阈值时，利用第二解码时刻确定遥测值突变时刻；
[0137]
7、利用画面突变时刻及遥测值突变时刻计算初始延迟时间；
[0138]
8、重复执行步骤1～7，直至完成n次吊舱转动，利用初始延迟时间进行平均计算，得到相对延迟时间。
[0139]
请参考图3，图3为本发明实施例所提供的一种在线同步过程的流程图，该过程可以包含：
[0140]
1、对接收到的视频图像帧进行解码、提取第一帧率并标记第一解码时刻，同时对接收到的遥测数据帧进行解码、提取第二帧率并标记第二解码时刻；
[0141]
2、利用相对延迟时间对第一解码时刻进行延时补偿，得到视频图像帧的延时补偿时刻；
[0142]
3、利用第一帧率和第二帧率计算延迟输出时间，并利用延迟输出时间对视频图像帧及遥测数据帧进行延迟输出处理；
[0143]
4、将延迟输出处理后的视频图像帧和遥测数据帧保存至排队缓存队列，
[0144]
5、根据延时补偿时刻及第二解码时刻，查找与视频图像帧相邻的遥测数据帧，并利用相邻的遥测数据帧为视频图像帧计算同步遥测数据；
[0145]
6、对视频图像帧及同步遥测数据进行输出。
[0146]
下面对本发明实施例提供的视频数据与遥测数据同步装置、电子设备及计算机可读存储介质进行介绍，下文描述的视频数据与遥测数据同步装置、电子设备及计算机可读存储介质与上文描述的视频数据与遥测数据同步方法可相互对应参照。
[0147]
请参考图4，图4为本发明实施例所提供的一种视频数据与遥测数据同步装置的结构框图，该装置可以包括：
[0148]
解码标记模块401，用于对接收到的视频图像帧进行解码并标记第一解码时刻，同时对接收到的遥测数据帧进行解码并标记第二解码时刻；
[0149]
画面突变检测模块402，用于控制视频采集设备及遥测设备进行同步运动，并对视频图像帧中的目标物体进行目标追踪，根据追踪结果及第一解码时刻确定画面突变时刻；
[0150]
遥测值突变检测模块403，用于计算相邻遥测数据帧的遥测值变化量，并利用遥测值变化量及第二解码时刻确定遥测值突变时刻；
[0151]
同步模块404，用于利用画面突变时刻及遥测值突变时刻计算相对延迟时间，并利用相对延迟时间对视频图像帧及遥测数据帧进行同步及输出。
[0152]
优选地，画面突变检测模块402，可以包括：
[0153]
第一控制子模块，用于控制视频采集设备及遥测设备静止，并记录静止时间；
[0154]
第二控制子模块，用于当静止时间到达预设阈值时，控制视频采集设备及遥测设备进行转动。
[0155]
优选地，画面突变检测模块402，可以包括：
[0156]
第一计算子模块，用于确定多个目标物体在视频图像帧中的位置，并利用位置计
算目标物体在相邻视频图像帧中的位置变化值；
[0157]
第一判断子模块，用于对同一对相邻的视频图像帧对应的所有位置变化值进行平均计算得到位置变化平均值，并判断位置变化平均值是否大于预设阈值；
[0158]
第一设置子模块，用于若是，则将位置变化平均值所对应的后一视频图像帧的第一解码时刻设置为画面突变时刻。
[0159]
优选地，遥测值突变检测模块403，可以包括：
[0160]
第二计算子模块，用于利用遥测数据帧中的方位角、滚动角、俯仰角，分别计算相邻遥测数据帧的方位角变化量、滚动角变化量及俯仰角变化量；
[0161]
第三计算子模块，用于利用方位角变化量、滚动角变化量及俯仰角变化量计算遥测值变化量；
[0162]
第二判断子模块，用于判断遥测数据变化量是否大于预设阈值；
[0163]
第二设置子模块，用于若是，则将遥测数据变化量所对应的后一遥测数据帧的第二解码时刻设置为遥测值突变时刻
[0164]
优选地，同步模块404，可以包括：
[0165]
第四计算子模块，用于利用画面突变时刻及遥测值突变时刻计算初始延迟时间；
[0166]
第五计算子模块，用于对多个初始延迟时间进行平均计算，得到相对延迟时间。
[0167]
优选地，同步模块404，可以包括：
[0168]
延时补偿子模块，用于利用相对延迟时间对第一解码时刻进行延时补偿，得到视频图像帧的延时补偿时刻；
[0169]
插值计算子模块，用于根据延时补偿时刻及第二解码时刻，查找与视频图像帧相邻的遥测数据帧，并利用相邻的遥测数据帧为视频图像帧计算同步遥测数据；
[0170]
输出子模块，用于对视频图像帧及同步遥测数据进行输出。
[0171]
优选地，同步模块404，还可以包括：
[0172]
第六计算子模块，用于获取视频数据帧的第一帧率及遥测数据帧的第二帧率，并利用第一帧率和第二帧率计算延迟输出时间；
[0173]
延迟输出子模块，用于利用延迟输出时间对视频图像帧及遥测数据帧进行延迟输出处理，并利用处理后的视频图像帧及遥测数据帧执行根据补偿修正时间及第二解码时刻，查找与视频图像帧相邻的遥测数据帧的步骤。
[0174]
本发明实施例还提供一种电子设备，包括：
[0175]
存储器，用于存储计算机程序；
[0176]
处理器，用于执行计算机程序时实现如上述的视频数据与遥测数据同步方法的步骤。
[0177]
由于电子设备部分的实施例与视频数据与遥测数据同步方法部分的实施例相互对应，因此电子设备部分的实施例请参见视频数据与遥测数据同步方法部分的实施例的描述，这里暂不赘述。
[0178]
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的视频数据与遥测数据同步方法的步骤。
[0179]
由于计算机可读存储介质部分的实施例与视频数据与遥测数据同步方法部分的
实施例相互对应，因此存储介质部分的实施例请参见视频数据与遥测数据同步方法部分的实施例的描述，这里暂不赘述。
[0180]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0181]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0182]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0183]
以上对本发明所提供的一种视频数据与遥测数据同步方法、装置、电子设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。