多传感数据的播放及存储方法、装置、设备和存储介质与流程

本申请实施例涉及传感器，特别涉及一种多传感数据的播放及存储方法、装置、设备和存储介质。

背景技术：

1、在进行数据分析时，通常需要结合多种传感器采集的数据进行分析，例如对采集到的雷达数据进行回放分析时，若是同步呈现摄像头采集的图像，为分析人员提供环境信息，则会使得分析结果更直观有效，也更方便一些算法参数的调试与实际环境匹配对照。其中，不同传感器采集的数据之间的同步尤为重要，否则会影响分析的准确性。

2、目前实现非视觉传感器和视觉传感器采集的多传感器数据之间的同步主要有两种实现方式。第一种是时间相对值方法，即在非视觉传感器的数据帧速率(frames persecond，fps)是固定的(或者数据帧携带时间戳)，且视觉传感器采集视频的fps也是固定的情况下，从同一个时刻同时开始获取并保存数据帧和视频，使得每一数据帧或者视频图片的时间戳都是到该时刻的时间差，从而在回放分析时，非视觉传感采集的数据形成的数据帧和视觉传感器采集的视频可以按照各自录制的时间轴进行回放即可自动实现同步，或者，基于时间戳，寻找与正在播放的数据帧时间戳最接近的视觉传感器采集的图像并进行跳转至该图像以实现同步。第二种是时间绝对值方法，即在数据帧产生时，对当前视频截图或拍照，以当前时间的绝对值保存数据帧和图像帧，后续分析时查找与正在播放的数据帧时间戳最接近的图像。

3、然而，上述第一种同步方式由于以下原因准确度不高：对相机要求较高，否则会随着相机的fps的不稳定而积累误差；对数据帧的完整性要求较高，一旦丢帧，就会造成后续时间戳不再同步；在回放的过程中若出现暂停、回放、快放或者慢放等操作，则容易产生累计误差，尤其是在一些异常点进行暂停后，当前的非视觉传感器采集的数据与视频会出现一些同步误差，对精度要求较高场景下的数据分析影响较大。而第二种方式虽然提升了同步的准确性，但是其在数据采集时间较长的情况下，还会由于采集了大量图片而出现不方便存储管理、占用较大的磁盘空间以及遍历排序搜索效率低等问题。

技术实现思路

1、本申请实施例的目的在于提供一种多传感数据的播放及存储方法、装置、设备和存储介质，使得基于携带数据帧唯一标识的消息驱动对视频帧的确定和播放，避免了对时间戳的依赖，从而避免了基于时间戳存储和播放带来的问题。

2、为达到上述目的，本申请的实施例提供了一种多传感数据的播放方法，包括：在第一线程确定目标数据帧的情况下，通过所述第一线程播放所述目标数据帧并向第二线程发送第一通知消息，所述目标数据帧为携带第一传感器采集的数据的第一数据帧，所述第一通知消息携带所述目标数据帧的标识；在所述第二线程接收到所述第一通知消息的情况下，通过所述第二线程确定并播放与所述标识对应的第二数据帧，所述第二数据帧携带第二传感器采集的数据，所述第一传感器和所述第二传感器为不同类型的传感器，所述第一传感器和所述第二传感器中的一者为视觉传感器，另一者为非视觉传感器。

3、为达到上述目的，本申请的实施例还提供了一种多传感数据的存储方法，包括：通过第三线程接收到第一数据帧时，通过所述第三线程向第四线程发送第二通知消息，其中，所述第一数据帧携带第一传感器采集的数据，所述第二通知消息携带当前接收到的所述第一数据帧在已接收到的所述第一数据帧中的标识；通过所述第四线程接收到所述第二通知消息后，通过所述第四线程获取第二传感器最新采集的第二数据帧并将最新采集的所述第二数据帧与所述标识进行绑定；通过所述第三线程对当前接收到的所述第一数据帧进行存储；通过所述第四线程对绑定有所述标识的最新采集的所述第二数据帧进行存储；其中，所述第一传感器和所述第二传感器中的一者为视觉传感器，另一者为非视觉传感器。

4、为达到上述目的，本申请的实施例还提供了一种多传感数据的播放装置，包括：第一播放处理模块，用于在第一线程确定目标数据帧的情况下，通过所述第一线程播放所述目标数据帧并向第二线程发送第一通知消息，所述目标数据帧为携带第一传感器采集的数据的第一数据帧，所述第一通知消息携带所述目标数据帧的标识；第二播放处理模块，用于在所述第二线程接收到所述第一通知消息的情况下，通过所述第二线程确定并播放与所述标识对应的第二数据帧，所述第二数据帧携带第二传感器采集的数据，所述第一传感器和所述第二传感器为不同类型的传感器，所述第一传感器和所述第二传感器中的一者为视觉传感器，另一者为非视觉传感器。

5、为达到上述目的，本申请的实施例还提供了一种多传感数据的播放装置，包括：第一存储处理模块，用于通过第三线程接收到第一数据帧时，通过所述第三线程向第四线程发送第二通知消息，其中，所述第一数据帧携带第一传感器采集的数据，所述第二通知消息携带当前接收到的所述第一数据帧在已接收到的所述第一数据帧中的标识；第二存储处理模块，用于通过所述第四线程接收到所述第二通知消息后，通过所述第四线程获取第二传感器最新采集的第二数据帧并将最新采集的所述第二数据帧与所述标识进行绑定；第三存储处理模块，用于通过所述第三线程对当前接收到的所述第一数据帧进行存储；第四存储处理模块，用于通过所述第四线程对绑定有所述标识的最新采集的所述第二数据帧进行存储；其中，所述第一传感器和所述第二传感器中的一者为视觉传感器，另一者为非视觉传感器。

6、为达到上述目的，本申请的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的多传感数据的播放方法，或者，执行如上所述的多传感数据的存储方法。

7、为达到上述目的，本申请的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的多传感数据的播放方法，或者，实现如上所述的多传感数据的存储方法。

8、本申请实施例提供的多传感数据的播放方法，第一数据帧和第二数据帧均绑定有标识，且第一数据帧与对应的第二数据帧绑定的同一标识，这样在通过第一线程确定目标数据帧后，不仅能对目标数据帧进行播放，还能够通过第一线程向第二线程发送携带目标数据帧的标识的第一通知消息，从而使得第二线程接收第一通知消息后，能够基于第一消息驱动第二线程根据第一通知消息携带的标识查找到与该标识绑定的第二数据帧，从而通过第二线程实现对与该标识对应的第二数据帧的播放，即实现对目标数据帧对应的第二数据帧的播放，其中，由于线程间的通信以及处理速度很快，因此，对用户呈现的就是第一数据帧和第二数据帧的同步播放。也就是说，本实施例提供的多传感数据的播放方法，基于相应的多传感数据的存储方法，在第一传感器和第二传感器中的一者为视觉传感器，另一者为非视觉传感器的情况下，即第一数据帧和第二数据帧中的一者为视频帧，另一者为非视频数据帧的情况下，实现了对视频帧和非视频数据帧不基于时间戳的同步播放，摆脱了对时间戳的依赖，进一步避免了基于时间戳存储和播放带来的问题。

技术特征：

1.一种多传感数据的播放方法，其特征在于，包括：

2.根据权利要求1所述的多传感数据的播放方法，其特征在于，所述通过所述第一线程播放所述目标数据帧并向第二线程发送第一通知消息之前，所述方法还包括：

3.根据权利要求1所述的多传感数据的播放方法，其特征在于，所述通过所述第一线程播放所述目标数据帧并向第二线程发送第一通知消息之前，所述方法还包括：

4.根据权利要求1至3中任一项所述的多传感数据的播放方法，其特征在于，所述方法还包括：

5.根据权利要求1至3中任一项所述的多传感数据的播放方法，其特征在于，所述通过所述第一线程播放所述目标数据帧，包括：

6.根据权利要求1至3中任一项所述的多传感数据的播放方法，其特征在于，所述目标数据帧绑定有时间戳；

7.根据权利要求6所述的多传感数据的播放方法，其特征在于，所述通过所述第一线程播放所述目标数据帧并向第二线程发送第一通知消息之前，所述方法还包括：

8.根据权利要求1至3中任一项所述的多传感数据的播放方法，其特征在于，所述第二线程包括至少两个第二子线程；

9.一种多传感数据的存储方法，其特征在于，包括：

10.根据权利要求9所述的多传感数据的存储方法，其特征在于，所述通过所述第四线程获取第二传感器最新采集的第二数据帧之前，所述方法还包括：

11.根据权利要求10所述的多传感数据的存储方法，其特征在于，所述通过第五线程实时获取所述第二传感器采集到的所述第二数据帧并在第一存储空间内进行存储，包括：

12.根据权利要求9至11中任一项所述的多传感数据的存储方法，其特征在于，所述通过所述第三线程对当前接收到的所述第一数据帧进行保存，包括：

13.根据权利要求9至11中任一项所述的多传感数据的存储方法，其特征在于，在所述第二传感器为视觉传感器的情况下，所述通过所述第四线程对绑定所述标识的最新采集的所述第二数据帧进行存储，包括：

14.根据权利要求9至11中任一项所述的多传感数据的存储方法，其特征在于，最新采集的所述第二数据帧包括至少两个所述第二传感器采集到的数据帧，所述第四线程包括至少两个第四子线程，

15.根据权利要求9至11中任一项所述的多传感数据的存储方法，其特征在于，最新采集的所述第二数据帧还携带时间戳。

16.根据权利要求9至11中任一项所述的多传感数据的存储方法，其特征在于，所述通过所述第四线程接收到所述第二通知消息后，所述方法还包括：

17.一种多传感数据的播放装置，其特征在于，包括：

18.一种多传感数据的存储装置，其特征在于，包括：

19.一种电子设备，其特征在于，包括：

20.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的多传感数据的播放方法，或者，实现如权利要求9至16中任一项所述的多传感数据的存储方法。

技术总结
本申请实施例涉及传感器技术领域，特别涉及一种多传感数据的播放及存储方法、装置、设备和存储介质。多传感数据的播放方法包括：在第一线程确定目标数据帧的情况下，通过第一线程播放目标数据帧并向第二线程发送第一通知消息，目标数据帧为携带第一传感器采集的数据的第一数据帧，第一通知消息携带目标数据帧的标识；在第二线程接收到第一通知消息的情况下，通过第二线程确定并播放与标识对应的第二数据帧，第二数据帧携带第二传感器采集的数据，第一传感器和第二传感器中的一者为视觉传感器，另一者为非视觉传感器。避免了对时间戳的依赖，从而避免了基于时间戳存储和播放带来的问题。

技术研发人员：孙玉荣
受保护的技术使用者：加特兰微电子科技（上海）有限公司
技术研发日：
技术公布日：2024/1/13