多个相机帧同步的处理方法、装置及存储介质与流程

本发明涉及计算机视觉，具体涉及一种多个相机帧同步的处理方法、装置及存储介质。

背景技术：

1、全景视频拼接技术主要是为了解决单个成像设备视角有限导致无法完整呈现真实场景的问题，现有技术中通过拼接算法将多路视频拼接编码为一路全景视频，并保留原始视频中的信息，而且去除重复冗余信息，克服了传感器物理层面的限制，提供大视野以及高分辨率的视频信息。

2、该技术在民用与军事领域都有较为广泛的应用，民用领域中可用于虚拟现实场景构建、全景视频监控、汽车辅助驾驶系统、赛事直播等，随着计算机视觉技术的不断发展，全景视频拼接技术体现出广泛的应用前景与重要的研究意义。

3、但现有技术在进行多相机视频拼接时，由于各相机间的时间偏移，可能导致相机间帧不同步，从而影响视频拼接的质量。

技术实现思路

1、本发明的目的在于克服上述技术不足，提供一种多个相机帧同步的处理方法、装置及存储介质，解决现有技术中相机间帧不同步的技术问题。

2、为达到上述技术目的，本发明的技术方案提供一种多个相机帧同步的处理方法，包括以下步骤：

3、s1、将需要进行帧同步的多个相机图像拼接成一个全景图片；

4、s2、进行特征提取，获取时刻t在所述全景图片中识别运动的刚体特征向量与位置，同时计算出刚体运动的速度；

5、s3、多帧图像间刚体运动后，根据刚体在步骤s2中得到的所述特征向量与所述位置找到它们之间的最优匹配的代价矩阵；

6、s4、基于步骤s3得到的最优匹配结果，计算出检测目标实际位置与预测位置，得到预测位值与实际位置之间的偏差位置，由偏差位置与步骤s2中计算的速度求得相机间帧同步时间差t：

7、tx＝(xt-xt')÷vx

8、ty＝(yt-yt')÷vy

9、取t＝(tx+ty)÷2；

10、其中：

11、xt为目标在时间t位置的x轴方向上坐标；

12、xt'为目标在时间t位置的x轴方向上坐标预测值；

13、yt为目标在时间t位置的y轴方向上坐标；

14、y't为目标在时间t位置的y轴方向上坐标预测值；

15、tx为目标在图像x轴方向上实际值与预测值时间差；

16、ty为目标在图像y轴方向上实际值与预测值时间差；

17、s5、根据步骤s4计算出的所述相机间帧同步时间差进行帧同步校准，对各相机的图像序列进行插帧或丢帧，消除帧差别。

18、在任意实施方式中，在步骤s2中，所述刚体运动的速度由以下步骤计算得到：

19、时刻t在全景图片中识别运动的刚体特征向量ot与位置pt(xt,yt)；根据目标在t-1时刻位置pt-1(xt-1,yt-1)与t时刻位置pt(xt,yt)可以预测t+1时刻位置pt'+1(xt'+1,yt'+1)，预测方法为：

20、xt'+1＝xt'+(xt'-xt'-1)

21、yt'+1＝yt'+(yt'-yt'-1)

22、同时计算出刚体运动的速度为：

23、vx＝(xt-xt-1)÷δt

24、vy＝(yt-yt-1)÷δt；

25、其中：

26、vx为刚体在x轴方向上的速度；

27、vy为刚体在y轴方向上的速度；

28、δt为图像前后两帧的时间差。

29、在任意实施方式中，在步骤s2中，利用神经网络yolo对提取目标框，而后利用神经网络cnn对目标框图像提取特征。

30、在任意实施方式中，在步骤s3中，所述代价矩阵由以下步骤构建：

31、设有m个新的检测目标与n个预测目标，则代价矩阵为m×n维，每个元素为：cij＝λ×dist_p(pt,pt')+(1-λ)×dist_o(ot-1,ot)；

32、其中，cij为代价矩阵中元素，i、j表示矩阵元素下标；

33、λ为权重参数，根据实验值进行调整；

34、pt为t时刻目标位置；

35、pt'为t时刻目标预测位置；

36、ot-1为t-1时刻目标特征向量；

37、ot为t时刻目标特征向量；

38、dist_p为计算当前模型检测位置与预测位置的欧式距离，dist_o为计算帧间模型检测刚体特征向量的内积。

39、在任意实施方式中，在步骤s3中，所述最优匹配的代价矩阵通过匈牙利算法得到。

40、在任意实施方式中，在步骤s5中，以刚体移动前成像相机为基准，设相机帧率为fps，当相机间帧同步时间差t>＝0时，需要对移动后成像相机插帧，插帧数为：

41、n＝|t×fps|

42、当t<0时，需要对移动后成像相机丢帧，丢帧数为：

43、n＝|t×fps|。

44、本发明还提出一种多个相机帧同步的处理装置，包括：

45、拼接单元，用于将需要进行帧同步的多个相机图像拼接成一个全景图片；

46、提取单元，用于进行特征提取，获取时刻t在全景图片中识别运动的刚体特征向量与位置，同时计算出刚体运动的速度；

47、匹配单元，用于多帧图像间刚体运动后，根据刚体得到的特征向量与位置找到它们之间的最优匹配的代价矩阵；

48、计算单元，基于得到的最优匹配结果，计算出检测目标实际位置与预测位置；得到预测位值与实际位置之间的偏差位置，由偏差位置与计算的速度求得相机间帧同步时间差；

49、帧同步校准单元，用于根据计算出的相机间帧同步时间差进行帧同步校准，对各相机的图像序列进行插帧或丢帧，消除帧差别。

50、此外，本发明还提出一种存储介质，其上存储有计算机程序，该程序被处理器执行时实施上述多个相机帧同步的处理方法。

51、与现有技术相比，本发明的有益效果包括：本发明提出了一种新多个相机帧同步的处理方法，通过计算运动刚体在不同相机图像间运动的速度与位置理论值与实际值间的偏差，进一步得到相机间的帧差别，从而实现精确的帧同步。这样可以大大改善视频拼接的效果，提升用户体验。

技术特征：

1.一种多个相机帧同步的处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的多个相机帧同步的处理方法，其特征在于，在步骤s2中，所述刚体运动的速度由以下步骤计算得到：

3.根据权利要求1所述的多个相机帧同步的处理方法，其特征在于，在步骤s2中，利用神经网络yolo对提取目标框，而后利用神经网络cnn对目标框图像提取特征。

4.根据权利要求1所述的多个相机帧同步的处理方法，其特征在于，在步骤s3中，所述代价矩阵由以下步骤构建：

5.根据权利要求1所述的多个相机帧同步的处理方法，其特征在于，在步骤s3中，所述最优匹配的代价矩阵通过匈牙利算法得到。

6.根据权利要求1所述的多个相机帧同步的处理方法，其特征在于，在步骤s5中，以刚体移动前成像相机为基准，设相机帧率为fps，当相机间帧同步时间差t>＝0时，需要对移动后成像相机插帧，插帧数为：

7.一种多个相机帧同步的处理装置，其特征在于，包括：

8.一种存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时实施权利要求1至6任一项所述的多个相机帧同步的处理方法。

技术总结
本发明公开了一种多个相机帧同步的处理方法、装置及存储介质，属于计算机视觉技术领域。多个相机帧同步的处理方法，包括：将需要进行帧同步的多个相机图像拼接成一个全景图片；进行特征提取，获取时刻t刚体特征向量与位置，同时计算出刚体运动的速度；根据所述特征向量与所述位置找到它们之间的最优匹配的代价矩阵；基于最优匹配结果，计算出检测目标实际位置与预测位置，得到预测位值与实际位置之间的偏差位置，由偏差位置与步速度求得相机间帧同步时间差；根据所述相机间帧同步时间差进行帧同步校准，对各相机的图像序列进行插帧或丢帧，消除帧差别。本发明提出的多个相机帧同步的处理方法能够实现精确的帧同步。

技术研发人员：任峰,范小平,张历卓
受保护的技术使用者：博识峰云（湖南）信息技术有限公司
技术研发日：
技术公布日：2024/8/26