一种第一人称视角无人机视频显著性预测方法及系统

文档序号:37280851发布日期:2024-03-12 21:19阅读:来源:国知局

技术特征:

1.一种第一人称视角无人机视频显著性预测方法,其特征在于:基于相机运动信息以及第一人称视角先验信息,进行第一人称无人机视频显著性预测,实现方式包括首先基于输入的若干连续视频帧,通过运动恢复结构方式计算出每一帧的旋转矩阵;同时将视频帧送入显著性基础特征提取模块,所得到的输出继续送入时空特征提取模块中的时间编码器和空间编码器中,将两个编码器的输出相加并送入2d卷积层中整合后,与显著性基础特征提取模块的输出相加得到时空特征提取模块的输出;将时空特征提取模块的输出与运动恢复结构所计算出的旋转矩阵作为相机运动模块的输入,并将相机运动模块的输出送入第一人称视角先验模块;将第一人称视角先验模块的输出送入时序平均模块,再将结果送入解码器中,最终得到显著性预测图。

2.根据权利要求1所述的一种第一人称视角无人机视频显著性预测方法,其特征在于:第一人称无人机视频显著性预测实现过程包括如下步骤,

3.根据权利要求2所述的一种第一人称视角无人机视频显著性预测方法,其特征在于:所述构建显著性基础特征提取模块的实现方式如下,

4.根据权利要求2所述的一种第一人称视角无人机视频显著性预测方法,其特征在于:所述时空特征提取模块提取时空特征的实现方式如下,

5.根据权利要求2所述的一种第一人称视角无人机视频显著性预测方法,其特征在于:所述相机运动模块中,

6.根据权利要求2所述的一种第一人称视角无人机视频显著性预测方法,其特征在于:所述第一人称视角先验模块中,

7.根据权利要求2所述的一种第一人称视角无人机视频显著性预测方法,其特征在于:所述时序平均模块中,

8.一种第一人称视角无人机视频显著性预测系统,其特征在于:用于实现如权利要求1-7任一项所述的一种第一人称视角无人机视频显著性预测方法。

9.根据权利要求6所述第一人称视角无人机视频显著性预测系统,其特征在于:包括处理器和存储器,存储器用于存储程序指令,处理器用于调用存储器中的存储指令执行如权利要求1-7任一项所述的一种第一人称视角无人机视频显著性预测方法。

10.根据权利要求6所述第一人称视角无人机视频显著性预测系统,其特征在于:包括可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序执行时,实现如权利要求1-7任一项所述的一种第一人称视角无人机视频显著性预测方法。


技术总结
本发明提供一种第一人称视角无人机视频显著性预测方法及系统,基于相机运动信息以及第一人称视角先验信息,进行第一人称无人机视频显著性预测,实现方式包括首先基于输入的若干连续视频帧,通过运动恢复结构方式计算出每帧的旋转矩阵;同时将视频帧送入显著性基础特征提取模块,所得输出继续送入时空特征提取模块中的时间编码器和空间编码器中,将编码器输出相加并整合后,与显著性基础特征提取模块的输出相加得到时空特征提取模块的输出;将时空特征提取模块的输出与旋转矩阵作为相机运动模块的输入,并将相机运动模块的输出送入第一人称视角先验模块;将第一人称视角先验模块输出送入时序平均模块,再送入解码器中,得到显著性预测图。

技术研发人员:陈震中,蔡昊
受保护的技术使用者:武汉大学
技术研发日:
技术公布日:2024/3/11
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1