基于IMU的相机运动补偿方法、装置及存储介质与流程

本发明涉及相机运动补偿，尤其涉及一种基于imu的相机运动补偿方法、装置及存储介质。

背景技术：

1、相机稳定性是影响图像和视频质量的关键因素。传统的光学防抖和数字防抖技术在复杂运动场景下往往难以满足高质量图像稳定的需求。近年来，基于惯性测量单元（imu）的相机运动补偿方法因其快速响应和高精度的特点，受到了广泛关注。

2、然而，imu数据存在噪声、漂移等问题，直接使用imu数据进行运动补偿往往难以达到理想效果。同时，传统的运动补偿算法在处理复杂运动场景时，难以准确捕捉相机的六自由度运动，导致补偿效果不佳。此外，现有的补偿方法往往忽视了图像内容的语义信息，难以在保持图像稳定性的同时保留重要的前景信息。

技术实现思路

1、本发明提供了一种基于imu的相机运动补偿方法、装置及存储介质，本发明能够有效融合imu数据和图像信息、准确估计相机运动参数、并能根据场景特征动态调整补偿策略实现相机运动补偿。

2、第一方面，本发明提供了一种基于imu的相机运动补偿方法，所述基于imu的相机运动补偿方法包括：

3、对多个imu传感器采集的原始数据进行低通滤波和自适应卡尔曼滤波处理，得到六自由度imu融合数据；

4、将所述六自由度imu融合数据输入线性卷积混叠模型进行处理，得到模拟运动数据，并提取对应的高维运动特征向量；

5、根据所述高维运动特征向量和原始图像序列，利用基于正弦波组合的六自由度运动模型和bp神经网络预测模型进行融合，得到相机运动参数预测值；

6、基于所述相机运动参数构建超前网络补偿模型，并根据imu数据方差和峰值分析的抖动强度评估结果，动态调整补偿模型参数矩阵；

7、基于所述补偿模型参数矩阵对所述原始图像数据进行几何变换，并结合稠密光流场优化和时间加权背景像素池建模，得到初始稳定图像序列和前景掩模；

8、对所述初始稳定图像序列和所述前景掩模进行内容感知填充和时域滤波处理，输出多种补偿模式的目标稳定图像序列。

9、第二方面，本发明提供了一种基于imu的相机运动补偿装置，所述基于imu的相机运动补偿装置包括：

10、采集模块，用于对多个imu传感器采集的原始数据进行低通滤波和自适应卡尔曼滤波处理，得到六自由度imu融合数据；

11、提取模块，用于将所述六自由度imu融合数据输入线性卷积混叠模型进行处理，得到模拟运动数据，并提取对应的高维运动特征向量；

12、融合模块，用于根据所述高维运动特征向量和原始图像序列，利用基于正弦波组合的六自由度运动模型和bp神经网络预测模型进行融合，得到相机运动参数预测值；

13、评估模块，用于基于所述相机运动参数构建超前网络补偿模型，并根据imu数据方差和峰值分析的抖动强度评估结果，动态调整补偿模型参数矩阵；

14、变换模块，用于基于所述补偿模型参数矩阵对所述原始图像数据进行几何变换，并结合稠密光流场优化和时间加权背景像素池建模，得到初始稳定图像序列和前景掩模；

15、输出模块，用于对所述初始稳定图像序列和所述前景掩模进行内容感知填充和时域滤波处理，输出多种补偿模式的目标稳定图像序列。

16、本发明第三方面提供了一种计算机设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述计算机设备执行上述的基于imu的相机运动补偿方法。

17、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于imu的相机运动补偿方法。

18、本发明提供的技术方案中，通过对多个imu传感器数据进行低通滤波和自适应卡尔曼滤波处理，有效降低了imu数据的噪声和漂移，提高了运动数据的准确性和可靠性。采用线性卷积混叠模型处理imu融合数据，能够更好地捕捉复杂运动模式，提取高维运动特征向量，为后续运动参数预测提供了更丰富的信息。结合基于正弦波组合的六自由度运动模型和bp神经网络预测模型，实现了对相机运动参数的准确预测，有效解决了传统方法难以准确描述复杂运动的问题。引入超前网络补偿模型和动态调整机制，根据imu数据的抖动强度评估结果实时调整补偿策略，提高了补偿的灵活性和适应性。结合稠密光流场优化和时间加权背景像素池建模，在进行图像稳定的同时，有效保留了前景信息，提高了稳定效果的视觉质量。通过内容感知填充和时域滤波处理，解决了图像稳定过程中可能出现的边缘空白和时域不连贯问题，进一步提升了稳定图像序列的质量。提供多种补偿模式（全局补偿、局部补偿和自适应补偿），并通过抖动评估动态选择最优模式，适应不同场景下的稳定需求。

技术特征：

1.一种基于imu的相机运动补偿方法，其特征在于，所述方法包括：

2.根据权利要求1所述的基于imu的相机运动补偿方法，其特征在于，所述对多个imu传感器采集的原始数据进行低通滤波和自适应卡尔曼滤波处理，得到六自由度imu融合数据，包括：

3.根据权利要求2所述的基于imu的相机运动补偿方法，其特征在于，所述将所述六自由度imu融合数据输入线性卷积混叠模型进行处理，得到模拟运动数据，并提取对应的高维运动特征向量，包括：

4.根据权利要求3所述的基于imu的相机运动补偿方法，其特征在于，所述根据所述高维运动特征向量和原始图像序列，利用基于正弦波组合的六自由度运动模型和bp神经网络预测模型进行融合，得到相机运动参数预测值，包括：

5.根据权利要求4所述的基于imu的相机运动补偿方法，其特征在于，所述基于所述相机运动参数构建超前网络补偿模型，并根据imu数据方差和峰值分析的抖动强度评估结果，动态调整补偿模型参数矩阵，包括：

6.根据权利要求5所述的基于imu的相机运动补偿方法，其特征在于，所述基于所述补偿模型参数矩阵对所述原始图像数据进行几何变换，并结合稠密光流场优化和时间加权背景像素池建模，得到初始稳定图像序列和前景掩模，包括：

7.根据权利要求6所述的基于imu的相机运动补偿方法，其特征在于，所述对所述初始稳定图像序列和所述前景掩模进行内容感知填充和时域滤波处理，输出多种补偿模式的目标稳定图像序列，包括：

8.一种基于imu的相机运动补偿装置，其特征在于，用于执行如权利要求1-7中任一项所述的基于imu的相机运动补偿方法，所述装置包括：

9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于imu的相机运动补偿方法。

10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时使得所述处理器执行如权利要求1至7中任一项所述的基于imu的相机运动补偿方法。

技术总结
本发明涉及相机运动补偿技术领域，公开了一种基于IMU的相机运动补偿方法、装置及存储介质，该方法包括：对多个IMU传感器采集的原始数据进行处理，得到六自由度IMU融合数据；通过线性卷积混叠模型进行处理，得到高维运动特征向量；进行融合，得到相机运动参数预测值；构建超前网络补偿模型并进行抖动强度评估，动态调整补偿模型参数矩阵；进行几何变换，得到初始稳定图像序列和前景掩模；对初始稳定图像序列和前景掩模进行内容感知填充和时域滤波处理，输出多种补偿模式的目标稳定图像序列，本发明能够有效融合IMU数据和图像信息、准确估计相机运动参数、并能根据场景特征动态调整补偿策略实现相机运动补偿。

技术研发人员：张红兵,张武超,张龙,张彪
受保护的技术使用者：深圳市臻呈科技有限公司
技术研发日：
技术公布日：2025/1/23