融合陀螺仪的视频防抖方法和装置与流程

本发明涉及视频监控技术领域，具体而言，涉及一种融合陀螺仪的视频防抖方法和装置。

背景技术：

由于目前监控场景丰富多样，安装环境越来越复杂，如铁路沿线、钻井平台、西北风沙等地，监控相机由于受到风和振动的影响，会产生视频抖动的现象。监控场景的视频抖动严重影响视频效果，影响视频清晰度，导致视频模糊，降低客户体验，无法实现监控的目的。目前，摄像机多采用电子防抖对图像进行防抖处理，节省成本，但电子防抖存在天然的缺陷，对机身自身运动无法识别，电子防抖会导致图像更不稳定，对大物体的经过产生背景拖拽的现象。

技术实现要素：

本发明旨在至少解决上述现有技术或相关技术中存在的技术问题之一，提供了一种融合陀螺仪的视频防抖方法和装置，有效降低电子防抖误判，提升图像稳定性。

本发明是通过以下技术方案予以实现：

本发明的第一方面，提供了一种融合陀螺仪的视频防抖方法，包括：采集陀螺仪数据，根据陀螺仪收集到的数据判定摄像机运动情况；对摄像机采集到的图像数据进行滤波和降噪；通过帧差法判断图像的运动效果；采用像素法选取图像的特征点进行运动矢量的估计；根据运动矢量对图像进行反向补偿。

根据本发明提供的融合陀螺仪的视频防抖方法，优选地，采集陀螺仪数据，根据陀螺仪收集到的数据判定摄像机运动情况的步骤，具体包括：采集陀螺仪的六轴数据，采样频率设置为500hz；对采集到的数据进行数据滤波和零点校正；对采集到的数据进行温度补偿，补偿后的数据进行数据融合；计算xyz三个轴向的欧拉角，以表示摄像机的运动方向；对三个轴线的欧拉角进行方差计算，以表示摄像机的实际振动振幅；将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子防抖，方差小于低阈值时，关闭电子防抖。

根据本发明提供的融合陀螺仪的视频防抖方法，优选地，采用像素法选取图像的特征点进行运动矢量的估计的步骤，具体包括：对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作为运动补偿的路径。

本发明的第二方面，提供了一种融合陀螺仪的视频防抖装置，包括：运动决定模块，用于采集陀螺仪数据，根据陀螺仪收集到的数据判定摄像机运动情况；图像预处理模块，用于对摄像机采集到的图像数据进行滤波和降噪；运动检测模块，用于通过帧差法判断图像的运动效果；运动估计模块，用于采用像素法选取图像的特征点进行运动矢量的估计；运动补偿模块，用于根据运动矢量对图像进行反向补偿。

根据本发明提供的融合陀螺仪的视频防抖装置，优选地，运动决定模块具体用于：采集陀螺仪的六轴数据，采样频率设置为500hz；对采集到的数据进行数据滤波和零点校正；对采集到的数据进行温度补偿，补偿后的数据进行数据融合；计算xyz三个轴向的欧拉角，以表示摄像机的运动方向；对三个轴线的欧拉角进行方差计算，以表示摄像机的实际振动振幅；将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子防抖，方差小于低阈值时，关闭电子防抖。

根据本发明提供的融合陀螺仪的视频防抖装置，优选地，运动估计模块具体用于：对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作为运动补偿的路径。

本发明取得的有益效果至少包括：

采集和分析陀螺仪数据进行视频图像防抖，使图像的稳定性得到很大提升，降低了电子防抖的误判，规避了现有电子防抖算法存在的视频异常抖动和背景拖拽现象，视觉效果稳定可靠。

附图说明

图1示出了根据本发明实施例的融合陀螺仪的视频防抖装置的示意框图。

图2示出了根据本发明实施例的融合陀螺仪的视频防抖装置的运动决定模块的算法流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。

如图1所示，本发明提供的融合陀螺仪的视频防抖装置，包括：

运动决定模块，用于采集陀螺仪数据，根据陀螺仪收集到的数据判定摄像机运动情况；

图像预处理模块，用于对摄像机采集到的图像数据进行滤波和降噪；

运动检测模块，用于通过帧差法判断图像的运动效果；

运动估计模块，用于采用像素法选取图像的特征点进行运动矢量的估计；

运动补偿模块，用于根据运动矢量对图像进行反向补偿。

在该实施例中，运动决定模块的核心是陀螺仪数据的采集处理，进行摄像机运动的判定；图像预处理模块对图像的进行滤波和降噪；运动检测模块通过算法判断图像的运动效果；运动估计模块采用像素法对图像的特征点进行选取，进行运动矢量的估计；运动补偿模块根据运动矢量对图像进行反向补偿。

如图2所示，根据本发明提供的上述实施例，优选地，运动决定模块具体用于：采集陀螺仪的六轴数据，采样频率设置为500hz；对采集到的数据进行数据滤波和零点校正；对采集到的数据进行温度补偿，补偿后的数据进行数据融合；计算xyz三个轴向的欧拉角，以表示摄像机的运动方向；对三个轴线的欧拉角进行方差计算，以表示摄像机的实际振动振幅；将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子防抖，方差小于低阈值时，关闭电子防抖。

在该实施例中，运动决定模块采集陀螺仪的六轴数据，采集频率需根据抖动频率符合采样定理，采样频率设置为500hz。对采集的数据进行必要的数据滤波和零点校正，由于陀螺仪具有温度漂移的性质，需要对数据进行温度补偿，补偿后的数据进行数据融合，计算xyz三个轴向的欧拉角，以表示实际摄像机的运动方向。为表示摄像机的实际振动振幅，对三个轴线的欧拉角进行方差计算，为避免临界点的频繁开关，将方差阈值控制设置为迟滞回环的模式，方差大于高阈值时，开启电子防抖，方差小于低阈值时，关闭电子防抖。

根据本发明提供的上述实施例，优选地，运动估计模块具体用于：对图像像素点进行光流计算，对图像的特征点进行选取，进行运动矢量的估计，作为运动补偿的路径。图像预处理模块对图像的进行中值滤波和降噪，避免由于噪点导致的图像特征误判。

根据上述实施例，本发明采集和分析陀螺仪数据进行视频图像防抖，使图像的稳定性得到很大提升，降低了电子防抖的误判，规避了原算法存在的视频异常抖动和背景拖拽现象，视觉效果稳定可靠。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

技术总结
本发明提供了一种融合陀螺仪的视频防抖方法和装置，涉及视频监控技术领域，其中，融合陀螺仪的视频防抖方法包括：采集陀螺仪数据，根据陀螺仪收集到的数据判定摄像机运动情况；对摄像机采集到的图像数据进行滤波和降噪；通过帧差法判断图像的运动效果；采用像素法选取图像的特征点进行运动矢量的估计；根据运动矢量对图像进行反向补偿。该方法使图像的稳定性得到很大提升，降低了电子防抖的误判，规避了现有电子防抖算法存在的视频异常抖动和背景拖拽现象，视觉效果稳定可靠。

技术研发人员：王思俊;刘琰;高旭麟;李萌
受保护的技术使用者：天津天地伟业信息系统集成有限公司
技术研发日：2018.10.23
技术公布日：2019.04.12