一种能够准确检测出视频序列中复杂抖动的稳像方法
【技术领域】
[0001] 本发明属于电子稳像领域，是一种能够准确检测出视频序列中复杂抖动的稳像方 法。
【背景技术】
[0002] 视频序列受载体姿态变化或运动干扰会出现不规则的运动，外在表现即为视频抖 动。抖动的视频不利于观察以及视频中有用信息的提取，因此对抖动的视频进行稳像处理 在图像识别、图像跟踪等领域具有重要的应用前景。
[0003] 传统的梯度光流法可以用于计算包括平移、旋转以及缩放运动的变换参数，且具 有较高的精度，但当视频序列间运动不连续时，传统的梯度光流法计算的运动变换参数具 有较大误差，限制了其工程应用。
【发明内容】
[0004] (一）本发明要解决的技术问题
[0005] 有鉴于此，本发明的主要目的是针对视频序列运动不具有连续性时，提供一种能 够准确的检测出抖动视频中的复杂抖动的算法，该算法为基于金字塔多分辨率分层技术的 梯度光流法算法，进而对抖动视频进行补偿，最终实现电子稳像的目的。
[0006] (二）本发明采用的技术方案
[0007] 为了达到上述目的，本发明提供了一种能够准确检测出视频序列中复杂抖动的稳 像方法，该方法步骤如下：
[0008] 步骤1 :选择6参数的仿射模型，即：
[0010]
其中（X' i，Yi'），（X1, Y1)分表当前帧和参考帧（序列 中的前一帧）的坐标，A包含了两帧之间的旋转、缩放以及畸变信息，T包含了平移信息。
[0011] 步骤2 :基于图像灰度一致性假设，导出光流场计算基本公式，BP :
[0013] 对公式（2)进行泰勒展开，并忽略掉2阶以上的高阶项有：
[0015] 其中f (x+dx, y+dy, t+dt)为像素点（X，y)运动到（x+dx, y+dy)时的灰度。其中
分别为图像在水平和垂直方向的梯度：
为水平和垂直方向的光流。
[0016] 步骤3 :构建相邻两帧图像f (x, y, t)和f (x, y, t-1)间的最小误差函数来求得仿 射变换参数，最小误差函数用E来表示即为：
[0020] 公式（5)中Ω为在图像中划定的计算区域，当误差E(a)趋向于0时，仿射参数 最为理想。其中 aT= (a !，a2, a3, a4, a5, a6)，s = ft+xfx+yfy，mT= (xf x, yfx, xfy, yfy, fx, fy)， fx，fy，ft分别表示图像强度f (x，y，t)对x，y，t的偏导。对公式（5)进行差分处理可以得 到：
[0022] 令公式（6)式
即可求得误差函数的极小值，可得
b
[0023] 步骤4 :对相邻两帧图像构建L层金字塔，设第0层为原始图像，依次向下采样获 得高一层低分辨率层。
[0024] 步骤5 :利用前向差分和后向差分取平均，求得图像亮度f(x，y，t)对x，y，t的偏 导fx，fy，f t。将得到的偏导：带入步骤3中的公式（6)，求得相邻帧对应层间的仿射变换参 数Ak，T k，并更换Tk= 2 k*Tk (k为相应的层，初始值为最高层）。
[0025] 步骤6 :对参数进行迭代计算
当第一次计算时取迭 代设初值为.
令L = L-1，如果L彡0,用A_，T_对原始的当前帧 进行插值处理，得到高一级分辨率层的初始解，并转置步骤4,同时L = L-I进行下一层更高 分辨率层的估计，若L〈0,则输出最终参数Α_和T _。
[0026] 步骤7 :采用固定帧补偿方式对抖动的视频进行补偿，以消除或者减轻抖动。
[0027](三）本发明的有益效果
[0028] 从上述技术方案可以看出，本发明具有以下有益效果：
[0029] (1)、本发明将金字塔多分辨分层技术引入传统的梯度光流法中，克服了当视频帧 间运动不连续时运动参数估计误差大的缺点。
[0030] (2)、本发明采用由粗到精的策略进行运动参数估计，提高了计算速度和精度。
[0031] (3)、本发明在视频序列中划定运动估算区域取代对整帧图像的计算以降低计算 量。
【附图说明】
[0032] 图1是基于金字塔多分辨分层技术的运动参数计算流程；
[0033] 图2是算法实验选取的一帧图片；
[0034] 图3 (a)是图2补偿前的光流场图；
[0035] 图3 (b)是图2采用本文算法补偿后的光流场图；
[0036] 图4(a)是原始序列中的第10帧，第30帧，第50帧图；
[0037] 图4(b)是补偿序列中的第10帧，第30帧，第50帧图；
[0038] 图5是补偿前后的峰值信噪比图。
【具体实施方式】
[0039] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参考 附图，对本发明进一步详细说明。
[0040] 首先对每帧图像构建L层金字塔模型。将原始图像看作第0层，它具有最高分辨 率，由第〇层依次向下采样，第L+1层由第L层图像平滑后隔行隔列采样得到。然后，在最 顶层进行运动矢量估计，粗略估计出视频序列间的运动变换参数，将此参数作为下一层的 起始估计，依次迭代，直到在第〇层。
[0041] 1)设定金字塔层数L = 4,并划定计算区域Ω。
[0042] 2)对相邻两帧进行L层下采样。用前向差分和后向差分求平均求得梯度fx，仁和 ft，并将梯度值代入步骤3的公式5中，求取参数Ak，Tk，更换T k= T k*2k (k为所在的层）。
[0043] 3)对参数进行迭代计算，A_= AfAtiu^Tajm= A kT_+Tk，当第一次计算时取迭代设 初值为《
令L = L-1，如果L>0,转向第2步，进行下一层更高分辨 率层的估计，若L = 0,则输出最终参数A_和T _，并转至第4步。
[0044] 4)采用固定帧补偿方式，对抖动的视频进行补偿。
[0045] 图2所示为所选抖动视频序列中的一帧，黑色框所指区域为用于计算的区域。图 3(a)和图3(b)分别为补偿前后的光流场图。从图中可以看出，原始序列中无规则的运动得 到了很好的补偿。图4(a)中为从序列中选择的第10,30,50帧图片，图4(b)为从补偿序列 中选择的第1〇,30,50帧图片，从补偿序列中可以看出，小车所在的位置基本保持在一条水 平线上，视觉效果上目标物的抖动得到了很好的消除。从图5的峰值信噪比对比图中，仍然 可以看出，补偿后的峰值信噪比较原始序列由显著的提高，表明本发明应用于抖动视频，具 有很好的效果。
[0046] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详 细的说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明， 凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的 保护范围之内。
【主权项】
1. 一种能够准确检测出视频序列中复杂抖动的稳像方法，其特征在于，该方法步骤如 下： 步骤1 :选择6参数的仿射模型，BP:公式（1) 设，其中（X'i，Y'J，$，YJ分表当前帧和参考帧的坐标，参 考帧即序列中的前一帧，A包含了两帧之间的旋转、缩放以及畸变信息，T包含了平移信息； 步骤2 :基于图像灰度一致性假设，导出光流场计算基本公式，即：公式（2) 对公式（2)进行泰勒展开，并忽略掉2阶以上的高阶项有：公式（3) 其中f(x+dx,y+dy,t+dt)为像素点（X，y)运动到（x+dx,y+dy)时的灰度，其中Y，十 0X 分别为图像在水平和垂直方向的梯度，^为水平和垂直方向的光流； 步骤3 :构建相邻两帧图像f(X，y,t)和f(X，y,t-1)间的最小误差函数来求得仿射变 换参数，最小误差函数用E来表示即为：公式（5)中Q为在图像中划定的计算区域，当误差E(a)趋向于0时，仿射参数最为理 想，其中aLh，a2,a3,a4,a5,a6)，s=ft+xfx+yfy，mT=(xfx，yfx，xfy，yfy，fx，fy)，fx，fy，仁分别表 示图像强度f(x，y，t)对x，y，t的偏导，对公式（5)进行差分处理可以得到：公式（6) dp 令公式（6)式= 〇即可求得误差函数的极小值，可得da步骤4 :对相邻两帧图像构建L层金字塔，设第0层为原始图像，依次向下采样获得高 一层低分辨率层； 步骤5 :利用前向差分和后向差分取平均，求得图像亮度f(x，y，t)对x，y，t的偏导 4&，匕，将得到的偏导：带入步骤3中的公式（6)，求得相邻帧对应层间的仿射变换参数 Ak，Tk，并更换Tk=2k*Tk，k为相应的层，初始值为最高层； 步骤6 :对参数进行迭代计算，当第一次计算时取迭代设初值 为、:令L=L-1，如果L彡0，用对原始的当前帧进行插值处 理，得到高一级分辨率层的初始解，并转置步骤4,同时L=L-1进行下一层更高分辨率层的 估计，若L〈0,则输出最终参数A_和T 步骤7 :采用固定帧补偿方式对抖动的视频进行补偿，以消除或者减轻抖动。2. 根据权利要求1所述的一种能够准确检测出视频序列中复杂抖动的稳像方法，其特 征在于，步骤4中金字塔多分辨率分层技术对每帧图像构建L层金字塔模型，将原始图像看 作第0层，它具有最高分辨率，由第0层依次向下采样，第L+1层由第L层图像平滑后隔行 隔列采样得到。3. 根据权利要求1和2所述的一种能够准确检测出视频序列中复杂抖动的稳像方法， 其特征在于，步骤6中在最顶层进行运动矢量粗略估计，得出视频序列间的运动变换参数 粗估计值，将此参数作为下一层的起始估计，依次迭代，直到第〇层得到最终精确的帧间运 动变换参数。
【专利摘要】本发明公开了一种能够准确检测出视频序列中复杂抖动的稳像方法，该方法首先对图像进行金字塔分解，通过对原始层第0层，平滑后隔行隔列采样得到分辨率较低的高层，然后从顶层开始，计算两帧图像上对应层间的仿射运动参数，随后将计算得到的仿射运动参数传递至较高分辨率层，进行参数迭代，迭代计算至金字塔底层即可求出准确的仿射运动参数。根据所求得的准确的仿射运动参数对抖动视频进行补偿可以得到良好的稳像效果。实验表明：结合金字塔多分辨率分层技术的光流算法解决了视频序列间运动不连续性的情况下采用传统梯度光流法进行运动估计会产生较大误差的问题，且对包含旋转、缩放、平移等复杂运动的视频序列均能取得良好的稳像效果。
【IPC分类】H04N5/14, H04N5/232, G06T7/20
【公开号】CN105100618
【申请号】CN201510456729
【发明人】赖丽君, 徐智英, 张栩铫
【申请人】中国科学院光电技术研究所
【公开日】2015年11月25日
【申请日】2015年7月30日