一种具有大范围旋转及平移运动估计的实时电子稳像方法
【专利摘要】一种具有大范围旋转及平移运动估计的实时电子稳像方法，它涉及具有大范围旋转及平移运动估计的实时电子稳像方法。本发明是为解决现有基于灰度信息的实时电子稳像方法无法对图像的大范围旋转运动进行准确估计，块匹配搜索算法无法准确对大范围的图像帧间旋转及平移运动进行估计，对灰度色调单一的抖动视频只采用块匹配稳像一种方法稳像效果不佳，鲁棒性弱的问题。稳像方法采用图像位平面金字塔中间层进行块匹配解算帧间旋转运动角度，采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，采用改进的六边形搜索算法进行搜索。本发明用于需进行大范围旋转及平移运动估计的实时电子稳像场合。
【专利说明】—种具有大范围旋转及平移运动估计的实时电子稳像方法
【技术领域】
[0001]本发明涉及具有大范围旋转及平移运动估计的实时电子稳像方法，属于数字图像处理技术。
【背景技术】
[0002]安装在不稳定载体上的成像设备，载体的晃动会导致拍摄的视频图像出现抖动，严重影响观赏者的观看体验，在诸如机器人视觉、成像制导等场合，视频图像抖动会直接影响视频信息的后续处理。因此，抑制图像抖动，获得稳定的视频图像是高质量视频最基本的要求。
[0003]常用的视频图像抖动抑制方法有:光学稳像、机械稳像和电子稳像。前两种方法是基于传感器件对摄像机运动的测量，直接对镜头或CCD传感器进行运动补偿以抵消一部分载体抖动。而电子稳像是基于数字图像处理技术的一种视频稳定方案，较前两种方法，采用软件算法代替了运动测量元件和运动补偿装置，因此在成本、稳定性、体积方面均有明显优势。同时，移动处理芯片处理能力的大幅度提高也加速了电子稳像方法的应用。
[0004]电子稳像技术的主要结构流程包括图像运动估计、运动滤波和图像抖动补偿。在上述结构框架下，近些年来，许多研究者又提出了 一些电子稳像新理论，或者从某些方面对现有稳像算法进行了改进。但总体而言，电子稳像方法按照图像运动估计方法的不同分为基于图像特征的电子稳像方法、基于光流信息的电子稳像方法和基于灰度信息的电子稳像方法。
[0005]基于图像特征或基于光流信息的电子稳像方法在进行运动估计时，需对图像的特征进行提取或者对灰度像素的运动进行微分求解，而基于灰度信息的电子稳像方法仅涉及到灰度信息的相关性计算。相比于前述两种电子稳像技术，基于灰度信息的电子稳像技术在算法的时间复杂度和空间复杂度上有明显优势，更有利于实时稳像场合下的应用。
[0006]块匹配电子稳像是一种常用的基于灰度信息的电子稳像方法，其主要原理是在待进行运动估计的图像上选择一定数量的灰度宏块，并通过一定的搜索策略在参考帧图像上找出最佳匹配位置，进而确定出待估计图像相对于参考帧图像的运动参数。上述过程中，灰度宏块的大小和数目是块匹配稳像速度的决定因素。为了减小上述因素的限制，一些学者又提出了一种基于图像位平面(Bit面)的运动估计方法，即利用图像在数字存储器中二进制存储的特点，构建图像位平面再进行块匹配。该基于图像位平面的运动估计过程由于仅涉及二值运算，算法的执行效率进一步得到了提高，而算法时间复杂度主要决定于最佳块匹配位置的搜索策略，常用的搜索策略为菱形搜索法。近些年又有学者提出一种六边形搜索算法，并且相同条件下六边形搜索算法具有更高的搜索效率，搜索时间是菱形搜索法的一半。
[0007]基于块匹配的稳像方法在运动估计过程中，无论采用上述何种搜索算法，常见的问题是搜索范围的局限性。具体体现为当图像帧间的运动量过大时，搜索过程常陷入局部最优，无法准确进行运动估计，所以限制了稳像算法的运动估计范围。上述问题主要是由于匹配块在离最佳匹配中心位置较远时相关程度低所导致的，即当图像帧间存在较大的运动时，待估计图像上的某一匹配块的取块位置也就是搜索的起始位置距离最佳匹配中心较远，这样在搜索过程中就容易进入局部最优匹配区域。对于位平面上的块进行最佳匹配位置搜索时，由于位平面本身包含图像信息量少，所以更容易出现上述问题。例如实验表明，采用大小为40X40的匹配块在位平面上进行六边形搜索，有效的搜索半径仅为5像素，所以当帧间存在大于5像素的抖动量时，这种方法就不在胜任。
[0008]采用块匹配进行图像运动估计，如何在所有块运动结果中剔除错误估计值决定了最终图像运动估计结果的准确性。出现错误块运动估计结果的主要原因是匹配块自身的位置选择不当，即这些取块位置常落在前景运动物体上或落于图像灰度色调单一区域，导致对应块运动估计错误。为了解决上述问题，本专利申请者曾在论文《大运动前景和旋转抖动视频快速数字稳定》中提出了一种基于图像位平面金字塔的自适应取块稳像方案，即首先在图像位平面金字塔顶层确定一种最佳的匹配块位置选择模式，利用此模式确定顶层位平面的运动，然后逐层传递以估计图像的最终运动参数。其中，在顶层确定最佳取块模式时，首先采用预设的取块模式I进行取块并进行块匹配，统计块匹配结果的一致性，若一致性指标超过某一阈值，则将此模式作为顶层最佳取块模式。否则换用预设取块模式2进行运动估计，同样对块运动结果进行统计分析。上述方法在一定程度上可以保证取块的合理性，能够避免图像某一区域中的大运动前景和单一色调块对于最终运动结果的不利影响。但是当单一色调灰度信息占视频图像大部分面积时，无论怎样进行取块，最终的块运动估计结果都无法满足良好的一致性，所以上述方案无法进行解决。
[0009]诸如上述基于块匹配的图像运动估计方法，其基本前提是假设块内像素运动的一致性，所以现有块匹配方法只能针对图像的平移运动进行估计，而没有给出确定的图像大范围旋转运动的估计方法。对于其它基于图像灰度信息的运动估计方法，如论文《A Circular-Projection Based Digital Image Stabilization Algorithm and ItsImplementation for Rotating Image Sequences》给出了一种采用圆周投影进行巾贞间旋转运动估计的新方法，即首先将图像进行极坐标转换，使图像的旋转运动转换为极坐标系下的平移运动。在此基础之上，将图像像素向极角轴上进行投影，采用投影相关匹配估计出图像的旋转角度。但是实际上，图像帧间的运动不仅包含旋转运动，同时还包括平移运动以及微小的放缩和切变。因此在进行圆周投影之后，投影曲线会发生畸变，不再是简单的平移关系，相关性变差，甚至出现不相关的情况。这样采用上述方法进行旋转运动估计，可能会产生错误的估计结果。
[0010]综上所述，对于现有基于灰度信息的实时电子稳像方法，主要存在以下问题:一、现有灰度处理算法无法对图像的大范围旋转运动进行准确估计；二、现有块匹配搜索算法无法适用于图像帧间存在大范围旋转或平移运动的情形；三、对灰度色调单一的抖动视频，只采用块匹配稳像一种方法，会使稳像效果不佳，鲁棒性弱。
【发明内容】
[0011]本发明是为解决现有基于灰度信息的实时电子稳像方法无法对图像的大范围旋转运动进行准确估计，块匹配搜索算法无法准确对大范围的图像帧间旋转及平移运动进行估计，对灰度色调单一的抖动视频只采用块匹配稳像一种方法稳像效果不佳，鲁棒性弱的问题，而提出一种具有大范围旋转及平移运动估计的实时电子稳像方法。
[0012]一种具有大范围旋转及平移运动估计的实时电子稳像方法按以下步骤实现:
[0013]步骤一、运动估计和运动滤波参数初始化；
[0014]步骤二、将实时获取的待处理视频图像存入输入视频帧缓冲区，更新输入视频帧缓冲区中的视频图像；
[0015]步骤三、将步骤二中存入输入视频帧缓冲区中的待处理视频的当前帧图像和与当前帧相邻的前一帧图像取出；
[0016]步骤四、将步骤三中获得的当前帧图像和与当前帧相邻的前一帧图像，采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度，将得到的帧间旋转运动角度进行累加求取当前帧图像相对于视频首帧图像的绝对旋转运动角度，即:
[0017]
【权利要求】
1.一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于:所述方法按以下步骤实现: 步骤一、运动估计和运动滤波参数初始化； 步骤二、将实时获取的待处理视频图像存入输入视频帧缓冲区，更新输入视频帧缓冲区中的视频图像； 步骤三、将步骤二中存入输入视频帧缓冲区中的待处理视频的当前帧图像和与当前帧相邻的前一帧图像取出； 步骤四、将步骤三中获得的当前帧图像和与当前帧相邻的前一帧图像，采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度，将得到的帧间旋转运动角度进行累加求取当前帧图像相对于视频首帧图像的绝对旋转运动角度，即:
2.根据权利要求1所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于:在步骤四中所述的采用图像位平面金字塔中间层进行块匹配，并利用块匹配结果解算出当前帧图像和与当前帧相邻的前一帧图像的帧间旋转运动角度具体方法如下: 步骤四一、分别取当前帧和与当前帧相邻的前一帧图像的位平面金字塔中间层，其中，当前帧和与当前帧相邻的前一帧位平面金字塔中间层取对应图像灰度金字塔中间层的第7位平面； 步骤四二、对步骤四一中得到的当前帧图像位平面金字塔中间层，在平面中心位置对称选择mXm个匹配块，块的大小为NXN像素，其中N的具体数值根据图像分辨率确定；步骤四三、对步骤四三中得到的m2个匹配块，采用改进的六边形搜索法将每一匹配块在与当前帧相邻的前一帧图像位平面金字塔中间层上进行匹配，得到m2个块位移估计矢量，即(Axi, Ayi) (i=l，2，...，m2);每一匹配块的位移矢量可以分解为由图像旋转运动引起的块位移矢量旋转分量，和由图像平移运动引起的块位移矢量平移分量即: (
3.根据权利要求1所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于:在步骤八中所述的采用图像位平面金字塔自适应取块匹配，配合基于图像位平面金字塔的投影法进行相邻帧间平移运动估计，具体方法如下: 步骤八一、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式I进行取块；步骤八二、对于步骤八一得到匹配块，采用改进后的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计所有块运动估计结果的一致性；如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的ι/t，其中3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式I估计中间层和底层运动参数，否则，转入步骤八三； 步骤八三、在经过旋转补偿后的当前帧图像位平面金字塔顶层，采用取块模式2进行取块，并采用改进的六边形搜索算法，在旋转补偿后的与当前帧相邻的前一帧图像位平面金字塔顶层进行块匹配，统计估计结果的一致性，如果所有匹配块运动估计矢量中，相同矢量出现的频数大于总矢量数的Ι/t，其中2 < t < 3，则将对应矢量作为顶层运动估计结果，并进行参数传递，采用取块模式2估计中间层和底层运动参数；否则，转入步骤八四；步骤八四、经过旋转补偿后的当前帧图像和与当前帧相邻的前一帧图像的位平面金字塔分别提取对应灰度金字塔顶层、中间层和底层的第8、第6和第5位平面； 步骤八五、对步骤八四得到的经过旋转运动补偿后的当前帧和与当前帧相邻的前一帧图像位平面金字塔的顶层，在水平和垂直方向上进行投影，得到当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层在水平和垂直方向上的投影向量； 步骤八六、对步骤八五得到的当前帧和与当前帧相邻的前一帧图像位平面金字塔顶层的水平方向和垂直方向的投影向量分别进行相关匹配，得到当前帧图像相对于与当前帧相邻的前一帧图像的顶层位移矢量；其中投影向量相关匹配方法为:首先，当前帧图像投影向量在相邻帧投影向量上移动，进行粗相关匹配，此时移动步长为4像素，确定粗相关匹配移动过程中的最佳匹配位置；然后，以粗相关过程得到的最佳匹配位置为初始位置，进行步长为I像素的精相关匹配，确定最终最佳相关位置，整个过程中，当前帧投影向量的总移动量即相应方向上的图像的平移运动分量； 步骤八七、对步骤八六得到的当前帧图像相对于与当前帧相邻的前一帧图像在位平面金字塔顶层的位移矢量进行传递，并在位平面金字塔中间层和底层采用投影法进行运动估计，将底层运动估计结果作为最终经过旋转运动补偿后的当前帧图像相对于与当前帧相邻的前一帧图像的帧间平移运动矢量。
4.根据权利要求2或3所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于:在权利要求2或3中所述的采用改进的六边形搜索算法进行搜索，具体步骤如下: (1)、在取块位置即块搜索起始位置附近对称设置nXn个待搜索点，其中η的值是3、5或7，相邻搜索点之间的距离为I像素，其中I是大于4小于8的正整数； (2)、匹配块在(1)中得到的待搜索点上逐一计算相关匹配值，确定相关值最大时对应的待搜索点位置，相关匹配值的计算公式如下:
5.根据权利要求4所述的一种具有大范围旋转及平移运动估计的实时电子稳像方法，其特征在于:所述改进的六边形搜索算法中η取值是5，I的取值是6。
【文档编号】H04N5/21GK103841296SQ201310722086
【公开日】2014年6月4日 申请日期:2013年12月24日 优先权日:2013年12月24日
【发明者】遆晓光, 靳万鑫, 佟学俭, 高红梅, 徐剑飞 申请人:哈尔滨工业大学