专利名称：一种视频去抖动方法和视频去抖动装置的制作方法
技术领域：
本发明涉及视频处理技术领域，更具体而言，涉及一种视频去抖动方法和视频去抖动装置。
背景技术：
近年来，在消费市场中，用于消除不期望的相机运动(即，无意运动)的视频去抖动系统越来越流行。图1示出了去除一维方向上的抖动的方法的示意图。如图1所示，由圆圈连成的线表示摄像机的实际运动，由三角形连成的线表示摄像者期望的摄像机运动， 即有意运动。有意运动是人的意图所引起的运动，例如，人为的摄像机移动。实际运动中包含摄像者的有意运动和无意运动。视频去抖动就是要从摄像机的实际运动中去除不期望的无意运动，得到期望的有意运动，如图1中的箭头所示。这样，处理后的视频在视觉上将变得平滑，减轻了由于无意运动引起的画面之间的跳动感。视频去抖动系统通常包括三个部分全局运动估计、有意运动估计和图像合成。通过全局运动估计和有意运动估计，确定用于每个视频帧的变换矩阵。所述变换矩阵用于将视频中的每个帧变换成去除了无意运动的帧，即去除了抖动的帧。通常，变换矩阵中可以包括一个或更多个参数(也称为变换参数)，以在一个或更多个方向上对视频进行去抖动。图像合成通常涉及利用变换矩阵对视频帧的变换、以一定裁剪尺寸对视频帧进行裁剪、以及对裁剪后的视频帧进行扩展以得到原始高宽比的视频帧等处理。由于对视频帧进行变换将留下未定义的区域(也称为黑区)，并因而导致视觉上的降级，因此必须消除黑区。通常通过裁剪和扩展剩余的图像部分、或者使用来自相邻帧的信息来构造图像拼接来消除黑区，如图2所示。在传统视频去抖动技术中，在同一轮中处理运动估计和图像合成，如图3中的虚线框所示。也就是说，对于视频中的每个帧，在一轮中相继对该帧进行全局运动估计、有意运动估计和图像合成。作为一种实际应用示例，使用解码器对视频解码一次，边解码边对已解码出的帧进行运动估计和图像合成。然而，在这种情况下，在未定义区域的量与运动平滑程度之间存在折衷。平滑程度越大，视频帧中产生的黑区也会越大。处理这个问题的通用方法是牺牲平滑程度，以保证未定义的区域小于预定阈值。例如，当去除了抖动的帧具有比预定阈值大的黑区时，减小变换矩阵中的平滑参数，直到黑区低于预定阈值。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。本发明旨在至少解决现有技术中的上述技术问题，提供一种视频去抖动方法和视频去抖动装置。根据本发明的一个方面，提供了一种视频去抖动方法，包括为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；确定所述原始视频的裁剪尺寸；以及利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。根据本发明的另一方面，提供了一种视频去抖动装置，包括变换矩阵确定单元， 配置用于为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；裁剪尺寸确定单元，配置用于确定所述原始视频的裁剪尺寸；以及图像合成单元，配置用于利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。根据本发明的又一方面，提供了一种视频去抖动方法，包括为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵并利用该变换矩阵来对该帧进行变换；确定所述原始视频的裁剪尺寸；以及利用所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括裁剪和扩展的图像合成。在根据本发明的上述方方面的视频去抖动方法和装置中，对于视频中的每个帧， 分两轮分别进行运动估计和图像合成。在第一轮中，返回用于对每个帧进行去抖动的变换矩阵。在开始第二轮之前，确定视频的裁剪尺寸。在第二轮中，在视频中的每个帧变成去除了抖动的帧之后，根据修剪尺寸来裁剪所述帧，然后将裁剪后的剩余部分扩展到原始视频的分辨率。由于变换矩阵的确定和视频的裁剪是在两轮中进行的，并且根据确定了的变换矩阵进行变换，然后根据确定的裁剪尺寸进行裁剪，因此避免了平滑程度的牺牲，并能够保证最优的裁剪尺寸，使得在裁剪过程中尽可能多地保留视频帧的原始图像信息，并在裁剪之后使尽可能少的视频帧中产生黑区。通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。
参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。图1示出了现有技术中的去除一维方向上的抖动的方法的示意图。图2示出了现有技术中对视频帧进行裁剪以去除黑区的示例。图3示出了现有技术中的视频去抖方法的示意性流程图。图4示出了根据本发明的一个实施例的视频去抖动方法的示意性流程图。图5A示出了根据本发明的一个实施例的生成变换矩阵的示意性流程图。图5B示出了根据本发明的一个实施例的确定裁剪尺寸的示意性流程图。图5C示出了根据本发明的一个实施例的进行图像合成的示意性流程图。图6示出了根据本发明的一个实施例的全局运动估计的示意性流程。图7示出了根据本发明的一个实施例的利用直方图确定裁剪尺寸的示例图。图8示出了根据本发明的一个实施例的视频去抖动装置的示意性框图。
5
图9示出了可用于实施根据本发明实施例的方法和装置的计算机的示意性框图。
具体实施例方式下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚起见，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。图4示出了根据本发明的一个实施例的视频去抖动方法的示意性流程图。如图4 所示，在该实施例中，分两轮进行运动估计和图像合成。在步骤S410中，作为第一轮处理， 为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵。在步骤S420 中，确定原始视频的裁剪尺寸。在步骤S430中，作为第二轮处理，对原始视频中的每个帧进行图像合成。具体而言，对于原始视频中的每个帧，利用该帧的变换矩阵对该帧进行变换， 利用所确定的裁剪尺寸对该帧进行裁剪，以及利用原始视频的分辨率对该帧进行扩展。图5A示出了根据本发明的一个实施例的生成变换矩阵的示意性流程图。如图所示，对视频中的每个帧，在步骤S510中，对该帧进行全局运动估计。在步骤S520中，对该帧进行有意运动估计。在步骤S530中，基于全局运动估计和有意运动估计的结果来生成该帧的变换矩阵。变换矩阵中包含每个帧的变换参数。为了方便说明，假定使用Xn表示原始视频中帧η的像素位置，其中X = (x,y, 1)τ。 Hn是从帧η-1到帧η的3 X 3变换矩阵，即，Xn = HnXn-I Hinn表示从帧η_1到帧η的有意运动。将累积的全局运动和累积的有意运动分别表示为CHn和CHirv其中，
权利要求
1.一种视频去抖动方法，包括为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵； 确定所述原始视频的裁剪尺寸；以及利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。
2.如权利要求1的视频去抖动方法，其中，生成变换矩阵的步骤包括 对该帧进行全局运动估计和有意运动估计；以及基于所述全局运动估计和所述有意运动估计的结果来生成该帧的变换矩阵。
3.如权利要求2的视频去抖动方法，其中，对该帧进行全局运动估计的步骤包括 为该帧的每个选定局部运动矢量分配权重；通过该帧的所有选定局部运动矢量的加权平均来估计该帧的全局运动矢量；以及重复执行所述分配权重和估计全局运动矢量的步骤达预定次数。
4.如权利要求3的视频去抖动方法，其中，为该帧的每个选定局部运动矢量分配权重的步骤包括通过以下高斯函数来计算该选定局部运动矢量的权重
5.如权利要求3的视频去抖动方法，其中，对该帧进行全局运动估计的步骤还包括 计算该帧的所有选定局部运动矢量的平均值作为该帧的全局运动矢量的初始估计值。
6.如权利要求2的视频去抖动方法，其中，对该帧进行有意运动估计包括通过对以该帧为中心的窗口内的所述原始视频的各个帧的全局运动估计的结果进行平滑来估计该帧的有意运动，其中，所述窗口的尺寸利用所述窗口内的帧间运动的方向改变的数目而被自动调节。
7.如权利要求1的视频去抖动方法，其中，确定所述原始视频的裁剪尺寸的步骤包括 在所述原始视频的帧的变换矩阵中的变换参数的值中，选择使得所述原始视频的帧被裁剪后至少有预定比例的帧不具有黑区的值作为所述原始视频的裁剪尺寸。
8.如权利要求7的视频去抖动方法，其中，当所述变换矩阵中包括所述原始视频的帧的长度和宽度方向上的两个变换参数时，确定所述原始视频的裁剪尺寸的步骤包括对这两个方向中每个方向上的变换参数执行以下步骤对所述原始视频的所有帧的变换矩阵中的该变换参数的绝对值或绝对值的区间进行计数；以及选择所述绝对值中的一个绝对值或所述绝对值区间中的一个绝对值区间中的最大绝对值作为所述裁剪尺寸在该方向上的分量，其中所述原始视频中至少预定比例的帧的变换矩阵中的该变换参数的绝对值在所选择的绝对值或绝对值区间中的最大绝对值以下。
9.一种视频去抖动装置，包括变换矩阵确定单元，配置用于为原始视频中的每个帧生成用于将该帧变换成去除了抖裁剪尺寸确定单元，配置用于确定所述原始视频的裁剪尺寸；以及图像合成单元，配置用于利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。
10. 一种视频去抖动方法，包括为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵并利用该变换矩阵来对该帧进行变换；确定所述原始视频的裁剪尺寸；以及利用所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括裁剪和扩展的图像合成。
全文摘要
本发明公开了一种视频去抖动方法和装置。所述视频去抖动方法包括为原始视频中的每个帧生成用于将该帧变换成去除了抖动的帧的变换矩阵；确定所述原始视频的裁剪尺寸；以及利用所述原始视频中的每个帧的变换矩阵、所述裁剪尺寸以及所述原始视频的分辨率对所述原始视频中的每个帧进行包括变换、裁剪和扩展的图像合成。
文档编号H04N5/14GK102348046SQ20101024437
公开日2012年2月8日 申请日期2010年7月30日 优先权日2010年7月30日
发明者堀田悦伸, 孙俊, 潘攀, 皆川明洋, 直井聪 申请人:富士通株式会社