专利名称：数字图像稳定方法和设备的制作方法
技术领域：
本发明涉及一种数字图像稳定方法和设备，用于从摄像机产生的 原始图像序列中消除不希望的摄像机运动(称为抖动)并获得稳定的 图像序列，其中对所述原始序列采用稳定运算以消除所述抖动。这种方法和设备可以用于如低/中端数字电影摄像机或者移动电话。
背景技术：
众所周知，数字图像稳定方法的目标是消除不希望的摄像机运动 或抖动，从而提供更舒适的视觉体验，产生的序列只显示必要的摄像 机运动。抖动定义为附加在摄像机的有意运动(特别是平移或者旋转) 上的图像的所有不希望的位置波动。稳定算法的处理有时是比较严格的。这些算法很难完全适合待稳 定的各种输入序列例如，单视点序列，全景镜头，使用者向前或向 后移动是的序列等等。因此，需要更加灵活并对于多种输入序列最优的方法以及相应的 设备。发明内容因此本发明的目的是提出这样一种设备。为了这个目的，本发明涉及说明书引言部分描述的设备，此外， 该设备的特征在于包括_初始级，在其中构造具有第一预定特征集的第一运动滤波器、所述 缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器， 所述滤波器在所述稳定算法中实现；-第一级，在其中估计所述摄像机的全局运动并且用所述缺省滤波器 对所述全局运动进行滤波；-第二级，在其中提取来自所述原始序列和稳定序列的预定参数，并 产生被称为标志的测量值，以评估稳定质量；以及-第三级，在其中将所述标志与预定阐值进行比较，如果所述标志超 过所述阈值，则产生第一控制信号，否则产生第二控制信号，所述 第一控制信号强制所述稳定算法使用备选滤波器，以提高稳定质 量，所述第二控制信号强制稳定算法继续使用所述缺省滤波器。 本发明的另一目的是提供可由这种设备实施的方法。 为此，本发明涉及说明书引言部分描述的方法，此外，该方法的特征在于包括-初始步骤，包括构造具有第一预定特征集的第一运动滤波器、所述 缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器， 所述滤波器在所述稳定算法中实现；_第一步骤，包括估计所述摄像机的全局运动并且用所述缺省滤波器 对所述全局运动进行滤波；-第二步骤，包括提取来自所述原始序列和稳定序列的预定参数，并 产生被称为标志的测量值，以评估稳定质量；以及-第三步骤，包括将所述标志与预定阈值进行比较，如果所述标志超 过所述阈值，则产生第一控制信号，否则产生第二控制信号，所述 第一控制信号强制所述稳定算法使用备选滤波器，以提高稳定质 量，所述第二控制信号强制稳定算法继续使用所述缺省滤波器。 根据该方法最重要的特征，使用和评估序列的固有特性，以提高稳定效率。实际上，为了实施该方法，使用"环内(iriloop)策略"。根据 该方法的重要特征，环路中的关键工具是评估序列固有的、对用户感 知稳定性产生影响的一些相关参数。为了达到这个目的，首先通过缺省的稳定算法稳定原始抖动序列 (或其一部分)。然后考虑稳定序列的全局运动和频率特性，使调整算 法中的阈值/参数值，从而获得更好的稳定性。根据本发明的方法可以应用于高/低/中端的数字摄像机中作为动态视频稳定工具，还可以在移动电话、Key-ring、 PC程序等中实现。 本发明的其他特征参见从属权利要求。
下文将参考附图对本发明作详细说明，本发明的其他目的、特征 和优点将显而易见，在附图中_图l示意性地示出了用于实现根据本发明优选实施例的数字图像稳定方法的系统的结构； -图2示意性地详细示出了图1中的一个模块，称为"评估模块"；以及-图3是示出了本发明中环路的最优使用的时间图。
具体实施方式
在以下的描述中，本领域技术人员熟知的结构和功能并没有作详 细说明，因为不必要的细节会使本发明不清楚。为了固定构思，而非限制本发明的范围，此后认为抖动图像是由 电影摄像机(未示出)产生的。原始图像序列和稳定图像序列都可以存储在存储装置中，即模块10和12。图1示意性地示出了用于实现根据本发明的数字图像稳定(DIS) 方法的系统l的结构(为了达到简化的目的，数字图像稳定方法此后 将称为"DIS")。模块11实现稳定算法，并处理稳定算法滤波器(模块110)的实 现，之后将详细说明。稳定算法模块11从原始(即由摄像机产生的抖动)序列10中创 建稳定序列12，例如摄像机产生的抖动序列10。图像可以划分成大的 像素区域，称为"宏块"。来自稳定算法模块11的一些相关序列参数， 如全局运动矢量，此后称为"GMV"，或者每个宏块的运动矢量，此 后称为"BMV",被发送给并存储于序列参数模块13。然后，将它 们发送给评估模块15 (输出0;3)并进行评估(图2详细示出了评估模块15的不同电路)。根据该评估的结果，调整稳定算法的新阈值， 从而更好地稳定原始序列。评估模块15中执行的分析通过(对原始图像序列IO和稳定图像序列12)使用如下不同特性的测量，得到视频稳定质量的客观测量公知的称为连续信号的"峰值信噪比"或"PSNR"的参数、对沿序列 的运动矢量的频率分析和对当前图像运动参数的分析。该操作是针对 每一帧执行的，之后将详细说明。基于这个评估，对算法的稳定参数 进行动态调整(针对每一帧或者由N个帧形成的组)。稳定算法的运 动/抖动滤波部分的可能调整、以及所评估的参数与对稳定算法的交互 作用之间的关系将在后面详细说明。这里将根据详细的图2说明评估模块15。如上所述，评估模块15 中执行的分析通过(对原始图像序列IO和稳定图像序列12)使用如 下不同特性的测量，得到视频稳定质量的客观测量连续图像的 "PSNR"和对沿序列的"GMV"的频率分析。模块14 (见图1 )包括用于存储N个帧的存储装置。更具体的说， 模块14包括原始缓冲器140，用于存储来自原始图像序列IO的帧； 以及稳定缓冲器141，用于存储来自稳定图像序列12的N个帧。将所 述N个帧的序列发送到评估模块15 (分别是输出O，和Ow),具体 是发送到所述模块15中提供的分析块16。通过使用基于原始图像序列10和稳定图像序列12的运动-频率内 容、感官考虑以及常规均值"帧间变换保真度测量"的参数组合，将 多种测量组合起来形成"稳定质量度量"，此后称为"SQM"。更具体的说，根据本发明方法的优选实施例，"客观视频稳定质 量测量系统"，按照以下方法测量"SQM"。基于连续的"GMV"值，运动频谱被划分为两个能量带， 一个为 高频，典型地高于lHz，另一个为低频，低于lHz(在该例中)。因此稳定质量的估计称作五W/附加'o" — o/ — 5"to站&如'o" — ， 由下面的等式给出j&y/ /mWo/7—o/ — 5Va緣'加/o" 一 gwa"/y = (a0 + al * JSe,0W + a2 * ) * /7F+ (〃0 + 〃1 *+ 〃2 * &。ve) * (1)+ (,0 + yl* + ,2 * ^Aove) * re必F其中al和《2分别表示在考虑到帧间变换保真度(ITF)的情况 下Abe^和Aab。ve的相应重要性，"0表示在整体测量中ITF的整体重 要性；戶l和々2分别表示在考虑到高频衰减(redHF)的情况下Abel。w 和Aab。ve的相应重要性，-0表示在整体测量中redHF的整体重要性； / 1和y2分别表示在考虑到低频衰减(redLF)的情况下A^。w和Aab。ve 的相应重要性，/0表示在整体测量中redLF的整体重要性。这些参数 是用实验的方法确定的。接下来会详细说明其他参数-J。6。m和Aew表示两个频带(例如，分别高于/低于lHz)的能量 在总运动能量中所占的比例；/^一五"erg);和Z^_^wgy是高频和低频 能量的绝对水平(level)。所述参数由下面两个等式给出 爿 =朋—五野gy (2),i^^/F和/^^:F表示在所考虑的两个频带上原始序列io和稳定 序列12之间运动能量的衰减。这应该是抖动衰减的主要指示符，特别 是在高频上。/rF表示索引，其是对两个连续帧之间的亮度数据计算的标准"PSNR"。最终的索引是在整个滑动测试窗口上(或者，在逐序列测量的情况下，在整个序列上)平均得到的。等式(4)给出了连续帧之间的"PNSR":2552層i :lO.bg,o~^- (4)其中 和^是当前和连续帧的对应像素。"帧间变换保真度"或"ITF"测量是根据连续图像序列间的 <formula>formula see original document page 10</formula>， k为任意等级(rank))而计算的。 /7F索引由等式(5)给出 <formula>formula see original document page 10</formula>其中"6J^we表示序列中被测试部分的帧的数量。 考虑到从模块13接收的序列参数(图1:输出Ou)以及从原始 缓冲器140 (输出和稳定缓冲器(输出Ow)接收到的原始帧， 在分析块16 (图2)中计算上述参数。所述参数存储在存储装置<formula>formula see original document page 10</formula> 中。上述存储装置的内容被发送到测量计算模块17。接下来将详细说明图1模块11中实现的稳定算法。稳定算法通常 首先估计摄像机从一帧到下一帧的全局运动，得到"全局运动矢量" 或"GMV"。然后需要对这个运动进行滤波，以消除不希望的分量或 抖动。必须将这种分量与有意运动相分离。基本上，通过获取序列上 的绝对位移矢量值并使用低通滤波器，可以消除高频抖动，保留总体 趋势。根据本发明的特征，使用了两个第一滤波器，此后分别称为滤波 器F/ZT五i^和F/丄7E&。在低通"GMV"滤波级中，对"GMV"曲 线进行滤波并且在n帧上对其迸行时间上的累积。要应用的校正是原 始累积曲线JMK(")和修正后的累积曲线」MFwo《")之间的差值，原 始累积曲线<formula>formula see original document page 10</formula>(6)修正后的积累曲线<formula>formula see original document page 10</formula> (7)也可能存在两种运动平均滤波模式。使用滤波器P7丄7^A在时刻t执行运动平均滤波。用M个在前 "GMV"的平均值取代"GMV"，因此对"GMV"的高频分量进行如 下滤波<formula>formula see original document page 10</formula> (8)使用滤波器F/ZTE/ s在时刻？执行双通带运动平均滤波在相同的釆样窗上对运动平均滤波后的"GMV" ，GMFJ "，再次进行平均 C MF一do"WeJ / , = Average(GMFJ /々…GMK(9) 这个双滤波后的"GMV"提供了比简单的运动平均滤波更平滑的结果。然后"运动矢量积分"提供了另外两个运动滤波器的基础，此后 称为尸/Z7^ec和F/Z7^^。在这种情况下，使用阻尼因子对"GMV" 进行积分，由此产生的积分运动矢量("IMV")指定了要应用到当前输入图像以建立稳定序列的最终运动矢量校正 7MF, = a * W卜,+ G嫁， (10)其中《是阻尼因子<1(在0到1之间取值，取决于期望的稳定度)。 根据本发明方法的特征，使用自适应阻尼系数a，以满足下列等式。/M^ = (GW,+GW,—,) * /MF,—, + GW (11)阻尼因子"取决于最后两个"GMV"之和。这就允许跟踪有意运 动的开始。a禾B(GMF,+GM^)之间的对应关系表如下构造-较小值的"GMV"和意味着较大的阻尼因子值。较大的阻尼值更强地稳定序列，正如假设摄像机有意静止不动一样。 -较大值的"GMV"和意味着较小的阻尼因子值，因为较小的阻尼值使得序列更加遵循原始运动。 使用两个表-F/ZJ^i^:在这种情况下，构建对应关系表，以使稳定序列尽可能 地稳定原始运动。 一般而言，表中填充的是较大的阻尼因子值。-F/Z7^/ D:在这种情况下，构建对应关系表，以使稳定序列更快地跟踪较大的有意运动(表中填充的是比滤波器C中的阻尼因子值略小的阻尼因子值)。 下面将详细说明环路交互(loop interaction)。在稳定算法中使用的缺省"运动滤波"滤波器是F仏7E及c。依据 评估结果，稳定算法可以使用不同的运动滤波器。首先，由评估模块15 (更确切的说是由分析块模块(图2))给出稳定序列的测量或标志。所述测量是由测量计算模块17计算的，如上 所述，测量计算模块17从模块160到164接收参数/7F等。测量计算 模块17的输出发送到比较模块19，与预定的阈值77i7 进行比较。如 果测量超过该界限阈值7W及，这意味着稳定结果是令人满意的，无需 任何改变分支"YES"和第一输出0/5上的信号被发送到位于稳定 算法模块11中的滤波器子模块110。否则，将使用另一滤波器处理该序列分支"NO"。比较模块 19第二输出上的信号被发送回到滤波器动作分析模块18，该模块18 也接收参数Aab。vj|] Abel。w。条件处理(switching)过程如下 如果A6e/。w〉77*Aa6。ve，那么使用滤波器F/Zr五i^或F/Z7^ s:如果A。6。ve>"，那么使用滤波器F/iT￡/ s，否则使用滤波器如果A&w〈r"A。^e，那么使用滤波器F/ZT^ c或F/丄ra^:如果A^。ve>n，那么使用滤波器F/i:r￡7 c,否则使用滤波器 ，D其中77、 77和"是实验确定的阈值。上述计算结果被发送到滤波器控制模块110:输出0'^上具有预 定格式的的信号，称为"w《—F!7fer—Jc"o" we^age"。然后，稳定算法模块11考虑到从输出0;5接收的信号值、或者从 评估模块15的输出0'u接收的信号值，对摄像机全局运动进行滤波， 并且消除不希望的抖动。因此，根据本发明方法的最重要特征，通过使用图像序列的固有 特性及对它们进行评估来完成所述消除，从而改善稳定性。本发明的最佳应用是使用闭合环路来实现环路交互。图3是说明 了所述最佳应用的时间图。环路交互是使用闭合环路而动态地完成的， 即，使用基于预定数量的连续帧(在图3所示情况下是6个帧)的测 量，预定数量的连续帧被称为"稳定效率测量滑动窗"W (z'是任意 等级)。上面的线表示原始图像序列的帧，下面的线表示稳定序图像列 的帧。初始化帧标记为/F(上面的线)，第一稳定帧标记为SF,(下面的 线)。第一窗标记为^。对该窗的任何帧，存在还未足够处理以实现 正确的环内(in-loop)稳定控制的帧。从标记为『2 (图3中的虚线) 的第二窗的最末帧F开始，分析窗被填满，因此环内稳定开始有效。每个窗包含相同数量的时隙(每个时隙对应于两个连续帧之间的 时间间隔)，也即相同数量的帧，但是随着时间从产生的一个帧产生到 下一帧而移动。例如，窗M包括原始帧1 (/F)到6，稳定帧1到6， 窗『2包括原始帧和稳定帧2-7 (F)等。上述机制允许实时地改变在在模块11 (图l)中实现的稳定算法 的运动滤波部分。从前面的描述中可以看出，本发明很好地实现了其 设定的目标。本发明DIS方法特别适合应用于低/中端数字视频摄像机 中作为动态视频稳定工具，但它也可以内置在移动电话、Key-ring、 PC程序等等中。但是，需要注意到是，本发明并不限于以上详细描述的实施例和 各种变化，在不背离本发明精神和范围的前提下可以作改动。如果单 个硬件或者软件可以实现多种功能，那么采用硬件或软件或者两者， 存在很多实现根据本发明方法的功能的方式。本发明并不排除使用多 个硬件或软件或者两者的组合来实现功能，因此可以在不改变根据本 发明的DIS方法的同时形成一种单个功能。所述硬件或软件可以通过 多种方式实现，例如分别利用有线电子电路或者利用适当编程的集成
权利要求
1.一种数字图像稳定设备，用于从摄像机产生的原始图像序列中消除不希望的、被称为抖动的摄像机运动并获得稳定的图像序列，对所述原始序列采用稳定算法(11)以消除所述抖动，所述设备的特征在于包括-初始级，在其中构造具有第一预定特征集的第一运动滤波器、所述缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器，所述滤波器在所述稳定算法(11)中实现；-第一级，在其中估计所述摄像机的全局运动并且用所述缺省滤波器对所述全局运动进行滤波；-第二级，在其中提取来自所述原始序列(10)和稳定序列(12)的预定参数(13，14)，并产生被称为标志(17)的测量值，以评估稳定质量；以及-第三级(19)，在其中将所述标志与预定阈值进行比较，如果所述标志超过所述阈值，则产生第一控制信号(O15)，否则产生第二控制信号(O′15)，所述第一控制信号(O15)强制所述稳定算法(11)使用备选滤波器，以提高稳定质量，所述第二控制信号(O′15)强制稳定算法(11)继续使用所述缺省滤波器。
2. —种数字图像稳定方法，用于从摄像机产生的原始图像序列中 消除不希望的、被称为抖动的摄像机运动并获得稳定的图像序列，对 所述原始序列采用稳定算法(11)以消除所述抖动，所述方法的特征在于包括-初始步骤，包括构造具有第一预定特征集的第一运动滤波器、所述 缺省滤波器以及具有第二预定特征集的至少一个备选运动滤波器，所述滤波器在所述稳定算法(11)中实现； -第一步骤，包括估计所述摄像机的全局运动并且用所述缺省滤波器对所述全局运动进行滤波； -第二步骤，包括提取来自所述原始序列(10)和稳定序列(12)的预定参数(13， 14)，并产生被称为标志(17)的测量值，以评估 稳定质量；以及-第三步骤，包括将所述标志与预定阈值进行比较(19)，如果所述 标志超过所述阈值，则产生第一控制信号((9/5)，否则产生第二控 制信号(O'")，所述第一控制信号(O")强制所述稳定算法(11) 使用备选滤波器，以提高稳定质量，所述第二控制信号(0'/5)强 制稳定算法(11)继续使用所述缺省滤波器。
3. 根据权利要求2所述的方法，其特征在于，所述图像被划分成 预定的较大像素区域，g卩"宏块"，所述参数包括全局运动矢量和"宏 块"矢量(13)。
4. 根据权利要求3所述的方法，其特征在于，所述标志(17)包 括基于对所述原始序列和稳定序列执行的测量的组合的稳定质量度 量，所述测量至少包括连续图像的峰值信噪比和对沿预定数量图像的 序列的所述全局运动矢量的频率分析，对所述图像原始序列和稳定序 列均执行所述测量。
5. 根据权利要求4所述的方法，其特征在于，所述方法包括另一 步骤将所述预定数量图像的序列的运动频谱划分成预定的两个能量 带，即第一低频能量带和第二高频能量带；根据连续的全局运动矢量 计算所述运动频谱；所述稳定质量度量基于第一和第二参数的计算和 组合、第三和第四参数的计算和组合以及第五参数，第一和第二参数 分别称为Ae/。w和A^e，分别表示所述第一和第二能量带中的能量比 例，第三和第四参数表示在所述第一和第二频带上所述图像原始序列 和稳定图像序列之间的运动能量衰减，第五参数称作帧间变换保真度， 表示所述预定数量图像的序列中连续图像之间的所述峰值信噪比。
6. 根据权利要求5所述的方法，其特征在于，所述高频是高于lHz 的频率，所述低频是低于lHz的频率。
7. 根据权利要求5或6所述的方法，其特征在于，设计被称作 F仏7^i c的所述缺省运动滤波器的所述第一预定特征集，以获得所述 摄像机运动的高稳定性，并且所述第一预定特征集包括填充有高阻尼 因子值的对应关系表。
8. 根据权利要求7所述的方法，其特征在于，设计被称作F/丄7^/^ 的至少一个备选滤波器的所述第二预定特征集，以允许更快地跟踪所 述摄像机的较大有意运动，并且所述第二预定特征集包括填充有阻尼因子的对应关系表，该阻尼因子的值低于所述F/丄7^^;的阻尼因子的值。
9. 根据权利要求5和6所述的方法，其特征在于，所述初始步骤包 括构造分别具有第三和第四特征集的另外两个备选运动滤波器，所述 另外两个备选运动滤波器分别称为/^T五^和F/丄rE/^;设计所述第三 特征集，以对所述原始图像序列执行运动平均滤波，由预定数量的在 前全局运动矢量的平均值取代所述全局运动矢量，所述预定数量的在 前全局运动矢量表示采样窗，对所述矢量的高频分量进行滤波；设计 所述第四特征集，以对所述原始图像序列执行双通带运动平均滤波， 由预定数量的在前全局运动矢量的平均值取代所述全局运动矢量，在 第一通带中对所述矢量的高频分量进行滤波，在第二通带中在相同的 采样窗上对上述滤波后的运动矢量再次进行滤波。
10. 根据权利要求9所述的方法，其特征在于，所述初始步骤包括 实验确定分别称为T7、 r2和H的另外三个阈值；如果所述第一阈值被超过，则所述初始步骤包括使用分别称为AeW和乏6。m的所述第一和第二参数来进行依次比较的步骤-如果Ae/。w〉n^^。ve，则使用所述滤波器F/ZTEi^或F/17Ei^，并且如果A^。m〉77，则使用所述滤波器F/丄rE^，否则使用所述滤波器F/ZTE/^;以及 -如果AeW〈n^^。ve，则使用所述滤波器F/JL7^i c或F几7Ei^，并且如果A^e〉n，则使用所述滤波器尸/丄7^/ec，否则使用所述滤波器尸/丄潔D。
11. 根据权利要求io所述的方法，其特征在于，所述采样窗是包括恒定数量的时隙的滑动窗(w， w， w)，每个时隙对应于将所述原始序列(10)和稳定序列(12)的两个连续帧隔开的时间间隔，所述滑动窗随时间从一帧移动到下一帧，以实时地执行所述运动滤波。
全文摘要
本发明涉及一种从摄像机产生的原始图像序列(10)中消除抖动的数字图像稳定方法。对原始序列(10)采用了稳定算法(11)。估计摄像机的全局运动并且用缺省的运动滤波器对其滤波(110)。从原始图像序列(10)和稳定图像序列(12)中提取预定参数(13，140，141)。计算测量值，以评估(15)稳定质量，并将计算值与阈值相比较。根据评估的结果(O<sub>15</sub>，O′<sub>15</sub>)，稳定算法(11)使用备选滤波器以改善稳定质量，或者继续使用缺省滤波器。
文档编号H04N5/232GK101238712SQ200680029254
公开日2008年8月6日 申请日期2006年8月9日 优先权日2005年8月10日
发明者卡罗琳娜·米罗, 扬·皮卡尔, 斯特凡娜·奥贝热 申请人:Nxp股份有限公司