专利名称：一种结合目标分割和不规则块补偿的帧频提升方法
技术领域：
本发明涉及视频处理技术领域，尤其涉及一种结合目标分割和不
规则块补偿的帧频提升方法。
背景技术：
在低比特率视频编码中， 一些编码器采用跳频技术来满足所需要 的压縮率。这种情况下，输入序列中的图像帧被周期性地从编码过程 中丢弃，从而，时间伪像(如抖动)被引入到接收端，将引起视频质
量的严重下降。此时，需要在解码器上使用帧速率上变换(FRUC) 来重新生成所跳过的图像帧，以便减少时间伪像。
另外，近年液晶LCD显示器得到广泛的开发和应用，其缺陷是 在显示动态影像时会产生拖尾和残影等运动模糊现象，主要原因是液 晶显示保持时间较长和响应时间较慢。由于减少液晶响应时间程度有 限，目前已达到瓶颈，因此减少液晶保持时间成为该问题的主要解决 办法。通过提高LCD刷新频率的方法可以有效减少保持时间，即在 原帧频基础上将帧频提升一倍或多倍。
提升帧频的方法，有采用重复插帧的方法将每一帧重复一次输入 至120Hz面板，但是这样显示效果与60Hz相当，还会出现运动闪烁。 也有在两帧之间插入黑帧提高帧频，这样的结果是整体视频显示效果会变暗。
基于运动补偿的帧频提升算法是比较有效的插帧方法，可以更真 实地连接前后两帧，更接近视频序列的自然变化。基于运动补偿的帧 频提升方法得到较好内插帧的关键，是运动估计的准确性和运动补偿 结果的优化处理。因此，如何估计出准确的运动矢量并进行较优的运 动补偿从而产生高质量的内插帧是业界研究者共同努力的方向。
基于块的运动估计是目前常用的运动估计方法，而最小SAD值准 则是基于块的运动估计中块匹配常用的匹配准则。双线性插值算法常 用于图像縮放处理中，能够得到高质量縮放图像，用此算法縮小参考 帧尺寸，可以减少运动估计过程中的计算量。
在传统的运动估计方法中，将某一参考帧或待插帧整体按一定规 则分块，然后在另一参考帧搜索或前后参考帧对称搜索。考虑到视频 帧中目标物体运动量较大、运动大小/方向等不统一，而背景区域运 动主要由摄像头移动引起，运动量较小，而且运动较一致，为了运动 估计和补偿的准确，将目标、背景区域分开处理是很有必要的。 在运动估计方法上，主要有单向估计和双边估计两种，双边运动估计 因其以待插帧为镜像中心，保证了补偿时内插帧不会产生重叠和漏洞 而得到普遍应用。另外，为了得到准确的运动矢量，很多研究者对运 动估计方法做了很多改进，如文献[l] (Suk-JuKang,Kyoung-RokCho， Young Hwan Kim. Motion Compensated Frame Rate Up-Conversion Using Extended .Bilateral Motion Estimation. IEEE Transactions on Consumer Electronics, Nov.2007,53(4): 1759-1761.)中采用的扩展双边运动估计(EBME)，如图1所示，假设补偿块尺寸大小为"X"，首先 将内插帧划分为2wX2"的块进行双边运动估计，按最小SAD准则得 到大块运动矢量。然后下滑匹配窗w行像素，估计新窗口运动矢量， 此时新窗口与原匹配窗有2个"Xw的重复单元，比较前后两次匹配 的SAD值，选最小的SAD对应的运动矢量作为重复单元的运动矢量。 此方法能得到较准确运动矢量，但是在进行匹配时没有考虑到小块的 匹配程度，有可能因其大块是最佳匹配而小块非最佳匹配而出错。
目前常用的基于块的补偿方法是用一个运动矢量代表整个块内 像素的运动，如果块内像素不是同一个目标体内像素，则其运动很可 能会不一致。因此，传统的块补偿就会出现误差。文献[2](大胁一 泰，伊藤刚，三岛直.产生内插帧的方法和装置.株式会社东芝，2006， 10)在找到匹配块后，根据匹配像素间的相关程度将匹配块划分为不 规则的高、低相关部分，根据二者的特点在补偿时采用不同的方法进 行补偿。但是，其高低相关部分的划分是按照对2个匹配块的像素差 值设定阈值来判定的，势必因门限设定不同而产生误判，损害补偿效 果。为了进行准确补偿插值，提出合理判定高低相关区域的方法，具 有重要意义。
基于块的运动补偿产生内插帧不可避免的一个问题就是出现块 效应，它会严重影响内插帧的视觉质量和客观评价，经众多研究者研 究发现重叠块运动补偿(Overlapped Block Motion Compensation, OBMC)可以有效消除块效应，提高补偿效果。文献[3]( M. T. Orchard and C. J. Sullivan, Overlapped block motion compensation: anestimation-theoretic approach, IEEE Trans. Image Processing, Sept. 1994，
3(9): 693-699.)对童叠块运动补偿效果做了有价值的评估，并讨论了最
优重叠窗形状。此方法对于目前普遍采用的基于块的运动补偿算法有
很高的实用价值。
发明内容
本发明所要解决的技术问题是提供一种用于视频编解码和提高 液晶显示质量的一种结合目标分割和不规则块补偿的帧频提升方法。 根据本发明的一种技术方案， 一种结合目标分割和不规则块补偿
的帧频提升方法，其特征在于包括以下步骤
第一、从视频序列中，提取出当前帧和当前帧的前一帧作为参考帧， 建立空白待插帧；
第二、为减少运动估计过程计算量，利用双线性插值法对参考帧和空
白待插帧进行下抽样；
第三、计算前后两参考帧帧差，得到运动目标轮廓，运用形态学方法，
得到运动目标区域掩模；
第四、根据运动目标区域掩模，分别将两参考帧划分为目标区域和背 景区域；
第五、运动估计分区域处理，将下抽样后待插帧分块，采用邻域选择 双边运动估计方法，以下抽样后待插帧块为镜像中心，分别在前后参 考帧中的目标区域和背景区域中寻找对称匹配块，得到初始运动矢
第六、对得到的初始运动矢量进行平滑，对第一步骤得到的空白待插帧分块；
第七、将平滑后的初始运动矢量逐块对应到第一步骤得到的空白待插 帧，以空白待插帧块为镜像中心在平滑后初始运动矢量指向的前后参 考帧中周围区域进行块匹配搜索，得到最终运动矢量，即对平滑后的
初始运动矢量进行微调以得到更准确的运动矢量；
第八、根据第七步骤中得到的最终运动矢量，以对匹配块取均值法生
成初始内插帧，同时其像素在插值补偿过程中不断被更新为正确插值
像素；计算待插帧中每一块对应的前后参考帧中匹配块的补偿权重系
数A;
第九、根据第七步骤中得到的最终运动矢量，对待插帧中每一块，找 到前后参考帧中匹配块，根据其对应像素相似程度，将块划分为高相 关区域和低相关区域；
第十、补偿分区域处理，对待插帧中每一块，若其属于目标区域，采 用目标区域内插补偿方法，则其高相关区域内插值取前后参考帧中匹 配块对应像素均值，低相关区域用基于权重的双向OBMC方法补偿； 若其属于背景区域，采用背景区域内插补偿方法，则其高相关区域补 偿方法同目标区域，低相关区域采用基于权重的单向OBMC方法补 偿；
第十一、重复第八、第九、第十步骤，直至生成内插帧。
根据本发明的一个优选方案，第五步骤中的运动估计分区域处 理为运动估计根据所划分的运动目标区域掩模，目标块的估计在目 标区域进行，背景块的估计在背景区域进行。根据本发明的一个优选方案，第五步骤中的邻域选择双边运动估 计方法为根据运动矢量区域一致性特点，对于待插帧中某一块，搜 索时匹配块大小选其尺寸的4倍大小，在前后参考帧中进行大块搜
索，基于最小SAD值准则，得到大块的运动矢量作为当前块备选运 动矢量；然后再取其左、上、左上这3个块的运动矢量作为备选运动 矢量，分别计算这4个备选运动矢量对应匹配块的SAD值，选最小 SAD值对应的运动矢量作为当前块的最佳初始运动矢量。
根据本发明的一个优选方案，第八步骤中计算待插帧中每一块对 应的前后参考帧中匹配块的补偿权重系数A的方法为根据第七步骤 中得到的最终运动矢量，以对匹配块取均值法生成初始内插帧力'W ， 同时其像素在补偿过程中不断被更新为正确插值像素，针对某待补偿 块，计算其与前后参考帧对应匹配块周围外扩4像素区域的绝对值误 差，与前一参考帧对应区域绝对值误差记为MAD,，与后一参考帧对
应区域绝对值误差记为MAD,，
补偿权重系数/z由下式得到
<formula>formula see original document page 12</formula>
补偿权重系数/z用来确定前后参考帧匹配块对应像素对内插帧插值 像素的贡献比例。
根据本发明的一个优选方案，第九步骤中高相关区域和低相关区 域的划分方法为高相关区域和低相关区域划分时，假设待划分块对 应的前一帧和后一帧匹配块分别为A^(刁，&+1("，其中s表示块中
像素位置，则令两个块的对应像素相除，得到匹配像素商
<formula>formula see original document page 12</formula>设定参考值7% = 1， H乍为门限，为一极小值，对应块中每一像素位置 "若|#—7Tzl",则认为匹配块中相应像素位置为高相关，否
则为低相关。
根据本发明的一个优选方案，第十步骤中所述目标区域内插补偿方 法
在目标区域的待补偿块，根据待补偿块对应的匹配块相似程度不
同将其划分为高、低相关区域，对于高相关的区域采用前后匹配像素
均值补偿，v为运动矢量，
义W = 0.5 * (s - v) + 0.5 * / +1 G + v)
低相关区域采用基于权重的双向OBMC补偿，其中w,似为双线性
窗系数，v,.为补偿块及其相邻第/块运动矢量，补偿系数p取补偿权
重系数//
义(^ix一(pv"")+(1-P)*/ +1—,)),产// 。 根据本发明的一个优选方案，第十步骤中所述背景区域内插补偿
方法
对背景区域的内插补偿同样采用划分高、低相关区域的方法，对 高相关区域可以直接对前后参考帧中匹配像素取均值作为内插帧对 应位置像素，v为运动矢量，
义W = 0.5 * d (H) + 0.5 * / +1" + v)
对于低相关区域，采用基于OBMC的单向补偿其中，补偿系数p的取值由补偿权重系数/i决定，若补偿权重系数 //〉0.5，则补偿系数p-l，否则;9-0;
w,似为双线性窗系数，V,为补偿块及其相邻第/块运动矢量。 本发明所述的一种结合目标分割和不规则块补偿的帧频提升方 法的有益效果是i本发明基于目标分割和邻域选择双边运动估计法能 准确地估计出运动矢量，结合目标分割和不规则块补偿的自适应补偿 方法能够准确补偿并减少块效应，补偿时通过设置参考帧的补偿权重 系数，实现自适应单、双向补偿，用前后参考帧匹配块的商值来判断
高、低相关不规则块，更精确地划分出高低相关区域，将OBMC应
用于自适应补偿方法，有效去除补偿产生的块效应，与现有技术相比，
本方法能够产生较高质量的内插帧，可广泛的应用在视频编解码、视
频处理技术领域，能够提高液晶显示质量，因此本发明具有重要的应
用价值。
以下将结合附图对本发明的实施例作进一步的说明。
图la是文献[l]中采用的EBME运动估计方法中第一次估计运动矢量 域示例图lb是文献[l]中采用的EBME运动估计方法中中间估计运动矢量域 示例图lc是文献[l]中采用的EBME运动估计方法中最终运动矢量域示例 图2是本发明一种结合目标分割和不规则块补偿的帧频提升方法实施例流程图3是本发明的生成内插帧运动补偿流程图4a是本发明的运动估计方法中运动搜索匹配块划分示意图4b是本发明的运动估计方法中当前块备选运动矢量示意图5是本发明的高低相关不规则区域划分示例；
图6是本发明中所用OBMC中双线性窗示例图7是本发明OBMC中9邻域窗口示意图； 图8是本发明的补偿权重系数计算邻域示意图。
具体实施例方式
图2是本发明一种结合目标分割和不规则块补偿的帧频提升方 法具体实施例流程图。参见图2， 一种结合目标分割和不规则块补偿 的帧频提升方法，有以下步骤
第一、从视频序列中，提取出当前帧和当前帧的前一帧作为参考帧，
建立空白待插帧；
第二、为减少运动估计过程计算量，利用双线性插值法对参考帧和空 白待插帧进行下抽样；
第三、计算前后两参考帧帧差，得到运动目标轮廓，运用形态学方法， 得到运动目标区域掩模；
第四、根据运动目标区域掩模，分别将两参考帧划分为目标区域和背 景区域；
第五、运动估计分区域处理，将下抽样后待插帧分块，采用邻域选择 双边运动估计方法，以下抽样后待插帧块为镜像中心，分别在前后参考帧中的目标区域和背景区域中寻找对称匹配块，得到初始运动矢 第六、对得到的初始运动矢量进行平滑，对第一步骤得到的空白待插
帧分块；
第七、将平滑后的初始运动矢量逐块对应到第一步骤得到的空白待插 帧，以空白待插帧块为镜像中心在平滑后初始运动矢量指向的前后参 考帧中周围区域进行块匹配搜索，得到最终运动矢量，即对平滑后的 初始运动矢量进行微调以得到更准确的运动矢量； 第八、根据第七步骤中得到的最终运动矢量，以对匹配块取均值法生 成初始内插帧，同时其像素在插值补偿过程中不断被更新为正确插值 像素；计算待插帧中每一块对应的前后参考帧中匹配块的补偿权重系 数/"
第九、根据第七歩骤中得到的最终运动矢量，对待插帧中每一块，找 到前后参考帧中匹配块，根据其对应像素相似程度，将块划分为高相 关区域和低相关区域；
第十、补偿分区域处理，对待插帧中每一块，若其属于目标区域，采 用目标区域内插补偿方法，则其高相关区域内插值取前后参考帧中匹 配块对应像素均值，低相关区域用基于权重的双向OBMC方法补偿； 若其属于背景区域，采用背景区域内插补偿方法，则其高相关区域补 偿方法同目标区域,.低相关区域采用基于权重的单向OBMC方法补 偿；
第十一、重复第八、第九、第十步骤，直至生成内插帧。下面对本发明实施例作进一步详细说明
如图2所示，Sl从视频序列中读入2帧连续视频帧，分别作为 前一参考帧U力和后一参考帧/ +々)，建立与参考帧尺寸相同的空白
待插帧义(力；
S2采用双线性插值法对前后两参考帧和空白待插帧下抽样，得 到参考帧/:—1(力，/ '+1(力和待插帧力(5)，下抽样不会改变参考帧的结构
信息，但是在搜索匹配过程中可以减少计算量；
S3计算前后两参考帧帧差，由函数对其取绝对值，得到运 动目标轮廓为
；
S4首先通过设定阈值将运动目标轮廓"变为二值图像，再运用
形态学方法处理先以半径为1的菱形为结构元素，对二值图像进行
开操作，以去除二值图像中较细弱的边缘和噪声，这些边缘大部分是
非运动变化引起，再以半径为16的菱形为结构元素，对处理后的图 像进行闭操作，将运动区域连为一体，得到运动目标二值图像，由此 得出运动目标区域掩模；必要的时候，如背景区域帧差明显，需要估 计目标位置，限制目标截取区域，以便完整分离目标区域、背景区域;
目标区域、背景区域分离方法不仅局限于此处描述的方法，其他可用 于目标分割的方法均可以采用；
S5根据运动目标区域掩模，将参考帧/二(s)， /二W划分为目标
区域和背景区域，供下一步运动搜索使用；
S6以待插帧为镜像中心，采用邻域选择的双边运动估计方法进行运动估计分区域处理。邻域选择的双边运动估计方法借鉴文献[l] 算法思路，考虑到区域运动矢量一致性特点，并充分考虑小块的匹配， 在大块搜索匹配的基础上进行小块匹配，从邻域和当前运动矢量中选 择最佳运动矢量作为初始运动矢量；
具体方法描述为首先将义'W分成尺寸为wXw的i央，以其中一 块《(刁的运动估计为例，以包含A(》、尺寸为其4倍大小的2"X2" 的大块作为匹配镜像中心，如图4(a)所示，在参考帧/二(小中 搜索对称匹配块，得到大块的运动矢量cw，将其赋给当前块，作 为块《(s)的备选运动矢量；设块》:("的左、上、左上3个相邻块运
动矢量分别为r—fe力，甲，r—A'a，如图4(b)所示，比较4个运动矢 量情况下，《(乃对应匹配块的SAD值，选择最小值对应的运动矢量 作为A(s)的初始运动矢量。
在力W中，根据S5中得到的目标、背景区域，若》:(s)属于目标 区域，则在参考帧的目标区域中进行上述运动估计，否则在背景区域 中进行。逐块进行，直至完成整帧运动估计。此方法以当前块最匹配 为基准，又考虑到区域运动的一致性，能得到较准确的运动矢量；
S7对上步得到的初始运动矢量采用中值滤波或其他滤波方法进 行平滑；
S8将空白待插帧/》)划分为2"X2"的块，将/力)中每块的运动 矢量对应为义'W中相应小块(大小为wXw)的运动矢量；以义("中 分块为镜像中心，在其运动矢量指向的/ —^)和/"+,W中位置的附近区 域进行块匹配搜索，得到最终运动矢量，即对S7中得到的初始运动矢量进行微调以得到更准确的运动矢量；
S9根据得到的最终运动矢量，以对匹配块取均值法生成初始内 插帧，同时其像素在插值补偿过程中不断被更新为正确插值像素，计 算待插帧中每一块相对前后参考帧的补偿权重系数//;
对义W中每一块，找到前后参考帧中匹配块，根据其对应的参考 帧中匹配块的像素相似程度，将块划分为高相关区域和低相关区域， 高低相关区域划分示例如图5所示；进行运动补偿时，若其属于目标 区域，则其高相关区域内插值取前后参考帧中匹配块对应像素均值， 低相关区域用基于权重的双向OBMC方法补偿；若其属于背景区域， 则其高相关区域补偿方法同目标区域，低相关区域采用基于权重的单 向OBMC方法补偿；
重复S9步骤，直至遍历内插帧。
图3是图2中S9单元结合目标分割的不规则块补偿详细流程图。 S91首先扫描待插帧，顺序提取待插帧义W中的待补偿块； S92根据待补偿块对应的运动矢量，提取参考帧/ —,("， / +1("中
的对应匹配块U"， U小
S93根据匹配块中像素值相似程度，划分高低相关不规则区域。
其中s表示像素坐标，令两个块对应像素相除，得到匹配像素商
A/—6汰(》《々)U力，
设定参考值7% = 1， c是门限值，为一极小值，对应块中每一位置" 若—/—6汰(》-7%|<"则认为匹配块中相应位置为高相关，设置掩模 中对应位置的值M^H1，否则为低相关，设置^(" = 0，从而 到高低相关不规则掩模；掩模生成示例如图5所示。通过设置门限s，可 以灵活地得到需要的高精度相关或低精度相关，这种方法使得高低相 关区域的划分更为准确和方便。
根据高、低相关不规则区域划分方法可知，高相关区域是前后参 考帧中匹配较好的部分，所以二者均值即可用于补偿。低相关区域则 是参考帧中匹配较差的部分，补偿时需要根据匹配块属于目标区域或 背景区域区别对待。
S94结合目标分割和不规则区域划分对待补偿块分别进行补偿。 基于块的运动补偿难以避免的问题就是块效应，为了消除块效 应，得到理想的内插帧，本发明使用了 OBMC技术，它能够有效去 除块效应，其核心思想是充分考虑待补偿块与其邻域块的运动矢量相 关性，通过求邻域块运动矢量对应的补偿值的加权和得到待插值，而 加权权重由窗函数决定，通过加权插值得到更平滑的运动场。窗函数 一般为升余弦窗或双线性窗，本发明使用的双线性窗生成公式如下， 其形状如图6所示。
w(w)= ' 16 (M+ "2)M 0,1…15 ， ^v)-^^)， w(M,v)= >v(M)* w(v) w(31-m)m = 16,17...31
设定补偿块大小为16X16，对于32X32的矩形窗，其覆盖范围
包括当前待补偿块和其相邻8个块的一部分。如图7所示，块5为内
插帧中待补偿块，它的补偿值与其周围8个邻块及它本身运动矢量有
关，设/力)为块5中待插像素值，s为块5中像素坐标，补偿方法为:
/ i>W*09*/ —^-v,.)+(1 —P)*/ +々+V,))，且^>,(》=1其中，w,々)为将当前块坐标S对应到以块/的中心为中心的双线性窗 中的对应系数，p为补偿系数，可根据补偿处理中的分类取0， l或 者前面计算得到的补偿权重系数// ，具体取值见下面的补偿方法总 述；v,.为/块的运动矢量。此公式表明，块5中每一补偿值都是包括
其自身的3邻域9个运动矢量平滑和滤波窗加权的结果，从而有效消 除块效应。
另外，考虑到对于义(力中待补偿块，对应的前后参考帧中匹配块 对其补偿时因与其周围块的切合程度不同而会有不同的贡献，本发明 引入补偿权重系数//。
根据S8得到的运动矢量，采用对匹配块取均值法生成初始内插 帧义"W ，同时其像素在插帧补偿过程中不断被更新为正确插值像素。 针对义W中某待补偿块，如图8所示，计算其与前后参考帧对应匹配 块周围外扩4像素区域的绝对值误差，与前一参考帧对应区域绝对值 误差记为MAD,，与后一参考帧对应区域绝对值误差记为MA^，其 中iV".为外扩4像素区域，7VV,为外扩区域内像素总数，v为内插帧 块s位置对应的运动矢量，
腸^^ri:k"-"h)-/》)
膽6=^Ar s |/ ""+v) -
早2 ;1
补偿权重系数A由下式得到
MAD,MAD6
补偿权重系数/z在插帧补偿中用来决定前后参考帧对应像素的补偿比例。
低相关区域的补偿分目标区域和背景区域两种情况处理，目标区 域运动较复杂，很容易出现块效应，所以在目标区域低相关部分采用
基于权重的双向OBMC补偿，充分利用前后匹配块信息，并利用 OBMC方法去除块效应；背景区域一般运动较单一、连贯，运动估 计误差较小，而且背景区域一般较平坦，相似程度较大，在只利用前 后2帧参考帧信息补偿时，为了减少内插像素噪声，低相关区域采用 基于OBMC的单向补偿。当然，若充分利用背景信息的连贯性，在 前后参考帧的前一帧或后一帧重新搜索背景区域的低相关区域，则对 于平移运动序列，如以快速移动的车为目标物体的视频序列victra， 有较好的效果。
下面对本发明结合目标分割和不规则块划分的补偿方法做一总
述
补偿时，逐块扫描待插帧义W，若其属于目标区域，则其高相关
区域内插值取前后参考帧中匹配块像素的均值，v为运动矢量， /力)=0.5*/ —々-v)+0.5V"+^ + v)，
低相关区域采用基于权重的双向OBMC滤波补偿；补偿系数p取
补偿权重系数/i，
/ i>,.W*(P*/ _1(s-v,.)+(l-P)*/ +1(s + v,))， P = //
若其属于背景区域，高相关区域同样对前后参考帧中匹配块像素 取均值作为内插帧对应像素，低相关区域采用基于OBMC的单向补 偿，<formula>formula see original document page 23</formula>
其中，补偿系数p的取值由补偿权重系数/z决定，若补偿权重系数 //>0.5，则补偿系数/^1，否则^ = 0，至扫描完成，生成内插帧。
上面对本发明的具体实施方式
进行了描述，但是，本发明保护的 不仅限于具体实施方式
的范围。
权利要求
1、一种结合目标分割和不规则块补偿的帧频提升方法，其特征在于包括以下步骤第一、从视频序列中，提取出当前帧和当前帧的前一帧作为参考帧，建立空白待插帧；第二、为减少运动估计过程计算量，利用双线性插值法对参考帧和空白待插帧进行下抽样；第三、计算前后两参考帧帧差，得到运动目标轮廓，运用形态学方法，得到运动目标区域掩模；第四、根据运动目标区域掩模，分别将两参考帧划分为目标区域和背景区域；第五、运动估计分区域处理，将下抽样后待插帧分块，采用邻域选择双边运动估计方法，以下抽样后待插帧块为镜像中心，分别在前后参考帧中的目标区域和背景区域中寻找对称匹配块，得到初始运动矢量；第六、对得到的初始运动矢量进行平滑，对第一步骤得到的空白待插帧分块；第七、将平滑后的初始运动矢量逐块对应到第一步骤得到的空白待插帧，以空白待插帧块为镜像中心在平滑后初始运动矢量指向的前后参考帧中周围区域进行块匹配搜索，得到最终运动矢量，即对平滑后的初始运动矢量进行微调以得到更准确的运动矢量；第八、根据第七步骤中得到的最终运动矢量，以对匹配块取均值法生成初始内插帧，同时其像素在插值补偿过程中不断被更新为正确插值像素；计算待插帧中每一块对应的前后参考帧中匹配块的补偿权重系数μ；第九、根据第七步骤中得到的最终运动矢量，对待插帧中每一块，找到前后参考帧中匹配块，根据其对应像素相似程度，将块划分为高相关区域和低相关区域；第十、补偿分区域处理，对待插帧中每一块，若其属于目标区域，采用目标区域内插补偿方法，则其高相关区域内插值取前后参考帧中匹配块对应像素均值，低相关区域用基于权重的双向OBMC方法补偿；若其属于背景区域，采用背景区域内插补偿方法，则其高相关区域补偿方法同目标区域，低相关区域采用基于权重的单向OBMC方法补偿；第十一、重复第八、第九、第十步骤，直至生成内插帧。
2、 根据权利要求1所述的一种结合目标分割和不规则块补偿的 帧频提升方法，其特征在于，第五步骤中的运动估计分区域处理为 运动估计根据所划分的运动目标区域掩模，目标块的估计在目标区域 进行，背景块的估计在背景区域进行。
3、 根据权利要求2所述的一种结合目标分割和不规则块补偿的 帧频提升方法，其特征在于，第五步骤中的邻域选择双边运动估计方 法为根据运动矢量区域一致性特点，对于待插帧中某一块，搜索时 匹配块大小选其尺寸的4倍大小，在前后参考帧中进行大块搜索，基于最小SAD值准则，得到大块的运动矢量作为当前块备选运动矢量; 然后再取其左、上、左上这3个块的运动矢量作为备选运动矢量，分 别计算这4个备选运动矢量对应匹配块的SAD值，选最小SAD值对 应的运动矢量作为当前块的最佳初始运动矢量。
4、 根据权利要求3所述的一种结合目标分割和不规则块补偿的 帧频提升方法，其特征在于，第八步骤中计算待插帧中每一块对应的 前后参考帧中匹配块的补偿权重系数/z的方法为根据第七步骤中得 到的最终运动矢量，以对匹配块取均值法生成初始内插帧义V)，同时其像素在补偿过程中不断被更新为正确插值像素，针对某待补偿块， 计算其与前后参考帧对应匹配块周围外扩4像素区域的绝对值误差， 与前一参考帧对应区域绝对值误差记为MAD,，与后一参考帧对应区 域绝对值误差记为MAD^补偿权重系数^为 MAD》^ — MAD, +MADA °
5、 根据权利要求4所述的一种结合目标分割和不规则块补偿的 帧频提升方法，其特征在于，第九步骤中高相关区域和低相关区域的 划分方法为假设待划分块对应的前一帧和后一帧匹配块分别为 A,-,("，万"+1("，其中^表示块中像素位置，则令两个块的对应像素 相除，得到匹配像素商-设定参考值77^1， H乍为门限，为一极小值，对应块中每一像素位置 "若|^^一6汰(》-7%|<"则认为匹配块中相应像素位置为高相关，否则为低相关。
6、根据权利要求5所述的一种结合目标分割和不规则块补偿的帧频提升方法，其特征在于，第十步骤中所述目标区域内插补偿方法 在目标区域的待补偿块，根据待补偿块对应的匹配块相似程度不 同将其划分为高、低相关区域，对于高相关区域采用前后匹配像素均 值补偿，v为运动矢量，义(》=0.5 *(H) + 0.5 */ +1 —) 低相关区域采用基于权重的双向OBMC补偿，其中w,似为双线性 窗系数，v,.为补偿块及其相邻第/块运动矢量，补偿系数p取补偿权 重系数//'=1
7、根据权利要求6所述的一种结合目标分割和不规则块补偿的帧频 提升方法，其特征在于，第十步骤中所述背景区域内插补偿方法对背景区域的内插补偿同样采用划分高、低相关区域的方法，对 高相关区域可以直接对前后参考帧中匹配像素取均值作为内插帧对 应位置像素，v为运动矢量，W = 0.5 * / —^ - v) + 0.5 * / +1 (s + v)对于低相关区域，采用基于OBMC的单向补偿其中，补偿系数p的取值由补偿权重系数/z决定，若补偿权重系数 A>0.5，则补偿系数/7 = 1，否则^ = 0;w,似为双线性窗系数，K为补偿块及其相邻第/块运动矢量。
全文摘要
本发明公开了一种结合目标分割和不规则块补偿的帧频提升方法，其特征在于包括以下步骤第一、建立空白待插帧；第二、对参考帧和空白待插帧进行下抽样；第三、计算前后两参考帧帧差，得到运动目标轮廓，运用形态学方法，得到运动目标区域掩模；第四、分别将两参考帧划分为目标区域和背景区域；第五、运动估计分区域处理，得到初始运动矢量；第六、对得到的初始运动矢量进行平滑，对空白待插帧分块；第七、对平滑后的初始运动矢量进行微调以得到更准确的运动矢量；第八、计算补偿权重系数μ；第九、将块划分为高相关区域和低相关区域；第十、补偿分区域处理，第十一、直至生成内插帧。本方法可广泛的应用在视频编解码、视频处理技术领域。
文档编号H04N7/26GK101621693SQ20091010452
公开日2010年1月6日 申请日期2009年7月31日 优先权日2009年7月31日
发明者任晓羽, 刘艳飞, 周洋生, 姬艳丽, 段淑玉, 田逢春, 谭洪涛 申请人:重庆大学;四川虹微技术有限公司