专利名称：一种用于数字电视细节实时重现的方法
技术领域：
本发明涉及一种能够实时重现数字电视图像细节的方法。具体说是一种在现有数字电视 的硬件基础之上，利用超分辨率重建技术，通过分析连续多帧的数字图像数据，在画面所需 要的局部区域实时地恢复因采样而丢失的高频信息，构造出高于原始分辨率的、高清晰度图 像的实现方法。二、 背景技术超分辨率重建是一种旨在通过综合低分辨图像序列的信息，构造一帧或多帧高分辨率、 高质量数字图像的技术。该技术在近十年内得到广泛的研究，并取得了显著的成果。虽然目 前还无法实现对于各类活动视频、所有运动模型均适用的重建运算，但对诸如平移、旋转等 刚体的全局运动，现有算法已经可以实现有效提高分辨率，改善画面质量的目的，并且在诸 如卫星遥感等领域得到了实际应用。事实上，现实生活中存在许多需要提高现有视频分辨率的场合。例如安全领域的视频监 控、家庭电视信号等。虽然市场上的数字电视产品宣称具备高分辨率、高清晰度的画面效果， 但多数情况下视频信号源的分辨率是有限的，无法体现硬件设备的优越性能。此外，在某些 场合人们需要对电视画面的局部区域进行放大。然而由于采样频率有限，单纯的拉伸数字信 号，或者使用各类单帧插值算法均无法恢复高频信息以重建高清晰的画面。然而，如果可以利用超分辨重建技术对图像序列做处理，就有可以在很大程度上改善放 大区域的画面质量，甚至获得额外的高频信息。例如，原画面中有一张报纸，由于原始的采 样频率有限，即便采用单帧插值放大也无法看清上面的文字。如果运用超分辨率重建，就可 以通过多帧包含该报纸的图像信息，重建出高频细节信息，使得肉眼可以识别报纸上的文字。 依据这一思想，我们提出一种基于超分辨重建技术的，能实时重现数字电视图像细节的方法。三、 发明内容为了克服现有数字电视对低分辨率的信号无法展现高分辨率性能的问题，本发明提供一 种数字电视细节实时重现的方法。该方法利用超分辨率重建技术，通过分析连续多帧的数字 图像数据，按照用户的需求在画面的局部区域实时地恢复因采样而丢失的高频信息，并构造 出高于原始分辨率的、高清晰度的数字图像。根据本发明所述的数字电视细节实时重现方法，其主要步骤包括-步骤1:确定放大区域。在用户选择细节重现功能时，屏幕上会出现类似画中画的显示 窗口，并提示用户选择需放大的局部区域。步骤2:重建可行性判别。即判断是否适合超分辨重建若不适合超分辨率重建，则用 单帧插值放大目标区域；若适合，则执行步骤3。步骤3:运动估计。利用己获得的包含当前细节内容的帧序列，并以当前帧为参考帧，200810019880. 1说明书第2/4页分别计算该参考帧与视频序列内其它帧之间的运动参数，构造帧间的映射关系，为下一步重 建运算作必要的数值准备。步骤4:重建超分辨率图像。根据帧序列数据和运动参数，采用基于最大后验概率估计 (MAP)的优化方法，实现超分辨重建的目的。步骤5:显示生成的超分辨率图像；读取下一帧画面，并跳至步骤2。本发明的有益效果是可以对数字电视画面中的局部细节做放大，并尽可能利用多帧图 像信息实现高于原始分辨率的画面重建，使得观众可以获得在视频采样过程中丢失的高频信 息，以满足各类需求。四
图l是本发明的实现流程； 图2是本发明效果图。五具体实施方式
一种本发明所述的数字电视细节实时重现方法，包含确定放大区域、重建可行性判别、 运动估计、超分辨率重建，以及画面显示五个步骤组成。在确定放大区域部分，主要由用户通过遥控器，在当前画面上选择需要细节重现的矩形 目标区域。屏幕上会出现类似画中画的显示窗口，用以展现放大的效果。(见附图2)步骤2重建可行性判别主要目的在于判断关于选定场景的帧序列是否适合现有的超分 辨率重建算法。判别主要依据相邻帧之间的变化强度，即计算两帧内同一目标区域之间的平 均差值平方和&这里B代表目标块内的像素集合，其元素总数由iV表示。如果x高于设定的阈值，则判定为 不适合超分辨率重建，改用bicubic单帧插值法放大目标区域；否则执行步骤3。步骤3运动估计算法的具体解决方式如下由于针对同一场景的相邻帧之间图像变化相对较小，故采用先做粗略估计，再做亚像素估计的方式。假设已有关于同一场景的帧序列gj (j = l， 2，…J)，其中第s帧为参考帧。首先粗略地 估计出参考帧内的目标区域在其它图像内的位移量。这里以差值的平方和为准则(SSD， Sum of Squared Difference),通过基于目标块的全局搜索法找出使得SSD最小的位移系数。而下一步的亚像素估计则利用基于光流公式的运动估计算法，以寻找更为精确的参数。 这里采用仿射运动模型-首先按照所需的放大比例，采用bicubic插值法分别建立参考帧和目标帧Ms， "t。定义运动参数向量 以及变换矩阵<formula>formula see original document page 5</formula>将之前粗略估计得到的系数作为初始值赋予p，并做如下迭代<formula>formula see original document page 5</formula>其中Ap满足Ap = arg min ZAP XEB<formula>formula see original document page 5</formula>5p上式中Vu是u在W(x;p)处的梯度。另有:3WX3WX，根据上述迭代法计算出高精度运动系数p，并以此得到映射矩阵A，使得、图像重建部分采用基于MAP估计的优化方法。MAP估计是期望获得如下所示最优解<formula>formula see original document page 5</formula>根据贝叶斯准则，后验概率可表示为先验概率和条件概率的乘积，转化为指数形式则有 = argm，x[InP(&g2|+ InP其中条件概率部分代表重建图像与含噪图像序列g之间的相似程度，而先验概率代表图像的平滑程度。基于MAP的优化准则最终表达为<formula>formula see original document page 5</formula>这里/l控制先验概率与条件概率两部分的贡献比例；用于表示每个像素与四周8 个像素之间的差值，定义如下<formula>formula see original document page 6</formula>为了将有效的高频分量与噪声区别，本发明选用如下函数<formula>formula see original document page 6</formula>阈值:r为定义域[o，255]内的整数。高于r则视为非噪声，并赋予定值，这样在 后面的优化过程中该区域像素值被保护。可以采用各种优化方法估计出最终的重建图像，例 如最速下降法。重建完成后，在画面规定的区域内显示生成的超分辨率图像，同时读取下一帧画面，并跳至步骤2。本发明采用的超分辨率重建算法所涉及的运算量分析如下假设目标区域原始分辨率为NxXNy，放大因子为P，帧序列数为J。这里主要考虑基于迭代的运算中实数乘法的数量。粗 略运动估计中，参考帧与每一个目标帧所需的乘法运算量为NxXNyX AN2。其中AN表示位 移范围， 一般情况下相邻帧内同一物体的位移不大，AN取5即可。在亚像素估计阶段，对 一个目标区域做bicubic插值需要4P"XNxXNy次乘法；运动向量p的计算采用迭代算法，而 每次迭代中关于一个像素点需要82次乘法，故一次迭代运算量为82P2XNxXNy，实验显示 多数情况下3次迭代即可达到需要的精度。在重建阶段，每次迭代中条件概率部分需要的乘 法运算量《P"XNxXNyX(2Np-I)XJ，其中Np代表低分辨像素点在高分辨率图像上对应的扩 散点数目(通常为9);先验概率部分一次迭代乘法运算量《7pSxNxXNy。通常重建计算需要 3次迭代。以目标区原始分辨率50X50， 5帧视频序列，2倍放大因子为例，重建一帧超分辨率图 像共需乘法运算13,010,000次，再加之其它加减运算，以每秒50场的运算速度，使用600M 双核浮点DSP处理器便可以实现实时处理的要求。<formula>formula see original document page 6</formula>
权利要求
1、一种用于数字电视细节实时重现的方法，其特征是它包括确定放大区域(1)、重建可行性判别(2)、运动估计(3)、超分辨率重建(4)，以及画面显示(5)五个步骤。
2、 根据权利要求1所述的用于数字电视细节实时重现的方法，其特征是针对非高清晰的活动视频，可以恢复采样过程中丢失的高频图像信息。
3、 根据权利要求1所述的用于数字电视细节实时重现的方法，其特征是能够智能判断 针对选定区域的连续视频序列是否适合超分辨率重建若适合，则做重建处理；否则采用单 帧插值技术放大图像。
4、 根据权利要求1所述的用于数字电视细节实时重现的方法，其特征是采用基于光流 公式的亚像素运动估计法分析多帧图像之间的映射关系，并利用所得信息重建超分辨率图像。
全文摘要
本发明公开了一种用于数字电视细节实时重现的方法，主要包含确定放大区域、重建可行性判别、运动估计、超分辨率重建，以及画面显示五个步骤。在用户确定需放大的区域后，系统判别该区域是否适合超分辨率重建如果不适合，则执行插值放大；如果适合，则对包含该区域的帧序列做运动估计，再进行超分辨率重建。重建后的图像即被显示到画面特定的区域，并循环执行下一帧图像。本发明利用视频数据在时间上的冗余信息，通过分析连续多帧的数字图像数据，按照用户的需求在画面的局部区域实时地恢复因采样而丢失的高频信息，构造出高于原始分辨率的、高清晰度的数字图像。具有广阔的市场前景和极高的经济价值。
文档编号H04N7/01GK101247489SQ200810019880
公开日2008年8月20日 申请日期2008年3月20日 优先权日2008年3月20日
发明者翔 朱, 炅 臧, 杰 袁, 都思丹 申请人:南京大学