用于获得视觉体验优化的超分辨率图像的方法和系统的制作方法
【专利摘要】本发明提出了人类视觉体验优化的超分辨率(SR)的方法和系统，用于从单个或多个低分辨率图像获得高分辨率图像。实施例包括具体的人类视觉偏好模型(HVPM)，所述模型综合考虑了亮度适应、对比度掩蔽以及纹理规整性，并且通过使用所述HVPM优化了基于单帧和多帧图像的SR方法。具体的反投影迭代(IBP)方法涉及使用HVPM使结果图像的细节可见性更接近人类视觉系统偏好。提出一种经HVPM优化的样例融合方法，用来同时减少失真和获取更多的细节信息。此外，还可以根据像素深度信息以及HVPM来选择性地对像素进行平滑和去模糊处理，以增强二维图像的三维视觉效果。本发明的优越性在于可以生成出其细节可见性更适于人类观看者的高分辨率图像，从而具有更高的主观质量。
【专利说明】用于获得视觉体验优化的超分辨率图像的方法和系统
【技术领域】
[0001]本发明主要涉及图像和视频处理，具体而言，涉及用于从图像获得视觉体验优化的超分辨率图像的方法和系统。
【背景技术】
[0002]超分辨率(SR)方法旨在获取高于低分辨率(LR)图像的奈奎斯特频率的新的高分辨率(HR)信息，在高清电视HDTV、超高清电视UHDTV (4KTV和8KTV)、视频通信、视频监控、医学成像等领域具有广泛的应用。
[0003]超分辨率技术可以大致分为为传统的多帧SR和单帧SR方法。多帧SR方法利用视频序列或多个图像帧间的亚像素错位，获取高频信息。大部分方法涉及用来获取这些亚像素位移的某种运动估计方法，以及多种融合与规整化方法，例如IBP (反投影迭代)以及MAP (最大后验概率)等方法，保证重构的HR图像与输入LR图像相一致。例如，[现有技术
2]、[现有技术7]、[现有技术8]和[现有技术9]利用个多种线索，包括样例匹配的相似度、运动矢量的连续性和运动矢量的长度等来计算权值，用于融合与规整化，以及用于一些SR方法中的“运动补偿”。
[0004]由于多帧SR方法需要对多个图像或视频帧进行捕获、缓存并操纵，其内存消耗以及计算复杂度都相当高。另外，尽管此类SR方法已被证明在放大因子高达2倍时仍能提供稳定的结果，但这类方法对噪声敏感，且仅限于巾贞间存在亚像素错位(misregistration)的情况。为了克服上述缺点，研究者提出了单帧SR方法。这类方法也被称为做基于样例或基于学习的SR，或者为“幻像”。
[0005]典型的基于样例的SR方法利用单个低分辨率(LR)图像获得高分辨率(HR)信息，大致可以分为两个主要模块，即重构与保持一致性。在第一个模块中，输入LR图像首先被分为多个小的重叠LR样例。对于每个LR样例，在预先建立的数据库或LR图像和/或下采样/上采样后的LR图像中搜索其对应的HR样例。随后，一般使用融合与加权技术，利用得到的HR样例重构出放大的图像[现有技术I]。另外，也有方法通过选择这些样例而不是搜索这些样例来降低计算复杂度[现有技术3]。在第二个模块中，在某种假设(例如，数字图像生成模型)下，使用后处理(例如，反投影迭代(IBP))来保持重构的HR图像与输入的LR图像之间的一致性。还有一些其它的单帧SR方法，例如，[现有技术6]中描述的基于FFT的迭代去模糊的SR方法。
[0006]一些方法组合了来自“经典” SR (即多帧SR)和基于样例的SR (即单帧SR)的技术。例如，[现有技术I]从下采样后的输入LR图像以及LR图像本身搜索HR样例。如果将其在当前LR图像中的搜索方法扩展到视频序列的多个帧中，就可以变成一种混合SR方法。
[0007]超分辨率是存在多个解的不适定问题。大部分的现有SR方法会采用优化方法，例如，MAP (最大后验概率)、ML (极大似然)和IBP (反投影迭代)来对重构图像进行规整化以使其与输入LR图像相一致，同时在锐度与失真之间保持平衡。这些方法全都基于某种客观度量，例如，均方误差(MSE)。然而，人类视觉系统(HVS)对不同局部区域中的图像细节和失真具有不同的偏好与敏感度。例如，相比于规整的结构区域，随机纹理区域中的噪声与失真，对于HVS来说更不易察觉。从另一个角度来看，这相当于相比于规整的结构区域，HVS更偏好随机的纹理区域中的细节信息。因此，由于没有考虑HVS的偏好，现有基于客观度量的SR方法，无法创建观看者视觉体验意义上的最佳高分辨率图像。
[0008]HVS模型用来预测HVS的感知特性，已被深入研究了数十年。HVS模型，例如视觉注意、中央凹、色彩感知、立体感和最小可觉失真(just noticeable distortion,JND)等均已得到视觉生理和心理学实验的强有力支持。在这些模型中，JND模型被广泛用于图像处理。JND模型输出一个阈值，该阈值代表人类视觉系统在感知图像的微小变化方面的局限性。如果图像中的噪声、失真或细节变化小于JND阈值，这些变化就无法被人类视觉系统感知到。在实践中，这些图像失真在图像处理中可以被忽略而不影响图像的主观质量。
[0009]JND模型可以分为基于空域和基于变换域两类，通常包括HVS亮度适应、对比度掩蔽和色彩掩蔽特性的数学描述。在最新的研究中，不同纹理和时域变化的影响也被考虑在内，例如，[现有技术12]。[0010]一些方法利用JND模型来降低计算复杂度，或者用于选择图像放大和SR的不同处理方法。[现有技术4]利用考虑到亮度适应和对比度掩蔽的JND模型，用于提前终止MAP迭代，从而降低SR的计算复杂度。该方法也使用了显著性图来辅助实现提前终止。[现有技术10]利用相似的JND模型，对一些“不重要的”像素应用插值而不是SR，由此来降低计算复杂度。一些其它方法利用纹理规整性来调整SR重构。例如，[现有技术5]使用基于梯度的方法来区分均匀/噪声/低纹理区域和规整的高纹理区域。随后，对规整的高纹理区域使用更为先进复杂的方法以获得更高质量的结果，而对随机的纹理区域则采用插值方法或设置较小的样例搜索范围来降低计算复杂度。[现有技术11]使用结构张量来获得规整性特性并调节滤波器的形状和曲线拟合过程。据我们所知，现有技术方法的不足之处在于，一方面，HVS或规整性模型仅仅用于降低SR重构的计算复杂度，而不是进一步提高重构图像的主观质量；另一方面，大多数方法所使用的JND模型仅仅考虑了 HVS特性的一部分。
[0011][现有技术I]米哈尔?伊拉尼(MichalIrani)、丹尼尔?格拉斯纳(DanielGlasner)、欧迪德?沙哈尔(Oded Shahar)、沙尔?巴贡(Shai Bagon),单信号产生的超分辨率(Super Resolution From a Single Signal),美国专利申请案 20120086850, 2012 年4月12日
[0012][现有技术2]户田玛莎(MasatoToda)，用于增强图像分辨率的方法、设备和程序(Method, Apparatus and Program for Enhancement of Image Resolution),美国专利
8374464,2013年 2 月 12 日
[0013][现有技术3]梁路宏(LuhongLiang)、赵京雄(King Hung Chiu)、林彦民(EdmundY.Lam),基于多样例的单中贞SR设备、系统和方法(Apparatus, system, and method formult1-patch based SR from an image),美国专利申请案(已提交)，2012 年
[0014][现有技术4]纳比尔.G.萨达卡(Nabil G.Sadaka)和_娜.J.卡拉姆(LinaJ.Karam),基于感知注意的 SR (Perceptual attentive SR), VPQM2009 年
[0015]纳比尔.G.萨达卡和丽娜.J.卡拉姆，基于感知注意的高效SR (Efficientperceptual attentive SR), ICIP2009 年[0016][现有技术5]柘林(ZheLin)、斯科特*D.科恩(Scott D.Cohen)、简仁灿(Jen-Chan Chien)、莎拉.A.孔(Sarah A.Kong)和杨建超(Jianchao Yang),在图像放大过程中的去噪和失真去除，美国专利申请案20130034311，2013年2月7日
[0017]柘林、斯科特.D.科恩、简仁灿、莎拉.A.孔和杨建超，用于图像放大的回归学习模型(Regression-Based Learning Model for Image Upscaling),美国专利申请案
20130034313,2013年 2 月 7 日
[0018]柘林、斯科特*D.科恩、简仁灿、莎拉.Α.孔和杨建超，用于图像放大的基于原位自相似性的鲁棒样例回归(Robust Patch Regression based on In-PlaceSelf-similarity for Image Upscaling),美国专利申请案 20130034299, 2013 年 2 月 7 日
[0019][现有技术6]单奇(QiShan)、李兆荣(Zhaorong Li )、贾佳亚(Jiaya Jia)和唐志强(Ch1-Keung Tang),快速图像/视频上采样(Fast Image/Video Upscampling),美国计算机学会图形学汇刊第27卷第5期153节(2008年12月)
[0020][现有技术7]保罗?斯普林格(PaulSpringer)、西彻(Toru Nishi)、马丁 ?里希特(Martin Richter)和马蒂亚斯.布鲁格曼(Matthias Brueggemann),用于增强图像的设备和方法(Image Enhancement Apparatus and Method),美国专利申请案20120219229,2012年8月30日
[0021][现有技术8]陈枚(MeiChen),增强图像分辨率(Enhancing ImageResolution)，美国专利 8，036，494B2，2011 年 10 月 11 日
[0022][现有技术9]马克.保尔.瑟维斯(MarcPau Servais)和安德鲁.凯(AndrewKay),高效的时空视频放大(Spatio-Temporal Video Up-Scaling),美国专利申请案20100135395A1,2010 年 6 月 3 日
[0023][现有技术10]林进灯(Chin-Teng Lin)、樊康伟(Kang-Wei Fan)、蒲河常(Her-Chang Pu)、吕世茂(Shih-Mao Lu)和梁胜福(Sheng-Fu Liang),用于图像大小调整的HVS引导且基于神经网络的图像分辨率增强方案(An HVS-DirectedNeural-Network-Based Image Resolution Enhancement Scheme for Image Resizing),IEEE模糊系统汇刊，第15卷，第4期，2007年8月
[0024][现有技术11]三岛奈央(NaoMishima)、五十川贤三(Kenzo Isogawa)和马场雅宏(Masahiro Baba),图像处理设备、成像装置、图像处理方法和计算机程序产品，美国专利申请案20100079630,2010年4月I日
[0025][现有技术12]吴晋建(Jinjian Wu)、齐飞(Fei Qi)和石光明(Guangming Shi),用于最小可觉差估计的基于自相似的结构规整，视觉通信与图像表示期刊(J.Vos.Commun.1mage R)第 23 卷(2012 年)第 845 至 852 页
【发明内容】
[0026]本发明提供用于从单个或多个低分辨率图像生成超分辨率(SR)图像的方法和系统。本文所用的术语“图像”指的是通过捕获与某物体对应的光辐射或电磁辐射而获得的事物的可视化表示。术语图像可以包括静态图像或视频帧。
[0027]—种用于从单个或多个低分辨率图像获得视觉体验优化的超分辨率(SR)图像的方法，其包括:[0028]为所述低分辨率图像的每个像素建立人类视觉偏好模型(HVPM)；
[0029]将所述低分辨率图像划分为多个相互重叠的样例；
[0030]在预先建立的数据库和/或一个或多个输入的低分辨率图像中搜索或选择每个样例的对应样例；
[0031]对搜索到的对应样例进行融合以形成重构的高分辨率(HR)图像；
[0032]对所述重构的高分辨率(HR)图像应用经专门的人类视觉偏好模型(HVPM)优化后的反投影迭代，从而创建出更高质量的高分辨率图像。
[0033]一种用于从单个或多个低分辨率图像获得视觉体验优化的超分辨率(SR)图像的系统，其包括:
[0034]用于为所述低分辨率图像的像素创建人类视觉偏好模型(HVPM)的装置；
[0035]用于将所述低分辨率图像划分为多个相互重叠的样例的装置；
[0036]用于在预先建立的数据库和/或一个或多个输入的低分辨率图像中搜索或选择每个样例的对应样例的装置；
[0037]用于对搜索到的对应样例进行融合以形成重构的高分辨率(HR)图像的装置；
[0038]用于对所述重构的高分辨率(HR)图像应用经专门的人类视觉偏好模型(HVPM)优化后的反投影迭代，从而创建出更高质量的高分辨率图像的装置。
[0039]本发明的实施例可以包括人类视觉偏好模型(HVPM)，该模型将亮度适应、对比度掩蔽和纹理规整性度量结合起来。与已有的方法以降低计算复杂度为目的不同，本发明的这些实施例可以在SR各阶段中使用所提出的HVPM来优化图像的细节可见性，从而满足在规整的结构区域和随机的纹理区域中的不同HVS偏好。这些实施例可以包括SR重构方法，该方法将LR图像划分为多个重叠的查询样例，并且随后在预先建立的数据库和/或一个或多个输入的LR图像中为每个查询样例搜索或选择对应的HR样例。所述方法，即，视觉体验优化的SR (VE0-SR)，可以使用HVPM来优化这些HR样例的权值，调整反投影迭代(IBP)中的滤波器，以及/或者调节在选择性的平滑/去模糊过程中使用的滤波器。本发明的技术效果在于其实施例可以创建出其细节可见性更适于人类观看者的高分辨率图像，即这些创建的HR图像具有更高的主观质量。
[0040]在一些实施例中，为建立HVPM，首先利用输入图像中每个像素的周围区域中的亮度适应和对比度掩蔽效应而计算出JND模型。接下来，使用基于梯度的结构张量对输入图像中每个像素的局部规整性进行度量。此外，对局部规整性的度量可以包括:计算结构张量的特征值、使用特征值计算出各向同性的度量、使用特征值确定角点、计算图像的局部方差、将这些计算结果组合成规整性图，以及，最后使用形态学运算将此规整性图中的孤立点去除。最后，JND和规整性的度量组合在一起形成HVPM图。
[0041]在一个实施例中，所提出的HVPM用于对反投影迭代(IBP)进行优化，在保持重构的HR图像与输入的LR图像之间的一致性的同时，获得在HVS偏好意义下的图像细节的适当可见性。该实施例，即VE0-1BP，可以包括:使用经HVPM调节后的平滑滤波器对重构的HR图像进行平滑处理；对平滑后的图像进行下采样，使其尺寸与LR图像尺寸相同；将LR图像减去下采样后的图像，从而获得残差图像；对残差图像进行校正；以及将校正后的残差图像与重构的HR图像相加。在一些实施例中，上述步骤可以重复一定次数。
[0042]在一些实施例中，对残差图像的校正可以包括:将残差图像中的每个像素乘以对应的残差权值。可以根据以下步骤来计算残差权值。首先，计算输入的LR图像中每个像素的锐度度量。然后，计算平滑和下采样后的图像中每个像素的另一个锐度度量。接下来，计算输入的LR图像中以及下采样后的图像中的对应像素之间的锐度差。最后，使用锐度差以及平滑和下采样后的图像的锐度度量，计算出残差权值。
[0043]在一个实施例中，VEO-SR方法可以进一步包括，经HVPM优化后的融合运算，即VEO融合。该方法将LR图像划分为多个相互重叠的查询样例，并且随后在预先建立的数据库和/或一个或多个输入的LR图像中为每个样例搜索或选择HR样例。随后，一些实施例仅从当前输入的LR帧或其下采样后的图像中搜索/选择HR样例(这与典型的单帧SR方法相似)，并且随后通过加权求和对所搜索/所选择的样例进行融合。可以通过使用样例匹配的相似度、查询样例与所搜索/所选择的样例之间的像素间相似度以及HVPM来计算出权值，即单帧样例权值。
[0044]或者，一些实施例仅在其它多个LR图像中搜索样例(这与典型的多帧SR方法相似)，并且随后通过加权求和对所搜索/所选择的样例进行融合。可以通过使用运动矢量的连续性度量、运动矢量长度、样例匹配的相似度以及HVPM来计算出权值，即多帧样例权值。
[0045]在一些实施例中，该方法在当前帧和其它先前和/或之后的帧中搜索或选择样例，即，同时利用单帧和多帧SR方法。在这种情况下，来自单帧SR的样例首先使用前述方法进行融合，从而形成单帧重构图像。来自多帧SR的样例随后使用前述方法进行融合，从而形成多帧重构图像。接下来，分别计算出单帧重构图像和多帧重构图像的锐度度量。最后，通过像素对像素的方式对这两个重构的图像进行加权求和，其中权值由对应像素的锐度度量来确定。
[0046]需要提及的是，与一些用于图像增强、图像色调映射或图像光照效果合成方法的不同之处在于，这些方法实际上会改变图像的内容，而本发明所提出的VEO-1BP和VEO融合方法所创建的HR图像仍然符合图像退化模型的假设，即仍然符合超分辨率的约束条件。换而言之，本发明不会改变图像内容，而是会在不适定超分辨率问题的大量解中，生成某种在人类视觉体验意义上的更优化的解。
[0047]在一个实施例中，VEO-SR方法进一步可以包括根据深度图和HVPM来选择性的对图像进行平滑和去模糊运算，从而增强2D图像或视频中的深度线索。该方法可以通过根据每个像素的局部特征估计像素的深度来计算出低分辨率图像的深度图。随后，该方法对深度大于阈值的像素应用平滑运算，其中每个运算中的平滑滤波器的强度与像素的深度大致成正比。同时，该方法还对深度小于阈值的每个像素应用可调谐去模糊运算。此外，可调谐去模糊运算可以包括以下步骤，包括:使用经HVPM调节后的平滑滤波器对输入的图像进行平滑处理；通过将输入的图像减去平滑后的图像而计算出残差图像；使用锐度度量对残差图像进行校正；以及将校正后的残差图像与输入的图像相加。在一些实施例中，这些步骤可以重复若干次。
[0048]前述内容已相当广泛地概述了本发明的特征和技术优势，以便更好地理解下文中的本发明的【具体实施方式】。下文中将描述本发明的额外特征和优势，其形成本发明的权利要求书的主题。所属领域的技术人员应了解，所揭示的概念及具体实施例可以易于用作修改或设计其它结构以实行本发明相同目的的基础。所属领域的技术人员还应意识到，此类等效构造不脱离所附权利要求书中所提出的本发明的精神和范围。通过以下【具体实施方式】并连同附图一起参考，将能够更好地理解被认为是本发明在其管理及运算方法方面的特性的新颖特征，以及进一步特征和优势。然而，应清楚地明白，所提出的每个特征都仅出于说明和描述的目的，而不意图作为对本发明的限制的定义。
【专利附图】
【附图说明】
[0049]图1所示为用于获得视觉体验优化的SR (VEO-SR)方法的一个实施例。
[0050]图2所示为图像的随机的纹理区域和规整的结构区域的一些样例。
[0051]图3所示为用于建立人类视觉偏好模型(HVPM)的一个实施例。
[0052]图4所示为使用视觉体验优化的反投影迭代(VEO-1BP)的单帧SR的实施例。
[0053]图5所示为VEO-1BP的实施例。
[0054]图6所示为VEO-1BP的实验结果。
[0055]图7所示为使用VEO-1BP的多帧SR的实施例。
[0056]图8所示为使用VEO-1BP的单帧及多帧SR的实施例。
[0057]图9所示为使用VEO融合以及VEO-1BP的单帧及多帧SR的实施例。
[0058]图10所示为VEO融合的实施例。
[0059]图11所示为VEO融合的实验结果。
[0060]图12所示为使用“ 幻像3D”的SR的实施例。
[0061]图13所示为用于实现“幻像3D”的VEO去模糊的实施例。
[0062]图14所示为“幻像3D”的实验结果。
[0063]图15所示为用于预处理的VEO去模糊的实施例。
[0064]图16所示为VEO-SR的实施例应用。
【具体实施方式】
[0065]图1所示为用于获得经人类视觉偏好模型优化的超分辨率(SR)重构的方法的一个实施例，即，视觉体验优化的SR或VE0-SR。如图所示，传统的SR方法可以被抽象为两个主要模块，即高分辨率(HR)信息获取(102)和规整化(108)。对于单帧SR，输入可以为单个的低分辨率(LR)图像/视频帧Xtl ;或者对于多帧SR，可以为P个LR视频帧/图像X。~Xp-!ο HR信息获取(102)模块从这些输入的LR图像或视频帧中获取HR信息。在一些传统方法中，一个输入的LR图像Xtl可以被划分为方形或各种形状的多个相互重叠的查询样例。随后，可以通过在先前和/或之后的输入LR图像(Xtl~Xlri)中的运动估计(105)或在下采样后的输入LR图像Xtl中的样例搜索(104)而获取到每个查询样例或下采样后的查询样例的HR对应样例。在一些方法中，依据尺度不变自相似性(SiSS)模块(106)中的SiSS特性，可将查询样例本身作为其中心区域的HR对应样例。在其它方法中，可以在输入的LR图像(X1~Xlri)与Xtl之间进行对齐操作(103)，从而在获取它们之间的亚像素位移，并且随后还可以把这些图像作为HR对应样例插值到HR网格中。如图所示，随后对所获取的HR对应样例Pi (107)进行处理，方式是使用规整化模块(108)中所列各个方法中的一个或多个方法，包括HR对应样例的融合(109 )、不同HR信息获取方法产生的融合结果的二次融合(110 )、应用反投影迭代(IBP) (111)以及其它图像增强(112)方法。最后，规整化模块(108)输出HR 图像 Y (118)。[0066]不同于传统的SR方法，本发明提出建立人类视觉偏好模型(HVPM)并对规整化模块进行优化，以获得主观质量更好的HR图像。如图1所示，人类视觉偏好模型(HVPM)模块
(113)通过考虑输入图像Xtl以及其它输入图像的亮度适应(114)、对比度掩蔽(115 )和纹理规整性(116)特性，预测了 HVS在图像细节方面的偏好，或与之等价的HVS对图像噪声/失真的容忍度。HVS偏好可以用HVPM图(117)来描述，其中每个像素表示HVS可以感知到的失真程度，而可感知的失真程度反映了 HVS所偏好的图像细节程度的高低。随后，可以使用HVPM图(117)来优化规整化模块(108)，即可以用它来对融合、再融合、IBP和增强方法的参数进行自适应调节，以获得主观质量更好的结果图像Y (118 )。
[0067]图2所示为HVS对图像的随机的纹理(即不规整纹理)区域以及规整的结构区域中的噪声或失真的不同敏感度的一个实例。例如，在随机的纹理区域(201)中(如图2所示图像中的珊瑚)，粗糙的外观使得HVS不易觉察到与之混叠的噪声和失真。在这种情况下，人类观看者更偏好于图像细节的高可见度，以便更容易地感知到关于物体的信息，同时可以容忍更多的噪声与失真。相反，在规整的结构区域(202)中(如图2所示图像中的斑马)，平滑和规整的外观则使得HVS更容易觉察到图像的噪声和失真。在这种情况下，人类观看者更倾向于较低的噪声和失真，同时能够在一定程度上容忍物体细节信息的缺失。
[0068]图3所示为用于建立HVPM的一个实施例。除了亮度适应和对比度掩蔽特性以外，所提出的模型还考虑了纹理规整性对HVS偏好的影响。该实施例可以使用基于梯度的结构张量来对输入的LR图像中的每个像素的规整性特性进行度量。如图3所示，该实施例可以首先在步骤(302)中计算出输入的LR图像(301)的梯度:
[0069]
【权利要求】
1.一种用于从单个或多个低分辨率图像获得视觉体验优化的超分辨率(SR)图像的方法，其特征在于，包括: 为低分辨率图像的每个像素建立人类视觉偏好模型(HVPM)； 将所述低分辨率图像划分为多个相互重叠的样例； 在预先建立的数据库和/或一个或多个输入低分辨率图像中搜索或选择每个样例的相应的对应样例； 对搜索到的对应样例进行融合以形成重构的高分辨率(HR)图像； 对所述重构的高分辨率(HR)图像应用经上述人类视觉偏好模型(HVPM)优化后的反投影迭代，从而创建出高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，进一步包括:在对所述搜索到的对应样例进行融合时，使用所述专门的人类视觉偏好模型(HVPM)和可靠性度量。
3.根据权利要求1所述的方法，其特征在于，进一步包括根据深度图以及所述专门的人类视觉偏好模型(HVPM)选择性地对所述高分辨率图像进行平滑和去模糊处理。
4.根据权利要求1所述的方法，其特征在于，创建人类视觉偏好模型(HVPM)包括: 使用所述低分辨率图像的亮度适应以及局部对比度，计算出所述低分辨率图像的传统最小可觉失真(JND)模型； 使用结构张量、角点、局部方差和形态学特征，计算所述低分辨率图像每个像素上的规整性度量；` 通过将所述传统最小可觉失真(JND)模型与所述规整性度量结合起来，计算出所述低分辨率图像的每个像素上的人类视觉偏好度量。
5.根据权利要求1所述的方法，其特征在于，经所述专门的人类视觉偏好模型(HVPM)优化的所述反投影迭代包括: 使用经所述专门创建的人类视觉偏好模型调节的平滑滤波器来对所述重构的HR图像进行平滑处理； 对平滑后的图像进行下采样使其尺寸与所述低分辨率图像的尺寸相同； 将所述低分辨率图像减去所述平滑及下采样后的图像，并获得残差图像； 通过将每个像素乘以其对应残差权值而对所述残差图像进行校正； 对校正后的残差图像进行上采样； 将上采样后的残差图像与所述重构的高分辨率(HR)图像相加； 以预定的次数重复上述步骤。
6.根据权利要求5所述的方法，其特征在于，残差权值的计算方式为: 分别计算低分辨率图像和所述下采样后的图像中各个像素的所述锐度度量； 根据所述下采样后的图像的锐度与低分辨率图像的锐度之间的差值来计算出第一个权值； 根据所述下采样后的图像的锐度计算出第二个权值； 将所述第一个权值与所述第二个权值组合起来。
7.根据权利要求2所述的方法，其特征在于，在对所述搜索到的对应样例进行融合时，使用所述人类视觉偏好模型(HVPM)和所述可靠性度量包括: 为帧间搜索得到的各个对应样例，计算相应的多帧样例权值；使用所述多帧样例权值，将上述帧间搜索得到的对应样例中的各个像素加权相加，从而创建出多帧重构图像； 为帧内搜索和/或在预先建立的数据库中搜索到的各个对应样例，计算相应的单帧样例权值； 使用所述单帧样例权值，将上述帧内搜索和/或在预先建立的数据库中搜索到的各个对应样例中的各个像素加权相加，从而创建出单帧重构图像； 将所述多帧重构图像与所述单帧重构图像加权相加，其权值由这两个图像中的对应像素的所述锐度度量确定。
8.根据权利要求7所述的方法，其特征在于，计算所述对应样例的所述多帧样例权值包括:针对所述对应样例中的每个像素，将所述人类视觉偏好模型(HVPM)、运动矢量的连续性度量、运动矢量的长度以及样例相似度组合起来。
9.根据权利要求7所述的方法，其特征在于，计算所述对应样例的所述单帧样例权值包括:针对所述对应样例中的每个像素，将所述人类视觉偏好模型(HVPM)、所述样例相似度以及像素间相似度组合起来。
10.根据权利要求3所述的方法，其特征在于，根据深度图以及所述专门的人类视觉偏好模型(HVPM)选择性地对所述高分辨率图像进行平滑和去模糊处理包括: 根据像素的局部特征估计各个像素的深度； 对于深度大于阈值的像素，使用可调谐平滑滤波器进行滤波，其中所述滤波器的参数由所述像素的深度确定； 对于深度小于阈值的像素，使用`可调谐去模糊运算，其中去模糊强度由所述像素的深度确定； 将平滑后的像素与去模糊的像素组合起来。
11.根据权利要求10所述的方法，其特征在于，所述可调谐去模糊运算包括: 使用滤波器对所述输入图像进行平滑处理，其中所述滤波器的参数由所述人类视觉偏好模型(HVPM)和/或所述像素的深度确定； 将所述输入图像减去所述平滑后的图像，并获得所述残差图像； 通过将每个像素乘以某个权值来对所述残差图像进行校正，所述权值由所述输入图像中的所述像素周围的所述锐度度量确定； 将所述残差图像与所述输入图像相加； 以预定的次数重复上述步骤。
12.一种用于从单个或多个低分辨率图像获得视觉体验优化的超分辨率(SR)图像的系统，其特征在于，包括: 用于为低分辨率图像的每个像素建立人类视觉偏好模型(HVPM)的装置； 用于将所述低分辨率图像划分为多个相互重叠的样例的装置； 用于在预先建立的数据库和/或一个或多个输入低分辨率图像中搜索或选择每个样例的相应的对应样例的装置； 用于对搜索到的对应样例进行融合以形成重构的高分辨率(HR)图像的装置； 用于对所述重构的高分辨率(HR)图像应用经专门的人类视觉偏好模型(HVPM)优化后的反投影迭代，从而创建出高分辨率图像的装置。
【文档编号】G06T3/40GK103514580SQ201310447132
【公开日】2014年1月15日 申请日期:2013年9月26日 优先权日:2013年9月26日
【发明者】梁路宏, 罗鹏, 赵京雄, 张伟强 申请人:香港应用科技研究院有限公司