执行超分辨率的方法和装置制造方法

执行超分辨率的方法和装置制造方法
【专利摘要】一种用于执行超分辨率的方法，包括以下步骤：通过内插生成输入视频序列(LR)的高分辨率低频的空间和时间带(HRLF)；通过跨帧空间高频外插来合成高分辨率高频的空间带(HRHF)；以及融合这两个带以生成空时超分辨率的视频序列(HR)。一种用于执行超分辨率的相应系统，包括：通过内插生成输入视频序列(LR)的高分辨率低频的空间和时间带(HRLF)的级；通过跨帧空间高频外插来合成高分辨率高频的空间带(HRHF)的级，以及将这两个带融合以生成空时超分辨率的视频序列(HR)的级。
【专利说明】执行超分辨率的方法和装置

【技术领域】
[0001] 本发明涉及用于在时域中或者在空域和时域中执行超分辨率（SR)的方法和装 置。

【背景技术】
[0002] 在 0· Shahar、A. Faktor 和 M. Irani 的 "Space-Time Super-Resolution from a Single Video''(IEEE Conf. on Computer Vision and Pattern Recognition, 2011) [1]中， 以不同的空间和时间尺寸创建包含输入视频序列的若干版本的输入视频序列的空时金字 塔。于是，针对每个空时视频分块（具有5 X 5像素的空间维度和3帧的时间维度），在金字 塔上搜索一组最佳匹配。通过成本很高的随机搜索加速这一操作。因此，使用经典的基于 重构的SR技术来生成超分辨率的视频分块，超分辨率的视频分块一旦放在一起将导致超 分辨率的视频序列。尽管该方法在所提供的结果中的作用是显著的，然而随着不同性质的 运动以不同的空间和时间尺寸非递归地出现在输入视频序列中，不清楚该方法是否将在通 常的序列中恰当地工作。此外，即便不是穷举的，空时搜索也是一种高成本的程序，使得该 方法不能用于实时应用。
[0003] 在 U. Mudenagudi、S. Banerjee 和 P. Kalra 的"On improving space-time super resolution using a small set of video inputs，'（Indian Conf. on Computer Vision, Graphics and Image Processing, 2008) [2]中，提出一种用于生成序列的超分辨率的版本 的方法，该序列在各个空时变换处存在若干版本，该方法使用图像切割来求解经典的基于 重构的超分辨率方程式的 MRF-MAP (Markov Random Field-Maximum A Posteriori)模型。 该方法要求同一视频序列在不同空-时变换处存在若干版本，这在大多数可用记录材料中 不会发生。
[0004] 在 M. Haseyama、D. Izumi 和 M. Takizawa 的 " Spatio-temporal resolution enhancement of video sequence based in super-resolution reconstruction''（ICASSP 2010) [3]中，提出一种用于生成联合帧速率上变换和增大尺寸的方法，该方法基于经典的 基于重构的超分辨率模型。尽管作者声称所提出的方法能够获得时间上的超分辨率，描述 这种行为的方程式指示所获得的是最邻近的空间超分辨率的帧的平滑线性内插，最邻近的 空间超分辨率的帧在通常的运动下将产生不正确内插的帧。
[0005] 在 H. Takeda、P. Milanfar、M. Protter 和 M. Elad 的 "Super-Resolution Without Explicit Subpixel Motion Estimation，'（IEEE Trans, on Image Processing, vol. 18, no. 9,2009) [4]中，在已经通过块匹配对齐了匹配的分块之后，通过在局部区域使用空时转 向滤波器来实现视频序列的空-时超分辨率。这种方法有两个问题：首先，空时转向滤波 器的作用是要超分辨率的区域的非线性过度平滑，这需要高成本的非线性后校正并损失细 节；以及第二，由于运动补偿的机制（块匹配），该方法仅能在运动范围的受限子集下产生 正确内插的帧。


【发明内容】

[0006] 本发明涉及一种新方法，用于改进视频序列中的每一帧的分辨率和视频序列的帧 速率中的至少一个。该方法使用在编号为12305046.0的共同未决的欧洲专利申请中描述 的部分方法。如在该申请中所述，超分辨率技术足够灵活，以应用于不同维度的信号（给定 信号被正确采样的情况，即不显示严重的混叠伪像）。本发明的创造性贡献至少包括一种用 于应对在典型视频序列（例如15至30fps)中呈现的严重时间混叠的机制。在一个实施例 中，该机制被包括在根据上述应用的通用超分辨率框架中。在图像处理文献中，相关的方法 落入超分辨率和帧速率向上变换的分类中。
[0007] 作为通常的想法，首先将输入序列的视频帧堆叠在立体结构中，该立体结构具有 表示每一帧中的垂直和水平轴的前两个维度以及表示时间的第三维度。然后，分别生成超 分辨率视频序列的低频空时带和空间高频带。超分辨率视频序列的低频空时带是通过鲁棒 迭代块匹配（Robust Iterative BlockMatching)方法和解析内插生成的。在下一级中，通 过在视频序列中采用局部空时自相似度来合成空间高频带。最后，将低频空时带与空间高 频带相结合，以生成最终的超分辨率的视频序列。
[0008] 在本发明的一个实施例中，一种用于对低分辨率输入视频序列执行执行超分辨率 的方法包括以下步骤：通过内插生成输入视频序列的高分辨低频（HRLF)的空间和时间带； 通过跨帧空间高频外插来合成高分辨率高频（HRHF)的空间带；以及融合这些带以生成空 时超分辨率的视频序列。
[0009] 在本发明的一个实施例中，一种用于对低分辨率输入视频序列执行超分辨率的系 统包括：通过内插生成输入视频序列的高分辨低频的空间和时间带的级；通过跨帧空间高 频外插来合成高分辨率高频的空间带（HRHF)的级；以及将低频的空间和时间带（HRLF)与 高分辨率高频的空间带融合以生成空时超分辨率的视频序列的级。
[0010] 本发明还涉及一种具有可执行指令的计算机可读介质，该可执行指令使得计算机 执行如上面所提及的以及下面进一步描述的方法。
[0011] 所提出的方法的一个优点在于：该方法能够以适于现代GPU中可用的大规模并行 硬件的方式在大运动范围内提供正确运动补偿。采用这种方法所获得的帧内插结果甚至可 以与用于光流估计的高成本的现有技术方法的结果相媲美。换句话说，该方法能够正确地 在视频序列中内插时间轴，从而有效地引起帧速率上变换。
[0012] 所提出的方法的一个优点在于：该方法还能够改善通过在此前在编号为 12305043.0的欧洲专利申请中所提及的高频外插机制而得到的输入视频序列的空间分辨 率。在本发明中，用于合成输出视频序列的高频带的机制考虑扩展至3D域的更广阔的搜索 范围。
[0013] 在从属权利要求、以下描述和附图中，公开了本发明的有益实施例。

【专利附图】

【附图说明】
[0014] 参照附图描述了本发明的示例性实施例，附图中：
[0015] 图1示出了一个实施例中所提出的系统的结构；
[0016] 图2不出了一个实施例中的空时内插子系统；
[0017] 图3示出了迭代鲁棒块匹配的一个实施例的流程图；
[0018] 图4示出了原则上如何在所期望的归一化时间位置τ处创建新帧；
[0019] 图5示出了原则上如何获得HR/上采样的帧的概述；
[0020] 图6示出了两个示例性的连续低分辨率输入帧；
[0021] 图7示出了相应的超分辨率的输出帧；
[0022] 图8示出了通过传统的块匹配所产生的伪像对比本发明的无伪像结果；
[0023] 图9示出了用于执行空间超分辨率处理的方法的一个实施例的流程图；
[0024] 图10示出了通过以原始分辨率尺度对相似分块的高频信息进行外插来合成超分 辨率图像的高频带；
[0025] 图11示出了搜索窗的示例性使用和位置；
[0026] 图12示出了在2D输入数据结构中选择连续分块（包括重叠），以及确定连续分块 的匹配块的原理；
[0027] 图13示出了将经内插的低频带U与经外插的高频带氏融合以生成超分辨率的图 像S ;
[0028] 图14示出了帧内内插的原理结果；以及
[0029] 图15示出了一种用于执行对低分辨率输入数据结构的超分辨率处理的装置的结 构。

【具体实施方式】
[0030] 图1示出了在一个实施例中所提出的系统的结构。在图1中，LR 10是低分辨率输 入视频序列，HRLF 15是高分辨率低频内插带，HRHF 16是高分辨率高空间频率合成带，以 及HR 17是所得到的超分辨率的视频序列（是在融合HRLF 15和HRHF 16带之后获得的）。 高分辨率低频HRLF内插带15是在空时内插11中生成的，空时内插11应用于低分辨率输 入视频序列10。向HRLF内插带15应用空间HF合成12,其中也使用原始输入序列10。空 间HF合成12产生高分辨率高空间频率合成带16。将HRLF内插带15与HRHF合成带16融 合13,这产生超分辨率的视频序列14。
[0031] 在下文中，描述了空时内插11的细节。系统的空时内插部分获得1?分辨率输出序 列（HRLF)的低频带。在图2中描述了系统的框图。一大挑战是视频序列的时间内插。作 为一种解决方案，当输出时刻t不是整数时，使用低分辨率的当前帧以及其前一帧来生成 内插的帧。这通过运动估计（迭代鲁棒块匹配框，IRBM框）和帧内内插来实现的；否则，对 于整数的输出时刻，获得当前时刻的高分辨率低频带作为当前帧的解析内插。
[0032] 接下来，描述了迭代鲁棒块匹配（IRBM)。由于标准视频序列中的高时间混叠，不能 将解析内插应用于连续帧之间的序列的内插，因为当输入视频序列中存在高的运动和对比 度时，那将导致严重的重影伪像。本发明使用块匹配算法，通过以迭代的方式应用大尺度线 性滤波器和局部尺度非线性滤波器来改进该算法。这在此处称为迭代鲁棒块匹配（IRBM)。 在一个实施例中，IRBM也用于高频合成级，见下文。
[0033] 图3示例性地示出了迭代鲁棒块匹配过程的流程图。IRBM的输入是两个连续的视 频帧Ii，1 2，并且输出是运动矢量的密集（即，运动场，MF) 310,该密集将第一输入图像Ii (过 去的帧）中的每个重叠的5X5分块与其在第二输入图像12(将来的帧）中的估计位置相 连。还可以使用除5X 5像素之外的其他分块尺寸，但是5X 5对于快速处理及高图像质量特 别有利。第一步骤是通过对图像应用块匹配（BM) 301来获得运动场（MF)的初始估计。然 后，向动作场的估计应用特定次数i的迭代精炼305 (通常5-15,例如10次迭代）。这些在 于大尺度线性滤波302、具有缩小的搜索窗大小的引导块匹配303、以及局部尺度非线性滤 波304的级联应用。
[0034] 对图像的块匹配301是利用初始的搜索窗（例如，大小为41 X41像素的搜索窗） 来完成的。大尺度线性滤波302对运动矢量进行平均，例如使用大小为81X81的核。引导 块匹配303使用缩小的搜索窗大小：使用MF作为搜索范围的偏移，因此允许每次迭代时的 减小的搜索窗。示例性地，在一个实施例中，搜索窗以指数式衰减从21X21变成3X3。局 部尺度非线性滤波304使用具有线性降低的核大小的中值滤波器。在一个实施例中，核的 大小例如在15X15到5X5之间变化。
[0035] 上面提到的至少一些参数（例如，块匹配301的初始搜索窗大小、引导块匹配303 的搜索窗大小、以及局部尺度非线性滤波304的中值滤波器的核大小）至少随分块大小而 变化；例如，对于更大的分块和/或对于比CIF大的图像，该值中的一个或更多个可以更高。
[0036] 在大尺度线性滤波302中的（第一滤波器）线性滤波器的一个效果在于：它在运 动场的估计中引入了平滑性。在局部尺度非线性滤波304中的（第二滤波器）非线性滤 波器的一个效果在于：它在保留了边缘的同时引入了局部稳定性，或者实际上它引入了针 对噪声的鲁棒性。具有平均效果（在大尺度线性滤波302中）的平滑滤波器、引导块匹配 303、以及在局部尺度非线性滤波304中的具有减小的窗大小的鲁棒滤波器（例如中值滤波 器）的迭代级联应用提供了对实际运动场310的平滑且鲁棒的近似。
[0037] 为了使用来自两个可用视图（即帧）中的数据来内插新视图（即帧），IRBM将第 二图像1 2作为当前图像L的参考。用这种方式，获得将每个图像与其前一图像/后一图像 相关的密集的运动场。
[0038] 接下来，描述图2中所示的帧间内插102。给定两个图像以及将它们彼此相关的 相应运动，帧间内插102的输出是缺少高频时间信息的内插帧ql02,并且该内插帧处于在0 与1之间的归一化的时间位置τ处（〇对应于第一图像，1对应于第二图像）。
[0039] 在图4中示意了帧间内插102过程。首先在帧间内插102处，将输出图像初始化 401为例如0。然后，将来自输入视频序列10的两个输入图像frl、fr2中的第一个划分为重 叠的分块，例如，大小为5X5。针对这些分块中的每一个，通过线性内插根据τ XMV1(每个 分块在其中心处的运动矢量）来计算每个分块在时间内插图像中的位置，即每个分块相对 于其在输入图像中的位置平移（即，移动）了 τ乘以MV1。然后，用l-τ的加权因子在中 间输出图像403中累积平移后的（即，移动后的）分块。即，新帧的时间位置离第一帧frl 越近，针对第一帧frl中的分块的加权因子越高。被初始化为0的加权因子累积缓冲器Bw, a。。累积被应用于输出图像中的每个像素的加权因子。
[0040] 以相同的方式处理第二图像fr2,除了平移幅度的值变为1- τ以及加权因子变为 τ。也就是说，新帧的时间位置离第二帧fr2越近，针对第二帧fr2中的分块的加权因子越 商。
[0041] 一旦已经处理了图像frl、fr2中的全部分块，则通过在加权因子累积缓冲器Bw,acc 中获得的所累积的加权因子来对所累积的中间输出图像403进行归一化，得到时间内插帧 404。
[0042] 在图4中，在所期望的归一化的时间位置τ处通过组合其两个最接近图像来创建 新帧。此前已经通过IRBM获得了两个方向上的运动场。从在时间&和&处所示出的帧 fr 1、fr2中获得第一运动矢量MV1。在上述实施例中，相同的运动矢量MV1用于两个帧fr 1、 fr2的贡献。在另一实施例中，第二运动矢量MV2用于内插，第二运动矢量MV2是从时间t2 处的帧fr2及其接下来在时间t3 (未示出）处的下一帧中获得的。
[0043] 在一个实施例中，低频的空间和时间带的时间内插帧是通过以下操作获得的：在 至少两个输入帧frl、fr2之间生成运动场；初始化401输出图像缓冲器；确定输出图像的 时间位置τ ;将两个输入巾贞frl、fr2中的每一个划分为重叠的分块；以及针对输入巾贞frl、 fr2二者执行以下步骤：
[0044] 针对每一个分块，根据所确定的时间位置，通过对运动矢量的线性内插来计算该 分块在输出图像中的空间位置；针对每一个分块，根据所确定的时间位置来计算加权因子， 并将该加权因子乘以当前分块的像素值，其中获得每一个分块的经加权的像素值；在输出 图像缓冲器中，累积在所计算的各个分块的空间位置处的分块的经加权的像素值，其中每 一个分块将其像素的加权值贡献给所计算的位置处的输出图像的像素；然后，在加权因子 累积缓冲器中，累积贡献给输出图像的每一个像素的加权因子，其中针对每一个像素获得 累积的加权因子，并且当图像frl和fr2二者的全部分块都已经被处理时，通过加权因子 累积缓冲器中所包含的并能够从中获得的累积的加权因子来对所累积的中间输出图像403 进行归一化。
[0045] 接下来，描述了在图2中示出的帧内内插103。如在此前提及的在编号为 12305046. 0的共同未决的欧洲专利申请中所描述的并在下面总结的，该模块相当于通过任 何期望的合理的尺寸增大因子来生成增大尺寸的低频带。帧内内插103用于获得那些HR 帧的HRHF部分，对于那些HR帧的在时间上重合的LR输入帧是可用的。因此，帧内内插103 仅作用于空间域。
[0046] 在图14中示出了帧内内插103的原理结构。更多细节在下面描述，并在图9中示 出。根据本发明的这部分，对单一图像的超分辨率包括三个级141-143。在第一级141中， 执行输入图像的基于内插的增大尺寸，随后对低分辨率图像执行等同的低通滤波操作。第 二级142包括：搜索高分辨率图像的被检查的分块与在低分辨率低频图像中的局部邻域中 的分块（包括部分重叠的分块）之间的低频匹配，并累积从低分辨率图像中获得的相应高 频贡献。第三级143包括：将高分辨率图像的低频带和外插的高频带的贡献相加。
[0047] 在一个实施例中，根据本发明的一个方面的一种用于生成单一低分辨率数字输入 数据结构\的超分辨率版本的方法包括以下步骤：将单一低分辨率数字输入数据结构\增 大尺寸并在随后进行低通滤波，以获得增大尺寸后的高分辨率数据结构的低频部分U。此 夕卜，将低分辨率数字输入数据结构&分为低频部分U和高频部分％。创建了增大尺寸后 的高分辨率数据结构的高频部分H u init，其初始为空。然后，针对增大尺寸后的高分辨率的 数据结构的低频部分U的多个分块中的每一个，搜索低分辨率数字输入数据结构的低频部 分U中的最佳匹配块，并确定其在低分辨率数字输入数据结构的高频部分％中的相应块。 然后，在增大尺寸后的高分辨率的数据结构的低频部分U中的上面提及的分块所具有的位 置处，将低分辨率的数字输入数据结构的高频部分％中的所确定的块与增大尺寸后的高分 辨率数据结构的高频部分氏, a。。相加。最后，对所得到的增大尺寸后的高分辨率数据结构的 高频部分a。。进行归一化，并且在一个实施例中对其进行高通滤波195。将增大尺寸后的 高分辨率的数据结构的归一化的经高通滤波的高频部分氏与增大尺寸后的高分辨率的数 据结构的低频部分U相加，这得到单一低分辨数字输入数据结构\的改进的超分辨率版本 Si。该数字输入数据结构可以是1维（1D)、2维（2D)或3维（3D)的。在本发明的一实施 例中，该数字输入数据结构是具有两个空间维度和一个时间维度的3D。
[0048] 为了更好的可读性，下文中将术语"块"用于低分辨率的数据结构中的一组相邻 值，而将术语"分块"用于高分辨率的数据结构中的一组相邻值。然而，块和分块具有相同 的大小（即，相邻值的数目和形状），并且实质相同。
[0049] 在本发明的一个实施例中，帧内内插103通过一种装置执行，该装置用于执行对 数字数据的低分辨输入数据结构\的超分辨率处理，具有如图15所示的结构。这种用于 执行对数字数据的低分辨率输入数据结构\的超分辨率处理的装置900包括：第一低通滤 波器FU970,用于对输入数据结构\进行滤波，其中获得了低频输入数据结构U;差集单元 (例如加法器、减法器、比较器或微分器）980,用于计算在输入数据结构\与低频输入数据 结构U之间的差，其中生成了高频输入数据结构％ ;尺寸增大器920,用于将输入数据结构 \增大尺寸；第二低通滤波器FU930,用于对增大尺寸后的输入数据结构进行滤波，其中获 得低频增大尺寸后的数据结构U ;第一确定单元951，用于在低频增大尺寸后的数据结构U 中确定在第一位置处的第一分块；搜索单元952,用于在低频输入数据结构U中搜索与第 一分块最佳匹配的第一块；以及第二确定单元954,用于确定所述第一块在低频输入数据 结构U中的位置；选择器955,用于在高频输入数据结构％中在所确定的位置处选择第二 块；累积器957,用于将所选的第二块的像素数据累积到第二分块，该第二分块是高频增大 尺寸后的数据结构中的在第一位置处的分块；控制单元950,用于控制针对低频增大尺寸 后的数据结构U和H 1>a。。中的多个分块的处理的重复；归一化单元990,用于在高频增大尺 寸后的数据结构中对所累积的像素值进行归一化，由此获得归一化的高频增大尺寸后的数 据结构 uf;高通滤波器995,用于对已经归一化的高频增大尺寸后的数据结构Huuf进行滤 波；以及组合单元999,用于将经HP滤波的归一化后的高频增大尺寸后的数据结构氏与低 频增大尺寸后的数据结构U相结合（例如相加），由此获得超分辨率的数据结构Si。当用 于执行超分辨率处理的装置900用在帧内内插103单元中时，该超分辨率的数据结构Si是 在图2中示出的LRLF。下面将提供关于滤波器995的更多细节。
[0050] 本发明的至少本实施例的一个优点在于：与传统方法相比，由于所采用的自平均， 在增大尺寸后的数据结构中引入的噪声较少。帧内内插103的本实施例的另一优点在于 ： 其工作于单一图像，并且有利地不需要数据库、码本等，并且不需要任何训练或训练数据； 传统的单一图像方法需要数据库来对高频示例进行训练检索。
[0051] 图9示出了本发明的一个实施例中的一种用于执行对数字1D、2D或3D数据的低 分辨率输入数据结构\的超分辨率处理的方法的流程图。在本实施例中，该方法包括以下 步骤：通过第一低通滤波器Fu对输入数据结构\进行滤波170,其中获得低频输入数据结 构U，在加法器/减法器180中计算输入数据结构\与低频输入数据结构U之间的差，由 此生成了高频输入数据结构％，将输入数据结构\增大尺寸120,并且通过第二低通滤波器 Fu对增大尺寸后的数据结构进行滤波130,其中获得低频的增大尺寸后的数据结构U，在 低频增大尺寸后的的数据结构U中确定在第一位置处的第一分块P n,u，在低频输入数据结 构U中搜索151、152、154与第一分块Pn,u最佳匹配的第一块Βη, ω，以及确定所述第一块Bn, ω在低频输入数据结构U中的位置，在高频输入数据结构％中选择155所确定的位置处的 第二块Bn, H(l，将所选择的第二块Βη,ω的数据值（例如像素值）累积157到第二分块P n,H1，第 二分块是在高频的增大尺寸后的数据结构Hua。。中在第一位置（上面针对第一分块P n,u确 定的）处的分块，重复150以下步骤：在低频增大尺寸后的数据结构U中确定新分块P n,u ; 在低频输入数据结构U中搜索151、152、154与所选择的分块Pn,u最佳匹配的块Β η,ω ;在高 频输入数据结构4中选择155相应的块Βη,Η(ι，以及将所选择的相应块Β η,Η(ι的像素数据累积 157到在高频的增大尺寸后的数据结构Hua。。中所述新分块P n,u的位置处的分块Ρη,Η1，以及 对在高频增大尺寸后的数据结构H ua。。中的累积的像素值进行归一化190和HP滤波195,由 此获得已经归一化的高频增大尺寸后的数据结构氏。最后，通过向低频增大尺寸后的数据 结构U添加归一化后的高频增大尺寸后的数据结构氏，获得超分辨率的数据结构Sp
[0052] 在一些实施例中，通过尺寸减小因子d(n > d)对经第二低通滤波器FU1滤波130 后的增大尺寸后的输入数据结构进行尺寸减小140。因此，针对低频增大尺寸后的数据结 构U获得整个非整数的增大尺寸的因数n/d。高频的增大尺寸后的数据结构H u init (或者 氏分别地）具有与低频增大尺寸后的数据结构U相同的尺寸。氏的大小可以是预定义的， 或者从U中导出。氏在初始化步骤160中被初始化为该大小的空的数据结构H uinit。在这 种实施例中，通过以尺寸增大因子η对输入数据结构\进行尺寸增大120来获得低频的增 大尺寸的数据结构U，通过所述第二低通滤波器F U1对增大尺寸后的输入数据结构进行滤 波130,以及在尺寸减小单元940中以尺寸减小因子d (其中η > d)对滤波后的增大尺寸后 的输入数据结构进行尺寸减小140。因此，获得最终的非整数的尺寸增大因子n/d。
[0053] 图10示出了超分辨率的（即高分辨率）图像的高频带氏的合成的原理。该原理 通过以原始分辨率尺度％对相似像素的高频信息进行外插来实现。应注意，如果在以下描 述中提及了高频高分辨率数据结构氏，则实际上指的是未滤波的、未归一化的高频高分辨 率的数据结构Η^。。。
[0054] 首先，将高分辨率图像U的低频带划分为具有一定重叠的小分块Pn,u (例如5X5 像素）。重叠量的选择在针对高频伪像的鲁棒性（在重叠较多的情况下）与计算速度（在 重叠较少的情况下）之间折衷。在一个实施例中，选择每个方向上的20-30%的重叠，即 针对相邻分块具有例如值为5、值为2的重叠。在其他实施例中，重叠更高，例如30-40%、 40-50%，约为50% (例如45-55%)或者高达90%。对于低于分块尺寸的20%的重叠，本 发明的以下描述的效果通常较低。
[0055] 在通过贡献于每个像素的像素的数目来进行归一化之后，获得最终的高频带比， 由此得到平均值。分块之间的重叠越大，对于由高频外插过程所导致的高频伪像的抑制越 好，并且累积更多的值。然后，针对每个低频高分辨率的分块P n, u，在低分辨率图像的低频 带U上的局部搜索窗（例如，11X11像素）中的穷尽搜索后，获得关于平均绝对差（MAD， 从运动估计中获知）的最佳匹配。最佳匹配是来自低频高分辨率图像U的与低频高分辨 率分块P n, u具有相同尺寸（例如5 X 5像素）的块Ρη, ω。
[0056] 为了理解下一步，很重要的是应注意，低分辨率低频的数据结构U与低分辨率高 频的数据结构％具有相同的维度，并且高分辨率低频的数据结构1^具有与高分辨率高频数 据结构氏相同的维度，如图10中所示。对于每个分块，确定所匹配的低频低分辨率的分块 Pn, U)(在U中）的位置，并提取在所匹配的低频低分辨率的分块ρη, ω的位置处的相应的低 分辨率高频分块Ρη,Η〇 (在4中）。然后，在高分辨率低频数据结构Li中的当前分块Pn,u所 具有的相同位置处，在高分辨率图像氏中的高频带上累积从％中提取的低分辨率高频的分 块P n, m，具体地，从4提取的低分辨率高频分块Pn, m的每个值（例如像素）在高分辨率图 像氏的高频带的各个分块中的相应的值（例如，像素）上累积。以这种方式，通过逐分块 累积，合成高分辨率图像氏的高频带。图11示出了将高分辨率图像U的低频带划分为重 叠分块、找到最佳低频匹配以及累积相应的高频贡献的过程，并且下面对其进行描述。
[0057] 结果，在所得到的（初级的）高分辨率数据结构氏的高频带中的每个值，是来自 多个贡献的分块的值的总和。由于U中的分块重叠（并且由于二者均具有相同的维度，因 此也在氏中），来自至少两个分块的值贡献于氏中的多个或者全部值。因此，对高分辨率 的数据结构氏的所得到的（初始的）高频带进行归一化190。为此，在合成过程期间，对来 自在高频高分辨率的数据结构氏中的每个值的％的贡献值的数目进行计数，并且最终将在 氏, a。。中所累积的每个值除以贡献的数目。
[0058] 图11示例性地示出了在低分辨率低频数据结构U内的搜索窗的使用和定位。对 于1^中的第一分块P n,u，在第一搜索窗Wn内的U中搜索第一最佳匹配块Ρηα(ι。两个分块 具有相同的尺寸。搜索窗在每个方向上（除了对于第一分块，在边缘上）比分块大至少一 个值。在本示例中，在第一搜索窗w n的左上角在U中找到第一最佳匹配块ρη,ω。该分块 和块的进一步过程如上所述。然后，水平地和/或垂直地移动后续分块，其中每个分块与前 一分块重叠。在本发明中，将搜索扩展到一个或更多个相邻帧。在一个实施例中，搜索直接 邻域，即，使用±1帧的帧范围。在一个实施例中，搜索直接邻域和直接邻域的直接邻域中 的至少一个，即，使用±1帧或±2帧的帧范围。
[0059] 在图11中所示的示例中，在被水平移动给定分块提前量（advance)的位置处选择 第二分块P 12,u。分块提前量是分块大小与重叠之间的差异。不同维度（例如对于2D数据 结构的水平和垂直）的分块提前量可能不同，这可能导致在高分辨输出数据结构的维度上 的不同效果和质量，但通常是相同的。根据新分块的位置确定新的搜索窗W 12。原则上，搜 索窗在与分块相同的方向上前进，但是更为缓慢。因此，当前的搜索窗可以在与前一搜索窗 相同的位置，如这里的情形。然而，由于在搜索窗中搜索另一分块P 12,u，最佳匹配分块？12& 的位置将通常不同。然后，如上所述，将最佳匹配分块Ρ 12, ω累积到高分辨率高频数据结构 氏的低频高分辨率的分块P12,u的位置处。确定后续的分块P 13,U、P14,U，并以相同的方式搜 索其最佳匹配。如图11中所示，最佳匹配块在搜索窗内的位置是任意的，并且取决于输入 数据（图像内容）。
[0060] 上面的描述对于1-维（1D)数据结构是足够的。对于2D数据结构，通过垂直分块 提前量，找到进一步后续分块的位置。垂直分块提前量可以与水平分块提前量相结合，也可 以不与水平分块提前量相结合。垂直分块提前量还包括如上面提及并在图11中示出的针 对P21,u.....p 23,u的重叠。
[0061] 根据当前分块的位置确定搜索窗的位置。如图11中所示，不同分块的搜索窗 Wn、...、W22重叠。由于U是比Li小的数据结构，搜索窗在每个维度的提前量非常小。在一 个实施例中，如果搜索窗的相应分块在U的边缘，则搜索窗在U的边缘，并且可以在这些边 缘之间均匀地或者成比例地移动。
[0062] 在一个实施例（图11中未示出），搜索窗的中心设置在实质上与分块中心成比例 的位置处。例如，其中分块的中心在高分辨的数据结构U的大约3%处，搜索窗的中心设置 为在低分辨率数据结构U的大约3% (四舍五入）处。在这种情况下，对于靠近边缘的分 块，可以减小搜索窗大小，或者可以将搜索窗完全地移动到低分辨率的数据结构U中。 [0063] 通常，搜索窗越大，越可能找到非常相似的分块。然而，实际上通过大幅增大搜索 窗，精确度几乎没有改变，这是因为局部分块结构在通常的自然图像中的非常局部的区域 中被找到。此外，更大的搜索窗在搜索期间需要更多的处理。
[0064] 图12示出了图像中连续分块的选择（即2D输入数据结构）、重叠、以及确定连续 分块的匹配块的原理的详情。示例性地，像素和块具有5 X 5像素，并且搜索窗具有12 X 12 像素。对于U中的第一分块u，如上述那样，在U或者在相邻的LF帧中确定搜索窗％。 在搜索窗A内，执行不同块位置处的第一分块的比较，并且确定具有最小平均绝对差（MAD) 的块。这是最佳匹配块。确定其在低分辨率低频数据结构U内的位置，例如，其左上角 在第3列第3行。然后，确定在相应的高频低分辨率图像％(即，它可能是邻域）的相同位 置处的相应分块。因此，它是左上角位于第3列第3行的5X5像素的分块。从成中提取 该分块，并且将该分块添加到氏中的当前的低频高分辨率分块P uu的位置（即，氏的左上 角（参见图12a))处。
[0065] 如图12b中所示，根据所采用的分块提前，选择第二分块P2,u。分块提前在这种情 况下是在两个维度上的两个像素，这意味着：由于像素大小是5X5像素，重叠为3。因此， 在这个示例中，垂直重叠 vv等于水平重叠 vh。由于更慢的搜索窗提前，搜索窗W2与前一分 块的是相同的。然而，由于不同的像素值（根据任意图像内容），找到搜索窗内的另一最佳 匹配块Β 2, ω。用与上述相同的方式，确定其位置（例如，左上角在第7列第2行），从％中 提取相应的5 X 5块（左上角在第7列第2行），并且将从Η〇提取的块添加到高频高分辨率 图像氏中的第二分块P2, u的位置处，即，其左上角在第1行第3列。因此，从对应于最佳匹 配块的像素累积属于两个或更多个分块的特定像素。即，示例性地，高分辨率高频图像氏的 第4列第5行的特定像素（对应于图12中所示的U中的位置）在所述的过程的当前级中 具有从第6列第7行的像素（来自第一分块的最佳匹配块U以及从第8列第6行的像 素（来自第二分块的最佳匹配块U所累积的值。如上面提及的，该搜索窗通常仅在已经 处理多个分块之后前进。如在针对上述配置在图12c中示例性示出的，在搜索窗W 3在水平 方向上移动一个像素之前，需要三分块的提前量（例如，第4分块）。此外，这里应注意，分 块前进的各种维度的序列顺序（以及因此的搜索窗前进）没有区别。因此，在图12d中所 描述的分块可以在先前的分块已经移动到U的右手边缘后处理，但是也可以在图12a中所 示的第一分块后直接处理。
[0066] 在下文中，描述了空间HF合成12 (见图1)。在空间HF合成的输入处，存在多个帧 速率上变换的增大尺寸后的输入视频帧（确认HRLF带），这些输入视频帧堆叠在立体结构 中。两个轴对应于空间图像维度，并且第三个对应于时间维度。
[0067] 在一个实施例中，采用了一种用于空间HF合成的方法，非常类似于在关于帧间内 插102的部分中的上述方法。不同之处在于，在本实施例中，HF示例可以取自应当获得高 频带的分块的局部邻域中的任何图像。换句话说，搜索窗是中心在每个分块处的3D立体。
[0068] 尽管该技术也可以应用于恢复时间高频（通过考虑3D分块而非2D分块），在时间 混叠中可能出现大量混叠，这可能引入可视的重影伪像。因此，将需要更有效的方法。为了 解决这个问题，在本发明的一个实施例中，只在空间维度（而不在时间维度）进行超分辨率 (即，合成高频带）。本实施例的优点在于：也可以通过探索低分辨率的相邻帧来获得生成 内插的帧的高分辨率版本所需的高频分量。
[0069] 接下来，描述了 HRLF内插带15与HRHF合成带16的融合13。在融合单元中执行 的该融合13得到超分辨率的视频序列14。在一个实施例中，将高通滤波器995应用于这 一部分的空间维度，以保证合成的HRHF带与内插的HRLF带的谱兼容性。图13a)示例性地 示出HRLF(高分辨率低频）带Q与归一化后的高频高分辨率（HRHF)带氏的融合，以便生 成超分辨率的图像Si。使用高通滤波器995对归一化后的高频带H1进行滤波，以确保与低 频带之间的谱兼容性。下面描述高分辨率高通滤波器995。滤波器FU995用在上述提及 的滤波步骤195中，并且优选地以与在第一级11中的滤波器匕,μ 4330,970相同的方式 设计。在这种情况下，目标是获得具有截止频率Ω1Λ = d/max(n，d) = d/n的高通滤波器。 将该高通滤波器的阶设置为低分辨率滤波器阶的缩放版本：Nuh = round (N^/d)，并且其幅 值为％,h=l。将可分离高通滤波器的最终参数设置为与汉明窗的中心对齐的克罗内克 (Kronecker)增量减去具有相同的截止频率的的互补低通滤波器的系数。也就是说，将高通 滤波器定义为全通滤波器（参数集等于克罗内克增量）减去与所期望的高通滤波器具有相 同的截止频率的低通滤波器。这在图13b)中以图形示出，在图13b)中左手边是所期望的 高通滤波器的频率响应HP，并且右手边是全通滤波器AP与上述低通滤波器LP的响应的差 异。实际的融合可以实现为带的叠加，其中LF与HF频带简单地彼此相加。由于从上述描 述中已经清楚，在原则上通过内插获得高分辨率（HRLF)图像U的低频带，而原则上通过外 插获得高分辨率（HRHF)氏图像的高频带。
[0070] 作为一示例，给定在图6中示出的两个连续低分辨率输入帧f61，f62，图7中示出了 超分辨率的输出帧f 71、f72、f73 (2x空间和lx时间放大倍数）。图7中，从具有超分辨率的空 间维度的第一输入帧f61获得第一帧f71。第二帧f 72是具有超分辨率的空间维度的新帧。 第三帧f73是从具有超分辨率的空间维度的第二输入帧f 62获得的。
[0071] 本发明的总体思想是在原则上也适用于其他【技术领域】。该运动补偿技术可用于确 定两个给定的图像之间的运动，以及向更精确的鲁棒的束调整算法提供输入，以确定在两 个视图之间的相对姿势是有用的。在编码应用中，密集的多视图序列可以通过探索中间视 图能够快速并且精确地从两个相邻视图中猜测出的事实来抽取。这也可以有助于提供在空 间（在给定的时刻生成新视图）和时间上（跟踪在连续时刻之间的位置）的更好的3D重 构。
[0072] 本发明的一个优点在于：本发明比已知的能够产生具有与所提出的技术相似的质 量等级的内插视频帧的已知光流估计技术更简单和便宜。可以将这一点与空间超分辨率算 法联系起来，该空间超分辨率算法进而将不在视频序列中采用更丰富、冗余的可用信息。本 发明具有处理自然复杂运动的优点。通常，经典的基于重构的多帧超分辨率技术无法处理 自然复杂的运动。
[0073] 在现有技术中，通常引入产生不需要的效果（如移除靠近轮廓的纹理或者过度锐 化）的任意先前的模型。此外，当相比于传统的用于帧内插的块匹配时，所公开的技术在与 局域邻域具有类似分块的区域中产生正确内插的分块。示例性地，图8示出了（左手侧）通 过这种区域（在其局域邻域中具有类似的分块）中的块匹配所产生的伪像对于（右手侧） 正确处理显著少的伪像（如通过所公开的鲁棒迭代块匹配所获得的）。该图对应于从它的 两个最接近的邻域内插得到的帧的细节。
[0074] 进一步的优点在于，相对于光流技术，不需要初始建立针对大规模运动估计的图 像金字塔，而是可以直接作用于输入图像；所得到的光流提供整数位移，而不是如光流技术 所做的浮点位移；以及不需要迭代大量的次数（如在能量最小化结构中典型的），以获得运 动估计。
[0075] 图5示出了根据本发明的如何获得高分辨率上采样的帧的概述。如上所述，首先 对低分辨率的帧Π 、. . .、f4进行时间内插，其中获得时间内插的帧il、…、i3。然后，通过 如下的上采样和内插从低分辨率（LR)帧fl、il.....i3、f4中获得高分辨率（HR)帧F1、 II、· · ·、I3、F4 :
[0076] HR帧的低频（LF)部分（HRLF带）是从其各自的在时间上重合的LR帧（包括时间 内插的帧）中空间上采样的。例如，从Π 中上采样LF(F1)，从il等中上采样LF(I1)等。
[0077] 在输入序列中具有在时间上重合帧的HR帧的高频（HF)部分/带（例如F1..... F4)是从输入序列的LR帧（S卩，Π .....f4)中空间上采样的。
[0078] 在输入序列中不具有时间上重合帧的HR帧的HF部分/带（例如II、12、13)是从 输入序列的相邻LR帧（即，fl、. . .、f4)中空间上采样然后内插的。例如，将Π 和f2上采 样然后内插，以获得II。
[0079] 在一个实施例中，非整数时间位置τ处的每一个新的HF图像II、. .. 13时间内插 在两个分开的部分（即，LF部分和HF部分）中。LF部分是从时间内插的LR图像il中获 得的（参见图5)，然后通过空间超分辨率（在图9中的步骤）来对该时间内插的LR图像进 行尺寸增大。HF部分是从没有时间内插的相邻帧Π .....f4中获得的。然后，也通过空间 超分辨率（利用图9中的步骤）来对相邻帧Π .....f4进行尺寸增大。优点在于：可以在 相邻帧中找到更好匹配的分块。
[0080] 在一个实施例中，本发明提供了一种基于分块的框架，用于增大视频序列的帧速 率以及对每一个输出帧进行空间超分辨率。基于分块的（或者基于块的）图像处理已经在 各式各样的问题（例如降噪或者空间超分辨率）中显示出优异的性能。这里，采用适用能 力来解决在单个基于分块的框架中所提到的两个问题。本发明适用于增强所有类型的视频 序列，甚至在时间维度具有大量混叠的视频序列。也就是说，本发明不仅仅致力于具有周期 性或者高度冗余的空间和时间特征的序列。时间采样频率几乎比空间维度中的低两个数量 级。有利地，避免了现有技术中的空间超分辨率的问题（可能导致不能很好地适应于特定 情况的过度拟合的图像模型）。使用具有线性及非线性正则项的MAP模型来表示严重病态 的时间超分辨率问题。在下文中，提供了关于时间内插的更多详细信息。
[0081] 时间内插。在将视频序列考虑为立体方法的情况下，将希望在三个可用维度（两 个空间的和一个时间的）中应用相同的内插机制，以便生成超分辨率视频序列的低频带。 然而，通过这样做，我们不能正确地内插时间事件。通常，时间域以低于奈奎斯特限制的频 率进行采样，在多数情况下已经足以让我们的视觉系统感知连续动作。
[0082] 为了改善时间分辨率（即便在时间事件不会在场景下反复出现的情况下），我们 建议遵循以下思想：首先，估计连续帧之间的运动；并且然后，通过线性内插在任意期望时 间位置处生成中间帧。
[0083] 与我们的方法的余下部分中所考虑的框架相一致，我们使用基于分块的方法，该 方法利用维度为5X5像素的小的重叠分块。假设Py是与中心位于在空间位置（i，j)中 的像素的分块相吻合的像素组，并且分块中所包括的元素的数目为#Pi,j。还假设Ui,」和 Vi, 」分别是在这种空间位置处的水平和垂直的运动分量。然后，给定两个连续的颜色帧Mx， y)和I2(x,y),以及颜色距离| llJxpyDKxyyJ | |2,可以使用以下变化的公式来估计运 动场：
[0084]

【权利要求】
1. 一种用于对低分辨率输入视频帧序列执行超分辨率的方法，包括以下步骤： -对输入视频帧序列（10)的帧进行空间内插（103)，其中生成高分辨率低频的空间和 时间带（15); -对输入数据序列（10)的视频帧执行跨帧空间高频外插（12)，其中生成高分辨率高频 的空间带（16);以及 -将高分辨率低频的空间和时间带（15)与高分辨率高频的空间带（16)融合（13)，其 中获得空时超分辨率的视频序列（14)。
2. 根据权利要求1所述的方法，其中在跨帧空间高频外插（12)中，使用低频的空间和 时间带（15)的时间内插的帧。
3. 根据权利要求2所述的方法，其中低频的空间和时间带（15)的时间内插的帧是通过 以下步骤获得的： -在至少两个输入巾贞frl、fr2之间生成运动场； -对输出图像缓冲器进行初始化（401); -确定输出图像的时间位置（τ ); -将两个输入帧frl、fr2中的每一个划分为重叠的分块； 以及针对输入帧frl、fr2二者执行以下步骤： -针对每一个分块，根据所确定的时间位置，通过对运动矢量（MV1)的线性内插来计算 该分块在输出图像中的空间位置； -针对每一个分块，根据所确定的时间位置（l-τ)来计算加权因子，并将该加权因子 乘以当前分块的像素值，其中获得每一个分块的经加权的像素值； -在输出图像缓冲器中，累积在所计算的各个分块的空间位置处的分块的经加权的像 素值，其中每一个分块将其像素的加权值贡献给所计算的位置处的输出图像的像素； -在加权因子累积缓冲器中，累积贡献给输出图像的每一个像素的加权因子，其中针对 每一个像素获得累积的加权因子； 当图像frl和fr2二者的全部分块都已经被处理时， -通过从加权因子累积缓冲器中检索到的累积的加权因子来对所累积的中间输出图像 (403)进行归一化。
4. 根据权利要求3所述的方法，其中运动场是通过IRBM获得的。
5. 根据权利要求1到4中任一项所述的方法，其中所述高分辨率低频（HRLF)的空间和 时间带（15)与高分辨率高频（HRHF)的空间带（16)的融合（13)包括： -对高分辨率高频（HRHF)的空间带（16)进行高通滤波（195)，其中获得经HP滤波的 高分辨率高频（HRHF)的空间带；以及 -将经HP滤波的高分辨率高频（HRHF)的空间带（16)与高分辨率低频（HRLF)的空间 和时间带（15)相加。
6. 根据权利要求1到5中任一项所述的方法，其中对输入视频帧序列（10)进行空间内 插（103)的步骤包括以下步骤： -通过第一低通滤波器对输入视频帧序列（10)的输入视频帧（?进行滤波 (170)，其中获得低频输入视频帧（L。）； -计算输入视频帧（SJ与低频输入视频帧（LJ之间的差（180)，其中生成高频输入视 频帧（Η。）； -增大输入视频帧（?的尺寸（120)，以及通过第二低通滤波器（Fu)对增大尺寸后的 输入视频帧进行滤波（130)，其中获得低频的增大尺寸后的视频帧（LJ ; -在低频的增大尺寸后的视频帧（U)中确定第一位置处的第一分块（Pn,u); -在低频输入视频帧（U)中搜索（152,154)与第一分块（Pn,u)最佳匹配的第一块（B n, ω)，并确定所述第一块（Βη,ω)在低频输入视频帧（U)内的位置； -选择（155)在所确定的位置处的高频输入视频帧（?)中的第二块（Bn,HQ); -将所选择的第二块（Bn,HCI)的像素数据累积（157)到第二分块（Pn, H1)，所述第二分块 是在第一位置处的高频的增大尺寸后的视频帧（Hu。。）中的分块； -重复（150)以下步骤：在低频的增大尺寸后的视频帧（U)中确定新分块（Pn,u)，在 低频输入视频帧（L。）中搜索（152,154)与所选择的分块（Pn,u)最佳匹配的块（Β η,ω)，在高 频输入视频帧（?)中选择相应块（Bn,m)，以及将所选择的相应块（B n,m)的像素数据累积 (157)到在所述新分块（Pn,u)的位置处的高频的增大尺寸后的视频帧（Hu。。）中的分块（P n, HI); -对高频的增大尺寸后的视频帧（H^J中的累积的像素值进行归一化（190)，其中获 得归一化的高频的增大尺寸后的视频帧饵）；以及 -将归一化的高频的增大尺寸后的视频帧（?)中的至少一个与低频的增大尺寸后的视 频帧（U)中的至少一个相加，由此获得空间超分辨率的视频帧（15, S)。
7. -种用于执行超分辨率的系统，包括： -通过内插生成输入视频序列（LR)的高分辨率低频的空间和时间带（HRLF)的级； -通过跨帧空间高频外插来合成高分辨率高频的空间带（HRHF)的级；以及 -将这两个带融合以生成空时超分辨率的视频序列（HR)的级。
8. -种用于对低分辨率输入视频帧序列执行超分辨率的装置，包括： -空间内插模块，用于对输入视频帧序列（10)的帧进行空间内插（103)，其中生成高分 辨率低频的空间和时间带（15); -空间外插模块，用于对输入数据序列（10)的视频帧执行跨帧空间高频外插（12)，其 中生成高分辨率高频的空间带（16);以及 -融合模块，用于将高分辨率低频的空间和时间带（15)与高分辨率高频的空间带（16) 融合（13)，其中获得空时超分辨率的视频序列（14)。
9. 根据权利要求8所述的装置，其中在跨帧空间高频外插（12)中，使用低频的空间和 时间带（15)的时间内插的帧。
10. 根据权利要求9所述的装置，还包括用于获得低频的空间和时间带（15)的时间内 插的帧的模块，所述模块包括： -运动场生成器模块，用于在至少两个输入帧（frl，fr2)之间生成运动场； -输出图像缓冲器； -控制单元，用于确定输出图像的时间位置（τ); -划分模块，用于将两个输入巾贞（frl，fr2)中的每一个划分为重叠的分块； -线性内插器，针对一个或两个输入帧（frl，fr2)的每一个分块，根据所确定的时间位 置，通过对运动矢量（MV1)的线性内插来计算该分块在输出图像中的空间位置； -加权因子计算器，针对一个或两个输入帧（frl，fr2)的每一个分块，根据所确定的时 间位置（l-τ)来计算加权因子，并将该加权因子乘以当前分块的像素值，其中获得每一个 分块的经加权的像素值； -第一累积器，用于在输出图像缓冲器中累积在所计算的各个分块的空间位置处的分 块的经加权的像素值，其中每一个分块将其像素的加权值贡献给所计算的位置处的输出图 像的像素； -加权因子累积缓冲器（Bw,aJ ; -第二累积器，用于在加权因子累积缓冲器中累积贡献给输出图像的每一个像素的加 权因子，其中针对每一个像素获得累积的加权因子；以及 -归一化模块，在两个图像（frl，fr2)的全部分块都已经被处理之后，通过从加权因子 累积缓冲器中检索到的累积的加权因子来对所累积的中间输出图像（403)进行归一化。
11. 根据权利要求10所述的装置，还包括IRBM单元，其中运动场是通过IRBM获得的。
12. 根据权利要求8到11中任一项所述的装置，其中所述用于将高分辨率低频（HRLF) 的空间和时间带（15)与高分辨率高频的（HRHF)的空间带（16)融合（13)的融合模块包 括： -高通滤波器（995)，用于对高分辨率高频（HRHF)的空间带（16)进行滤波，其中获得 经HP滤波的高分辨率高频（HRHF)的空间带；以及 -组合器，用于将经HP滤波的高分辨率高频（HRHF)的空间带（16)与高分辨率低频 (HRLF)的空间和时间带（15)相加。
13. 根据权利要求8到12中任一项所述的装置，其中所述用于对输入视频帧序列（10) 进行空间内插（103)的空间内插模块包括 ： -第一低通滤波器（Fu) (970)，用于对输入视频帧序列（10)的输入视频帧（?进行滤 波（170)，其中获得低频输入视频帧（L。）； -差分器（980)，用于计算输入视频帧（?与低频输入视频帧（U)之间的差（180)，其 中生成高频输入视频帧（?); -尺寸增大器（920)，用于增大输入视频帧（?的尺寸（120)，以及第二低通滤波器（Fu i)，用于对增大尺寸后的输入视频帧进行滤波（130)，其中获得低频的增大尺寸后的视频帧 (U); -处理模块，用于在低频的增大尺寸后的视频帧（U)中确定第一位置处的第一分块 (Ρη,π)； -搜索单元（952)，用于在低频输入视频帧（L。）中搜索（152,154)与第一分块（Pn,u) 最佳匹配的第一块（Βη,ω)，并确定所述第一块（Βη,ω)在低频输入视频帧（U)中的位置； -选择器（955)，用于选择（155)在确定的位置处的高频输入视频帧（?)中的第二块 (Bn, H0); -累积器（957)，用于将所选择的第二块（Bn,HCI)的像素数据累积（157)到第二分块（P n, H1)，所述第二分块是在第一位置处的高频的增大尺寸后的视频帧（Hu。。）中的分块； -控制单元（950)，用于控制搜索单元（952)、选择器（955)、累积器（957)中的一个或 更多个，其中处理低频的增大尺寸后的视频帧（LJ中的所有分块； -归一化单元（990)，用于对高频的增大尺寸后的视频帧（Hu。。）中的累积的像素值进 行归一化（190)，其中获得归一化的高频的增大尺寸后的视频帧（?);以及 -组合单元（999)，用于将归一化的高频的增大尺寸后的视频帧（?)中的至少一个与 低频的增大尺寸后的视频帧（U)中的至少一个相加，由此获得空间超分辨率的视频帧（15，
【文档编号】H04N7/01GK104160422SQ201380012743
【公开日】2014年11月19日 申请日期:2013年3月5日 优先权日:2012年3月5日
【发明者】乔迪·萨尔瓦多, 阿克塞尔·科哈尔, 西格弗里德·施魏德勒 申请人:汤姆逊许可公司