基于块级超分辨率的视频编码的制作方法
本发明涉及基于块级超分辨率的视频编码，并且具体地但非排他地，涉及用于基于超分辨率的视频编码的方法和系统、一种包括用于基于超分辨率的视频编码的模块的编码器装置和解码器装置、以及一种用于执行这种方法的计算机程序产品。
背景技术：
在视频编码标准化中，mpeg/itu联合小组传统上采用混合视频编码系统(例如avc和hevc)。混合系统包括运动预测和基于视频块的变换编码的组合。在此，视频块(或简称为块)是指视频标准的基本处理单元。在不同的编码标准中，视频块以不同方式命名，例如，在h.264/avc中，块被称为宏块，在hevc中，块被称为编码树单元(ctu)，并且在vp9和av1中，编码块被称为超级块。混合视频编码系统旨在利用视频帧中视频样本的冗余。特别地，运动预测利用连续帧之间的时间冗余和给定帧内像素的空间相关性，而所谓的变换编码对信号分量进行去相关。与前几代的其他编码标准(诸如h.264/avc(mpeg-4部分10))相比，现有技术的编码标准(诸如hevc、av1和当前开发的vvc(多功能视频编码))具有显著更高的压缩效率。
在某些情况下，例如，在视频序列的第一帧的情况下，在帧是关键帧(即可以在经压缩比特流的中间从其开始解码的帧)的情况下，或者在两个帧之间的相关性太小(例如，突然的场景变化)的情况下，不能使用时间预测。在这些情况下，可以使用帧内预测方案来尝试对视频进行压缩。帧内预测基于当前帧中先前编码的块以及相邻像素之间的预先假定的强相关性(即像素之间的“空间冗余”)。在视频帧的亮度信息和色度信息两者中都可以存在此空间冗余。例如，在足球比赛图像中，绿色像素的邻近像素也将主要是绿色的。而且，通常，与暗像素邻近的像素也将是暗的，例如在阴影区域中。
通常，视频帧中的块以光栅扫描顺序开始(即，逐行地)从视频帧左上角的块开始被处理。因此，将基于相邻块(通常是定位在当前块的上方和/或左侧的块)的先前编码的样本来预测当前块的像素。hevc和av1具有可用于宏块的不同类型的帧内预测方法，每种类型都具有其自己的模式。例如，对于亮度信息，存在不同类型的帧内预测：针对16×16块(整个宏块)的预测方法、针对8×8块(每个宏块四个)的预测方法或针对4×4块(每个宏块十六个)的预测方法。对于色度信息，存在一种基于该宏块的一个块来进行预测的方法。
此外，根据预测方法的类型，可以使用不同的模式：针对8×8或4×4亮度预测的不同模式，以及针对16×16亮度预测和针对色度信息的不同模式。每种模式都精确地确定如何基于需要被编码的当前块附近的较早经编码像素值来预测该当前块中像素的值。由于(宏)块的编码顺序，仅位于当前块左侧或上方的块的像素是可用的。当编码器决定基于帧内预测来预测当前块时，编码器将选择某种类型的帧内预测以及属于该帧内预测类型的模式之一。编码器将使用预测块来确定残差块，该残差块与有关帧内预测类型和相关联模式的信息一起被编码器发送给解码器。
由编码器决定选择哪种类型的帧内预测以及使用哪种模式。
虽然在预测过程中使用较小的块大小可能将导致更准确的预测，但由于编码器需要为比特流中的更多数量的块发送信号通知所选模式，因此开销也更大。通常，对于更均匀的区域，通常将基于较大的块(诸如16×16、64×64或者甚至更大)进行预测，而对于细节更多的区域，通常将基于较小的块进行预测。
然而，在某些情况下，相邻像素之间视频信号的强相关性的假设不再成立。例如对于360度视频可能就是这种情况，在这样的视频中，由于在2d表面(epr或立方体)上的投影(诸如几何接缝)的影响，这种空间相关性不再存在或至少显著降低。因此，在这种情况下，i帧(的视频块)不能被准确地预测并因此被高效地压缩。这可能会严重降低视频信号的整体压缩效率，因为i帧可能代表比特流中总数据的很大一部分，有时甚至高达80％。
而且在常规的2d视频编码中，视频信号可能自然而然地具有低相关性，例如具有大纹理的自然场景(草、沙、植被等)、视频中的噪声、降低到两个相邻像素之间的相关性的每种现象。更一般地，对于视频帧的某个区域中需要被压缩的视频信号的某种相关性，帧内预测将提供高效的压缩，一直到该区域中视频信号的预测视频块的特定大小为止，因为相关性随着两个像素之间距离的增大而减小。
因此，从上面可以看出，在本领域中需要改进的编码方案，该改进的编码方案能够进行高效的视频编码，特别是针对高分辨率视频、尤其是4k视频或更高分辨率视频的高效视频块编码。
技术实现要素：
如本领域技术人员将认识到的，本发明的各方面可以实施为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或者在本文中通常可以被称为“电路”、“模块”或者“系统”的组合软件和硬件方面的实施例的形式。本披露内容中描述的功能可以实施为由计算机的微处理器执行的算法。此外，本发明的各方面可以采取在具有在其上实施的、例如存储的计算机可读程序代码的一种或多种计算机可读介质中实施的计算机程序产品的形式。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外、或半导体系统、装置或设备，或上述的任何合适的组合。计算机可读存储介质的更具体的示例(非穷举列表)将包括以下各项：具有一个或多个导线的电连接装置、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储设备、磁存储设备、或者上述的任何合适的组合。在本文献的上下文中，计算机可读存储介质可以是可包含或存储用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序的任何有形介质。
计算机可读信号介质可以包括具有在其中(例如，在基带中或作为载波的一部分)实施的计算机可读程序代码的传播数据信号。这种传播信号可以采取各种形式中的任何一种，包括但不限于，电磁的、光的或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且可以通信、传播、或传输程序(以用于由指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用)的任何计算机可读介质。
可以使用任何适当的介质传输在计算机可读介质上实施的程序代码，这种介质包括但不限于无线、有线、光纤、电缆、rf等，或上述的任何合适的组合。用于执行本发明的各方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合编写，所述一种或多种编程语言包括诸如java(tm)、smalltalk、c++等面向对象的编程语言等和诸如“c”编程语言或相似的编程语言等常规过程编程语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为独立软件包执行、部分地在用户计算机上执行并部分地在远程计算机上执行、或完全地在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(lan)或广域网(wan)的任何类型网络连接到用户计算机，或可以进行与外部计算机的连接(例如，使用互联网服务提供商、通过互联网)。
下面将参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解的是流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机程序指令实施。可以将这些计算机程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器，具体是微处理器或中央处理单元(cpu)以产生机器，使得经由计算机或其他可编程数据处理装置或其他设备的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令还可以存储在计算机可读介质中，所述计算机可读介质可以指导计算机、其他可编程数据处理装置、或其他设备以用特殊的方式发挥功能，从而使得存储在所述计算机可读介质中的指令产生制造的包括指令的物品，这些指令实施流程图和/或框图的一个或多个框中指定的功能/动作。
计算机程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以引起在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实施的过程，从而使得在计算机或其他可编程装置上执行的指令提供用于实施在流程图和/或框图的一个或多个框中指定的功能/动作的过程。
附图中的流程图和框图展示了根据本发明的各实施例的系统、方法和计算机程序产品的可能实施方式的体系架构、功能和操作。关于此，流程图或框图中的每个框可以表示包括用于实施(多个)特定逻辑功能的一个或多个可执行指令的代码的模块、片段或部分。还应该指出的是，在一些替代性实施方式中，框中标明的功能可以不按图中标记的顺序发生。例如，根据涉及的功能，连续示出的两个框实际上可被大体同时执行，或者这些框可能有时以相反的顺序被执行。还将指出的是，可以通过执行特定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实施框图和/或流程图的每个框及框图和/或流程图中框的组合。
本发明使得能够对原始视频帧的视频块进行高效编码。特别地，本发明提供了对视频块的环内编码，在该环内编码中，在确定预测块(即，当前块(需要被编码的视频块)的预测样本)的过程中使用了下采样(例如，多相下采样方案)。该下采样方案可以在空间上对第一低分辨率原始块和一个或多个第二低分辨率原始块中的原始(当前)块进行下采样，其中，该第一低分辨率原始块和这些第二低分辨率原始块的分辨率低于该原始视频帧的各个块的分辨率。在视频帧包括表现出低空间相关性的像素值(样本)的情况下，在对该视频帧的编码中使用该下采样方案可以在高效编码方面提供实质性的益处。
在一个方面，本发明可以涉及一种将视频帧编码为比特流的方法，该方法包括：编码器装置的处理器确定需要被编码的当前块的原始样本的集合，并确定一个或多个重构块的参考样本，该一个或多个重构块中的每一个被编码并随后被解码，该当前块和这些重构块是该视频帧的一部分，该视频帧具有第一分辨率；
该处理器基于该原始样本的集合和下采样方案、优选地基于该下采样方案的空间采样点阵，来确定原始样本的子集；该处理器基于这些参考样本确定第一预测样本，这些第一预测样本形成具有低于该第一分辨率的第二分辨率的第一低分辨率预测块，这些第一预测样本限定了针对该原始样本的子集的预测；该处理器基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本，该一个或多个第二低分辨率预测块中的每一个具有该第二分辨率；该处理器基于该原始样本的集合以及这些第一预测样本和这些第二预测样本确定残差块的残差样本；以及该处理器将这些残差样本变换成该比特流，该比特流包括用于向解码器装置发信号通知这些第一预测样本和这些第二预测样本是基于该下采样方案来确定的元数据。
因此，本发明涉及一种用于来自视频帧序列的视频帧的编码方法。在对该视频帧的编码过程期间，该视频帧被分割为多个块，其中，每个块包括预定数量的视频样本。需要被编码的块通常被称为当前块或原始块，其包括原始样本。该编码过程旨在提供对当前块的原始样本的准确预测。为此，基于下采样方案来选择原始样本的子集，其中，该原始样本的子集可以形成该当前块的(经二次采样的)低分辨率块。
该下采样方案(例如，多相下采样方案)可以包括多个不同的空间采样点阵。在这种低分辨率采样点阵基础上确定的视频块可以表示低分辨率视频块(分辨率分量)。可以通过基于不同的采样点阵对高分辨率视频帧进行二次采样来形成不同的低分辨率块(分辨率分量)。可以将一组采样点阵选择为使得基于该组采样点阵生成的分辨率分量可以用于重构原始视频块，即，重构与原始高分辨率视频信号相同或几乎相同的视频信号。
对原始样本的子集的选择可以基于多个空间采样点阵之一。可以基于已经编码的块(参考块)的重构样本来确定对该原始样本的子集的初始预测。通过在初始预测和原始样本的基础上确定重构样本，可以进一步提高初始预测的准确性。这些重构样本可以用作具有低于该第一分辨率的第二分辨率的第一低分辨率预测块的第一预测样本。并且可以用作用于确定一个或多个第二低分辨率预测块的第二预测样本的参考样本。其中，该一个或多个第二低分辨率预测块与该下采样方案的一个或多个不同的空间下采样点阵相关联。该下采样方案的下采样点阵可以用于对该第一低分辨率预测块和该一个或多个第二低分辨率块的预测样本进行上采样，并用于将经上采样的预测样本组合为该当前块的预测块的预测样本。基于多个低分辨率信号(第一低分辨率预测块的第一预测样本和一个或多个第二低分辨率预测块的第二预测样本)构建高分辨率信号(当前块的预测块)可以被称为超分辨率技术。因此，在本申请中描述的预测模式可以被称为超分辨率预测模式，具体是环内超分辨率预测模式，因为该处理是在编码器环路和解码器环路之内进行的。
在实施例中，该方法可以进一步包括发射器将该比特流发射到解码器设备和/或将该比特流存储到存储器中。
在实施例中，基于这些参考样本确定第一预测样本可以包括：基于这些参考样本中的一个或多个参考样本之间的函数关系，确定该原始样本的子集的候选预测样本；基于该当前块的原始样本以及这些候选预测样本，确定第一低分辨率残差块的残差样本；以及基于该低分辨率残差块的残差样本以及这些候选预测样本，确定该第一低分辨率块的重构样本，这些重构样本限定了这些第一预测样本。因此，可以基于定位于该当前块之外的参考样本(例如，定位于与该当前块接近(例如与之接界)的一个或多个块中的参考样本)来确定候选预测样本。然后，可以通过使用编码器装置的解码器环路基于候选预测样本来确定重构样本，其中，将重构的低分辨率残差块与候选预测样本组合为该第一低分辨率块的重构样本。
在实施例中，可以基于视频编码标准的帧内预测模式或基于预测算法来确定这些参考样本中的一个或多个参考样本之间的函数关系，该预测算法例如是机器学习算法或基于训练后的神经网络的算法。
在实施例中，基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本可以包括：基于对这些第一预测样本的至少一部分的插值确定该一个或多个第二低分辨率块之一的预测样本。
可替代地，可以基于某种算法、即机器学习算法或算法或基于训练后的(深度)神经网络的算法来确定该一个或多个第二低分辨率块的第二预测样本。
可以在比特流中显式地或隐式地用信号表示超分辨率模式的激活。在实施例中，该元数据可以包括第一信息，优选地是一个或多个第一参数，例如(二元)标志，用于向解码器装置发信号通知该当前块的预测样本是基于下采样方案来确定的。
在实施例中，该元数据可以包括第二信息，优选地是一个或多个第二参数，用于向解码器装置发信号通知该当前块的预测样本是如何基于参考样本来确定的。例如，该元数据可以发信号通知使用了(常规)帧内预测方法来确定这些第一预测样本。
在实施例中，该元数据包括第三信息，优选地是一个或多个第三参数，用于向解码器装置发信号通知具有该第二分辨率的一个或多个第二低分辨率预测块的预测样本是如何基于该第一低分辨率预测块的预测样本来确定的。
因此，该超分辨率预测模式可以使用下采样方案在块级(例如，视频帧中的单个视频块或所有视频块的子集)进行下采样和上采样(即表1的超分辨率模式1和2)，其中，可以使用第一参数(例如，二元标志)来发信号通知是否使用了下采样方案。可以使用第二参数来发信号通知所使用的下采样方案的类型(例如，多相下采样)。仅在使用了下采样方案的情况下才可能存在第二参数。应该注意，可以使用许多其他替代方案，例如仅一个标志、更长或更短的位深度等。另外和/或可替代地，还可以在sei消息中插入信令。
在超分辨率模式应用于正好一个视频块的情况下，可以在视频块的有效载荷中插入用于发信号的元数据。表2是hevc中经修改的编码单元有效载荷的示例，该有效载荷包含以下信令：
表2
在实施例中，该视频帧可以是帧内预测i帧、帧间预测p帧、双向预测b帧或超帧。
在实施例中，该视频帧可以是包括使用投影模型投影到视频帧的矩形2d表面上的球面视频数据的投影视频帧。在实施例中，该投影模型可以是等距柱状投影模型或立方体投影模型。
在一个方面，本发明可以涉及一种将比特流解码为视频帧的视频块的方法，其中，该方法可以包括：解码器装置的处理器接收包括残差块的经编码残差样本的比特流，这些残差样本与当前块的原始样本的集合相关联，该当前块是具有第一分辨率的视频帧的一部分；并且该比特流包括与残差块的经编码残差样本相关联的元数据，该元数据用于向该解码器装置发信号通知该残差块是基于下采样方案来编码的；该处理器基于该下采样方案、优选地基于该下采样方案的空间采样点阵以及一个或多个重构块的参考样本来确定第一低分辨率预测块的第一预测样本，该一个或多个重构块中的每一个被编码并随后被解码，该第一低分辨率预测块具有低于该第一分辨率的第二分辨率；该处理器基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本，该一个或多个第二低分辨率预测块中的每一个具有该第二分辨率；该处理器基于该第一低分辨率块的第一预测样本和该一个或多个第二低分辨率块的第二预测样本确定该当前块的预测样本；以及该处理器基于该当前块的预测样本以及这些残差样本确定该当前块的重构样本。
在实施例中，基于这些参考样本确定第一预测样本可以包括：基于这些参考样本中的一个或多个参考样本之间的函数关系，确定该原始样本的子集的候选预测样本；基于该当前块的原始样本以及这些候选预测样本，确定第一低分辨率残差块的残差样本；基于该低分辨率残差块的残差样本以及这些候选预测样本，确定该第一低分辨率块的重构样本，这些重构样本限定了这些第一预测样本。
在实施例中，可以基于视频编码标准的帧内预测模式或基于预测算法来确定这些参考样本中的一个或多个参考样本之间的函数关系，该预测算法例如是机器学习算法或基于训练后的神经网络的算法。
在实施例中，基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本可以包括：
基于对这些第一预测样本的至少一部分的插值确定该一个或多个第二低分辨率块之一的预测样本。
在实施例中，该元数据可以包括一个或多个第一参数，例如(二元)标志，用于向解码器装置发信号通知该当前块的预测样本是基于预定的下采样方案来确定的；和/或其中，该元数据包括一个或多个第二参数，用于向解码器装置发信号通知该当前块的预测样本是如何基于这些参考样本来确定的；和/或其中，该元数据包括一个或多个第三参数，用于向解码器装置发信号通知一个或多个第二低分辨率块的预测样本是如何基于该第一低分辨率块的预测样本来确定的。
在实施例中，该比特流可以是基于高效视频编码hevc的比特流、基于开放媒体联盟视频av的比特流或多功能视频编码vvc比特流。
在另一方面，本发明可以涉及一种用于将视频数据编码为比特流的装置，其中，该装置可以包括：计算机可读存储介质，该计算机可读存储介质具有用其体现的程序的至少一部分；以及计算机可读存储介质，该计算机可读存储介质具有用其体现的计算机可读程序代码；以及处理器，优选地微处理器，该处理器耦合至该计算机可读存储介质，其中，响应于执行该计算机可读程序代码，该处理器被配置成执行可执行操作，这些可执行操作包括：确定需要被编码的当前块的原始样本的集合，并确定一个或多个重构块的参考样本，该一个或多个重构块中的每一个被编码并随后被解码，该当前块和该重构块是该视频帧的一部分，该视频帧具有第一分辨率；基于该原始样本的集合和下采样方案、优选地基于该下采样方案的空间采样点阵，来确定原始样本的子集；基于这些参考样本确定第一预测样本，这些第一预测样本形成具有低于该第一分辨率的第二分辨率的第一低分辨率预测块，这些第一预测样本限定了针对该原始样本的子集的预测；
基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本，该一个或多个第二低分辨率预测块中的每一个具有该第二分辨率；基于该原始样本的集合以及这些第一预测样本和这些第二预测样本确定残差块的残差样本；以及
将这些残差样本变换成该比特流，该比特流包括用于向解码器装置发信号通知这些第一预测样本和这些第二预测样本是基于该下采样方案来确定的元数据。
在又一方面，本发明可以涉及一种用于将比特流解码为视频数据的装置，其中，该装置可以包括：计算机可读存储介质，该计算机可读存储介质具有用其体现的程序的至少一部分；以及计算机可读存储介质，该计算机可读存储介质具有用其体现的计算机可读程序代码；以及处理器，优选地微处理器，该处理器耦合至该计算机可读存储介质，其中，响应于执行该计算机可读程序代码，该处理器被配置成执行可执行操作，这些可执行操作包括：接收包括残差块的经编码残差样本的比特流，这些残差样本与当前块的原始样本的集合相关联，该当前块是具有第一分辨率的视频帧的一部分；并且该比特流包括与残差块的经编码残差样本相关联的元数据，该元数据用于向该解码器装置发信号通知该残差块是基于下采样方案来编码的；基于该下采样方案、优选地基于该下采样方案的空间采样点阵以及一个或多个重构块的参考样本来确定第一低分辨率预测块的第一预测样本，该一个或多个重构块中的每一个被编码并随后被解码，该第一低分辨率预测块具有低于该第一分辨率的第二分辨率；基于这些第一预测样本确定一个或多个第二低分辨率预测块的第二预测样本，该一个或多个第二低分辨率预测块中的每一个具有该第二分辨率；基于该第一低分辨率块的第一预测样本和该一个或多个第二低分辨率块的第二预测样本确定该当前块的预测样本；以及基于该当前块的预测样本以及这些残差样本确定该当前块的重构样本。
在一个方面，本发明涉及一种编码器装置，该编码器装置被配置成执行如参考本申请中描述的实施例所描述的将视频数据编码为比特流的方法。
在一个方面，本发明涉及一种解码器装置，该解码器装置被配置成执行如参考本申请中描述的实施例所描述的将比特流解码为视频数据的方法。
本发明可以进一步涉及一种计算机程序产品，该计算机程序产品包括软件代码部分，这些软件代码部分被配置成当在计算机的存储器中运行时执行根据上述方法步骤中任一项所述的方法步骤。
将参考附图进一步说明本发明，附图将示意性地示出根据本发明的实施例。将理解的是，本发明不以任何方式局限于这些具体实施例。
附图说明
图1是可以在本披露内容中描述的实施例中使用的空间二次采样方案的示例。
图2是可以在本披露内容中描述的实施例中使用的多相二次采样方案的示例。
图3a至图3g展示了根据本发明的实施例的编码方案。
图4描绘了根据本发明的实施例的编码过程的流程图。
图5a至图5d展示了根据本发明的另一实施例的编码方案。
图6描绘了根据本发明的实施例的编码过程的流程图。
图7a至图7f展示了根据本发明的实施例的预测方法。
图8描绘了根据本发明的实施例的解码方法的流程图。
图9描绘了根据本发明的实施例的解码方法的流程图。
图10描绘了根据本发明的实施例的编码器装置的框图。
图11描绘了根据本发明的实施例的解码器装置的框图。
图12描绘了可以在本披露内容中描述的实施例中使用的分辨率分量格式的示例。
图13描绘了框图，该框图展示了可以以本披露内容中描述的方式使用的示例性数据处理系统。
具体实施方式
本申请中的实施例的目的是在视频编码过程中使用超分辨率技术来压缩并编码视频帧的块。可以在环内编码过程期间使用超分辨率技术，使得编码器可以对原始视频帧的经下采样视频块(低分辨率块)进行编码。因此，在环内编码过程期间，编码器可以对分辨率比原始视频帧中的视频块的分辨率低的视频块进行编码。可以基于编码器的率失真优化(rdo)环路中的成本函数来评估编码器是否使用超分辨率技术来压缩视频帧中的视频块的决策。这样，对高分辨率视频帧、特别是高分辨率帧内编码(i)视频帧以及包括表示难以使用常规压缩来压缩的某些场景的视频样本的视频帧进行高效编码。这种视频包括例如360度视频。可以在比特流中用信号表示超分辨率技术的激活，以便解码器可以正确地解码比特流，并基于经解码的低分辨率视频块重构原始视频帧。
在本披露内容中，超分辨率过程通常可以指用于基于一组低分辨率(lr)观察结果(例如，图像)获得高分辨率(hr)图像或hr图像序列的图像处理方案。这些图像可以在时间上连贯，也可以不连贯。例如，在视频帧序列中，可以使用具有第一分辨率(例如，标准清晰度或高分辨率)的先前和后续的视频帧来重构视频序列中具有第二分辨率(例如，超分辨率或4k)的视频帧的图像。当在几乎没有关于lr观察结果的生成的先验知识的情况下生成lr观察结果时，主要使用超分辨率过程来提高空间和时间分辨率。例如，两个lr观察结果之间的空间位移可能是未知的，并且需要进行估计。但是，也可以在受控且准确限定的环境中使用超分辨率过程。例如，在编码期间，可以使用预定的下采样方案(例如，多相下采样)对视频帧进行下采样，并且可以使用超分辨率技术通过对低分辨率帧进行上采样并将经上采样的低分辨率帧组合为高分辨率视频帧来构建高分辨率图像。在这种情况下，由于lr观察结果的特性及其空间关系和时间关系是已知的并且不需要进行估计，因此超分辨率过程可以达到最佳效果。
图1和图2描绘了可以在本披露内容中描述的实施例中使用的空间二次采样方案的示例。图1描绘了视频帧102的可以通过基于(正则)采样点阵(例如，视频样本的高分辨率点阵或阵列)对连续图像的一部分进行采样而形成的一部分(例如，视频块)。在这里，采样点阵中的每个采样点可以形成高分辨率视频帧中的一个视频样本。视频样本可以表示rgb或ycbcr颜色方案中的特定颜色分量。例如，三个rgb视频样本可以形成视频帧中的一个彩色像素。通过使用不同的低分辨率采样点阵1041-4，可以基于高分辨率视频信号的高分辨率帧来形成不同类型的低分辨率视频帧。通常，低分辨率采样点阵的采样密度低于高分辨率视频帧的采样点阵的采样密度。在从例如可伸缩视频编码标准(诸如avc的可伸缩视频编码(svc)和可伸缩hevc(shvc))已知的下采样操作中，基于原始高分辨率视频信号的视频帧中的像素值的集合来计算经下采样视频信号的视频帧的新像素值。
然而，某些下采样方案不会更改像素值。这种方案在下文中可以被称为空间二次采样方案。这种空间二次采样方案仅从形成图像帧的一组像素值中选择像素值的子集。空间二次采样方案允许非常高效地重构原始视频信号或其低分辨率版本。另外，分辨率分量的经空间二次采样视频帧允许使用超分辨率技术来构建高分辨率视频帧。应该注意，图1所示的采样点阵应被认为是可以在本披露内容的实施例中使用的大量不同采样点阵的示例。
由这种低分辨率采样点阵产生的视频帧可以表示分辨率分量的视频帧。可以通过基于不同的采样点阵对高分辨率视频帧进行二次采样来形成不同的分辨率分量。可以将一组采样点阵选择为使得基于该组采样点阵生成的分辨率分量可以用于重构原始高分辨率视频信号，即，重构与原始高分辨率视频信号相同或几乎相同的视频信号。此外，可以将一个或多个空间采样点阵选择为使得基于该一个或多个采样点阵生成的分辨率分量可以用于构建高分辨率视频信号的低分辨率版本。
在一些实施例中，用于对高分辨率视频帧进行二次采样的采样点阵可以具有相同的采样密度。在这种采样点阵上生成的分辨率分量具有相同的分辨率。在其他实施例中，采样点阵(中的一些)可以具有不同的采样密度。在这种情况下，分辨率分量(中的一些)具有不同的分辨率。此外，如图1所示，在一些实施例中，采样点阵可以具有重叠，即，一个或多个采样点是共用的。在其他实施例中，采样点阵之间没有重叠。
因此，可以基于如图1所描绘的空间二次采样来生成多组分辨率分量。可以使用该组中的所有分辨率分量来重构原始高分辨率视频信号，并且可以使用该组中的分辨率分量中的一些来构建高分辨率视频信号的一个或多个低分辨率版本。
图2描绘了空间二次采样方案的示例。特别地，该图描绘了用于基于具有第二分辨率的视频帧的像素202生成具有第一分辨率的多个视频帧(在该示例中为四个)的多相二次采样方案，其中，该第二分辨率高于该第一分辨率。在多相二次采样中，可以将4×4像素矩阵二次采样为四个2×2低分辨率分量2031-4，其中，在4×4像素矩阵中，每个分辨率分量表示空间上移位的2×2像素矩阵2061-4。多相二次采样方案具有四个空间二次采样点阵a、b、c、d，以用于对样本块中的特定样本进行滤波。这四个分辨率分量可以形成可以由解码器用来重构原始(高分辨率)视频信号的一组分辨率分量(分辨率分量组)。
高分辨率视频可以具有yuv类型的颜色格式(例如，yuv4:2:0颜色格式)，每个帧具有1920×1088的像素分辨率和每秒24帧(fps)的帧速率。对此高分辨率视频帧执行因子为2(应用于y、u和v)的多相空间二次采样过程将产生yuv4:2:0颜色格式的四个低分辨率视频帧，其中，每个帧具有960×544的像素分辨率和24fps的帧速率。
如图2所描绘的多相二次采样方案提供以下优点：其允许在编码器侧和解码器侧都非常快速地进行操作，其中，像素值不变。然而，如果原始信号包含的频率大于二次采样频率的两倍，则可能会由于空间混叠效应而引入视觉伪像。在这种情况下，这四个低分辨率分量中的任何一个都不适合进行渲染。为了减轻这种效应，可以应用后滤波操作来增强分辨率分量的输出帧并尽可能多地消除这些视觉伪像。
例如，在实施例中，可以在对高分辨率帧的低通滤波之后执行多相二次采样。这样，可以消除由于混叠效应引起的视觉伪像。当进行低通滤波时，需要后处理步骤以在渲染之前恢复原始图像。否则，在最好的情况下，重构信号也只是输入信号的低通版本。在无损编码中，利用诸如维纳逆滤波器等技术，还原低通滤波器以恢复hr图像在某种程度上是可行的。在有损编码中，低通滤波可能会引入一些困难，尤其是在低比特率编码中，当重构信号已经被压缩严重破坏时。这种后处理恢复方案仅可以提供对已通过低通滤波器去除的高频率的估计，而不能真正恢复原始信号。也就是说，它们不会逐像素逆转降级。
尽管参考多相二次采样描述了空间分量的生成，但是也可以使用其他类型的空间二次采样方案。这种方案的示例包括梅花形二次采样和六角形二次采样或其衍生物。基于这种空间二次采样方案，可以形成分辨率分量并将其用于重构高分辨率视频。
根据高分辨率帧x(具有n个像素(矩阵n×1))、一组k个低分辨率帧y(k)(每个帧具有m个像素(矩阵m×1))，m<n。对于每个第k个低分辨率帧y(k)，对hr帧的滤波由矩阵h(维度n×n)描述，并且二次采样由矩阵a(维度m×n)限定。因此，生成的模型可以表示为：
y(k)＝a(k)hx
在此，可以假设将相同的预滤波应用于上述hr帧。在另一实施例中，每个第k个分解可以具有矩阵h。在又一实施例中，一个分辨率分量可以具有矩阵hlp，该矩阵是hr帧的低通滤波器(因此避免了如莫尔效应的视觉伪像)，而其他分辨率分量具有相同的矩阵hi，该矩阵是单位矩阵，这意味着不对hr帧进行滤波，而是执行纯多相二次采样。
基于上述生成的模型，可以应用许多重构方法来产生
在实施例中，可以使用如图1和图2中所描述的多相二次采样操作将原始高分辨率视频帧分解为多个低分辨率帧。在这种情况下，重新组合经二次采样低分辨率视频帧的过程比在更一般的情况下更简单。重新组合过程归结为根据低分辨率视频帧在原始高分辨率信号中的位置将每个低分辨率视频帧映射到重新组合的图片上。此重新组合过程包括：通过零填充对低分辨率视频帧中的每一个进行上采样，并通过使矩阵元素在空间上移位以匹配经上采样低分辨率视频帧在原始高分辨率视频帧的视频帧中的位置来组合经上采样低分辨率视频帧。
应该注意，以上参考图1和图2描述的二次采样方案可以应用于各种视频信号，包括(但不限于)整个视频帧或其一部分，例如在视频编码期间使用的视频样本的一个或多个块，即视频块。
在本申请中，描述了用于基于超分辨率方法对视频块进行编码的多种不同的编码模式。在此，视频块是由视频编码器或视频解码器中的功能元件作为一个单元进行处理的视频样本的块。在本申请中，术语“视频块”和“块”具有相同的含义，除非另有明确说明。
在本申请中描述的超分辨率编码模式可以应用于一个视频块、视频帧的所有视频块的子集或所有视频块。下表1总结了这些不同类型的信令：
表1：超分辨率编码模式
上面表1的第一超分辨率编码模式和第二超分辨率编码模式是指对表示视频帧的视频块集合中的一个视频块或子集进行编码和解码。第一模式和第二模式限定了这样的编码方案，该编码方案包括：将视频帧的块下采样为低分辨率视频块，以及将经下采样低分辨率视频块编码为比特流。因此，可以在块级使用超分辨率方法，并且在编码器的方案中将其用作紧挨着帧内预测单元(帧内预测模式)和帧间预测单元(帧间预测模式)的超分辨率预测单元(超分辨率模式)。
如果在编码期间，编码器决定根据帧内模式或根据超分辨率模式对视频块进行压缩和编码，则解码器需要知道何时应激活这些模式。超分辨率模式的激活可以在比特流中用信号表示为元数据，并且可以采取多种形式。例如，在实施例中，与视频块相关联的标志(例如视频块头)可以向解码器发信号通知是否针对一个视频块激活了超分辨率模式。在另一实施例中，在视频帧的视频块集合的视频块子集的情况下，可以使用切片头中的标志。在又一实施例中，可以将(激活)标志指派给编码帧内模式的二叉树的节点或与之相关联。
上面表1的第三编码模式是指对视频帧的所有视频块进行编码和解码。在这种情况下，在编码期间，将超分辨率方法应用于视频帧的所有视频块。
在传统的编码器中，视频某一帧的帧类型取决于在预定视频帧序列中的位置，该序列被称为图片组(gop)结构(例如，ipbbp…)。基于内容分析，编码器(尤其是专业级编码器)可以覆写gop中具有不同帧类型的预定序列。例如，当发生场景转换时，优选地从i帧开始，因为p帧或b帧的编码将更昂贵，这是因为先前的帧在场景变化时将显著不同。
常规的帧类型包括i型帧、p型帧和b型帧，其中，i帧是帧内编码的，并且其中，p型和b型是帧间编码的(分别为仅向后帧间编码、向后和向前帧间编码)。在每个视频帧内，每个视频块可以进一步定义为两种类型：帧内块和帧间块。帧内块是使用空间预测方案进行编码的，在该方案中，参考样本定位于包括当前块的帧内，而帧间块是使用预测方案进行编码的，在该方案中，参考样本定位于其他帧(例如较早或较晚的帧)中。这些帧被称为参考帧。i帧的块都是帧内编码的。p帧或b帧的块是帧间编码的或帧内编码的。如果在参考帧中未找到其他区域来高效地预测该块，则对p帧或b帧的块进行帧内编码。例如，在视频中突然出现一个对象的情况下，或者在一般球面视频数据中有360度或更大视频的经投影视频帧的情况下，可能就是这种情况。
在球面视频数据的基础上形成2d矩形图像帧或图片通常可以包括将球面视频数据投影到几何对象(具有直边的对象)的表面上，并且将投影表面映射到矩形形状上。对于编码球面视频内容，2d矩形视频帧是用作对编码器装置的输入的最方便的形式，因为它不需要修改现有的视频编码标准。诸如等距柱状投影(erp)、立方体或棱锥体投影模型等不同的投影模型是已知的。在erp的情况下，使用极角作为水平和竖直坐标，将球体投影到矩形上。在这种情况下，当epr投影直接产生矩形形状时，将映射合并到投影步骤中。等距柱状和其他投影格式都可以使用诸如h.264/avc、hevc、av1或vvc等编码方案直接编码。
如果率失真优化(rdo)表明基于超分辨率模式的压缩是有利的，则将超分辨率模式应用于整个视频帧不仅允许使用超分辨率方法对i帧进行二次采样，而且可以使用超分辨率方法对p和b帧进行二次采样。可以预期，基于视频帧的一个单个视频块或所有视频块的子集的超分辨率模式(表1的模式1和2)在激活对p帧和b帧的压缩时更高效，因为通常在这种帧中帧内块的存在是有限的。
图3a至图3g展示了根据本发明的实施例的编码方案。具体地，这些图展示了用于基于相同视频帧的较早经编码样本的信息来提供对原始(当前)视频帧的原始块的准确预测的预测方案。
图3a展示了对当前块302的原始样本的确定。因为在编码期间，可以按照光栅扫描顺序对视频帧的块进行编码，所以当前块的左边界和/或上边界将与较早经编码块的样本接界。当前块的原始样本oij可以从需要被编码的块的大小和位置中得出。在此，块中的每个样本可以具有索引i,j，该索引指示该样本在限定该块的样本2d阵列中的位置。可以使用第一预测方案来确定对当前块的原始样本的预测。在这种方案中，可以将存储在编码器的参考图片缓冲器中的较早经编码样本用作用于预测当前块的原始样本的参考样本。因此，如图3b所描绘的，可以基于一个或多个参考样本3001,2之间的预定函数关系来确定当前块的预测样本pij。
可以使用任何合适的(已知的或未来的)预测技术来预测这些预测样本。可以使用不同的函数关系(“模式”)来确定预测样本，例如，使用不同的帧内预测模式。这样，可以基于参考样本ri来确定预测样本，从而创建参考样本与预测样本之间的编码依赖性。这样确定的预测样本可以形成第一预测块304。
然而，在某些情况下，相邻像素之间视频信号的相关性非常弱，使得第一预测块不能表示对当前块的准确预测，从而导致很低的压缩效率。
为了提高当前块的预测样本的准确性，可以基于空间下采样方案对第一预测块进行下采样。这在图3c中进行了展示。例如，可以使用空间二次采样操作来确定预测样本p11、p13、p31、p33的第一子集。例如，可以使用如参考图2详细解释的多相下采样方案的第一空间下采样点阵来确定块中的预定位置上的四个样本。预测样本的第一子集可以形成预测样本的第一低分辨率块。第一低分辨率块的预测样本是对当前块中的原始样本的子集的预测，其中，该原始样本的子集可以形成原始样本的第一低分辨率块。第一低分辨率块的这样预测的样本可以被视为候选预测样本，可以使用这些候选预测样本在重构步骤317的基础上确定参考样本。
可以将重构步骤317应用于第一低分辨率块的预测样本，以便确定重构样本的第一低分辨率块。如将在下文中更详细地示出的，这些重构样本可以在第二预测方案318中用作用于确定对一个或多个第二低分辨率块的预测的参考样本，在这种情况下，该一个或多个第二低分辨率块为如图3d所展示的与多相下采样方案的第二空间二次采样点阵、第三空间二次采样点阵和第四空间二次采样点阵相关联的三个低分辨率块。
图3e更详细地展示了对图3d中所提及的重构样本的计算。如此图所示，可以通过将第一低分辨率块的预测样本馈送到作为基于混合块的编码器模型的一部分的重构环路来计算第一低分辨率块的重构样本rij。下文参考图10和图11更详细地描述编码器和相关联的解码器。图3e示意性地描绘了环内重构过程，在该过程中，可以计算第一低分辨率块的预测样本pij与原始样本oij之间的残差信号eij(步骤320)。可以将残差样本变换并量化为残差样本的经量化变换系数(步骤322)。此后，将经量化变换系数逆变换并且逆量化为重构残差样本(步骤324)。可以将重构残差样本添加到第一低分辨率块的预测样本，以形成重构样本的低分辨率块(步骤326)。此低分辨率块可以通过索引0进行索引(步骤328)，该索引指示样本被用作用于确定用于多相下采样方案的其他三个空间下采样点阵的预测样本的参考样本。这些预测样本可以组织为如图3d所展示的由索引1、2、3标识的三个低分辨率块。对残差样本的计算、变换和量化操作、逆变换和去量化操作以及重构残差样本是混合编码器的操作，并且因此可以由如下文参考图10和图11描述的相应功能来执行。
如图3d的步骤318所描绘的，可以使用各种预测方案基于索引0的低分辨率块的样本来预测索引为1、2、3、…的低分辨率块的样本。例如，在实施例中，可以使用根据帧间预测的已知技术，在这些技术中，残差信号(e)可以通过使预测块
在超分辨率模式下，向解码器发信号通知块是基于解码器已知的下采样方案来编码的。这样，可以使用带索引的低分辨率块的样本来构建分辨率等于(原始)当前块的分辨率的预测块(步骤520)。如参考图1和图2所描述的，此构建可以涉及对低分辨率块进行上采样并且将经上采样低分辨率块组合为一个块。这样形成的预测块可以存储在编码器的存储器中，作为进一步的编码的参考帧。此外，可以使用带索引的低分辨率块以及当前块的相关联原始样本来计算针对k∈{1，3}的残差信号(ek)(步骤622、624、626)，该残差信号可以使用混合编码器装置的已知功能来变换、量化和压缩。在另一实施例中，带索引的低分辨率块的预测样本可以基于具有不同索引的预测样本之间的插值来确定。
以下在下文中参考图7a至图7f更详细地描述可以用于确定带索引的低分辨率块的样本的示例性预测函数。可以通过对一个或多个重构索引的逐步插值(任何插值，如线性插值、双线性插值、三次插值等)来预测带索引的样本。可以执行对作为预测样本与原始样本之差的残差的计算、样本的量化、去量化和重构。在编码器选择了预测模式作为要使用的模式的情况下，则通过将比特流的一部分变换成残差(包括将残差添加到预测样本)来将经量化的残差压缩为编码比特流，该编码比特流可以由解码器进行解码。如参考图3a至图3g所描述的编码过程表示环内超分辨率编码方案，该方案可以用于提高在常规帧内预测编码的基础上难以压缩的视频帧的编码效率。
图4描绘了根据本发明的实施例的预测方法的流程图。该预测方法可以用于针对视频块的超分辨率编码过程中。该编码过程可以用于对视频帧的单个视频块或视频帧的所有视频块的子集进行编码。
该过程可以包括确定原始(当前)视频帧(即，需要被编码的视频帧)的当前块。此外，可以确定用于预测块中的样本的参考样本(步骤402)。在此，参考样本可以是较早已编码的视频帧的块的样本。可以使用帧内预测和参考样本来预测当前块的样本(步骤404)。在此，预测样本可以限定预测视频块。可以使用二次采样方案(优选地，多相二次采样方案)来产生预测视频块的多个低分辨率版本(步骤406)。该多个低分辨率版本中的每一个可以限定低分辨率块，并且该多个低分辨率块可以包括第一低分辨率块和一个或多个第二低分辨率块。
可以选择第一低分辨率块的预测样本(步骤408)，并且可以使用所选择的预测样本来构建用于预测该一个或多个第二低分辨率块的样本的参考样本。每个低分辨率块的预测样本可以与某个索引相关联，其中，该索引可以用于限定一个或多个第二低分辨率块的参考样本与预测样本之间的编码依赖性。图4的过程提供了高分辨率视频块的准确预测样本，其中，预测样本被组织为多个相关的低分辨率块的形式。
编码器可以在rdo优化环路中使用例如由图4描述的超分辨率编码方案来提高基于常规帧内预测编码难以压缩的视频帧的编码效率。
在图4的实施例中，对使用例如帧内预测基于参考样本而预测的视频块的预测样本进行下采样。在又一实施例中，代替对视频块的预测样本进行下采样，可以对属于原始视频块的参考样本进行下采样，使得可以用经下采样参考样本来预测该多个低分辨率版本。参考图5a至图5d描述了这种实施例。
图5a至图5d展示了根据本发明的另一实施例的用于预测块的样本的方法。此方案类似于参考图3a至图3g描述的方法，该方案包括第一步骤(图5a)，在该步骤中，以与参考图3a描述的方式类似的方式确定当前视频块502的原始样本oij。与图3a至图3g的方法相比，在这种情况下，使用下采样方案对参考样本ri进行下采样(图5b)，并且使用经下采样参考样本(在这种情况下，为r0、r3、r4、r8)来计算第一低分辨率块的样本(图5c)。如图5d所展示的，可以使用第一低分辨率块的样本来预测一个或多个第二低分辨率块的样本。为此，可以将重构步骤517应用于第一低分辨率块的预测样本，以便确定重构样本的第一低分辨率块。这些重构样本可以在第二预测方案518中用作用于确定对一个或多个第二低分辨率块的预测的参考样本，在这种情况下，该一个或多个第二低分辨率块为如图5d所展示的与多相下采样方案的第二空间二次采样点阵、第三空间二次采样点阵和第四空间二次采样点阵相关联的三个低分辨率块。
此后，可以基于如图3f(预测块的形成)和图3g(残差块的形成)中所展示的步骤继续该过程，其中可以将残差块的残差样本变换为比特流。
图6描绘了根据本发明的实施例的编码方法的流程图。该方法可以包括确定需要被编码的视频帧的视频块以及用于预测视频块中的样本的参考样本(步骤602)。此后，可以使用预定下采样方案对参考样本进行下采样(步骤604)。可以使用经下采样参考样本来产生预测视频块的多个低分辨率版本(步骤606)。通过使用例如参考图3d和图5d所描述的重构步骤，可以选择第一低分辨率块的预测样本(步骤608)，并且可以使用所选择的预测样本来构建用于预测该一个或多个第二低分辨率块的样本的参考样本。每个低分辨率块的预测样本可以与某个索引相关联，其中，该索引可以用于限定一个或多个第二低分辨率块的参考样本与预测样本之间的编码依赖性。
在上述编码方案中，将重构低分辨率块用作用于预测其他低分辨率块的参考。环内重构过程基于重构残差信号改进了预测样本的初始第一低块。改进的低分辨率块的样本可以用索引0来标识。这样生成的索引为0的低分辨率块可以用于预测其他低分辨率块。
图7a至图7f展示了根据本发明的又一实施例的用于预测样本的方法的一部分。为了基于第一低分辨率块来预测其他低分辨率块，可以使用如图7a至图7f所描绘的插值来获得样本。如图7a和图7b所展示的，可以将索引为1的低分辨率块的样本计算为索引为0的低分辨率块的样本的函数：
以类似的方式，如图7c和图7d所展示的，可以将索引为2的低分辨率块的样本计算为索引为0的低分辨率块的样本的函数。此后，如图7e和图7f所展示的，可以使用索引为2的低分辨率块的样本来确定索引为3的低分辨率块的样本。对于边缘情况，即j＝1的情况，该函数可以如下定义：
可以理解，可以使用许多方案基于索引为0的低分辨率块的样本来得出索引为1，…，n的低分辨率块的样本。下面提供用于确定低分辨率块的样本的更一般的表达式，其中，k∈{1，3}并且(m，n)∈{0，3}2：
在另一实施例中，该函数可以不是解析函数，而是诸如基于机器学习、基于神经网络等的算法的结果。此外，索引1至索引3之间的预测依赖性的顺序(编码依赖性等级)可以变化，并且不需要按递增顺序固定。
图8描述了将视频数据编码为比特流的方法，该方法可以包括以下步骤：确定具有第一分辨率的帧中的当前块以及一个或多个参考块，该一个或多个参考块包括用于预测当前块的原始样本的参考样本(步骤802)。然后，可以基于参考样本和下采样方案来计算具有第二分辨率的第一低分辨率块的样本(步骤804)。此外，可以基于第一低分辨率块的样本来计算具有第二分辨率的一个或多个第二低分辨率块的样本(步骤806)。在此，第一低分辨率块和一个或多个第二低分辨率块的样本可以限定当前块的预测样本。最后，可以基于预测样本和原始样本来确定残差样本，并将残差样本变换成比特流(步骤808)。
图9描述了将比特流解码为视频数据的方法，该方法可以包括以下步骤：将比特流的一部分变换成与具有第一分辨率的视频帧的当前块相关联的残差样本，并确定一个或多个参考块，该一个或多个参考块包括用于预测当前块的原始样本的参考样本(步骤910)。然后，可以基于参考样本和下采样方案来计算具有第二分辨率的第一低分辨率块的样本(步骤912)。可以基于第一低分辨率块的样本来计算具有第二分辨率的一个或多个第二低分辨率块的样本(步骤914)，其中，第一低分辨率块和一个或多个第二低分辨率块的样本可以限定当前块的预测样本。最后，可以基于当前块的残差样本和预测样本来确定第一低分辨率块和一个或多个第二低分辨率块的重构样本(步骤916)。
图10是展示了根据本发明的实施例的包括超分辨率模式单元(视频块级)的视频编码器的框图。
视频编码器1000可以对执行视频帧或其部分(例如，视频切片)内的视频块的帧内编码和帧间编码。帧内编码依赖于空间预测来减少或去除给定图片内视频中的空间冗余。帧间编码依赖于时间预测来减少或去除相邻图片或视频序列的图片内视频中的时间冗余。帧内模式(i模式)可以指几种基于空间的压缩模式中的任何一种。帧间模式(诸如单向预测(p模式)或双向预测(b模式))可以指几种基于时间的压缩模式中的任何一种。
视频编码器接收要被编码的视频数据1002。在图10的示例中，视频编码器1000可以包括分割单元1003、模式选择单元1004、求和器1006、变换单元1008、量化单元1009、熵编码单元1012和参考图片存储器1014。模式选择单元1004进而可以包括运动估计单元1016、帧间预测单元1020、帧内预测单元1022和超分辨率预测单元1024。对于视频块重构，视频编码器1000还包括逆量化和变换单元1026以及求和器1028。还可以包括诸如去块滤波器1018等滤波器以从重构视频帧中滤除伪像。除了去块滤波器之外，还可以使用附加的环路滤波器(环路内的或环路后的)。
模式选择单元1004可以例如基于误差结果选择几种编码模式(即帧内预测、帧间预测或超分辨率预测)中的一种，并且将得到的帧内编码块、帧间编码块或超分辨率编码块提供给求和器1006以生成残差视频数据的块，并且将得到的帧内编码块、帧间编码块或超分辨率编码块提供给求和器1028以重构经编码块以用作参考图片。在编码过程期间，视频编码器1000接收要被编码的图片或切片。图片或切片可以被分为多个视频块。模式选择单元中的帧间预测单元可以相对于一个或多个参考图片中的一个或多个块来对接收到的视频块执行帧间预测编码，以提供时间压缩。此外，模式选择单元中的帧内预测单元可以相对于与要被编码的块在同一图片或切片中的一个或多个相邻块来对接收到的视频块执行帧内预测编码，以提供空间压缩。此外，模式选择单元中的超分辨率预测单元1024可以基于将视频块下采样为多个低分辨率视频块并且基于如参考本申请中的实施例所描述的预测编码来对该多个低分辨率视频块进行编码来对接收到的视频块执行超分辨率编码。视频编码器可以执行多次编码过程，例如，以便为视频数据的每个块选择适当的编码模式。
分割单元1003可以基于对先前编码过程中的先前分割方案的评估，将视频数据的块分割为子块。例如，分割单元可以基于率失真分析(例如，率失真优化)初始地将图片或切片分割为lcu，并且将lcu中的每一个分割为子cu。分割单元可以进一步产生指示将lcu分割为子cu的四叉树数据结构。四叉树的叶节点cu可以包括一个或多个pu和一个或多个tu。
运动矢量估计单元1016执行计算视频块的运动矢量的过程。运动矢量例如可以指示当前图片内的视频块的预测块(预测单位或pu)相对于参考图片(或其他编码单位)内的预测块的位移，该参考图片内的预测块相对于当前块在当前图片(或其他编码单位)内被编码。运动估计单元通过将帧间编码切片中的视频块的pu的位置与近似于视频块的像素值的参考图片的预测块的位置进行比较来计算该pu的运动矢量。因此，通常，运动矢量的数据可以包括参考图片列表、对参考图片列表的索引(ref_idx)、水平分量和竖直分量。可以从第一参考图片列表(列表0)、第二参考图片列表(列表1)或组合参考图片列表(列表c)中选择参考图片，这些参考图片列表中的每一个都标识存储在参考图片存储器1014中的一个或多个参考图片。
mv运动估计单元1016可以生成标识参考图片的预测块的运动矢量并将该运动矢量发送到熵编码单元和帧间预测单元。即，运动估计单元可以生成并发送运动矢量数据，该运动矢量数据标识：包含预测块的参考图片列表、到标识该预测块的图片的参考图片列表的索引以及用于在标识的图片内定位预测块的水平分量和竖直分量。
在一些示例中，代替发送当前pu的实际运动矢量，运动矢量预测单元可以预测运动矢量以进一步减少传送运动矢量所需的数据量。在这种情况下，代替对运动矢量本身进行编码和传送，运动矢量预测单元可以生成相对于已知(或可知)运动矢量的运动矢量差(mvd)。
运动矢量预测单元可以建立运动矢量预测值候选项列表，该运动矢量预测值候选项列表包括在空间方向和/或时间方向上的几个相邻块作为mvp的候选项。当多个运动矢量预测值候选项可用(来自多个候选块)时，运动矢量预测单元可以根据预定选择标准来确定当前块的运动矢量预测值。例如，运动矢量预测单元可以基于对编码速率和失真的分析(例如，使用率失真成本分析或其他编码效率分析)，从候选集中选择最准确的预测值。在其他示例中，运动矢量预测单元可以生成运动矢量预测值候选项的平均值。用于选择运动矢量预测值的其他方法也是可能的。
在选择了运动矢量预测值之后，运动矢量预测单元可以确定运动矢量预测值索引(mvp_flag)，该索引可以用于通知视频解码器将mvp定位在包含mvp候选块的参考图片列表中的什么位置。运动矢量预测单元还可以确定当前块与所选mvp之间的mvd。可以使用mvp索引和mvd来重构运动矢量。
通常，分割单元和模式选择单元(包括帧内预测单元和帧间预测单元、运动矢量估计单元)可以高度集成，但是出于概念性目的而单独展示。
视频编码器的加法器1006可以用于通过从正被编码的原始视频块中减去从模式选择单元接收到的预测视频块(由运动矢量标识)来形成残差视频块。
变换处理单元1008可以用于将诸如离散余弦变换(dct)或概念上类似的变换等变换应用于残差视频块，以便形成具有残差变换系数值的块。变换处理单元可以用于执行在概念上类似于dct的其他变换。也可以使用小波变换、整数变换、子带变换或其他类型的变换。在任何情况下，变换处理单元将变换应用于残差块，从而产生具有残差变换系数的块。变换可以将残差信息从像素值域转换到变换域(诸如频域)。变换处理单元可以将得到的变换系数发送到量化单元1009，该量化单元对变换系数进行量化以进一步降低比特率。量化过程可以减小与这些系数中的一些或所有系数相关联的位深度。可以通过调整量化参数来修改量化程度。
控制器1010可以将诸如运动矢量、帧内模式指示符、分割信息和其他这种语法信息等语法元素(元数据)提供给熵编码单元。然后，熵编码单元对经量化变换系数和语法元素进行编码。例如，熵编码单元可以执行上下文自适应可变长度编码(cavlc)、上下文自适应二元算术编码(cabac)、基于语法的上下文自适应二元算术编码(sbac)、概率区间分割熵(pipe)编码或另一种熵编码技术。在基于上下文的熵编码的情况下，上下文可以基于相邻块。在通过熵编码单元进行熵编码之后，可以将经编码比特流传输到另一设备(例如，视频解码器)，或者将经编码比特流进行存储以用于稍后的传输或检索。
逆量化和逆变换单元1026可以分别应用逆量化和逆变换，以在像素域中重构残差块，例如，以供稍后用作参考块。帧间预测单元可以通过将残差块添加到参考图片存储器1014中的图片之一的预测块来计算参考块。帧间预测单元还可以将一个或多个插值滤波器应用于重构残差块，以计算用于运动估计的分段整数像素值。重构残差块被添加到由帧间预测单元产生的预测块，以产生重构视频块以存储在参考图片存储器中。运动矢量估计单元和帧间预测单元可以将重构视频块用作参考块，以对后续图片中的块进行帧间编码。
编码器可以执行已知的率失真优化(rdo)过程，以便为图片中的编码块找到最佳编码参数。在此，最佳编码参数(包括模式决策；帧内预测模式估计；运动估计；以及量化)是指提供用于编码块的比特数与通过使用这些比特数进行编码所引入的失真之间的最佳折衷的参数集。术语率失真优化有时也被称为rd优化或简称为“rdo”。适用于avc和hevc型编码标准的rdo方案也是已知的，参见例如，sze,vivienne,madhukarbudagavi和garyj.sullivan,“highefficiencyvideocoding[高效视频编码](hevc)”,integratedcircuitandsystems,algorithmsandarchitectures[集成电路和系统、算法以及架构]，施普林格出版社(2014)：1-375；章节：9.2.7rd优化。rdo可以采用许多方式实施。在一个众所周知的实施方式中，rdo问题可以表示为关于拉格朗日乘数λ最小化拉格朗日成本函数j：：
在hevc的背景下，率失真成本可能要求视频编码器使用可用的预测模式(包括如本申请描述的超分辨率模式)中的每一个来计算预测视频块。视频编码器然后确定预测块中的每一个与当前块之间的差(即，残差视频帧的残差块)，并将残差块中的每一个从空间域变换到频域。接下来，视频编码器可以量化变换后的残差块中的每一个，以生成相应的经编码视频块。视频编码器可以对经编码视频块进行解码，并将经解码视频块中的每一个与当前块进行比较，以确定失真度量d。此外，这种全率失真分析涉及计算预测模式中的每一个的率r，即用信号表示每个经编码视频块所用的比特数。然后，将这样确定的rd成本用于选择块，该块提供用于编码一个块的比特数与通过使用该比特数进行编码所引入的失真之间的最佳折衷。
图11是展示了根据本发明的实施例的包括超分辨率单元(视频块级)的示例视频解码器的框图。在图11的示例中，视频解码器1100包括熵解码单元1104、解析器1106、预测单元1118、逆量化和逆变换单元1108、求和器1109和参考图片存储器1116。预测单元可以包括运动矢量估计单元1120、帧间预测单元1122、帧内预测单元1124和超分辨率预测单元1126。
在解码过程期间，视频解码器可以从视频编码器接收表示经编码视频切片的视频块和相关联语法元素的经编码视频比特流1102。熵解码单元可以对比特流进行解码以生成经量化系数、运动矢量和其他语法元素。解析器单元可以将运动矢量和其他语法元素转发到预测单元。
可以在视频切片级和/或视频块级接收到语法元素。例如，视频解码器可以接收经压缩视频数据，该经压缩视频数据已被压缩以经由网络传输到所谓的网络抽象层(nal)单元中。每个nal单元可以包括头，该头标识存储到nal单元的数据的类型。有两种类型的数据共同存储到nal单元。存储到nal单元的第一种类型数据是视频编码层(vcl)数据，该数据包括经压缩视频数据。存储到nal单元的第二种类型数据被称为非vcl数据，该数据包括其他信息，诸如限定了大量nal单元共有的头数据的参数集以及补充增强信息(sei)。
当视频切片被编码为帧内编码(i)切片时，预测单元的帧内预测单元可以基于用信号表示的帧内预测模式以及来自当前图片的先前解码块的数据来生成当前视频切片的视频块的预测数据。
当在超分辨率模式的基础上对视频切片进行编码时，超分辨率预测单元可以基于用信号表示的超分辨率模式以及来自当前图片的先前解码块的数据来生成当前视频的视频块的预测数据。特别地，超分辨率预测单元可以在预测编码(例如，帧内预测编码和/或帧间预测编码)的基础上将视频块解码为多个低分辨率视频块，并使用超分辨率技术在该多个低分辨率视频块的基础上重构高分辨率视频块。
当图片被编码为帧间编码(例如，b或p)切片时，预测单元的帧间预测单元可以基于从熵解码单元接收的运动矢量和其他语法元素来产生当前视频切片的视频块的预测块。预测块可以根据参考图片列表之一内的参考图片之一产生。视频解码器可以基于存储在参考图片存储器中的参考图片，使用公知的构建技术来构建参考图片。
帧间预测单元1122可以通过解析运动矢量和其他语法元素来确定针对当前视频切片的视频块的预测信息，并使用该预测信息来产生正在解码的当前视频块的预测块。例如，帧间预测单元使用接收到的语法元素中的一些来确定用于对视频切片的视频块进行编码的预测模式(例如，帧内预测或帧间预测)、帧间预测切片类型(例如，b切片或p切片)、该切片的参考图片列表中的一个或多个参考图片列表的构建信息、该切片的每个帧间编码视频块的运动矢量、该切片的每个帧间编码视频块的帧间预测状态以及用于对当前视频切片中的视频块进行解码的其他信息。在一些示例中，帧间预测单元可以从运动矢量预测单元(未示出)接收某些运动信息。
运动矢量预测单元可以使用mvp或索引来标识用于预测当前块的运动矢量的运动信息。运动矢量预测单元可将所标识的mvp与接收到的mvd相组合以确定当前块的运动矢量。在确定当前块的运动信息之后，运动矢量预测单元可以生成当前块的预测块。
逆量化和逆变换单元1108可以对比特流中提供的并由熵解码单元解码的经量化变换系数进行逆量化，即，去量化。逆量化过程可以包括使用由视频编码器针对视频切片中的每个视频块计算的量化参数来确定量化程度，并且同样地确定应该应用的逆量化程度。该逆量化和逆变换单元可以进一步将逆变换(例如逆dct、逆整数变换或概念上类似的逆变换过程)应用于变换系数，以便在像素域中产生残差块。
在帧间预测单元基于运动矢量和其他语法元素生成当前视频块的预测块之后，视频解码器通过对由逆变换过程确定的残差块与由帧间预测单元生成的相应预测块进行求和而形成经解码视频块。加法器1109可以表示执行此求和操作的一个或多个部件。如果需要，还可以应用去块滤波器来对经解码块进行滤波，以去除成块(blocking)伪像。还可以使用其他环路滤波器(在编码环路中或在编码环路之后)来平滑像素过渡，或以其他方式提高视频质量。然后，将给定图片中的经解码视频块存储在参考图片存储器1116中，该参考图片存储器存储用于后续运动预测的参考图片。参考图片存储器还存储经解码视频，以供稍后在显示设备上呈现。
因此，超分辨率预测模式可以分别在图10和图11的视频编码器和视频解码器中使用下采样方案在块级(例如视频帧的单个视频块或所有视频块的子集(即，表1的超分辨率模式1和2))进行下采样和上采样。
第一标志可以确定是否使用了下采样方案。仅在使用了下采样方案的情况下才可能存在第二参数。此第二参数可以限定所使用的下采样方案的类型，例如多相下采样。应该注意，语法仅是示例，并且可以使用许多其他替代方案，例如仅一个标志、更长或更短的位深度等。另外和/或可替代地，还可以在新sei消息中插入信令。
在超分辨率模式应用于帧中所有视频块的子集(例如，切片或图块组)的情况下，可以使用表2中提供的同一语法，因为图块也是切片。在超分辨率模式应用于正好一个视频块的情况下，可以在视频块的有效载荷中插入用于发信号的元数据。表3是hevc中经修改的编码单元有效载荷的示例，该有效载荷中包含以下信令：
表2
图12描绘了可以在本披露内容中描述的实施例中使用的分辨率分量类型的示例。例如，4:2:0格式对应于多相二次采样方案，在该方案中，分辨率分量的一个样本最多可以贡献高分辨率视频块的4个像素(1到4取决于所应用的下采样操作，例如，多相为1)。类似地，4:4:4格式对应于分辨率分量和高分辨率视频块具有相同分辨率的情况。在这种情况下，没有空间二次采样。如果比特流包含采用4:4:4格式的多个分辨率分量，则这与snr可伸缩性相似，在snr可伸缩性中，重构输出帧受益于更好的psnr而不是更高的分辨率。对于每种分辨率分量格式，与没有空间二次采样(4:4:4)的情况一样，给定数量的分辨率分量预期传达相同的全视频信号。
表4给出了预期数量的分辨率分量，这些预期数量的分辨率分量可以形成可以用于重构原始(高分辨率)视频信号的一组分辨率分量。比特流表示的视频源是按解码顺序的图片序列，其中，源图片和经解码图片可以各自包括一个分辨率分量阵列，其中，每个分辨率分量阵列可以包括一个或多个颜色样本阵列：仅亮度(y)(单色)；亮度和两种色度(ycbcr或ycgco)；绿色、蓝色和红色(gbr，也称为rgb)；或表示其他未指定的单色或三刺激颜色采样的阵列(例如，yzx，也称为xyz)。
在另一实施例中，空间二次采样方案不是预定义的或不是完全预定义的。在这种情况下，需要向解码器发信号通知放大滤波器、lr视频帧中像素的位置以及用于计算hr视频帧中的像素的算法。以通用的方式，此信息可以例如基于每个分辨率分量的矢量在解码器信息中用信号表示。在实施例中，可以以子像素准确性定义此信息，从而指示分辨率分量相对于原点(例如，左上原点(0，0))的位移(以像素为单位)以及用于基于低分辨率分量的视频帧的重新组合来计算hr帧中的每个像素值的算法。在这种情况下，重新组合过程可以是如本披露内容中所提及的超分辨率图像重构技术。
图13描绘了可以使用本申请中描述的技术的视频编码和解码系统1300的示意图。如图13所示，系统1300可以包括第一视频处理设备1302(例如，视频捕获设备等)，该第一视频处理设备被配置成生成可以由第二视频处理设备1304(例如，视频播放设备)解码的经编码视频数据。第一视频处理设备和第二视频处理设备可以包括多种设备中的任何一种，包括台式计算机、笔记本计算机(即，膝上型计算机)、平板计算机、机顶盒、电话手机(诸如所谓的“智能”电话)、所谓的“智能”pad、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流式传输设备等。在一些情况下，视频处理设备可能配备用于无线通信。
第二视频处理设备可以通过传输信道1306或能够将经编码视频数据从第一视频处理设备移动到第二视频处理设备的任何类型的介质或设备来接收要被解码的经编码视频数据。在一个示例中，传输信道可以包括通信介质，该通信介质用于使第一视频处理设备能够将经编码视频数据直接实时地传输到第二视频处理设备。可以基于诸如无线通信协议等通信标准将经编码视频数据传输到第二视频处理设备。通信介质可以包括任何无线或有线通信介质，诸如射频(rf)频谱或一条或多条物理传输线路。通信介质可以形成诸如局域网、广域网或全球网络(诸如互联网)等基于分组的网络的一部分。通信介质可以包括路由器、交换机、基站、服务器或可以有助于促进第一视频处理设备与第二视频处理设备之间的通信的任何其他设备。
可替代地，可以经由第一视频处理设备的i/o接口1308将经编码数据发送到存储设备1310。可以通过输入第二视频处理设备的i/o接口1312来访问经编码数据。存储设备1310可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如硬盘驱动器、蓝光光盘、dvd、cd-rom、闪速存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其他合适的数字存储介质。在又一示例中，存储设备可以对应于可以保存由第一视频处理设备生成的经编码视频的文件服务器或另一中间存储设备。第二视频处理设备可以经由流式传输或下载来从存储设备访问所存储的视频数据。文件服务器可以是能够存储经编码视频数据并将该经编码视频数据传输到第二视频处理设备的任何类型的服务器。示例文件服务器包括web服务器(例如，用于网站)、ftp服务器、网络附加存储(nas)设备或本地磁盘驱动器。第二视频处理设备可以通过任何标准数据连接(包括互联网连接)访问经编码视频数据。这种连接可以包括适合于访问存储在文件服务器上的经编码视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，dsl、电缆调制解调器等)或这两者的组合。来自存储设备36的经编码视频数据的传输可以是流式传输、下载传输或这两者的组合。
本披露内容的技术不必限于无线应用或设置。这些技术可以应用于视频编码，以支持各种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、流式视频传输(例如，经由互联网)、对用于存储在数据存储介质上的数字视频的编码、对存储在数据存储介质上的数字视频的解码或其他应用。在一些示例中，系统1300可以被配置成支持单向或双向视频传输，以支持诸如视频流式传输、视频回放、视频广播和/或视频电话等应用。
在图13的示例中，第一视频处理设备可以进一步包括视频源1314和视频编码器1316。在一些情况下，i/o接口1308可以包括调制器/解调器(调制解调器)和/或发射器。视频源可以包括任何类型的源，诸如视频捕获设备(例如，摄像机)、包含先前捕获的视频的视频档案库、用于从视频内容提供者接收视频的视频馈送接口和/或用于生成计算机图形数据作为源视频的计算机图形系统或这样的源的组合。如果视频源1314是摄像机，则第一视频处理设备和第二视频处理设备可以形成所谓的相机电话或视频电话。然而，本披露内容中描述的技术通常可以应用于视频编码，并且可以应用于无线应用和/或有线应用。
捕获的、预捕获的或计算机生成的视频可以由视频编码器1316进行编码。经编码视频数据可以经由i/o接口1308直接传输到第二视频处理设备。经编码视频数据还可以(或可替代地)存储到存储设备1310上，以供第二视频处理设备或其他设备稍后访问，以进行解码和/或回放。
第二视频处理设备可以进一步包括视频解码器1318和显示设备1320。在一些情况下，i/o接口1312可以包括接收器和/或调制解调器。第二视频处理设备的i/o接口1312可以接收经编码视频数据。通过通信信道传送的或存储设备1310上提供的经编码视频数据可以包括由视频编码器1316生成的各种语法元素，以供视频解码器(诸如视频解码器1318)在解码视频数据时使用。这种语法元素可以被包括在在通信介质上传输、存储在存储介质上或存储在文件服务器上的经编码视频数据中。
显示设备1320可以与第二视频处理设备集成在一起或在第二视频处理设备外部。在一些示例中，第二视频处理设备可以包括集成显示设备，并且还被配置成与外部显示设备接口连接。在其他示例中，第二视频处理设备可以是显示设备。通常，显示设备将经解码视频数据显示给用户，并且可以包括各种显示设备中的任何一种，诸如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器或另一种类型的显示设备。
视频编码器1316和视频解码器1318可以根据诸如高效视频编码(hevc)、vp9或av1等视频压缩标准来操作。可替代地，视频编码器和视频解码器可以根据其他专有或行业标准(诸如itu-th.264标准(可替代地称为mpeg-4部分10高级视频编码(avc))，或这种标准的扩展)来操作。然而，本披露内容的技术不限于任何特定的编码标准。
尽管未在图13中示出，但在一些方面，视频编码器1316和视频解码器1318可以各自与音频编码器和音频解码器集成在一起，并且可以包括适当的mux-demux单元或其他硬件和软件，以处理对共同数据流或单独数据流中的音频和视频两者的编码。如果适用，在一些示例中，mux-demux单元可以符合ituh.223多路复用器协议或其他协议，诸如用户数据报协议(udp)。
视频编码器1316和视频解码器1318可以各自实施为各种合适的编码器电路系统中的任何一种，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、软件、硬件、固件或其任何组合。当这些技术部分地以软件实施时，设备可以将针对软件的指令存储在合适的非暂态计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本披露内容的技术。视频编码器1316和视频解码器1318中的每一者可以被包括在一个或多个编码器或解码器中，该编码器或解码器中的任一个可以作为组合编码器/解码器(codec)的一部分被集成在对应设备中。
本披露内容通常可以涉及视频编码器将某些信息“发信号通知”给另一设备(诸如视频解码器)。术语“发信号通知”通常可以是指对用于解码经压缩视频数据的语法元素和/或其他数据(元数据)的传送。这种传送可以实时或近实时地发生。可替代地，这种传送可以在一定时间跨度内发生，诸如可能在编码时将语法元素以经编码比特流的形式存储到计算机可读存储介质中时发生，然后，这些语法元素可以在被存储到此介质之后的任何时间由解码设备检索。
本披露内容的技术可以在包括无线手持机、集成电路(ic)或一组ic(例如，芯片组)的各种设备或装置中实施。在本披露内容中描述了各种部件、模块或单元以强调被配置成执行所披露技术的设备的功能方面，但不一定需要由不同硬件单元来实现。而是，如上所述，各种单元可以组合在编解码器硬件单元中，或者由互操作硬件单元(包括如上所述的一个或多个处理器)的集合结合合适的软件和/或固件来提供。
本文所使用的术语仅用于描述特定实施例，并且不旨在限制本发明。如本文所使用的，单数形式“一个(a)”、“一种(an)”和“该(the)”旨在同样包括复数形式，除非上下文以其他方式清晰表明之外。将进一步理解的是，当在本说明书中使用术语“包括(comprises)”和/或“包括(comprising)”时，其指定陈述的特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或它们的组的存在或添加。
以下权利要求中所有装置或步骤加上功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其他要求保护的元件结合执行功能的任何结构、材料或动作。已经出于说明和描述的目的而呈现本发明的描述，但是该描述并不旨在穷举本发明或将本发明限于所披露的形式。在不脱离本发明的范围和精神的情况下，很多修改和变化对本领域普通技术人员都将是明显的。实施例的选择和描述是为了最佳地解释本发明的原理和实际应用，并且当适合于所构想的特定用途时，使得本领域的其他普通技术人员能够针对具有各种修改的各个实施例理解本发明。
- 还没有人留言评论。精彩留言会获得点赞！