用于视频编码的装置、方法和计算机程序的制作方法

专利名称：用于视频编码的装置、方法和计算机程序的制作方法
技术领域：
本发明涉及用于编码和解码的装置、方法和计算机程序。
背景技术：
视频编解码器可以包括将输入视频变换为适于存储和/或传输的压缩表示的编码器和/或可以将经压缩的视频表示解压缩回可视形式的解码器，或者其中的任一个。通常，编码器抛弃原始视频序列中的某些信息，以便以更加紧凑的形式(例如，以较低的比特率)表示视频。典型的视频编解码器(例如，根据国际电信联盟的ITU-T H. 263和H. 264编码标准进行操作)在两个阶段中对视频信息进行编码。在第一阶段中，预测特定图片区域或者 “块”中的像素值。这些像素值例如可以通过运动补偿机制来预测，该运动补偿机制包括找到并且指示与正在进行编码的块密切相对应的先前编码的视频帧(或者后续编码的视频帧)中的一个中的区域。另外，像素值可以通过空间机制来预测，该空间机制包括找到并且指不空间区域关系。使用来自先前(或者后续)图像的图像信息的预测方法也可以称为帧间预测方法，并且使用相同图像内的图像信息的预测方法也可以称为帧内预测方法。第二阶段是编码经预测的像素块与原始像素块之间的误差中的一个。这通常通过使用指定的变换来对像素值之间的差值进行变换来实现。该变换通常是离散余弦变换(DCT)及其变体。在对该差值进行变换之后，对经变换的差值进行量化和熵编码。通过改变量化过程的保真度，编码器可以控制像素表示的精度(换言之，图片的质量)与所产生的经编码视频表示(换言之，文件大小或者传输比特速率)之间的均衡。编码过程的一个示例在图4a中示出。解码器通过应用与编码器所使用的相似的预测机制以便形成预测的像素块表示(使用编码器创建并且存储在压缩的图像表示中的运动或者空间信息)和预测误差解码(预测误差编码的逆运算，以便恢复空间域中的经量化的预测误差信号)来重构输出视频。在应用像素预测和误差解码过程之后，解码器将预测和预测误差信号(像素值)组合，以形成输出视频帧。解码器(或者编码器)还可以应用附加滤波过程，以便在将输出视频传送用于显示和/或存储为用于视频序列中即将到来的帧的预测参考之前，改进输出视频的质量。解码过程的一个示例在图6a中示出。在典型的视频编解码器中，通过与每个运动补偿图像块相关联的运动矢量来指示运动信息。这些运动矢量中的每一个表示待编码(在编码器中)或者解码(在解码器处)的图片中的图像块的位移，以及先前编码或者解码的图像(或者图片)中的一个中的预测资源块。为了有效地表示运动矢量，运动矢量通常相对于块特定的预测运动矢量而不同地编码。在典型的视频编解码器中，预测运动矢量以预测方式创建，例如，通过计算相邻块的经编码或者经解码的运动矢量的中值。
在典型的视频编解码器中，首先利用变换核(类似于DCT)变换运动补偿之后的预测残差，并且继而对其进行编码。这样做的原因是残差之间通常仍然存在某些相关性，并且在很多情况下，变换可以帮助减少该相关性，并且提供更加有效的编码。典型的视频编码器使用拉格朗日成本函数来找到最优编码模式，例如期望宏块模式和相关联的运动矢量。这种类型的成本函数使用加权因子或者□而将由于有损编码方法造成的准确的或者估计的图像失真以及表示图像区域中的像素值所需要的准确的或者估计的信息量结合到一起。这可以通过以下公式表示C = D+ □ R (I)其中，C是待最小化的拉格朗日(Lagrangian)成本，D是具有当前考虑的模式和运动矢量的图像失真(例如，原始图像块与经编码的图像块中的像素值之间的均方误差)，而 R是需要表示所需要的数据以重构解码器中的图像块的比特数目(包括表示候选运动矢量的数据量)。一些混合视频编解码器(诸如，H. 264/AVC)通过使用图片中已经处理的区域的像素值的空间方法来预测帧内编码区域。以有损方式、使用类似于DCT的变换来编码预测像素值与原始像素值之间的差值。变换系数的量化可能产生重构的视频信号中的赝像。如果变换区域或者变换区域的部分没有高频内容(也即，像素值几乎相同或者在区域上逐渐改变)，则这些赝像尤其是可见的。此类情况的典型示例是人脸和天空。这些都以颜色上的逐渐空间改变为特征，当运算比特速率适度的低时(造成变换系数的适度量化的使用)，在经解码的视频中无法满意地表示颜色上的逐渐空间改变。当像素值的改变量小于利用经量化的变换的AC系数可以表示的改变量时，该影响可能更加严重。在这种情况下，具有逐渐改变的像素值的图片看上去将是块状的，如同其经解码的像素值单独利用变换的DC系数表不的一样。除了成块赝像之外，变换系数的粗糙量化可能造成另一种类型的赝像，称为振铃。振铃赝像的特征在于引入了围绕视频信号中的对象边界的附加边缘。如果图像块包含具有在边缘的一侧或者两侧上的平坦区域的对象边界，则振铃赝像变得更加可视。在一些已知的结构中，通过对图像进行滤波来处理经解码的视频信号的块状的问题。然而，对图像进行滤波对编码器和解码器二者都引入了附加的复杂度，尤其是在需要滤波的像素的数目可能非常大的这种情况下。实际上，区域中的所有像素可能都需要进行处理。例如，在H. 264/AVC中，通常仅过滤8x8块边界处的两个像素，但是滤波操作采用优化的解码器的全部处理功率中的大量处理功率。

发明内容
本发明从省略图像的选定区域处的空间预测和变换操作并且提供通过插值生成至少一部分的选定区域的像素值的方式的考虑出发，可以实现更加有效的编码和视觉上更加令人愉快的图像再现。本发明的一些实施方式为编码器和解码器提供了有效操作模式，即使在使用粗糙的DCT系数量化时，也能够产生视觉上满意的经解码的图片。这通过以下步骤实现省略对图像的选定区域的空间预测和DCT变换操作，并且定义覆盖待处理的图片块(块的边缘上不存在不连续或者仅存在小的不连续)以及已经处理的图像区域的空间表面。在以通常的左右和上下顺序扫描图像块的情况下，例如，可以通过发送与正在处理的块的右下角的像素值相对应的单个参数，并且对其余采样进行插值来定义该表面。根据本发明的第一方面，提供了一种装置，包括选择器，其配置用于从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中，所述选择器还配置用于在所述像素块的像素之中选择至少一个控制点；以及选择与所述控制点不同的第一参考点；
其中，所述装置还包括确定器，其配置用于基于所述控制点的值和所述至少一个参考点的值来确定所选择的所述像素块的其他像素的值。根据本发明的第二方面，提供了一种方法，包括从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中所述第一编码方法包括在所述像素块的像素之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所选择的所述像素块的其他像素的值。根据本发明的第三方面，提供了一种其上存储有供装置使用的代码的计算机可读存储介质，当代码由处理器执行时，使得所述装置执行从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中，针对所述第一编码方法，所述代码在由处理器执行时，还使得所述装置在所述像素块的像素之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所选择的所述像素块的其他像素的值。根据本发明的第四方面，提供了至少一个处理器和至少一个存储器，所述至少一个存储器在其上存储有代码，当由所述至少一个处理器执行时，使得装置执行从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中，所述第一编码计算机程序产品包括在所述像素块的像素之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所选择的所述像素块的其他像素的值。根据本发明的第五方面，提供了一种装置，包括分析器，其配置用于检查待解码的图像的像素块的编码方法的指示；
解码方法选择器，其配置用于当所确定的编码方法是第一编码方法时，选择第一解码方法；以及重构器，其配置用于从所述待解码的像素块的像素之中选择至少一个控制点；以及选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所述待解码的像素块的其他像素的值。根据本发明的第六方面，提供了一种方法，包括
检查待解码的图像的像素块的编码方法的指示；当所确定的编码方法是第一编码方法时，选择第一解码方法；从所述像素块的像素之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所述所选择的像素块的其他像素的值。根据本发明的第七方面，提供了一种其上存储有供装置使用的代码的计算机可读存储介质，该代码当由处理器执行时，使得所述装置执行确定图像的经编码的像素块的编码方法，用以解码所述经编码的像素块；当所确定的编码方法是第一编码方法时，选择第一解码方法；从所述经编码的像素块的像素之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所述经编码的像素块的其他像素的值。根据本发明的第八方面，提供了至少一个处理器和至少一个存储器，所述至少一个存储器在其上存储由代码，当由所述至少一个处理器执行时，使得装置执行确定图像的经编码的像素块的编码方法，用以解码所述经编码的像素块；当所确定的编码方法是第一编码方法时，选择第一解码方法；从所述经编码的像素块的像素之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定所述经编码的像素块的其他像素的值。根据本发明的第九方面，提供了一种编码器，包括选择器，其配置用于其配置用于从至少包括用于对图像的像素块进行编码的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中，所述选择器还配置用于从所述像素块的像素之中选择至少一个控制点；以及选择与所述控制点不同的第一参考点；其中，该装置还包括确定器，其配置用于基于所述控制点的值和所述至少一个参考点的值来确定所选择的像素块的其他像素的值。根据本发明的第十方面，提供了一种解码器，包括
分析器，其配置用于检查待解码的图像的像素块的编码方法的指示；解码方法选择器，其配置用于当所确定的编码方法是第一编码方法时，选择第一解码方法；以及重构器，其配置用于在待解码的像素块之中选择至少一个控制点；选择与所述控制点不同的第一参考点；以及基于所述控制点的值和所述至少一个参考点的值来确定待解码的像素块的其他像素的值。根据本发明的第十一方面，提供了一种装置，包括 用于从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法的装置；用于在所述像素块的像素之中选择至少一个控制点的装置；用于选择与所述控制点不同的第一参考点的装置；以及用于基于所述控制点的值和所述至少一个参考点的值来确定所选择的像素块的其他像素的值的装置。根据本发明的第十二方面，提供了一种装置，包括用于检查待解码的图像的像素块的编码方法的指示的装置；用于当所确定的编码方法是第一编码方法时，选择第一解码方法的装置；用于从所述待解码的像素块的像素之中选择至少一个控制点的装置；用于选择与所述控制点不同的第一参考点的装置；以及用于基于所述控制点的值和所述至少一个参考点的值来确定所述待解码的像素块的其他像素的值的装置。


为了更好地理解本发明，现在将通过示例的方式参考附图，在附图中图I示意性地示出了采用本发明的一些实施方式的电子设备；图2示意性地示出了适于采用本发明的一些实施方式的用户设备；图3进一步示意性地示出了使用无线和有线网络连接而连接的采用本发明的实施方式的电子设备；图4a和图4b示意性地示出了并入编码器内的本发明的实施方式；图5a和图5b示出了针对图4a和图4b所示的编码器的本发明的实施方式的操作的流程图；图6示出了根据本发明的一些实施方式的解码器的示意图；图7示出了针对图6所示的解码器的本发明的实施方式的操作的流程图；图8a绘出了像素值仅具有缓和改变的一维信号的一部分的示例；图8b绘出了通过使用已知方法编码的图8a的信号；图Sc绘出了通过使用本发明的示例实施方式而编码的图8a的信号；图9a和图9b绘出了待重构为在上面和左面具有相邻的经处理的块的8x8像素块的示例；
图10示出了不均匀量化的示例；图11示出了包含通过根据本发明的示例实施方式的方法而编码的图像信息的比特流的示例；以及图12a和图12b绘出了要使用不止一个控制点重构的8x8像素块的另一示例。
具体实施例方式以下更加详细地描述了适当的装置和可能的机制，以用于增强编码效率和视频编解码器的信号保真度。就这一点而言，首先参考图1，图I示出了示例性装置或者电子设备50的示意性框图，其可以并入根据本发明的实施方式的编解码器。电子设备50例如可以是无线通信系统的移动终端或者用户设备。然而，可以理解，本发明的实施方式可以在可能需要对视频图像进行编码和解码或者对视频图像进行编码或者解码的任意电子设备或者装置内实现。
装置50可以包括用于并入并且保护设备的外壳30。装置50还可以包括液晶显示器形式的显示器32。在本发明的其他实施方式中，显示器可以是适于显示图像或者视频的任何适当的显示技术。装置50还可以包括小键盘34。在本发明的其他实施方式中，可以采用任何适当的数据或者用户接口机制。例如，用户接口可以实现为虚拟键盘或者数据录入系统作为触摸感应显示器的一部分。该装置还可以包括麦克风36或者可以是数字或者模拟信号输入的任何适当的音频输入。装置50还可以包括音频输出设备，在本发明的实施方式中，其可以是以下任何一个耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50还可以包括电池40(或者在本发明的实施方式中，设备可以通过诸如太阳能电池、燃料电池或者发条发电机的任何适当的移动能量设备来供电)。该装置还可以包括红外端口42，以用于与其他设备的短程视线通信。在其他实施方式中，装置50还可以包括任何适当的短程通信解决方案，例如，蓝牙无线连接或者USB/火线有线连接。装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接至存储器58，在本发明的实施方式中，存储器58可以存储图像和音频数据形式的两种数据和/或还可以存储用于在控制器56上实现的指令。控制器56还可以连接至编解码器电路54，该编解码器电路54用于实现音频和/或视频数据的编码和解码，或者辅助由控制器56执行编码和解码。装置50还可以包括读卡器48和智能卡46，例如WCC和WCC读取器，以用于提供用户信息，并且适于提供用于用户在网络上的认证和授权的认证信息。装置50可以包括无线电接口电路52，其可以连接至控制器，并且适于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。装置50还可以包括连接至无线电接口电路52的天线44，用于向其他装置发射在无线电接口电路52处生成的射频信号并且用于从其他装置接收射频信号。在本发明的一些实施方式中，装置50包括照相机，其能够记录或者检测个体帧，这些个体帧继而被传送至编解码器54或者控制器以用于处理。在本发明的其他实施方式中，该装置可以在发送和/或存储之前从另一设备接收视频图像数据用于处理。在本发明的其他实施方式中，装置50可以无线地或者通过有线连接来接收用于编码/解码的图像。参考图3，示出了本发明的实施方式可以在其中使用的系统的示例。系统10包括多个通信设备，其可以通过一个或多个网络通信。系统10可以包括有线或者无线网络的任意组合，包括但不限于无线蜂窝电话网络(诸如GSM、UMTS、CDMA网络等)、诸如由IEEE802.X标准中的任何一个定义的无线局域网(WLAN)、蓝牙个域网、以太局域网、令牌环局域网、广域网和因特网。系统10可以包括适于实现本发明的实施方式的有线和无线通信设备二者或者装置50。例如，图3中所示的系统示出了移动电话网络11和因特网28的表示。与因特网28的连接可以包括但不限于远程无线连接、短程无线连接以及各种有线连接，包括但不限于电话线、电缆线、电力线和类似的通信通路。系统10中所示的示例通信设备可以包括但不限于电子设备或者装置50、个人数字助理(PDA)和移动电话14的组合、PDA 16、集成消息收发设备(MD) 18、台式计算机20、笔记本计算机22。装置50可以是固定的，或者在由移动的个人携带时是移动的。装置50还可以定位于运输模式中，运输模式包括但不限于汽车、卡车、出租车、公共汽车、火车、船、·飞机、自行车、摩托车或者任何类似的适当运输模式。某些或者另外的装置可以发送和接收呼叫和消息，并且通过到基站24的无线连接25与服务提供商通信。基站24可以连接至网络服务器26，该网络服务器26允许移动电话网络11与因特网28之间的通信。系统可以包括附加通信设备和各种类型的通信设备。通信设备可以使用各种传输技术来进行通信，包括但不限于码分多址(CDMA)、全球移动通信系统(GSM)、通用移动电信系统(UMTS)、时分多址(TDMA)、频分多址(FDMA)、传输控制协议-互联网协议(TCP-IP)、短消息收发服务(SMS)、多媒体消息收发服务(MMS)、电子邮件、即时消息收发服务(MS)、蓝牙、IEEE 802. 11和任何类似的无线通信技术。在实现本发明的各种实施方式时涉及的通信设备可以使用各种介质进行通信，包括但不限于无线电、红外、激光、电缆连接和任何适当的连接。参考图4a，示出了适于实现本发明的实施方式的视频编码器的框图。另外，参考图5a和图5b，详细示出了具体关于所选择的表面区域的插值的例示本发明的实施方式的编码器的操作。图4a示出了编码器，该编码器包括像素预测器302、预测误差编码器303和预测误差解码器304。图4a还示出了像素预测器302的实施方式，其包括帧间预测器306、帧内预测器308、模式选择器310、滤波器316和参考帧存储器318。图4b更加详细地绘出了编码器的示例实施方式的模式选择器310。模式选择器310包括块处理器381、成本估计器382和表面编码器383。图4b还绘出了帧内预测器308的实施方式，其包括多个不同的帧内预测模式模式I、模式2、......、模式n。模式选择器310还可以包括量化器384。像素预测器302在帧间预测器306 (其确定图像与运动补偿参考帧318之间的差异)和帧内预测器308(其确定仅基于当前帧或者图片的已经处理部分对图像块的预测)二者处接收待编码的图像300。帧间预测器和帧内预测器二者的输出都被传送至模式选择器310。帧内预测器308可以具有不止一个帧内预测模式。从而，每个模式可以执行帧内预测，并且向模式选择器310提供预测的信号。模式选择器310还接收图像300的副本。块处理器381确定使用哪个编码模式来编码当前块。如果块处理器381决定使用帧间预测模式，则其将把帧间预测器306的输出传送至模式选择器310的输出。如果块处理器381决定使用帧内预测模式，则其将把可选帧内预测器模式中的一个的输出传送至模式选择器310的输出。在块处理器381决定使用表面编码模式的情况下，其将把表面编码器383的输出传送至模式选择器310的输出。对于编码模式的决策的一些不例实施方式将在本申请中随后讨论。模式选择器的输出被传送至第一求和设备321。该第一求和设备可以从图像300中减去像素预测器302输出，以产生第一预测误差信号320，该第一预测误差信号320被输入至预测误差编码器303。像素预测器302还从初始重构器339接收图像块312的预测表示和预测误差解码器304的输出338的组合。经初始重构的图像314可以被传送至帧内预测器308和滤波器316。接收初始表示的滤波器316可以对初始表示进行滤波，并且输出最终重构图像340，其可以保存在参考帧存储器318中。参考帧存储器318可以连接至帧间预测器306，以便作为参考图像使用，在帧间预测操作中，未来图像300将与参考图像进行比较。 像素预测器302的操作可以配置用于执行本领域已知的任何已知的像素预测算法。在下文中将更加详细地描述预测误差编码器302和预测误差解码器304的操作。在以下的示例中，编码器生成依据16x16像素宏块的图像，其将用于形成完整图像或者图片。由此，针对以下示例，像素预测器302输出一系列16x16像素大小的预测宏块，并且第一求和设备321输出一系列16x16像素残差数据宏块,其可以表不图像300中的第一宏块与预测的宏块(像素预测器302的输出)之间的差异。可以理解，可以使用其他大小的宏块。预测误差编码器303包括变换块342和量化器344。变换块342将第一预测误差信号320变换至变换域。变换例如是DCT变换。量化器344对变换域信号(例如，DCT系数)进行量化，以形成经量化的系数。熵编码器330接收预测误差编码器的输出，并且可以对信号执行适当的熵编码/可变长度编码，以提供误差检测和纠正能力。可以采用任何适当的熵编码算法。预测误差解码器304接收来自预测误差编码器303的输出，并且执行与预测误差编码器303相对的过程，以产生经解码的预测误差信号338，其在第二求和设备339处与图像块312的预测表示组合时，产生初始重构图像314。可以考虑预测误差解码器包括解量化器346，其对经量化的系数值(例如，DCT系数)进行解量化，以重构变换信号；以及逆变换块348，其对经重构的变换信号执行逆变换，其中，逆变换块348的输出包含经重构的块。预测误差解码器还可以包括宏块滤波器，其可以根据另外的解码信息和滤波器参数对经重构的宏块进行滤波。图8a至图Sc演示了量化可能对仅包含像素值的小变化的图像的区域产生的影响，以及使用本发明时如何减少该影响。X轴示出了像素坐标，y轴示出了像素值。在图8a中，绘出了一维信号的一部分的示例。从块到块并且在块1、2和3内，像素值略微变大。在图Sb中，已经使用空间预测(虚线)和对DCT变换信号的DC系数进行编码而编码了图8a的图像信号。在图8c中，利用根据本发明的示例实施方式的方法对图8a的图像信号进行编码，以指示图片块边界处的控制点的像素值并且对丢失的像素值进行插值。参考图5a更加详细地示出了模式选择器310的操作和实现。基于来自帧间预测器306的输出的预测信号、帧内预测器308的输出和/或图像信号，块处理器381确定使用哪个编码模式来对当前图像块进行编码。该选择在图5a中绘为块500。块处理器381可以计算率失真成本(RD)值或者针对被输入至模式选择器310的预测信号的另一成本值，并且选择所确定的成本最小的这样的编码模式502、503、504。还有可能的是，块处理器381可以确定当前图像块是否包含平面区域，即图像内容中不存在变换或者仅存在较小变化的区域，并且如果如此，则选择表面编码模式502。模式选择器310提供当前块的编码模式的指示(501)。在这种情况下，指示是表面编码模式的指示。可以对该指示进行编码并且与图像信息一起插入到比特流中或者存储到存储器中。如果选择了帧内预测模式，则通过帧内预测方法对块进行预测(503)。相应地，如果选择了帧间预测模式，则通过帧间预测方法对块进行预测(504)。表面编码模式的一些示例实施方式操作如下。块处理器381选择待编码的块内的一个或多个控制点，并且控制点处的像素值被设置为该像素的期望值(框505)。如果从左 至右并且从上至下对已经被划分为块的图像进行编码，则控制点的一个选项是待编码的块的右下角处的像素。这是因为这样的事实，即该点在水平方向和垂直方向都离已经编码的像素最远。这可以从图9a和图9b中看出，其绘出了要对8x8像素的块进行编码，并且该块具有在之上和左边的相邻编码块的情形。然而，还存在其他可能性来选择控制点，诸如倒数第二行的倒数第二个像素，或者块区域中的某些其他像素。还有可能的是选择不止一个控制点，例如选择两个或者三个控制点。如果从右至左并且从上至下编码已经被划分为块的图像，则控制点的一个选项是待编码的块的左下角处的像素。也存在右下角处的像素或者左下角处的像素之外用于控制点的其他备选。当选择了控制点时，可以通过插值来确定当前块的其他像素值。插值可以是线性的或者对数的或者由另一算法定义。在该示例实施方式中，插值基于控制点处的像素值和参考值。在一些实施方式中，参考值是已经编码的像素的值，其在当前块和相邻块的边界处的相同行/列上。在一些实施方式中，参考值是当前块的左边(水平方向上)或者当前块之上(垂直方向上)的图像块中最接近的已经解码的值。针对水平和垂直插值都确定参考值(框506)。在图9a中，控制点利用参考标号901绘出，用于水平方向的插值的第一参考值(即，在相同行上并且在当前块和相邻块的边界处的经编码的像素)利用参考标号902绘出，并且用于垂直方向的插值的第二参考值(即，在相同的列上并且在当前块和相邻块的边界处的经编码的像素)利用参考标号903绘出。块处理器381向表面编码器383提供控制点901的值和参考值902、903。表面编码器383基于控制点的值和第一参考值902对当前块的最后一行的其他值进行插值。表面编码器383还基于控制点的值和第二参考值903对当前块的最后一列的其他值进行插值。该步骤在图5中利用框507绘出。可以使用例如最后一行和最后一列的插入的值和相邻块的像素值(即边界像素值)通过双向插值来确定当前块的其他像素的值(框508)。例如，如图9b所绘出的，可以通过将以下像素作为双向插值中的参考像素来确定当前块的第五行和第五列上的像素当前块的最后一行的第五个像素、当前块之上的相邻块的最后一行的第五个像素、当前块的最后一列的第五个像素和当前块左边的相邻块的最后一列的第五个像素。相应地，可以通过使用相应的像素值作为参考值来对其他像素进行双向插值。在一些实施方式中，可以存在不止一个控制点。在这种情况下，用于确定当前块中的其他点的值的一个选项是执行若干次插值，以使得每次插值使用一个控制点作为一个参考值，如以上所表示的，并且当执行了所有的插值时，例如通过对插入的值取平均或者通过某些其他方法来组合插值结果。使用多个控制点的示例在图12a和图12b中示出。在该示例中，使用4个控制点，并且在不使用相邻宏块的像素值的情况下重构8x8块中的值。根据该示例，第一控制点是当前块的右下角处的像素，第二控制点时当前块的右上角处的像素，第三控制点是当前块的左下角处的像素，而第四控制点是当前块的左上角处的像素。例如，可以如下地使用控制点的值来获得当前块的其他像素值。首先，先处理当前块的底部的行和当前块的右边缘的列。可以通过使用第一控制点和第三控制点的值进行插 值来获得第三控制点与第一控制点之间的行值。相应地，可以通过使用第一控制点和第二控制点的值进行插值来获得第二控制点与第一控制点之间的列值。当获得了最后一行和最后一列的像素值时，可以通过双向插值来确定其余的值，在双向插值中，最后一行和最后一列的像素值分别与当前块的第一行和第一列的值一起使用。在另一实施方式中，使用图12中表示的原理，通过分别在第四控制点与第二控制点之间进行插值来确定第一行的值，通过在第四控制点与第三控制点之间进行插值来确定第一列的像素值。之后，第一行和最后一行的插入值以及第一列和最后一列的插入值可以在双向插值中使用，以获得当前块的其余值。在图12a和图12b的该示例中，也使用至少某些控制点的值作为所述参考值，但是它们是从相同块中而不是从相邻块中选择的。在一些实施方式中，某些参考值可以从相邻块中选择，而某些其他参考值可以从当前块中选择。当编码模式是表面编码模式(其可以称作平面模式)时，块处理器381形成与控制点有关的指示(509)。该指示可以包括控制点的像素值，或者其可以包括控制点的真实像素值与控制点的预测像素值之间的差值。在该上下文中，该差值称作增量值。可以使用相同图像中一个或多个(编码顺序中)较早的像素值来获得预测像素值。例如，控制点的值可以作为待编码的图像中的控制点的真实值与相同图像的先前(已经编码的)块中的控制点的相同位置处的像素的值之间的差值而提供。控制点的值的指示还可以包括控制点的坐标，但是在一些实施方式中，控制点的位置是预定的，其中，不需要将控制点的位置的指示包括在比特流中并且将其发送至解码器。在存在不止一个控制点(这些控制点在图像块中具有预定位置)的情形下，块处理器381可以将控制点的索引和控制点的增量值包括到比特流中，其中，解码器可以使用该索引来区分每个控制点的增量值。还可以通过可选的量化器384对控制点的增量值或真实值进行量化，以便进一步减少向解码器指示控制点的值所需要的信息量。量化器384可以针对所有可能的控制点值或者增量值使用相同的量化步骤，或者量化器384可以根据控制点值或者增量值来更改量化步骤值。例如，小的控制点值或者增量值可以不进行量化(即，量化步骤是I)，而针对较大的控制点值或者增量值，可以是用较大的量化步骤。在一些实施方式中，量化器384可以针对若干控制点值或者增量值产生相同的量化值，即，该量化可以称为不均匀量化。图10示出了该实施方式的示例。在该示例中，量化器384因此输出从0至4的增量值，然而，当增量值是5时，量化器384输出4，类似地，增量值是6和7使得量化器384输出6，增量值8和9使得量化器384输出9，……，增量值28-31使得量化器输出30，作为量化增量值。例如可以通过可变长度码字对这些增量值进行进一步编码，以便进一步减少表示增量值所需要的信息量。每个控制点的值可以与其他控制点的值相独立地进行编码，或者可以对它们进行联合编码，以进一步利用控制点之间的任何相关性。例如在为多个连续插值块选择相同的控制点值或者增量值的情形下，块处理器381可以一次将(增量)值插入，并且指示(增量)值所应用于的连续插值块的数目。与表面编码模式相关地，在一些实施方式中，块处理器381还可以确定针对当前块的残差信号。其可以通过逐个像素(pixel-wise)计算像素的真实值与像素的插入值之 间的差值来获得。继而可以通过变换块342将该残差信号变换至变换域，并且可以通过量化器344来量化变换系数。在一些实施方式中，插值可以与各种类型的滤波器组合，并且该过程中使用的参考像素也可以进行滤波。在示例实施方式中，如图11所绘出的，图像的比特流包括图像的开始的指示1110、图像的每个块的图像信息1120和图像的结束的指示1130。图像的每个块的图像信息1120可以包括预测模式的指示1122以及块的像素值的指示1124，当帧间预测和帧内预测已用于该图像块时，块的像素值的指示1124实际上可以包括残差信号的系数。如果使用了表面编码模式，则块的像素值的指示1124可以包括控制点的(经量化和编码的)增量值。显然，比特流还可以包括其他信息。另外，这仅是简化的比特流的图像，并且在实际实现中，比特流的内容可以不同于图11中所绘出的。还可以通过熵编码器330对比特流进行编码。在下文中，参考图6更加详细地绘出了解码器600的示例实施方式的操作。虽然已经参考16x16像素的宏块大小描述了以上的实施方式，但是可以理解，所描述的方法和装置可以配置用于处理不同像素大小的宏块。为了完整性，下文中描述了适当的解码器。在解码器侧，执行类似的操作以重构图像块。图6示出了适于采用本发明的实施方式的视频解码器的框图。该解码器示出为熵解码器600，其对所接收的信号执行熵解码。由此，熵解码器执行与以上描述的编码器的熵编码器330相逆的操作。熵解码器600向预测误差解码器602和像素预测器604输出熵解码的结果。像素预测器604接收熵解码器600的输出。像素预测器604内的预测器选择器614确定要执行帧内预测、帧间预测还是插值操作。预测器选择器另外可以向第一组合器613输出图像块616的预测表示。将图像块616的预测表示与重构的预测误差信号612相结合地使用，以生成初始重构图像618。初始重构图像618可以在预测器614中使用，或者可以被传送至滤波器620。滤波器620应用滤波，滤波输出最终重构信号622。最终重构信号622可以存储在参考帧存储器624中，该参考帧存储器624进一步连接至用于预测操作的预测器614。预测误差解码器602接收熵解码器600的输出。预测误差解码器602的解量化器692可以对熵解码器600的输出解量化，并且逆变换块693可以对由解量化器692输出的解量化信号执行逆变换操作。熵解码器600的输出还可以指示不应用预测误差信号，并且在这种情况下，预测误差解码器产生全零输出信号。这例如是本发明的示例实施方式的情况。然而，本发明的某些其他实施方式应用预测误差解码器单元以解码非零预测误差信号。解码器选择16x16像素残差宏块用于重构。待重构的16x16像素残差宏块的选择在步骤700中示出。当已经编码了当前块时，解码器接收与所使用的编码模式有关的信息。在必要的时候，对指示进行编码，并且将其提供至预测选择器614的重构处理器691。重构处理器691检查指示(图I中的框701)，并且如果该指示指示已经使用帧内预测对块进行编码，则选 择帧内预测模式(框703)，如果该指示指示已经使用帧间预测，则选择帧间预测模式(框704)，或者如果该指示指示已经使用插值对块进行编码，则选择表面编码模式(图7中的箭头702)。在该上下文中，仅更加详细地描述了解码器在表面编码模式中的操作。在表面编码模式中，重构处理器691解码与控制点有关的信息(框705)。如果使用预定的控制点，则重构处理器691不需要接收控制点的位置，但是其可以使用例如包含控制点的预定位置的信息的参数。重构处理器691解码控制点的值的信息。如上所述，可以对控制点的值进行编码，作为控制点的真实值与控制点的预测值之间的差值，其中，重构处理器691执行类似的操作，以获得控制点的值。重构处理器691还确定在插值中已经由编码器使用的参考点(框706)，并且向解码器的表面解码器694提供控制点的值和参考值，上述解码器对与控制点在相同行和相同列的尚未知的像素值进行插值(框707)。当已经对这些像素值进行插值时，可以通过实现与在编码相同图像块的其余像素值时使用的编码器相似的插值方法来获得当前块的其余像素值(框708)。在一些实施方式中，还可以对利用表面编码模式获得的像素值进行细化，以得到最终的像素值。例如，可以对通过插值获得的像素值进行滤波，或者可以将其添加至其他信号，诸如残差数据或者运动补偿预测数据。在帧内预测模式中，重构处理器691可以向预测器块695提供初始重构图像618，以用于当前块的像素值的重构。这里需要注意，表面编码模式可以独立地应用于多个不同的颜色分量，其中，不参考其他颜色分量或者不联合地对每个颜色分量的像素值进行插值，其中，插值可以应用于颜色分量的组合。接下来，将参考图5b的流程图更加详细地描述与表面编码模式的选择有关的操作的一些示例实施方式。编码器的块处理器381检查当前块是否具有平坦性质。这例如可以通过评估一个或多个条件来执行。一个条件可以是率失真成本，其中块处理器381可以评估不同变换大小(例如4x4、8x8和16x16)的率失真成本(框521)。例如可以通过使用公式(2)来计算率失真成本。RD = D+ □ rate (2)其中，D表示重构宏块与原始宏块相比较的失真，rate表示当前宏块的编码比特率，而□是拉格朗日系数。
当评估示出给出最佳成本的变换大小是预定大小或者大于预定大小(例如，16x16像素的块)时,满足第一条件(框522)。另一条件可以与残差信号的(量化)AC分量的量级有关。这可以通过以下步骤由帧内预测来评估使用多个帧内预测模式中的一个，获得针对每个模式的残差信号，对残差信号进行变换以获得变换系数，以及对变换系数进行量化。块处理器继而可以检查量化系数，并且，如果所有的量化AC系数都等于0，或者小于特定阈值(框523)，则其可以推断图像块很可能包含平坦表面，其中，满足第二条件(框524)。在DCT变换中，结果是DC系数和AC系数的集合。AC系数指示图像块的图像内容中的变化。如果AC系数是0，或者相对较小，则其指示图像块的图像内容非常一致，S卩，在其内容中没有显著的改变。
块处理器381还可以使用相邻区域(垂直和水平方向上邻近的块)的重构值以及相邻块与当前块之间的任何边的存在(框525)。该结果可以用作第三条件。另外，原始图像中的像素值和原始图像中任何边的存在以及高频分量的能量可以用作表面编码模式的选择的确定时的第四条件(框526)。在一些实施方式中，可以将表面编码模式的重构值与常规帧内预测模式的重构值进行比较，作为表面编码模式的选择的确定时的第五条件(框527)。如果表面编码模式的重构值与常规帧内预测模式的重构值相同，则可以选择帧内预测模式(框528)。块处理器381继而可以使用第一条件、第二条件、第三条件、第四条件和/或第五条件或者条件的任意组合来决定使用表面编码模式(框505)或者另一预测模式(框503、504)来编码当前块。绘出了与表面编码模式的选择有关的又一示例实施方式。对于可以是16x16宏块的当前图像块，块处理器38仅在以下条件都满足时才评估表面编码模式第一，根据率失真成本的最佳模式是具有较大变换大小(例如，16x16)的帧内编码。第二，残差信号的所有量化系数都是零，或者仅DC系数非零。第三，相应块内的原始视频信号的高频能量低于阈值。这可以通过使用DCT来变换原始信号并且计算最高N个系数的总能量来进行检查，其中，N大于0并且小于变换系数的数目。在该非限制性示例实施方式中，如果以上所有的条件都满足，则表面编码模式被块处理器381评估为其他编码模式的备选。如果满足以下标准，则优先于其他模式而选择表面编码模式第一，利用表面编码模式的重构误差不显著高于使用传统帧内编码模式的重构误差。第二，表面编码模式的重构与帧内编码模式的重构不相同。本发明可以按照各种方式实现。例如，使用表面编码模式的决策可以仅基于分析原始视频信号；决策可以基于不同模式的率失真成本的比较或者通过在比较之前在模式中的一个或某些上添加某些偏置；决策可以基于经滤波的视频信号或者采样，或者经过某些其他处理的采样。还可以在存在量化AC系数(即，在所有AC系数都不是零)的情况下评估表面编码模式。
表达“在模式中的一个或者某些上添加偏置”的意思是在将值与其他成本值进行比较之前，向评估的率失真成本值添加偏置值，或者从评估的率失真成本值中减去偏置值。在一些实施方式中，提供了一种在使用残差信号的截短变换时用于减小振铃赝像(ringing artefact)的方法。一种方式是在使用截短变换之前向残差信号应用低通滤波器，以减少残差信号中的高频分量，在利用截短变换进行编码时所述残差信号中的高频分量将导致振铃赝像。另一方法是通过将宏块内的块的预测和重构误差进行比较而决定不使用截短变换。以上描述的本发明的实施方式在独立的编码器和解码器装置方面描述了编解码器，以便辅助对所涉及的过程的理解。然而，可以理解，装置、结构和操作可以实现为单个编码器-解码器装置/结构/操作。另外，在本发明的一些实施方式中，编码器和解码器可以共享某些或者全部公共元件。虽然以上示例描述了在电子设备内的编解码器内操作的本发明的实施方式，但是可以理解，以下描述的本发明可以实现为任意视频编解码器的一部分。由此，例如，本发明·的实施方式可以在可以通过固定或者有线通信路径实现视频编码的视频编解码器中实现。由此，用户设备可以包括诸如在本发明的以上实施方式中描述的那些视频编解码器。应当理解，术语用户设备旨在覆盖任何适当类型的无线用户设备，诸如移动电话、便携式数据处理设备或者便携式web浏览器。另外，公共陆地移动网络(PLMN)的元件也可以包括如上所述的视频编解码器。通常，本发明的各种实施方式可以在硬件或者专用电路、软件、逻辑或者其任何组合中实现。例如，某些方面可以在硬件中实现，而其他方面可以在固件或者软件中实现，软件可以由控制器、微处理器或者其他计算设备执行，但是本发明不限于此。虽然已经将本发明的各个方面示出和描述为框图、流程图或者使用某些其他图形表示，但是可以理解，作为非限制性的示例，在此描述的这些框、装置、系统、技术或者方法可以在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或者其某些组合中实现。本发明的实施方式可以通过(诸如处理器实体中的)移动设备的数据处理器可执行的计算机软件来实现，或者通过硬件实现，或者通过软件和硬件的组合来实现。另外，在此方面，应当注意，附图中的逻辑流的任何框可以表示程序步骤或者互连的逻辑电路、框和功能，或者程序步骤与逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片、在处理器内实现的存储器块的物理介质中，诸如硬盘或者软盘的磁性介质中，以及诸如DVD及其数据变体CD的光介质中。存储器可以是适用于本地技术环境的任何类型，并且可以使用任何适当的数据存储技术来实现，诸如基于半导体的存储器设备、磁存储器设备和系统、光存储器设备和系统、固定存储器和可移动存储器。数据处理器可以是适用于本地技术环境的任何类型，并且作为非限制性的示例，可以包括通用计算机、专用计算机、微处理器、数字信号处理器(DSP)和基于多核处理器架构的处理器中的一个或多个。本发明的实施方式可以在各种组件中实践，诸如集成电路模块。集成电路的设计大体上是高度自动化的过程。复杂并且功能强大的软件工具可用于将逻辑级设计转换为半导体电路设计，该半导体电路设计准备用于在半导体衬底上刻蚀和形成。
诸如由加利福尼亚州山景城的Synopsys, Inc.以及加利福尼亚州圣荷西的Cadence Design提供的那些程序使用建立好的设计规则以及预先存储的设计模块库，对导体进行自动地布线，并且将组件定位在半导体芯片上。一旦完成了半导体电路的设计，可以将所产生的标准化电子格式(例如，Opus，⑶SII等)的设计传送至半导体制造设备或者用于制造的“代工厂”。以上描述已经通过示例性并且非限制性的示例的方式提供了本发明的示例性实施方式的全面和信息性的描述。然而，在结合附图和所附权利要求阅读以上描述时，鉴于以上描述，各种修改和调适可以对相关领域技术人员变得易见。然而，本发明的教导的所有此类和相似修改仍将落在本发明的范围内。在一些实施方式中，所述的像素块可以包括至少两行像素以及至少两列像素，其中，选择器还可以配置用于选择第二参考点。在一些实施方式中，可以从邻近所选择的像素块的经编码像素块中选择所述第一参考点。 在一些实施方式中，可以将指示所选择的编码方法的信息编码在比特流中。编码器的另一实施方式包括选择器，其配置用于从至少包括用于对图像的像素块进行编码的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中，所述选择器还配置用于从所述像素块的像素之中选择至少一个控制点；以及选择与所述控制点不同的第一参考点；其中，该装置还包括确定器，该确定器用于基于所述控制点的值和所述至少一个参考点的值来确定所选择的像素块的其他像素的值。解码器装置的另一实施方式包括分析器，其配置用于检查待解码的图像的像素块的编码方法的指示；解码方法选择器，其配置用于当所确定的编码方法是第一编码方法时，选择第一解码方法；以及重构器，其配置用于在待解码的像素块之中选择至少一个控制点；选择与所述控制点不同的第一参考点；并且基于所述控制点的值和所述至少一个参考点的值来确定待解码的像素块的其他像素的值。装置的另一实施方式包括选择器，其配置用于从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法；其中，所述选择器还配置用于使用以下中的至少一个来确定是否选择第一编码方法来编码选择的像素块评估针对所选择的块的至少两个不同的变换大小的率失真成本；确定哪个变换大小产生最佳率失真成本，并且将产生最佳率失真成本的变换大小与阈值进行比较，以获得第一条件；使用用于编码所选择的像素块的所述第二编码方法，基于所选择的图像块和编码结果来获得残差信号，对残差信号进行变换以形成变换系数，并且评估变换系数的量级以获得第二条件；检查邻近像素块是否包含边以获得第三条件；检查所选择的像素块是否包含边以获得第四条件；或者，将第一编码方法的重构值与第二编码方法的重构值进行比较，以获得第五条件。方法的另一实施方式包括从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法；包括使用以下中的至少一个来确定是否选择第一编码方法来编码所选择的像素块评估针对所选择的块的至少两个不同变换大小的率失真成本；确定哪个变换大小产生最佳率失真成本，并且将产生最佳率失真成本的变换大小与阈值进行比较，以获得第一条件；使用用于编码所选择的像素块的所述第二编码方法，基于所选择的图像块和编码结果来获得残差信号，对残差信号进行变换以形成变换系数，并且评估变换系数的量级以获得第二条件；检查邻近像素块是否包含边，以获得第三条 件；检查所选择的像素块是否包含边以获得第四条件；或者将第一编码方法的重构值与第二编码方法的重构值进行比较，以获得第五条件。
权利要求
1.一种装置，包括 选择器，其配置用于从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法； 其中所述选择器还配置用于 在所述像素块的像素之中选择至少一个控制点；以及 选择与所述控制点不同的第一参考点； 其中所述装置还包括确定器，其配置用于基于所述控制点的值和所述第一参考点的值，确定所述选择的像素块的其他像素的值。
2.根据权利要求I所述的装置，其中所述选择器还配置用于 从以下任一个中选择所述第一参考点 所述选择的像素块；以及 与所述选择的像素块邻近的经编码的像素块。
3.根据权利要求I所述的装置，其中所述选择器还配置用于 从所述经编码的像素块的相同行中选择所述第一参考点。
4.根据权利要求I所述的装置，其中所述像素块包括至少两行像素和至少两列像素，并且所述确定器还配置用于 使用所述第一参考点和所述控制点，确定与所述控制点和所述第一参考点在相同行上的像素的值； 使用第二参考点和所述控制点，确定与所述控制点和所述第一参考点在相同列上的像素的值；以及 通过使用与所述控制点和所述第一参考点在相同行上的像素的确定值、与所述控制点和所述第一参考点在相同列上的像素的值以及与所选择的块邻近的经编码的像素块的像素的值，确定所述选择的像素块的像素的其他值。
5.根据权利要求I所述的装置，其中所述确定器还配置用于在确定所述选择的像素块的其他像素的值时使用插值。
6.根据权利要求I所述的装置，其中所述图像包括两行和两列中的至少4个像素块，每个像素块包括至少两行像素和两列像素，所述装置还配置用于从左至右并且从上至下逐个块地对图像进行编码，其中所述选择器配置用于 选择所述块的右下角处的像素作为所述控制点； 选择所选择的块的左边的相邻的经编码的块的右下角处的像素，作为所述第一参考点；以及 选择所述选择的块之上的相邻的经编码的块的右下角处的像素，作为第二参考点。
7.一种方法，包括 从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法； 在所述像素块的像素之中选择至少一个控制点； 选择与所述控制点不同的第一参考点；以及 基于所述控制点的值和所述第一参考点的值，确定所述选择的像素块的其他像素的值。
8.根据权利要求7所述的方法，还包括 从以下任一个中选择所述第一参考点 所选择的像素块，以及 与所述选择的像素块邻近的经编码的像素块。
9.根据权利要求7所述的方法，还包括 从所述经编码的像素块的相同行中选择所述第一参考点。
10.根据权利要求7所述的方法，其中所述像素块包括至少两行像素和至少两列像素，所述方法还包括 使用所述第一参考点和所述控制点，确定与所述控制点和所述第一参考点在相同行上的像素的值； 使用第二参考点和所述控制点，确定与所述控制点和所述第一参考点在相同列上的像素的值；以及 通过使用与所述控制点和所述第一参考点在相同行上的像素的确定值、与所述控制点和所述第一参考点在相同列上的像素的值以及所选择的块与邻近所选择的块的经编码的块的边界处的像素的值，确定所选择的像素块的像素的其他值。
11.根据权利要求7所述的方法，还包括 使用插值来确定所述选择的像素块的其他像素的值。
12.根据权利要求7所述的方法，其中所述图像包括两行和两列中的至少4个像素块，每个像素块至少包括两行像素和两列像素，所述方法还包括 从左至右并且从上至下逐个块地编码所述图像； 选择所述块的右下角处的像素作为所述控制点； 选择所述选择的块的左边的相邻经编码块的右下角处的像素，作为所述第一参考点；以及 选择所述选择的块之上的相邻经编码块的右下角处的像素，作为第二参考点。
13.一种其上存储有供装置使用的代码的计算机可读存储介质，当代码由处理器执行时，使得所述装置执行方法，所述方法包括 从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法； 其中针对所述第一编码方法，所述代码在由处理器执行时，还使得所述装置 在所述像素块的像素之中选择至少一个控制点； 选择与所述控制点不同的第一参考点；以及 基于所述控制点的值和所述第一参考点的值，确定所述选择的像素块的其他像素的值。
14.一种装置，包括: 分析器，其配置用于检查待解码的图像的像素块的编码方法的指示； 解码方法选择器，其配置用于当所述确定的编码方法是第一编码方法时，选择第一解码方法；以及 重构器，其配置用于 从所述待解码的像素块的像素之中选择至少一个控制点；以及选择与所述控制点不同的第一参考点；以及 基于所述控制点的值和所述第一参考点的值，确定所述待解码的像素块的其他像素的值。
15.根据权利要求14所述的装置，还配置用于接收所述控制点的值和位置的指示。
16.根据权利要求14所述的装置，其中所述重构器还配置用于 从以下任一个中选择所述第一参考点 所述待解码的像素块；以及 与所述待解码的像素块邻近的已经解码的像素块。
17.根据权利要求14所述的装置，其中所述重构器还配置用于从所述待解码的像素块的相同行中选择所述第一参考点。
18.根据权利要求14所述的装置，其中所述待解码的像素块包括至少两行像素和至少两列像素，所述重构器还配置用于 使用所述第一参考点和所述控制点，确定与所述控制点和所述第一参考点在相同行上的像素的值； 使用第二参考点和所述控制点，确定与所述控制点和所述第一参考点在相同列上的像素的值；以及 通过使用与所述控制点和所述第一参考点在相同行上的像素的确定值、与所述控制点和所述第一参考点在相同列上的像素的值以及与待解码的像素块邻近的已经解码的块的像素的值，确定所述待解码的像素块的像素的其他值。
19.根据权利要求14所述的装置，其中所述重构器还配置用于在确定所述待解码的像素块的其他像素的值时使用插值。
20.—种方法,包括 检查待解码的图像的像素块的编码方法的指示； 当所述确定的编码方法是第一编码方法时，选择第一解码方法； 从所述像素块的像素之中选择至少一个控制点；以及 选择与所述控制点不同的第一参考点；以及 基于所述控制点的值和所述第一参考点的值，确定所述选择的像素块的其他像素的值。
21.根据权利要求20所述的方法，还包括 接收所述控制点的值和位置的指示。
22.根据权利要求20所述的方法，还包括 从以下任一个中选择所述第一参考点 所述所选择的像素块；以及 与所述选择的像素块邻近的经编码的像素块。
23.根据权利要求20所述的方法，还包括 从所述经编码的像素块的相同行中选择所述第一参考点。
24.根据权利要求20所述的方法，其中所述像素块包括至少两行像素和至少两列像素，所述方法还包括 使用所述第一参考点和所述控制点，确定与所述控制点和所述第一参考点在相同行上的像素的值； 使用第二参考点和所述控制点，确定与所述控制点和所述第一参考点在相同列上的像素的值；以及 通过使用与所述控制点和所述第一参考点在相同行上的像素的确定值、与所述控制点和所述第一参考点在相同列上的像素的值以及与所选择的块邻近的经解码的像素块的像素的值，确定所述所选择的像素块的像素的其他值。
25.根据权利要求20所述的方法，还包括 使用插值来确定所述选择的像素块的其他像素的值。
26.根据权利要求20所述的方法，其中所述图像包括两行和两列中的至少4个像素块，每个像素块至少包括两行像素和两列像素，所述方法还包括 从左至右并且从上至下逐个块地解码所述图像； 选择所述块的右下角处的像素作为所述控制点； 选择所述选择的块的左边的相邻经解码块的右下角处的像素，作为所述第一参考点；以及 选择所述选择的块之上的相邻经解码块的右下角处的像素，作为第二参考点。
27.一种其上存储有供装置使用的代码的计算机可读存储介质，该代码当由处理器执行时，使得所述装置执行方法，所述方法包括 确定图像的经编码的像素块的编码方法，以解码所述经编码的像素块； 当所述确定的编码方法是第一编码方法时，选择第一解码方法； 从所述经编码的像素块的像素之中选择至少一个控制点； 选择与所述控制点不同的第一参考点；以及 基于所述控制点的值和所述至少一个参考点的值，确定所述经编码的像素块的其他像素的值。
全文摘要
公开了一种用于视频编码的装置、方法和计算机程序。该装置包括选择器，其配置用于从至少包括用于编码图像的像素块的第一编码方法和第二编码方法的编码方法集合中选择编码方法。该选择器还配置用于在所述像素块的像素之中选择至少一个控制点；并且选择与所述控制点不同的第一参考点。该装置还包括确定器，其配置用于基于所述控制点的值和所述至少一个参考点的值来确定所选择的像素块的其他像素的值。
文档编号H04N7/26GK102783151SQ201180011248
公开日2012年11月14日 申请日期2011年1月7日 优先权日2010年1月8日
发明者J·莱内马, K·尤古尔 申请人:诺基亚公司