具有低延迟的用于残差编码的模式依赖变换的制作方法
【专利摘要】本发明提供了一种用于处理视频数据的设备和方法。所述方法包括：在编码器中确定用于应用于残差数据的初级变换CN；确定用于应用于残差数据的二次变换TrK；将初级变换CN应用于残差数据；将二次变换TrK选择性地应用于残差数据，其中，N表示应用了初级变换CN的输入向量的长度尺寸，K表示应用了二次变换TrK的初级变换输出的前几个系数的长度。在解码器中执行类似的逆操作，即，在解码器中对于输入残差数据选择性地应用逆二次变换inv（TrK），然后应用逆初级变换inv（CN）。
【专利说明】具有低延迟的用于残差编码的模式依赖变换
【技术领域】
[0001]本发明涉及一种用于视频编码的设备和方法。更具体地讲，本发明涉及一种确定用于残差编码的变换的设备和方法。
【背景技术】
[0002]在高效率视频编码(HEVC)的现行标准中，针对帧内预测残差提出对标准离散余弦变换(DCT)的替代变换。这些变换可大致上被分类为基于训练的变换或基于模式的变换。在基于训练的变换中的突出变换是模式依赖的方向变换(MDDT)。在MDDT中，针对每个帧内预测模式收集误差残差的大的训练集，然后使用残差训练集来计算最优变换矩阵。然而，MDDT需要大量的变换矩阵(例如，按N=4和N=8的块尺寸多达18个)。基于模式的变换假设视频信号被建模为一阶高斯-马尔可夫处理并然后解析地推导出最优变换。这些基于模式的变换仅需要按块尺寸的两个变换矩阵。
[0003]当边界信息在一个方向上可用时，针对一阶高斯-马尔可夫模型推导出具有与传统DCT不同的频率和相位分量的离散正弦变换(DST)类型7，如在H.264/先进视频编码(AVC)标准中的帧内预测。还示出，如果预测没有沿着特定方向被执行，则执行接近于最优卡洛南-洛伊((Karhunen-Loeve))变换(KLT)的DCT。这种思想被应用于H.264/AVC中的帧内预测中的垂直模式和水平模式，并且提出的DST类型-7和传统的DCT的组合被适应性地使用。DST和DCT的组合还被应用于H.264/AVC中的其他预测模式，并显示出与MDDT相比在性能上仅存在较少的损失。例如，DST被应用于针对HEVC的统一帧内方向预测中的各种模式。然而，在一些情况下，量化和反量化表的另外的集合是必须的。在其他情况下，存在针对DCT的两种不同的实现。在其他情况下，不使用量化表和反量化表的另外的集合，并且仅使用DCT的单个实现，但是不存在针对DST类型7变换矩阵的快速实现，并且全矩阵乘法被用来针对DST和反DST矩阵执行DST操作。
[0004]为了克服针对适当缩放的DST类型7的全矩阵乘法的缺点(即，为了保持量化矩阵和反量化矩阵的相同集合)，介绍针对4X4DST的快速DST实现，在所述快速DST实现中，正DST采用了 9次乘法而反DST仅使用了 8次乘法。
[0005]然而，8X8DST变换没有针对用于HEVC的统一帧内方向预测的所有帧内预测模式提供显著的增益。首要的原因是，针对倾斜模式(即，除了垂直和水平之外的模式)，DST可能不是在大于4X4的块尺寸的情况下的最优变换。因此，需要设计用于8X8以及大于8X8的块尺寸的帧内预测残差的最优变换。
[0006]另外，通过对用于尺寸8的帧内预测残差(具有P =1)的相关矩阵进行平滑并仅采用8X8相关矩阵的顶部的4X4部分设计了 4点二次变换。然后，得到的4点二次变换被应用于尺寸8X8、16X 16和32X32的块。然而，由于这种变换是仅针对于尺寸8X8的块被设计的并在其他块尺寸被再次使用，因此这种变换针对于16X 16和32X32的块尺寸并不是最优的。因此，需要推导出针对所有的块尺寸(例如，8\8、16\16、32父32)和可能更高的块尺寸运行良好的最优变换。[0007]此外，通常，一旦2-d初级变换(例如，DCT)完成，就应用2-d 二次变换。这暗示着，(在延迟方面)开销会大致等于针对二次变换的循环与针对初次变换的循环的比率。但是对于实际的实现，二次变换的延迟应该是低的。因此，针对在初次变换之后的二次变换，需要不同的低延迟结构。
【发明内容】
[0008]解决方案
[0009]本发明的各方面将至少解决上述问题和/或缺点，并至少提供以下所述优点。
[0010]根据本发明的一方面，提供一种用于对视频数据进行编码的方法。所述方法包括:确定应用于残差数据的初级变换Cn ;确定应用于残差数据的二次变换TrK ;将初级变换(；应用于残差数据；将二次变换TrK选择性地应用于残差数据，其中，N表示应用了初级变换Cn的输入向量的长度尺寸，K表示应用了二次变换TrK的初级变换输出的前几个系数的长度。
[0011]在实施例中，确定二次变换TrK的步骤包括:确定用于长度N的输入数据的第一相关矩阵Rn ;确定用于作为初级变换Cn的应用结果而获得的数据的第二相关矩阵Un ;确定矩阵\N为第二相关矩阵Un的顶部K行和K列；将VK，N的卡洛南-洛伊变换(KLT)确定为WK，N，并将WK，N的基于整数的近似确定为YK，N并将YK，N用作TrK。
[0012]在实施例中，所述方法还包括:将WK，N乘以2m;将乘法结果取整为最接近的整数，其中，m是大于O的整数并表示所需的精度。
[0013]在实施例中，获得子集矩阵的步骤包括:应用以下等式:
【权利要求】
1.一种用于对视频数据进行编码的方法，所述方法包括: 确定应用于残差数据的初级变换Cn ； 确定应用于残差数据的二次变换TrK ； 将初级变换Cn应用于残差数据； 将二次变换TrK选择性地应用于残差数据， 其中，N表示应用了初级变换Cn的输入向量的长度尺寸，K表示应用了二次变换TrK的初级变换输出的前几个系数的长度。
2.如权利要求1所述的方法，其中，确定二次变换TrK的步骤包括: 确定用于长度N的输入数据的第一相关矩阵Rn ； 确定用于作为初级变换Cn的应用结果而获得的数据的第二相关矩阵Un ； 确定矩阵\N为第二相关矩阵Un的顶部K行和K列； 将\N的卡洛南-洛伊变换(KLT)确定为WK，N ； 将WK，N的基于整数的近似确定为YK，N，并将YK，N用作TrK。
3.如权利要求2所述的方法，还包括: 将WK，N乘以2m ； 将乘法结果取整为最接近的整数， 其中，m是大于O的整数并表示所需的精度。
4.如权利要求2所述的方法，还包括对第一相关矩阵Rn进行平滑。
5.如权利要求1所述的方法，其中，将二次变换TrK选择性地应用于残差数据的步骤包括: 确定预测模式； 根据确定的预测模式，在水平方向和垂直方向中的至少一个上应用二次变换TrK。
6.如权利要求8所述的方法，其中，在水平方向和垂直方向上将初级变换Cn应用于残差数据，在水平方向和垂直方向上将二次变换TrK应用于残差，并且在水平方向上应用初级变换Cn、在垂直方向上应用初级变换Cn、在水平方向上应用二次变换TrK以及在垂直方向上应用二次变换TrK的顺序根据块尺寸和变换尺寸的值而变化。
7.如权利要求1所述的方法，还包括:在将初级变换Cn应用于残差数据之前翻转所述残差数据。
8.一种用于对视频数据进行解码的方法，所述方法包括: 确定应用于残差数据的逆二次变换inv (TrK)，其中，inv ()表示逆运算； 确定应用于残差数据或逆二次变换单元的输出的逆初级变换inv (Cn)； 将逆二次变换inv (TrK)选择性地应用于残差数据； 将逆初级变换inv (Cn)应用于残差数据， 其中，N表示应用了逆初级变换inv (Cn)的输入向量的长度尺寸，K表示应用了逆二次变换inv (TrK)的残差数据的前几个系数的长度。
9.如权利要求8所述的方法，其中，确定逆二次变换inv(TrK)的步骤包括: 确定在编码器中的用于长度N的输入数据的第一相关矩阵Rn ； 确定用于作为在编码期间对输入数据应用初级变换Cn的结果而获得的数据的第二相关矩阵Un ；确定矩阵\N为矩阵Un的顶部K行和K列； 将\N的卡洛南-洛伊变换(KLT)确定为WK，N ； 将WK，N的基于整数的近似确定为YK，N，并将YK，N用作TrK。
10.如权利要求9所述的方法，还包括: 将WK，N乘以2m ； 将乘法结果取整为最接近的整数， 其中，m是大于O的整数并表示所需的精度。
11.如权利要求9所述的方法，还包括对第一相关矩阵Rn进行平滑。
12.如权利要求8所述的方法，其中，将逆二次变换inv(TrK)选择性地应用于残差数据的步骤包括: 确定预测模式； 根据确定的预测模式，在水平方向和垂直方向中的至少一个上应用逆二次变换inv(TrK)。
13.如权利要求8所述的方法，还包括:在将逆初级变换inv(Cn)应用于残差数据之后翻转该残差数据。
14.一种电子装置 ，包括: 视频编码器，操作以根据权利要求1至权利要求7中的任意一个的方法来对视频数据进行编码。
15.一种电子装置，包括: 视频解码器，操作以根据权利要求8至权利要求13中的任意一个的方法来对视频数据进行解码。
【文档编号】H04N19/103GK103636205SQ201280033089
【公开日】2014年3月12日 申请日期:2012年7月2日 优先权日:2011年7月1日
【发明者】安克·塞克森纳, 菲利克斯·卡洛斯·费尔南德斯 申请人:三星电子株式会社