用于减少环内滤波缓冲区的方法及其装置制造方法
【专利摘要】本发明揭露一种用于重建视频的环内处理方法及其装置。该方法及其装置配置该环内处理，从而使得该处理不需要虚拟边界另一侧的像素或需要虚拟边界另一侧较少的像素。当待处理像素的该环内处理需要该虚拟边界另一侧的像素时，由替换像素替换该虚拟边界另一侧的像素。当该处理需要该虚拟边界另一侧的像素时，也可配置该环内处理以跳过该像素。当该环内处理需要该虚拟边界另一侧的像素时，也可配置该环内处理以改变ALF滤波形状或滤波尺寸。已滤波的输出可与该待处理像素进行线性或非线性结合以生成最终滤波输出。
【专利说明】用于减少环内滤波缓冲区的方法及其装置
[0001]交叉引用
[0002]本发明要求如下优先权:编号为61/484,449，申请日为2011年5月10日，名称为“Reduction of Decoder Line Buffers for SAO and ALF” 的美国临时专利申请,编号为61/498，265，申请日为 2011 年6月 17 日，名称为“Reduction of SAO and ALF Line Buffersfor LCU-based Decoding”的美国临时专利申请，编号为61/521，500，申请日为2011年8月9 日，名称为 “Reduction of Decoder Line Buffers for SAO and ALF” 的美国临时专利申请，编号为61/525,442，申请日为2011年8月19日，名称为“Boundary Processing forSample Adaptive Offset or Loop Filter” 的美国临时专利申请,编号为 61/532，958,申请日为 2011 年 9 月 9 日，名称为 “Virtual Boundary Processing for Sample AdaptiveOffset”的美国临时专利申请，编号为61/543，199，申请日为2011年10月4日，名称为“Reduction of Decoder Line Buffers for SAO and ALF” 的美国临时专利申请。上述美国临时专利申请在此一并作为参考。
【技术领域】
[0003]本发明有关于视频编码系统。特别地，本发明有关于用于减少与视频编码器或解码器相关联的SAO与ALF行缓冲区(line buffer)的方法及其装置。
【背景技术】
[0004]运动估计(motion estimation)是利用视频序列中时间冗余(temporalredundancy)的一种有效巾贞间编码技术。运动补偿巾贞间编码(motion compensatedinter-frame coding)已经广泛应用于各种国际视频编码标准。在各种编码标准中采用的运动估计是通常以区块(block)为基础的技术,其中为每个宏块(macroblock)或相似区块配置确定例如编码模式与运动矢量的运动信息。此外，也可自适应地采用帧内编码(intra-coding),其中在无需参考任何其他图像的情况下处理图像。通常可进一步由变换(transformation)、量化(quantization)以及熵编码(entropy coding)处理巾贞间预测与帧内预测残差(residue)以生成压缩视频比特流。在编码进程期间，尤其是在量化进程中引入了编码伪影(coding artifact)。为了减轻编码伪影，在较新的编码系统中可对重建视频采用附加处理以提高图像品质。经常在环内操作(in-loop operation)中配置上述附加处理从而使得编码器与解码器可得到相同的参考图像以取得改进的系统性能。
[0005]图1A描述包含环内处理的示例自适应帧间/帧内视频编码系统。对于帧间预测，可使用运动估计(Motion Estimation, ME) / 运动补偿(Motion Compensation, MC) 112 基于其他图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据并且将选择的预测数据提供至加法器116以产生预测误差(prediction error)，也称为残差。然后变换(T) 118处理预测误差，接着量化(Q) 120处理预测误差。接着，熵编码器122编码已变换及已量化的残差从而形成对应压缩视频数据的视频比特流。然后，将边信息(sideinformation)加入与变换系数相关联的比特流,其中上述边信息可为例如与图像区域相关联的运动、模式及其他信息。上述边信息也可进行熵编码处理以减小需求带宽。相应地如图1A所示也将边信息数据提供给熵编码器122。当使用帧间预测模式时，必须也在编码器端重建参考图像。因此，逆量化(Inverse Quantization, IQ) 124与逆变换(InverseTransformation, IT) 126处理已变换及已量化残差以恢复残差。接着重建(REC) 128将上述残差叠加至预测数据136以重建视频数据。可将上述重建视频数据储存至参考图像缓冲器134中并且将上述重建视频数据用于其他帧的预测。
[0006]如图1A所示，接收的视频数据在解码系统中经过一系列处理。由于上述一系列处理，来自REC128的重建视频数据经受了各种损害。相应地，在重建视频数据储存入参考图像缓冲器134之前对上述重建视频数据采用各种环路处理从而改善视频品质。在当前发展的高效率视频编码(High Efficiency Video Coding, HEVC)标准中，已经发展出了去块滤波(Deblocking Filter, DF) 130、样本自适应偏移(Sample Adaptive Offset, SAO) 131 与自适应环路滤波(Adaptive Loop Filter, ALF) 132以提高图像品质。环内滤波信息也必须并入比特流中从而使得解码器可正确恢复所需信息。因此，将来自SAO、ALF的环内滤波信息提供至熵编码器122用于并入视频比特流中。在图1A中，首先对重建视频应用DF130 ;接着将SA0131应用于DF已处理视频；然后将ALF132应用于SAO已处理视频。然而，可重新调整DF、SAO、ALF的处理顺序。
[0007]图1B显示图1A的编码器的对应解码器。视频解码器142解码视频比特流以恢复已变换与已量化的残差、SA0/ALF信息与其他系统信息。在解码器端，仅执行运动补偿(MC) 113来代替ME/MC。解码进程与在编码器端的重建环路相似。使用已恢复变换与量化残差、SA0/ALF信息与其他系统信息来重建视频数据。DF130、SA0131、ALF132可进一步处理已重建视频以产生最终改进的解码视频。
[0008]依据最大编码单元(Largest Coding Unit, IXU)应用HEVC中的编码进程。可使用四叉树划分(quadtree)自适应地将IXU分割为编码单元。在每个叶编码单元(Leaf⑶)中，为每个8X8区块执行DF并且在HEVC测试模型版本4.0 (HM-4.0)中，将DF应用于8 X 8区块边界。对于每个8X8区块，首先采用贯穿垂直区块边界的水平滤波，然后接着采用贯穿水平区块边界的垂直滤波。在亮度(Iuma)区块边界处理期间，将每边的四个像素用于滤波参数推导，以及在滤波后可改变每边上的多达三个像素。对于贯穿垂直区块边界的水平滤波，将未滤波的重建像素(即DF前像素)用于滤波参数推导并且将其作为源像素用于滤波。对于贯穿水平区块边界的垂直滤波，将未滤波的重建像素(即DF前像素)用于滤波参数推导并且将DF中间像素(即水平滤波后的像素)用于滤波。对于色度(chroma)区块边界的DF处理，将每边的两个像素用于滤波参数推导，以及在滤波后可改变每边上的至多一个像素。对于贯穿垂直区块边界的水平滤波，将未滤波的重建像素用于滤波参数推导并且将其作为源像素用于滤波。对于贯穿水平区块边界的垂直滤波，将DF处理中间像素(即在水平滤波后的像素)用于滤波参数推导并也将其作为源像素用于滤波。
[0009]如图1A所示，在HM-4.0中也采用样本自适应偏移(SAO) 131。可将SAO视为一种处理仅应用于一个像素的特定滤波情况。在SAO中，首先执行像素分类以将像素分为不同组(也称为类别或种类)。每个像素的像素分类以3X3窗口为基础。基于图像或区域中的所有像素分类，为每组像素取得并发送一个偏移量。在HM-4.0中，将SAO应用于亮度与色度组分，并且可单独处理每个亮度组分。SAO可将一幅图像划分为多个IXU对齐区域(LQJ-aligned region),并且每个区域可在两种带偏移(Band Offset, BO)类型、四种边偏移(Edge Offset, EO)类型以及非处理(OFF)中选择一种SAO类型。对于每个待处理(也称为待滤波)的像素，BO使用像素强度(pixel intensity)将像素归类于带中。像素强度范围可平均分为32个带。在像素分类后，为每个带中的所有像素取得一个偏移量，并且选择并编码中心16个带以及外围16个带的偏移量。对于E0，其使用待处理像素的两个相邻像素以将像素分至类别中。如图2A所示，四个EO类型对应0°、90°、135°与45°。与BO相似，可为每个类别的所有像素取得一个偏移量，其中类别O除外，并且强制类别O使用零偏移量。列表1列举了 EO像素分类，其中“C”表示待分类的像素。
[0010]列表1.[0011]
【权利要求】
1.一种用于重建视频的环内处理方法，该方法包含: 接收重建视频数据； 决定与该重建视频数据相关联的待处理像素； 决定与视频数据边界相关的虚拟边界；以及 对该虚拟边界一侧的该待处理像素采用环内处理，其中配置该环内处理以不需要来自该虚拟边界另一侧的源像素。
2.如权利要求1所述的方法，其特征在于，该环内处理对应于SAO(样本自适应偏移)处理或ALF (自适应环路滤波)处理。
3.如权利要求1所述的方法，其特征在于，该重建视频数据对应于亮度组分或色度组分。
4.如权利要求1所述的方法，其特征在于，如果在该虚拟边界该一侧的该待处理像素的该环内处理需要来自该虚拟边界该另一侧的第一源像素，则具有预定值的第一替换像素、具有自适应值的第二替换像素、由该虚拟边界该一侧的一个或多个第二源像素取得的第三替换像素、由该虚拟边界该另一侧的一个或多个第三源像素取得的第四替换像素或上述替换像素的组合来替换来自该虚拟边界该另一侧的该第一源像素。
5.如权利要求4所述的方法，其特征在于，基于数据填充取得该第三替换像素或该第四替换像素，其中该数据填充对应于替换填充、奇对称镜面填充或偶对称镜面填充。
6.如权利要求4所述的方法，其特征在于，当该待处理像素位于该虚拟边界下方时，由将整个处理结果改变为与先前环内处理处理过的该重建视频数据相关联的中间结果或未处理结果来取得该第四替换像素。`
7.如权利要求6所述的方法，其特征在于，该环内处理对应于SAO(样本自适应偏移)处理；其中该先前环内处理对应于去块滤波(DF);以及其中该中间结果对应于水平DF处理像素。
8.如权利要求6所述的方法，其特征在于，该环内处理对应于ALF(自适应环路滤波)处理；其中该先前环内处理对应于去块滤波(DF)与跟随的SAO (样本自适应偏移)处理；以及其中该中间结果对应于水平DF处理像素或DF输出像素。
9.如权利要求1所述的方法，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界另一侧的一个或多个源像素时，配置该环内处理跳过该待处理像素。
10.如权利要求1所述的方法，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界另一侧的一个或多个源像素时，配置该环内处理改变滤波形状或滤波尺寸，其中该环内处理对应于ALF (自适应环路滤波)处理。
11.如权利要求1所述的方法，其特征在于，已滤波输出与该待处理像素进行线性或非线性结合以生成最终滤波输出，其中对该待处理像素采用环内处理以生成该已滤波输出。
12.如权利要求1所述的方法，其特征在于，该虚拟边界位于水平LCU(最大编码单元)边界上方N个像素处，其中N为I至4的整数。
13.如权利要求1所述的方法，其特征在于，该重建视频数据包含已处理重建视频数据、未处理重建视频数据或两者结合。
14.一种用于重建视频的环内处理装置，该装置包含: 接收重建视频数据的装置；决定与视频数据边界相关的虚拟边界的装置；以及 对该虚拟边界一侧的待处理像素采用环内处理的装置，其中配置该环内处理以不需要来自该虚拟边界另一侧的源像素或需要来自该虚拟边界该另一侧的减少的源像素并且其中该待处理像素与该重建视频数据相关联。
15.如权利要求14所述的装置，其特征在于，该环内处理对应于SAO(样本自适应偏移)处理或ALF (自适应环路滤波)处理。
16.如权利要求14所述的装置，其特征在于，该重建视频数据对应于亮度组分或色度组分。
17.如权利要求14所述的装置，其特征在于，如果在该虚拟边界该一侧的该待处理像素的该环内处理需要来自该虚拟边界该另一侧的第一源像素，则具有预定值的第一替换像素、具有自适应值的第二替换像素、由该虚拟边界该一侧的一个或多个第二源像素取得的第三替换像素、由该虚拟边界该另一侧的一个或多个第三源像素取得的第四替换像素或上述替换像素的线性组合或非线性组合来替换来自该虚拟边界该另一侧的该第一源像素。
18.如权利要求17所述的装置，其特征在于，基于数据填充取得该第三替换像素或该第四替换像素，其中该数据填充对应于替换填充、奇对称镜面填充或偶对称镜面填充。
19.如权利要求17所述的装置，其特征在于，当该待处理像素位于该虚拟边界下方时，由将整个处理结果改变为与先前环内处理处理过的该重建视频数据相关联的中间结果或未处理结果来取得该第四替换像素。
20.如权利要求19所述的装置，其特征在于，该环内处理对应于SA0(样本自适应偏移)处理；其中该先前环内处理对应于去块滤波(DF);以及其中该中间结果对应于水平DF处理像素。`
21.如权利要求19所述的装置，其特征在于，该环内处理对应于ALF(自适应环路滤波)处理；其中该先前环内处理对应于去块滤波(DF)与跟随的SAO (样本自适应偏移)处理；以及其中该中间结果对应于水平DF处理像素或DF输出像素。
22.如权利要求14所述的装置，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界另一侧的一个或多个源像素时，配置该环内处理跳过该待处理像素。
23.如权利要求14所述的装置，其特征在于，当用于该待处理像素的该环内处理需要来自该虚拟边界另一侧的一个或多个源像素时，配置该环内处理改变滤波形状或滤波尺寸，其中该环内处理对应于ALF (自适应环路滤波)处理。
24.如权利要求14所述的装置，其特征在于，已滤波输出与该待处理像素进行结合以生成最终滤波输出，其中对该待处理像素采用环内处理以生成该已滤波输出。
【文档编号】H04N19/50GK103503456SQ201280021140
【公开日】2014年1月8日 申请日期:2012年4月19日 优先权日:2011年5月10日
【发明者】黄毓文, 蔡家扬, 陈庆晔, 傅智铭, 雷少民 申请人:联发科技股份有限公司