Hevc中的样本自适应补偿的制作方法【专利摘要】对HEVC中的样本自适应补偿进行改进。首先，针对最大编码单元中的各个编码单元的边界像素进行额外的边界补偿。其次，在边缘补偿(EO)类型2和3中加入新的模式：当前像素与左侧相邻像素的像素值相差1，与右侧相邻像素相差3以上，当前像素与左侧相邻像素的像素值相差2，与右侧相邻像素相差6以上。最后，消除了类型2和3中当前像素与相邻像素的差小于等于1的情况。【专利说明】HEVC中的样本自适应补偿[0001]联合研究[0002]本申请由北方工业大学与北京交通大学信息所联合研究，并得到以下基金资助：国家自然科学基金（No.60903066,No.60972085)，北京市自然科学基金（No.4102049)，教育部新教师基金（No.20090009120006)，北京市属高等学校人才强教深化计划(PHR201008187)。【
技术领域：
】[0003]本发明涉及图像处理领域，更具体而言，涉及在HEVC中的优化的样本自适应补偿。【
背景技术：
】[0004]2010年4月，两大国际视频编码标准组织VCEG和MPEG成立视频压缩联合小组JCT-VC(JointcollaborativeTeamonVideoCoding)，一同开发高效视频编码HEVC(Highefficiencyvideocoding)标准，其也称为Η.265。HEVC标准主要目标是与上一代标准H.264/AVC实现大幅度的编码效率的提1?，尤其是针对1?分辨率视频序列。其目标是在相同视频质量（PSNR)下码率降为H.264标准的50%。[0005]就目前阶段，HEVC依然沿用H.264就开始采用的混合编码框架。帧间和帧内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以消除空间相关性。熵编码：消除统计上的冗余度。HEVC将在混合编码框架内，着力研究新的编码工具或技术，提1?视频压缩效率。[0006]目前，JCT-VC组织的讨论中已经提出的许多编码的新特性，有可能会加入HEVC标准中，各次讨论的具体文献可以从http：//wftp3.itu.int获得。[0007]HEVC(HighEfficiencyVideoCoding)标准在2013年一月份正式作为国际标准发布。在ITU-T中被称作Η.265,而在IS0/IEC中被称作MPEG-Η的第二部分。同时，为了使HEVC标准能够支持更多的应用场景，开展了后续的工作，其中包括对高分辨率以及色彩格式的支持，可伸缩编码，3-D/立体/多视角编码。[0008]但是，HEVC仍然不断发展中。样本自适应补偿是HEVC中崭新出现的一个新技术，该技术给HEVC加入了新鲜血液，然而该技术由于是新出现的，还存在着一些不足以及需要补充的地方，具体如下所述。[0009]在本发明中，我们提出的样本自适应补偿的两种优化算法，从其实验结果中我们可以看出这两种算法都有着不错的效果。[0010]在本发明的说明书中，引用了如下文献，在此将其并入本发明作为本发明的公开内容的一部分。[0011][1].G.J.Sullivan,J.R.Ohm,ff.J.HanandT.ffiegand.OverviewoftheHighEfficiencyVideoCoding(HEVC)Standard,IEEETransactionsonCircuitsandSystemsforVideoTechnology,Vol.22,Issue12,2012,pp.1649-1668.[0012][2]·J.Zhu，D.Zhou，G.He，S.Goto.AcombinedSAOandde-blockingfilterarchitectureforHEVCvideodecoder，inProceedingsoftheConferenceon/20thIEEEInternationalConferenceonImageProcessing(ICIP)'，Melbourne，VIC，15-18Sept.2013,pp.1967-1971.[0013][3].P.N.Subramanya,R.Adireddy,D.Anand.SAOinCTUdecodingloopforHEVCvideodecoder，inProceedingsoftheConferenceon!InternationalConferenceonSignalProcessingandCommunication(ICSC)'，Noida，12_14Dec.2013，pp.507-511.[0014][4].G.B.Praveen,G.B.Praveen.AnalysisandapproximationofSAOestimationforCTU-levelHEVCencoder，inProceedingsoftheConferenceon/VisualCommunicationsandImageProcessing(VCIP)'，Kuching，17_20Nov.2013，pp.1-5.[0015][5].W.Kim,J.Sole,Marta.OffsetScalinginSAOforHighBit-depthVideoCoding，inProceedingsoftheConferenceon/13thJointCollaborativeTeamonVideoCoding(JCT-VC)Meeting'，Incheon，KR，18-26Apr.2013,JCTVC-M0335.[0016][6].G.Laroche,T.Poirier,C.Gisquet,E.Francois,P.Onno.OnInter-LayerSAOforBasemode，inProceedingsoftheConferenceon/12thJointCollaborativeTeamonVideoCoding(JCT-VC)Meeting'，Geneva，CH，14-23Jan.2013,JCTVC-L107.【
发明内容】[0017]为了解决上述技术问题，本专利对HEVC中的样本自适应补偿进行改进。首先，针对最大编码单元中的各个编码单元的边界像素进行额外的边界补偿。其次，在边缘补偿(E0)类型2和3中加入新的模式：当前像素与左侧相邻像素的像素值相差1，与右侧相邻像素相差3以上，当前像素与左侧相邻像素的像素值相差2,与右侧相邻像素相差6以上。最后，消除了类型2和3中当前像素与相邻像素的差小于等于1的情况。[0018]根据一个方面，一种在HEVC中用于确定解码器端的样本自适应补偿参数的方法，所述方法在编码器中实施，所述方法包括：[0019]从已编码的图像中重建最大编码单元（⑶）；[0020]分别基于以下4种样本自适应补偿类型来对重建的最大⑶进行样本自适应补偿：像素带补偿（Bandoffset,B0)类型、边缘补偿（Edgeoffset,E0)类型1、E0类型2和E0类型3,以得到4个补偿结果；[0021]基于所述4个补偿结果中的每一个和所述重建的最大CU相对于原始图像的率失真代价值，从B0类型、E0类型0、E0类型1、E0类型2、E0类型3和E0类型4中选出最优样本自适应补偿类型，其中，所述E0类型0表示不进行补偿并由此对应于所述重建的最大CU；[0022]确定与所选出的最优样本自适应补偿类型相对应的第一补偿值，其中，所述E0类型〇对应的第一补偿值为〇;[0023]基于所选出的最优样本自适应补偿类型确定第二边界补偿值，[0024]将所选出的最优样本自适应补偿类型、所述第一补偿值、所述第二补偿值编码至与所述最大CU相关联的编码信息中进行传送；[0025]其特征在于：[0026]所述E0类型2中包含当前像素的像素值比左侧相邻像素的像素值小1，比右侧相邻像素的像素值大3以上的情况，以及当前像素的像素值比左侧相邻像素的像素值小2,比右侧相邻像素的像素值大6以上的情况，[0027]所述E0类型3中包含当前像素的像素值比右侧相邻像素的像素值大1，比左侧相邻像素的像素值小3以上的情况，以及当前像素的像素值比右侧相邻像素的像素值大2,比左侧相邻像素的像素值小6以上的情况，[0028]在所述E0类型2和所述E0类型3中，如果当前像素的像素值与两个相邻像素的像素值之间差小于等于1，则设置为所述E0类型0，[0029]所述确定第二边界补偿值包括：基于所述最优样本自适应补偿类型，计算针对所述最大CU中的各个变换单元的边界像素的多个边界补偿值的多个率失真代价值，并基于所述多个率失真代价值选出一个边界补偿值。[0030]在进一步的方面中，基于最优样本自适应补偿类型来设置所述最大CU中的语法元素sao_type_idx和sao_eo_class的值，其中，sao_type_idx的值0、1、2分别表示不进行样本自适应补偿、使用像素带补偿（B0)和边缘补偿（E0)，sao_eo_class的值0-3表示E0类型1、E0类型2、E0类型3和E0类型4。[0031]在进一步的方面中，所述E0类型1-4分别使用水平线、垂直线、135度角对角线和45度角对角线。[0032]在进一步的方面中，在所述B0类型中，将全像素范围统一分割为32个像素带，选择其中4个像素带，并确定针对所选出的4个像素带的正补偿或负补偿，其中，使用率失真代价来确定针对所选出的4个像素带的正补偿或负补偿，所述最优样本自适应补偿类型是所述B0类型，所述第一补偿值包括所确定针对所选出的4个像素带的正补偿或负补偿。[0033]在进一步的方面中，在所述E0类型1-4中，所述第一补偿值包括基于与所述E0类型1-4分别对应的补偿函数所确定的补偿值。[0034]在进一步的方面中，在所述E0类型1-4中，所述第一补偿值包括基于与所述E0类型1-4分别对应的补偿函数所确定的补偿值。[0035]根据另一方面，7、一种在HEVC中用于确定解码器端的样本自适应补偿参数的装置，所述装置在编码器中实施，所述装置包括：[0036]用于从已编码的图像中重建最大编码单元（⑶）的单元；[0037]用于分别基于以下4种样本自适应补偿类型来对重建的最大⑶进行样本自适应补偿：像素带补偿（Bandoffset,B0)类型、边缘补偿（Edgeoffset,E0)类型1、E0类型2和E0类型3,以得到4个补偿结果的单元；[0038]用于基于所述4个补偿结果中的每一个和所述重建的最大CU相对于原始图像的率失真代价值，从B0类型、E0类型0、E0类型1、E0类型2、E0类型3和E0类型4中选出最优样本自适应补偿类型，其中，所述E0类型0表示不进行补偿并由此对应于所述重建的最大⑶的单元；[0039]用于确定与所选出的最优样本自适应补偿类型相对应的第一补偿值的单元，其中，所述E0类型0对应的第一补偿值为0;[0040]用于基于所选出的最优样本自适应补偿类型确定第二边界补偿值的单元，[0041]用于将所选出的最优样本自适应补偿类型、所述第一补偿值、所述第二补偿值编码至与所述最大CU相关联的编码信息中进行传送的单元；[0042]其特征在于：[0043]所述E0类型2中包含当前像素的像素值比左侧相邻像素的像素值小1，比右侧相邻像素的像素值大3以上的情况，以及当前像素的像素值比左侧相邻像素的像素值小2,比右侧相邻像素的像素值大6以上的情况，[0044]所述E0类型3中包含当前像素的像素值比右侧相邻像素的像素值大1，比左侧相邻像素的像素值小3以上的情况，以及当前像素的像素值比右侧相邻像素的像素值大2,比左侧相邻像素的像素值小6以上的情况，[0045]在所述E0类型2和所述E0类型3中，如果当前像素的像素值与两个相邻像素的像素值之间差小于等于1，则设置为所述E0类型0，[0046]所述用于确定第二边界补偿值的单元包括：用于基于所述最优样本自适应补偿类型，计算针对所述最大CU中的各个变换单元的边界像素的多个边界补偿值的多个率失真代价值，并基于所述多个率失真代价值选出一个边界补偿值的单元。[0047]根据另一方面，本发明提出了一种计算机程序产品，其包含计算机可读介质，所述计算机可读介质包含程序代码，所述程序代码当由处理器执行时，执行如上所述的方法。[0048]根据另一方面，本发明提出了一种基于HEVC的编解码器，其用于执行如上所述的视频编码方法。【专利附图】【附图说明】[0049]图1示出了根据本发明的一个实施例的样本自适应补偿的高级流程图。[0050]图2示出了根据本发明的一个实施例的像素带补偿的示意图。[0051]图3示出了根据本发明的一个实施例的像素边缘补偿类型判决。[0052]图4示出了根据本发明的一个实施例的相似边缘补偿的类型示意图。[0053]图5示出了根据本发明的一个实施例的最大编码单元内部的边缘单元（虚线部分为变换单元边界像素）。[0054]图6示出了根据本发明的一个实施例的第二、三类样本自适应补偿的示意图。[0055]图7示出了根据本发明的一个实施例的未进行样本自适应补偿的像素类型的示意图。[0056]图8示出了根据本发明的一个实施例的不需要进行样本自适应补偿的请求。[0057]图9(a)和（b)示出了根据本发明的一个实施例的类型2的补充像素模式。[0058]图9(c)和（d)示出了示出了根据本发明的一个实施例的类型3的补充像素模式。[0059]图9(e)和（f)示出了示出了根据本发明的一个实施例的需要从类型2和3中剔除的像素模式。[0060]图10示出了根据本发明的一个实施例的方法原理图。[0061]图11(a)示出了根据本发明的一个实施例的方法流程图。[0062]图11(b)示出了根据本发明的一个实施例的装置流程图。[0063]图12示出了HEVC编码器的基本原理图。【具体实施方式】[0064]现在参考附图来描述各种方案。在以下描述中，为了进行解释，阐述了多个具体细节以便提供对一个或多个方案的透彻理解。然而，显然，在没有这些具体细节的情况下也能够实现这些方案。[0065]如在本申请中所使用的，术语"组件"、"模块"、"系统"等等旨在指代与计算机相关的实体，例如但不限于，硬件、固件、硬件和软件的组合、软件，或者是执行中的软件。例如，组件可以是但不限于：在处理器上运行的进程、处理器、对象、可执行体（executable)、执行线程、程序、和/或计算机。举例而言，运行在计算设备上的应用程序和该计算设备都可以是组件。一个或多个组件可以位于执行进程和/或者执行线程内，并且组件可以位于一台计算机上和/或者分布在两台或更多台计算机上。另外，这些组件可以从具有存储在其上的各种数据结构的各种计算机可读介质执行。组件可以借助于本地和/或远程进程进行通信，例如根据具有一个或多个数据分组的信号，例如，来自于借助于信号与本地系统、分布式系统中的另一组件交互和/或者与在诸如因特网之类的网络上借助于信号与其他系统交互的一个组件的数据。[0066]图12示出了高效视频编码（HEVC)所实现的视频编码器的大致结构图。HEVC的编码器架构与H.264所使用的编码器架构大致相同，主要是针对各个模块中所使用的算法进行了进一步的研究、改进，尤其是针对高分辨率视频序列，其改进的目标是在相同视频质量(PSNR)下码率降为H.264标准的50%。[0067]由于HEVC的编码器架构与H.264所使用的编码器架构大致相同，因此不混淆本发明，本申请中不对图9中的整体架构进行描述。[0068]在HEVC中，输入的视频首先被分割成一些小块叫做编码树单元（codingtreeunits,CTU)。本领域技术人员可以理解，CTU相当于之前标准的宏块（macroblock)的概念。编码单元（CU)是一个拥有一个预测模式（帧内、帧间或者跳过）的正方形的（像素）单元。基于CTU和CU的预测单元分割方式如图1所示。[0069]1.1样本自适应补偿简介[0070]样本自适应补偿是HEVC中崭新出现的一个新技术，该技术给HEVC加入了新鲜血液。[0071]HEVC当中采用了新的环路滤波器，包括去块滤波器（DeblockingFilter,DF)和样本自适应补偿（SampleAdaptive0fTset，SA0)。样本自适应补偿位于去块滤波器之后，目的是减少区域的平均失真度，样本自适应补偿首先会用选定的分类方法将最大编码单元中的样本进行分类统计，从而得到为各个种类得到一个补偿值，然后将补偿值加到相应种类的像素值中。[0072]自适应样本补偿在编码的过程中是位于去块滤波器之后的一个模块，该模块完成的是一个修改解码样本值的一个过程，修改过程是在一定情况下对样本补偿一定的值[1][2]。样本自适应补偿滤波是作用在一定区域上的，每一最大编码单元中都会通过一个sa〇_type_idX的句法元素来选取该单元的滤波模式，其中"sao"则表示样本自适应补偿(samplesadaptiveoffset)。当sao_type_idx为0是表示该最大编码单元不适用样本自适应补偿，当该值为1和2时相应的表示使用像素带补偿（B0,bandoffset)和边缘补偿(EO，edgeoffset)[3][4]。样本自适应补偿流程图如图1所示。[0073]在像素带补偿模式中，选取的补偿值直接依赖于像素的幅度。在这种模式中，全像素的范围被统一的分割成32个部分，也就是分成了32个像素带，如图2所示，像素带模式会选取其中连续的4个像素带，并对这四个像素带中的样本值进行正（向）补偿或负（向）补偿。之所以要选取连续的4个像素带进行补偿是因为带状伪像通常会出现在平滑的区域中，而一个最大编码单元中的像素值趋向于集中在较少的像素带上。同时选取4个补偿值和边缘补偿模式的操作相匹配，因为边缘补偿也是选取了4个补偿值。[0074]在边缘补偿中，句法元素sao_eo_class的值从0到3表示边缘补偿中使用的是水平、垂直、135度角对角线和45度角对角线，如图3所示。最大编码单元中所有的像素值都会被归为如表1和图4所示的5种类型中的一个，其中c代表当前像素值，a和b分别代表相邻的两个像素值。这个归类的依据是已经解码出来的各个像素样本值，所以并不需要额外的信号去传递这个归类结果[5]。依靠在像素样本上的边缘索引分类，通过一个传输到解码端的查找表，我们就可以对相应的样本值加上相应的补偿值。对于种类1和2,补偿值总是正（向）的，而种类3和4的补偿值总是负（向）的，因此边缘滤波所产生的是一个平滑的效果。[0075]在图4中，种类1、2进行的是正向补偿，种类3、4进行的是负向补偿。[0076]表1像素边界补偿分类判决[0077]【权利要求】1.一种在HEVC中用于确定解码器端的样本自适应补偿参数的方法，所述方法在编码器中实施，所述方法包括：从已编码的图像中重建最大编码单元（⑶）；分别基于以下4种样本自适应补偿类型来对重建的最大⑶进行样本自适应补偿：像素带补偿（Bandoffset，BO)类型、边缘补偿（Edgeoffset，EO)类型1、E0类型2和E0类型3,以得到4个补偿结果；基于所述4个补偿结果中的每一个和所述重建的最大CU相对于原始图像的率失真代价值，从B0类型、E0类型0、E0类型1、E0类型2、E0类型3和E0类型4中选出最优样本自适应补偿类型，其中，所述E0类型0表示不进行补偿并由此对应于所述重建的最大⑶；确定与所选出的最优样本自适应补偿类型相对应的第一补偿值，其中，所述E0类型0对应的第一补偿值为〇;基于所选出的最优样本自适应补偿类型确定第二边界补偿值，将所选出的最优样本自适应补偿类型、所述第一补偿值、所述第二补偿值编码至与所述最大CU相关联的编码信息中进行传送；其特征在于：所述E0类型2中包含当前像素的像素值比左侧相邻像素的像素值小1，比右侧相邻像素的像素值大3以上的情况，以及当前像素的像素值比左侧相邻像素的像素值小2,比右侧相邻像素的像素值大6以上的情况，所述E0类型3中包含当前像素的像素值比右侧相邻像素的像素值大1，比左侧相邻像素的像素值小3以上的情况，以及当前像素的像素值比右侧相邻像素的像素值大2,比左侧相邻像素的像素值小6以上的情况，在所述E0类型2和所述E0类型3中，如果当前像素的像素值与两个相邻像素的像素值之间差小于等于1，则设置为所述E0类型0，所述确定第二边界补偿值包括：基于所述最优样本自适应补偿类型，计算针对所述最大CU中的各个变换单元的边界像素的多个边界补偿值的多个率失真代价值，并基于所述多个率失真代价值选出一个边界补偿值。2.如权利要求1所述的方法，其中，基于最优样本自适应补偿类型来设置所述最大CU中的语法元素sao_type_idx和sao_eo_class的值，其中，sao_type_idx的值0、1、2分别表示不进行样本自适应补偿、使用像素带补偿（BO)和边缘补偿（EO)，Sa〇_e〇_claSS的值0-3表示EO类型1、ΕΟ类型2、EO类型3和EO类型4。3.如权利要求1-2中任一项所述的方法，其中，所述EO类型1-4分别使用水平线、垂直线、135度角对角线和45度角对角线。4.如权利要求1-3中任一项所述的方法，其中，在所述BO类型中，将全像素范围统一分割为32个像素带，选择其中4个像素带，并确定针对所选出的4个像素带的正补偿或负补偿，其中，使用率失真代价来确定针对所选出的4个像素带的正补偿或负补偿，所述最优样本自适应补偿类型是所述BO类型，所述第一补偿值包括所确定针对所选出的4个像素带的正补偿或负补偿。5.如权利要求1-4中任一项所述的方法，其中，在所述EO类型1-4中，所述第一补偿值包括基于与所述EO类型1-4分别对应的补偿函数所确定的补偿值。6.如权利要求1-5中任一项所述的方法，其中，在所述E0类型1-4中，所述第一补偿值包括基于与所述E0类型1-4分别对应的补偿函数所确定的补偿值。7.-种在HEVC中用于确定解码器端的样本自适应补偿参数的装置，所述装置在编码器中实施，所述装置包括：用于从已编码的图像中重建最大编码单元（CU)的单元；用于分别基于以下4种样本自适应补偿类型来对重建的最大CU进行样本自适应补偿：像素带补偿（Bandoffset,B0)类型、边缘补偿（Edgeoffset,E0)类型1、E0类型2和E0类型3,以得到4个补偿结果的单元；用于基于所述4个补偿结果中的每一个和所述重建的最大CU相对于原始图像的率失真代价值，从B0类型、E0类型0、E0类型1、E0类型2、E0类型3和E0类型4中选出最优样本自适应补偿类型，其中，所述E0类型0表示不进行补偿并由此对应于所述重建的最大CU的单元；用于确定与所选出的最优样本自适应补偿类型相对应的第一补偿值的单元，其中，所述E0类型0对应的第一补偿值为0;用于基于所选出的最优样本自适应补偿类型确定第二边界补偿值的单元，用于将所选出的最优样本自适应补偿类型、所述第一补偿值、所述第二补偿值编码至与所述最大CU相关联的编码信息中进行传送的单元；其特征在于：所述E0类型2中包含当前像素的像素值比左侧相邻像素的像素值小1，比右侧相邻像素的像素值大3以上的情况，以及当前像素的像素值比左侧相邻像素的像素值小2,比右侧相邻像素的像素值大6以上的情况，所述E0类型3中包含当前像素的像素值比右侧相邻像素的像素值大1，比左侧相邻像素的像素值小3以上的情况，以及当前像素的像素值比右侧相邻像素的像素值大2,比左侧相邻像素的像素值小6以上的情况，在所述E0类型2和所述E0类型3中，如果当前像素的像素值与两个相邻像素的像素值之间差小于等于1，则设置为所述E0类型0，所述用于确定第二边界补偿值的单元包括：用于基于所述最优样本自适应补偿类型，计算针对所述最大CU中的各个变换单元的边界像素的多个边界补偿值的多个率失真代价值，并基于所述多个率失真代价值选出一个边界补偿值的单元。8.如权利要求7所述的方法，其中，在所述B0类型中，将全像素范围统一分割为32个像素带，选择其中4个像素带，并确定针对所选出的4个像素带的正补偿或负补偿，其中，使用率失真代价来确定针对所选出的4个像素带的正补偿或负补偿，所述最优样本自适应补偿类型是所述B0类型，所述第一补偿值包括所确定针对所选出的4个像素带的正补偿或负补偿。9.一种计算机程序产品，其包含计算机可读介质，所述计算机可读介质包含程序代码，所述程序代码当由处理器执行时，执行如权利要求1-6所述的方法。10.-种基于HEVC的编解码器，其用于执行如权利要求1-6所述的视频编码方法。【文档编号】H04N19/147GK104243985SQ201410510122【公开日】2014年12月24日申请日期:2014年9月29日优先权日:2014年9月29日【发明者】张萌萌申请人:北方工业大学