用于非线性自适应环路滤波器的限幅电平的制作方法

文档序号:37224456发布日期:2024-03-05 15:26阅读:15来源:国知局
通常,本公开涉及视频译码领域。更具体地,本公开涉及用于视频译码的滤波器(例如非线性环内滤波器)和用于对重建视频帧进行滤波的方法以及包括用于视频译码的滤波器的编码装置和解码装置。
背景技术
::1、视频译码(视频编码和解码)用于各种数字视频应用(例如广播数字电视、互联网和移动网络上的视频传输)、实时对话应用(例如视频聊天、视频会议)、dvd和蓝光光盘、视频内容获取与编辑系统、以及安全应用摄录机。2、即使描述较短的视频,所需的视频数据量也可能很大,这可能会导致在带宽容量有限的通信网络上流式传输或以其他方式传送数据时产生困难。因此,视频数据在通过现代电信网络传送之前通常会被压缩。因为存储资源可能有限,所以在视频存储在存储设备上时,视频的尺寸也可能是个问题。在传输或存储之前,视频数据通常在源处由视频压缩设备使用软件和/或硬件进行编码,从而减少表示数字视频图像所需的数据量。然后,压缩数据在目的地处由对视频数据进行解码的视频解压缩设备接收。由于网络资源有限且对更高视频质量的需求不断增长,需要一种在几乎不牺牲图像质量的情况下提高压缩率的改进的压缩和解压缩技术。3、最近采用的itu-t h.265/hevc标准(iso/iec 23008-2:2013,“信息技术-异构环境中的高效译码和媒体分发-第2部分:高效视频译码”,2013年11月)公布了能合理权衡译码效率和计算复杂度的一组最新视频译码工具。4、在关于视频技术的电路和系统的ieee汇刊,第22卷,第12期,2012年12月中,garyj.sullivan的“高效视频译码(hevc)标准概述”给出了itu-t h.265/hevc标准的概述,其全部内容结合于此作为参考。5、该标准中的视频译码工具之一是自适应环路滤波器,该自适应环路滤波器在使用重建帧进行预测之前对此帧执行滤波。qian chen、yunfei zheng、peng yin、xiaoan lu、joel sol′e、qian xu、edouard francois、dapeng wu的“基于分类四叉树的自适应环路滤波器”(2011年关于多媒体与博览会的ieee国际会议第1-6页)描述了一种传统自适应环路滤波器。在这种滤波器中,滤波的重建帧的每个像素是生成的滤波的像素的位置周围的重建帧中的该像素的连通区域中几个像素的加权和。像素的连通区域通常定义为该像素的相邻像素集合。该集合可以围绕像素对称排布,其中可以在重建帧的边界或重建块的边界附近应用修改。常用的集合可以是菱形的,例如对于亮度分量是7×7菱形或对于色度分量是5×5菱形,如图12所示。6、(线性)自适应环路滤波器的滤波过程如下执行:7、o(x,y)=∑(i,j)w(i,j)*i(x+i,y+j),8、其中,样本i(x+i,y+j)是来自坐标为(x,y)的像素的连通区域的输入重建样本,o(x,y)是滤波的输出重建样本(即滤波器结果),w(i,j)表示滤波器系数。9、可以通过下式(根据可在http://phenix.it-sudparis.eu/jvet/上公开获得的jvet-m0385中描述的非线性自适应环路滤波器方法)修改上式,且不会影响译码效率:10、11、δ(x,y,i,j)=i(x+i,y+j)-i(x,y)12、clip(d,b)=min(b,max(-b,d))13、对于亮度滤波,14、对于色度滤波,15、idx(i,j)=0,1,2或316、如果最大权重系数w(i,j)是n位整数值,bitdepthluma是亮度分量的位深度(亮度像素中的最大位数),bitdepthchroma是色度分量的位深度,则滤波器实现需要以下n次整数乘法:对于亮度分量滤波,将n位值乘以(bitdepthluma+3)位值,对于色度分量滤波,将n位值乘以(bitdepthchroma+3)位值,其中n是滤波器长度。技术实现思路1、对于亮度分量,下述方法提供了一种低复杂度非线性环内滤波器,该环内滤波器需要将n位滤波器系数乘以(bitdepthluma+2)位值的n次乘法,而非现有解决方案中的将n位滤波器系数乘以(bitdepthchroma+3)位值的n次乘法。对于色度分量,下述方法提供了一种低复杂度非线性环内滤波器,该环内滤波器需要将n位滤波器系数乘以(bitdepthchroma+2)位值的n次乘法,而非现有解决方案中的将n位滤波器系数乘以(bitdepthchroma+3)位值的n次乘法。2、本公开的实施例提供了一种改进的用于重建帧滤波的低复杂度环内滤波器。3、本公开的实施例可以在不降低滤波质量的情况下,降低所需乘法的复杂度。4、前述目的和其他目的通过独立权利要求的主题实现。根据从属权利要求、说明书、附图,其他实施方式显而易见。5、本公开的实施例提供了一种通过对视频流的重建帧执行自适应环路滤波来进行环内滤波的方法,该方法由编码设备或解码设备实现,其中,该方法包括:形成/确定重建帧的像素的亮度分量和色度分量中的至少一个与该像素的连通区域中的相邻像素的亮度分量和色度分量中的至少一个之间的差异,根据相应限幅电平对差异进行限幅,形成/确定限幅的差异的加权和;以及将加权和与像素的亮度分量和色度分量中的至少一个相加以确定像素的滤波的相应分量,其中,相应限幅电平是从亮度分量和色度分量的同一限幅电平集合中选择的。6、根据本公开,可以将自适应环路滤波应用于重建帧的像素的亮度分量和色度分量中的一个或多个。如果将自适应环路滤波应用于两个或两个以上的分量,特别是像素的所有亮度分量和色度分量,则对每个分量分别执行滤波。换句话说,下面将详细描述上述方法的步骤,其中上述步骤分别执行于经受自适应环路滤波的每个分量。7、可以将自适应环路滤波应用于重建帧的单个像素、特别是对应于诸如译码块等块的一组像素、或重建帧的所有像素。8、如上所述,像素的连通区域通常可以定义为该像素的相邻像素集合。该集合可以围绕像素对称排布,其中可以在重建帧的边界或重建块的边界附近应用修改。常用的集合可以是菱形的,例如对于亮度分量是7×7菱形或对于色度分量是5×5菱形。9、对于连通区域中的每个相邻像素,确定重建帧的像素的亮度分量和色度分量中的至少一个(即亮度分量或色度分量)与相邻像素的亮度分量和色度分量中的至少一个(即亮度分量或相应色度分量)之间的差异。每个所得差异根据其相应限幅电平进行限幅。换句话说,连通区域中的每个相邻像素对于亮度分量和色度分量中的至少一个中的每个分量具有相关联的相应限幅电平。因此,相应限幅电平取决于被滤波的分量以及对应相邻像素的坐标(x+i,y+j)相对于亮度分量和色度分量中的至少一个被滤波的像素的坐标(x,y)的偏移(i,j)。10、无论像素的哪个分量(即亮度分量或两个色度分量之一)被滤波,从单个限幅电平集合中选择相应的限幅电平。同一限幅电平集合可以特别包括亮度分量和色度分量的所有允许或可能的限幅电平。11、从同一可能的限幅电平集合中选择亮度分量和色度分量的限幅电平可以简化非线性自适应环路滤波器的实现。特别地,可以简化根据公式或表对限幅电平的确定。12、可以根据亮度分量和色度分量中的至少一个的位深度选择相应限幅电平。替代地或附加地,可以根据连通区域中的相应相邻像素的相应限幅索引选择相应限幅电平。换句话说,对于每个相邻像素,根据该相邻像素的限幅索引选择对应限幅电平,该限幅索引对于该相邻像素的不同分量可能不同。13、特别地,从亮度分量和色度分量的同一限幅电平集合中选择相应限幅电平可能意味着,如果亮度分量和色度分量的位深度相同,则对于特定的限幅索引,将为亮度分量和色度分量选择相同的限幅电平。换句话说,限幅电平集合中的限幅电平只由位深度和限幅索引确定,而与执行的是亮度滤波还是色度滤波无关。因此,当限幅索引相同且亮度分量和色度分量的位深度相同时,从限幅电平集合中选择的限幅电平是相同的,就此而言,该限幅电平集合对于亮度分量和色度分量可以是统一的。这不排除以下情况:如果相邻像素的亮度分量和色度分量具有不同的位深度和/或不同的限幅索引,则可以为相邻像素的亮度分量和色度分量选择不同的限幅电平。14、可以在视频流中信令通知相应限幅索引。15、相应限幅电平可以是小于或等于2bitdepth-1的正限幅值,其中,bitdepth表示亮度分量和色度分量中的至少一个的位深度。或者,相应限幅电平可以是小于或等于2bitdepth的正限幅值,其中,bitdepth表示亮度分量和色度分量中的至少一个的位深度。16、与节省硬件平方面积的现有技术相比,对于每次乘法,限幅电平的第一极限可以允许将滤波乘法位深度减小1位。17、根据一种实施方式,重建帧中坐标为(x,y)的像素的滤波的相应分量o′(x,y)可以根据下式获得:18、19、δ(x,y,i,j)=i(x+i,y+j)-i(x,y)20、clip(δ,lim)=clip3(-lim(i,j),lim(i,j),δ)21、22、其中,i(x+i,y+j)是重建帧中坐标为(x+i,y+j)的像素的亮度分量的正bitdepthluma位值或色度分量的bitdepthchroma位值,w(i,j)表示对应于像素的连通区域中位置相对于滤波的像素具有偏移(i,j)的相邻像素的n位整数滤波器系数,lim(i,j)表示对应于像素的连通区域中具有偏移(i,j)的相邻像素的相应限幅电平。23、相应限幅电平可以是正k位限幅值,k<=bitdepth,其中,bitdepth表示亮度分量和色度分量中的至少一个的位深度。24、特别地,对于亮度分量,相应限幅电平可以是lim(i,j)<=2bitdepthluma-1,对于色度分量,相应限幅电平可以是lim(i,j)<=2bitdepthchroma-1。或者特别地,对于亮度分量,相应限幅电平可以是lim(i,j)<=2bitdepthluma,对于色度分量,相应限幅电平可以是lim(i,j)<=2bitdepthchroma。25、根据一种实施方式,相应限幅电平可以是从表示亮度分量和色度分量的可能限幅电平集合的查找表(look-up table,lut)中选择的。26、以lut的形式提供限幅电平可以进一步简化非线性alf的实现。可以在解码器侧根据相应位深度和限幅索引clipidx确定相应限幅电平,其中限幅索引clipidx可以编码到位流中并从位流中解析出来。27、lut可以定义如下:28、29、30、其中,bitdepth表示亮度分量和色度分量中的至少一个的位深度,clipidx表示限幅索引。31、或者,lut可以定义如下:32、33、其中,bitdepth表示亮度分量和色度分量中的至少一个的位深度,clipidx表示限幅索引。34、亮度分量和色度分量的限幅电平集合lim(i,j)可以通过改变亮度分量的位深度bitdepthluma和色度分量的位深度bitdepthchroma以及索引idx(i,j)根据下式确定:35、对于亮度分量,36、对于色度分量,37、或者,亮度分量和色度分量的限幅电平集合lim(i,j)可以通过改变亮度分量的位深度bitdepthluma和色度分量的位深度bitdepthchroma以及索引idx(i,j)根据下式确定:38、对于亮度分量,39、对于色度分量,40、idx(ivj)=041、和/或42、对于亮度分量,43、对于色度分量,44、idx(i,j)>0。45、或者,亮度分量和色度分量的限幅电平集合lim(i,j)可以通过改变亮度分量或色度分量的位深度bitdepth以及索引idx(i,j)根据下式确定:46、47、idx(i,j)=048、和/或49、对于亮度滤波,50、idx(i,j)>0。51、表示亮度分量和色度分量的限幅电平集合lim(i,j)的lut可以通过改变亮度分量的位深度bitdepthluma和色度分量的位深度bitdepthchroma以及索引idx(i,j)根据下式获得:52、对于亮度分量,53、对于色度分量,54、或者,表示亮度分量和色度分量的限幅电平集合lim(i,j)的lut可以通过改变亮度分量的位深度bitdepthluma和色度分量的位深度bitdepthchroma以及索引idx(i,j)根据下式确定:55、对于亮度分量,56、对于色度分量,57、idx(ivj)=058、和/或59、对于亮度分量,60、对于色度分量,61、idx(i,j)>0。62、或者,表示亮度分量和色度分量的限幅电平集合lim(i,j)的lut可以通过改变亮度分量或色度分量的位深度bitdepth以及索引idx(i,j)根据下式确定:63、64、idx(i,j)=065、和/或66、67、idx(i,j)>0。68、根据一种实施方式,对于限幅电平集合,索引idx(i,j)选自0到m的正值范围,其中,m是正整数值。根据一种实施方式,对于可能限幅电平集合,idx(i,j)=0,1,2,..,m,m是正整数。m可以设置为等于3。69、根据一种实施方式,亮度分量和色度分量的可能的限幅电平集合lim(i,j)可以通过改变亮度分量的位深度bitdepthluma和色度分量的位深度bitdepthchroma以及索引idx(i,j)根据下式确定:70、对于亮度分量,lim(i,j)=71、[1<<(bitdepthluma-shiftconst[idx(i,j)])]72、对于色度分量,lim(i,j)=73、[1<<(bitdepthchroma-shiftconst[idx(i,j)])]74、idx(i,j)=0,1,2,375、shiftconst[0]=0,shiftconst[1]=3,shiftconst[2]=5,shiftconst[3]=776、或77、shiftconst[0]=0,shiftconst[1]=2,shiftconst[2]=4,shiftconst[3]=6。78、可以对重建帧的亮度分量和色度分量应用环内滤波。79、根据实施例的一方面,提供了一种在视频编码装置或解码装置中使用的环内滤波装置,其中,环内滤波装置用于处理重建帧以生成滤波的重建帧,其中,重建帧包括多个像素,每个像素与像素值相关联,并且其中,环内滤波器装置包括用于执行根据实施例的任何一种方法的一个或多个处理电路。80、根据实施例的另一方面,提供了一种编码器,该编码器包括用于执行根据实施例的任何一种方法的处理电路。81、根据实施例的另一方面,提供了一种解码器,该解码器包括用于执行根据实施例的任何一种方法的处理电路。82、根据实施例的另一方面,提供了一种包括指令的计算机程序产品,该指令在由计算机执行时,使计算机执行根据实施例的任何一种方法。83、根据实施例的另一方面,提供了一种编码器,该编码器包括:一个或多个处理器;以及非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质耦合到一个或多个处理器并且存储由一个或多个处理器执行的指令,其中,指令在由一个或多个处理器执行时,将编码器配置为执行根据实施例的任何一种方法。84、根据实施例的另一方面,提供了一种解码器,该解码器包括:一个或多个处理器;以及非暂时性计算机可读存储介质,该非暂时性计算机可读存储介质耦合到一个或多个处理器并且存储由一个或多个处理器执行的指令,其中,指令在由一个或多个处理器执行时,将解码器配置为执行根据实施例的任何一种方法。85、根据实施例的另一方面,提供了一种用于处理重建帧以生成滤波的重建帧的编码器,其中,重建帧包括多个像素,每个像素与像素值相关联,并且其中,该编码器包括:减法单元,用于形成/确定重建帧的像素的亮度分量和色度分量中的至少一个与像素的连通区域中的相邻像素的亮度分量和色度分量中的至少一个之间的差异;限幅单元,用于根据相应限幅电平对差异进行限幅;第一加法单元,用于形成/确定限幅的差异的加权和;以及第二加法单元,用于将加权和与像素的亮度分量和色度分量中的至少一个相加以确定像素的滤波的相应分量,其中,相应限幅电平是从亮度分量和色度分量的同一限幅电平集合中选择的。86、根据实施例的另一方面,提供了一种用于处理重建帧以生成滤波的重建帧的解码器,其中,重建帧包括多个像素,每个像素与像素值相关联,并且其中,该解码器包括:减法单元,用于形成/确定重建帧的像素的亮度分量和色度分量中的至少一个与像素的连通区域中的相邻像素的亮度分量和色度分量中的至少一个之间的差异;限幅单元,用于根据相应限幅电平对差异进行限幅;第一加法单元,用于形成/确定限幅的差异的加权和;以及第二加法单元,用于将加权和与像素的亮度分量和色度分量中的至少一个相加以确定像素的滤波的相应分量,其中,相应限幅电平是从亮度分量和色度分量的同一限幅电平集合中选择的。87、在上述实施例中,形成重建帧的像素(滤波的像素或待滤波像素)与该像素的连通区域中位于沿一个方向的线上的相邻像素之间的差异。换句话说,形成滤波的像素的位置周围的重建帧中的该像素的连通区域中几个像素的加权和,其中,相邻像素是指重建帧或重建块中在滤波的像素周围的多个像素。在示例中,该方向可以理解为经过坐标为(x,y)、(x+i,x+j)、(x-i,x-j)的m个点(例如3个点)的线。换句话说,滤波的像素对应于坐标(x,y),相邻像素分别对应于坐标(x+i,x+j)、(x-i,x-j),对于每个方向和偏移(i,j),形成滤波的像素(x,y)与相邻像素(x+i,x+j)之间的限幅差异以及滤波的像素(x,y)与相邻像素(x-i,x-j)之间的另一限幅差异。可以考虑多个方向以提供对称滤波。常用的示例是用于亮度滤波的7×7菱形和用于色度滤波的5×5菱形,如图12所示。88、根据本公开的另一方面,上述重建帧滤波方法可以在编码器侧和解码器侧用于亮度分量和色度分量。89、根据另一方面,本公开涉及一种用于对视频流进行解码的装置,该装置包括处理器和存储器。存储器存储使处理器执行根据实施例的任何一种方法的指令。90、根据另一方面,本公开涉及一种用于对视频流进行编码的装置,该装置包括处理器和存储器。存储器存储使处理器执行根据实施例的任何一种方法的指令。91、根据另一方面,提出了一种计算机可读存储介质,该计算机可读存储介质上存储有指令,上述指令在执行时使一个或多个处理器用于对视频数据进行译码。上述指令使一个或多个处理器执行根据实施例的任何一种方法。92、根据另一方面,本公开涉及一种计算机程序,该计算机程序包括程序代码,该程序代码在计算机上执行时用于执行根据实施例的任何一种方法。93、因此,对于亮度分量,所描述的环内滤波器可能需要将n位滤波器系数乘以待滤波像素与位于沿一个方向的线上的相邻像素之间的两个限幅差异之和的(bitdepthluma+2)位值的n次乘法,而非现有技术的解决方案那样将n位滤波器系数乘以(bitdepthluma+3)位值的n次乘法。对于色度分量,环内滤波器可能需要将n位滤波器系数乘以待滤波像素与位于沿一个方向的线上的相邻像素之间的两个限幅差异之和的(bitdepthchroma+2)位值的n次乘法,而非现有技术的解决方案那样将n位滤波器系数乘以(bitdepthchroma+3)位值的n次乘法。94、在附图和以下描述中阐述了一个或多个实施例的细节。根据说明书、附图、权利要求,其他特征、目的、优点将显而易见。当前第1页12当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1