基于屏幕内容区域特性的CU划分快速选择

文档序号:35265250发布日期:2023-08-29 18:40阅读:57来源:国知局
基于屏幕内容区域特性的CU划分快速选择

本发明涉及图像与视频处理领域,更具体而言,涉及基于屏幕内容区域特性的cu划分快速选择的方法、装置和计算机程序产品。


背景技术:

1、数字视频功能可以结合到各种设备中,包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(pda)、膝上型电脑或台式计算机、平板电脑、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。

2、数字视频设备实施视频编码(coding)技术,诸如由mpeg-2、mpeg-4、itu-t h.263、itu-th.264/mpeg-4,第10部分,高级视频编码(avc)、高效视频编码(hevc)标准、itu-th.265/高效视频编码(hevc)、多功能视频编码(versatile video coding)vvc(h.266)、以及此类标准的扩展定义的标准中描述的那些技术。通过实施这样的视频编码技术,视频设备可以更有效地发送、接收、编码、解码和/或存储数字视频信息。

3、2010年4月,两大国际视频编码标准组织vceg和mpeg成立视频压缩联合小组jct-vc(joint collaborative team on video coding),一同开发高效视频编码标准。

4、在2013年,jct-vc完成了对hevc(high efficiency video coding)标准(也称为h.265)开发,并且随后陆续发布了多个版本。

5、hevc提出了全新的语法单元:编码单元(cu)是进行预测、变换、量化和熵编码的基本单元,预测单元(pu)是进行帧内帧间预测的基本单元,变换单元(tu)是进行变换和量化的基本单元。另外,每个cu定义了共享相同预测模式(帧内或帧间)的区域。

6、如图1所示,在hevc中,可以进行帧内预测模式和帧间预测模式的切换。在帧内预测模式和帧间预测模式中,hevc都采用编码树单元(ctu)的编码结构,ctu是hevc编解码的基本处理单元。ctu由1个亮度ctb(编码树块,coding tree block)、2个色度ctb和相应的语法元素组成。图2显示了在一个lcu(最大编码单元)编码后的ctu结构。在hevc中,lcu可以只包含一个编码单元(cu),也可以使用ctu四叉树结构划分出为不同大小的cu。

7、hevc中有四种大小cu,大小分别为:64x64、32x32、16x16和8x8。cu块越小,其在ctu树中位置越深。当cu为64x64、32x32和16x16时称为2nx2n模式(表示可以划分为更小的cu),当cu为8x8时称为nxn模式(表示不可以进行进一步划分)。对于帧内预测,cu被分成两个partmode(2nx2n和nxn),这取决于它是否可以被分成更小的cu。尺寸为64x64、32x32和16x16的cu属于2n×2n,尺寸为8×8的cu属于n×n。

8、在hevc中,pu进行帧内帧间预测的基本单元,pu的划分是以cu为基础的,具有五种规则大小64x64、32x32、16x16、8x8和4x4。更具体地,pu尺寸基于partmode:对于2n×2n的partmode pu尺寸与cu相同,对于n×n的partmode cu可以被划分为四个4×4子pu。对于2n*2n的cu模式,帧内预测pu的可选模式包括2n*2n和n*n,帧间预测pu的可选模式有8种,包括4种对称模式(2n*2n,n*2n,2n*n,n*n)和4种非对称模式(2n*nu,2n*nd,nl*2n,nr*2n),其中,2n*nu和2n*nd分别以上下1:3、3:1的比例划分,nl*2n和nr*2n分别以左右1:3、3:1的比例划分。

9、在hevc中,仍然继续使用h.264/avc的拉格朗日率失真优化(rdo)进行模式选择,为每一个帧内模式计算其rdo:

10、j=d+λr (1)

11、其中,j为拉格朗日代价(亦即rd-cost),d表示当前帧内模式的失真,r表示编码当前预测模式下所有信息所需的比特数,λ为拉格朗日因子。其中d通常使用绝对哈达玛变换差之和(satd)来实现。

12、处理一帧视频图像需要首先将其划分成多个lcu(64x64),然后依次编码每个lcu。每个lcu依次递归划分,其通过计算当前深度的rd-cost判定是否继续划分。一个lcu最小可划分至8x8大小的单元,如图2所示。编码器通过比较深度的rd-cost值判定是否继续划分,如果当前深度内的4个子cu的编码代价总和大于当前cu,则不继续划分;反之则继续划分,直至划分结束。

13、本领域技术人员容易理解,由于ctu是对lcu进行cu划分的树状编码结构,ctu中的cu划分方式是以lcu开始的,因此在本领域中这两个名词经常可交换地使用。

14、在帧内预测中,每个pu使用总共35种预测模式。使用粗略模式决策(rmd),我们可以获得64x64、32x32和16x16块的三种候选模式以及8x8和4x4块的八种候选模式。通过合并来自相邻块的最可能模式(mpm)来获得每个pu大小的最佳候选列表。然后,通过rdo来选择当前pu的最佳帧内预测模式。当完成当前cu中包括的所有pu的帧内预测时,完成当前cu的帧内预测。通过当前cu的rd-cost与当前cu及其4个子cu的四个子cu的总rd-cost之间的比较来选择具有较小rd-cost的次优cu内部预测完成。当完成所有cu分区时,完成当前ctu帧内预测。对于hevc,当对lcu进行编码时,应当执行85个cu(一个64×64cu,四个32×32cu,十六个16×16cu和六十四个8×8cu)的帧内预测。当cu被编码时,应当执行一个pu或四个子pu的帧内预测。大量cu和pu导致帧内预测的高复杂性。

15、为了开发超越hevc的新技术,2015年成立的一个新的组织,联合视频探索组(joint video exploration term),并在2018年更名为联合视频专家组(joint videoexperts term,jvet)。在hevc的基础上,多功能视频编码(versatile video coding)vvc(h.266)的研究由jvet组织于2018年4月10美国圣地亚哥会议上提出,在h.265/hevc基础上改进的新一代视频编码技术,其主要目标是改进现有hevc,提供更高的压缩性能,同时会针对新兴应用(360°全景视频和高动态范围(hdr)视频)进行优化。vvc的第一版在2020年8月完成,在itu-t网站上以h.266标准正式发布。

16、有关hevc和vvc的相关文件和测试平台可以从https://jvet.hhi.fraunhofer.de/获得,并且vvc的相关提案可以从http://phenix.it-sudparis.eu/jvet/获得。

17、vvc依然沿用h.264就开始采用的混合编码框架,其vtm编码器的一般性方框图如图1所示。帧间和帧内预测编码:消除时间域和空间域的相关性。变换编码:对残差进行变换编码以消除空间相关性。熵编码:消除统计上的冗余度。vvc将在混合编码框架内,着力研究新的编码工具或技术,提高视频压缩效率。

18、虽然vvc和hevc中都采用树结构来进行ctu划分,但是在vvc采用了与hevc不同的树结构ctu划分方式。并且,与hevc相比,vvc中的ctu的(亮度块)最大大小达到了128x128(尽管亮度变换块的最大大小为64x64)。

19、与hevc类似,vvc将图片划分为子图片(subpicture)、切片(slice)、和图块(tile)。一个图片被划分为一个或多个图块行和一个或多个图块列。图块是覆盖图片的矩形区域的ctu序列。切片由整数个完整图块或在图片的图块内的整数个连续的完整ctu行。支持两种切片模式,即光栅扫描切片模式和矩形切片模式。在光栅扫描切片模式中,切片包含图片的图块光栅扫描中的完整图块的序列。在矩形切片模式中,切片包含共同形成图片的矩形区域的多个完整图块,或者一个图块的、共同形成图片中的矩形区域的多个连续完整ctu行。矩形切片内的图块在对应于该图块的矩形区域内以图块光栅扫描顺序进行扫描。子图片包含一个或多个切片,这些切片共同覆盖图片的矩形区域。

20、如上所述地,在hevc中,使用四叉树结构将ctu划分为cu(即编码树)。关于帧内编码和帧间编码的决策是在叶节点cu处做出的。换言之,一个叶节点cu定义了共享相同预测模式(例如帧内预测或帧间预测)的一个区域。然后,根据pu划分类型,每个叶cu可以进一步划分为1、2或4个预测单元pu。在每个pu内,使用相同的预测过程,并将相关信息以pu为基础发送到解码器段。在基于pu的预测过程获得了残差块后,可以根据类似于cu的编码树的另一类似四叉树结构将叶cu划分为tu。

21、而在vvc中,则采用了具有嵌套的多类型树的四叉树分割结构(qtmt)来划分ctu,其中嵌套的多类型树使用二叉树和三叉树。作为一个示例,这种嵌套的多类型树的一个实例是四叉树-二叉树(qtbt)结构。qtbt结构包括两个级别:根据四叉树划分而划分的第一级,以及根据二叉树划分而划分的第二级。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于编码单元(cu),cu定义了共享相同预测模式(例如帧内预测或帧间预测)的一个区域。在vvc中删除了cu、pu和tu的不同形式。

22、在vvc中,一个ctu首先通过四叉树进行划分,然后再通过多类型树进行进一步划分。如图3所示,vvc规定了4种多类型树划分模式:水平二叉树划分(split_bt_hor)、垂直二叉树划分(split_bt_ver)、水平三叉树划分(split_tt_ver)、垂直三叉树划分(split_tt_hor)。多类型树的叶节点被称为编码单元(cu),并且除非cu对于最大变换长度而言过大,否则该cu分割就会用于预测和变换处理而不进行进一步分割。这就意味着在大多数情况下,cu、pu和tu在该具有嵌套的多类型树的四叉树分割结构是具有相同的块大小的。其中的例外是所支持的最大变换长度小于cu的颜色分量的宽度或高度。图4示出了vvc的具有嵌套的多类型树的四叉树分割结构的ctu到cu的分割的一个具体实施例,其中,粗体框表示四叉树分割,剩余的边表示多类型树分割。vvc的这种具有嵌套的多类型树的四叉树分割结构提供了包括cu的内容自适应编码树结构。

23、cu的大小可以与ctu一样大,也可以以亮度样本为单位小到4x4。对于4:2:0色度格式的情况,最大色度编码块大小为64x64,最小大小色度大小由16个色度样本组成。在vvc中,支持的最大亮度变换大小为64x 64,支持的最高色度变换大小为32x32。当编码块的宽度或高度大于最大变换宽度或高度时,编码块在水平和/或垂直方向上自动分割,以满足该方向上的变换大小限制。

24、以下参数由具有嵌套多类型树编码树方案的四叉树的序列参数集(sps)语法元素定义和指定:

25、–ctu大小:四元树的根节点大小

26、–minqtsize:允许的最小四叉树叶节点大小

27、–maxbtsize:允许的最大二叉树根节点大小

28、–maxttsize:允许的最大三叉树根节点大小

29、–maxmttdepth:从四叉树叶划分多类型树时允许的最大层次深度

30、–minbtsize:允许的最小二叉树叶节点大小

31、–minttsize:允许的最小三叉树叶节点大小

32、在具有嵌套多类型树编码树结构的四叉树的一个示例中,ctu大小被设置为128x128亮度样本,具有两个对应的64x64块4:2:0色度样本,minqtsize被设置为16x16,maxbtsize被设置成128x128并且maxttsize被设置成64x64,minbtsize和minttsize(对于宽度和高度)被设置为4x4,并且maxmttdepth被设置成4。将四叉树划分首先应用于ctu以生成四叉树叶节点。四叉树叶节点的大小可以从16x16(即minqtsize)到128x128(即ctu大小)。如果叶四叉树节点为128x128,则不会被二叉树进一步划分,因为其大小超过了maxbtsize和maxttsize(即64x64)。否则,叶四叉树节点可以通过多类型树进一步划分。因此,四叉树叶节点也是多类型树的根节点,并且它具有多类型树深度(mttdepth)为0。当多类型树深度达到maxmttdepth(即4)时,不考虑进一步划分。当多类型树节点的宽度等于minbtsize且小于或等于2*minttsize时,不考虑进一步的水平划分。类似地,当多类型树节点的高度等于minbtsize且小于或等于2*minttsize时,不考虑进一步的垂直划分。

33、在vvc中,编码树方案支持亮度分量和色度分量具有单独的块树结构的能力。对于p和b切片,一个ctu中的亮度和色度ctb必须共享相同的编码树结构。然而,对于i切片,亮度和色度可以具有单独的块树结构。当应用单独的块树模式时,亮度ctb通过一个编码树结构被划分为cu,色度ctb通过另一编码树结构而被划分为色度cu。这意味着i切片中的cu可以由亮度分量的编码块或两个色度分量的编码块组成,并且p或b切片中的cu总是由所有三个颜色分量的编码块组成,除非视频是单色的。

34、在进行了ctu划分后,对表示预测和/或残差信息以及其他信息的cu的视频数据进行编码。预测信息指示将如何预测cu以便形成cu的预测块。残差信息通常表示编码之前的cu的样本与预测块的样本之间的逐样本差。

35、为了预测cu,通常可通过帧间预测或帧内预测来形成cu的预测块。帧间预测通常是指根据先前译码的图片的数据来预测cu,而帧内预测通常是指根据同一图片的先前译码的数据来预测cu。为了执行帧间预测,可使用一个或多个运动向量来生成预测块。通常可以例如按照cu与参考块之间的差来执行运动搜索,以识别与cu紧密匹配的参考块。可使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)或其他此类差值计算来计算差值度量,以确定参考块是否与当前cu紧密匹配。在一些示例中,可使用单向预测或双向预测来预测当前cu。

36、vvc还提供了仿射运动补偿模式,可以将其视为帧间预测模式。在仿射运动补偿模式中,可以确定表示非平移运动(诸如,放大或缩小、旋转、透视运动或其他不规则运动类型)的两个或更多个运动向量。

37、为了执行帧内预测,可以选择用于生成预测块的帧内预测模式。vvc提供了67种帧内预测模式,包括各种方向模式,以及平面模式和dc模式。通常,选择帧内预测模式,该帧内预测模式描述到当前块(例如,cu的块)的相邻样本,其中从所述相邻样本预测当前块的样本。假设以光栅扫描顺序(从左到右、从上到下的译码顺序或从右到左、从上到下的译码顺序)对ctu和cu进行译码,则这些样本通常可以在与当前块相同的图片中当前块的上方、上方及左侧或左侧。

38、对表示当前块的预测模式的数据进行编码。例如,对于帧间预测模式,视频编码器200可以对表示使用各种可用帧间预测模式中的哪一种帧间预测模式的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测,例如,可以使用高级运动向量预测(amvp)或合并模式来对运动向量进行编码。可以使用类似模式来编码用于仿射运动补偿模式的运动向量。

39、在诸如块的帧内预测或帧间预测之类的预测之后,可以计算块的残差数据。残差数据(诸如残差块)表示该块与使用相应预测模式形成的该块的预测块之间的逐样本差。可将一个或多个变换应用于残差块,以产生在变换域而非样本域中的经变换的数据。例如,可将离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。另外,视频编码器200可在一次变换之后应用二次变换,例如,与模式相关的不可分离的二次变换(mdnsst)、与信号相关的变换、karhunen-loeve变换(klt)等。在应用一个或多个变换之后产生变换系数。

40、如上所述,在用以产生变换系数的任何变换之后,可以根据量化系数(qp),执行对变换系数的量化。量化通常是指对变换系数进行量化以可能减少用于表示系数的数据量,从而提供进一步压缩的过程。通过执行量化过程,可以减小与一些或所有系数相关联的位深度。例如,可以在量化期间将n-位值舍入为m-位值,其中n大于m。在一些示例中,为了执行量化,可以执行对待量化的值的按位右移。量化系数(qp)通常是采用语法元素的行驶包含在头信息中的。

41、在量化之后,可以扫描变换系数,从而从包括经量化的变换系数的二维矩阵产生一维向量。可以将扫描设计为将较高能量(并且因此较低频率)的系数放置在向量的前面,并将较低能量(并且因此较高频率)的变换系数放置在向量的后面。在一些示例中,可以利用预定义的扫描顺序来扫描经量化的变换系数以产生串行化的向量,然后对向量的经量化的变换系数进行熵编码。在其他示例中,可以执行自适应扫描。在扫描经量化的变换系数以形成一维向量之后,可以例如根据上下文自适应二进制算术译码(cabac)对一维向量进行熵编码还可对用于语法元素的值进行熵编码,语法元素描述与经编码视频数据相关联的元数据,以供视频解码器300在解码视频数据时使用。

42、在编码过程中,可以例如在图片报头、块报头、切片报头中,生成语法数据,诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据,或其他语法数据,诸如序列参数集(sps)、图片参数集(pps)或视频参数集(vps)。视频解码器可类似地解码此类语法数据以确定如何解码对应的视频数据。这些信息都可以被称为“头信息”。

43、以此方式,可以生成包括经编码视频数据(例如,描述从图片到块(例如,cu)的划分的语法元素以及块的预测和/或残差信息)的位流。

44、屏幕内容编码是vvc的一个重要部分。由计算机产生的屏幕内容视频(screencontent video,scv)具有区别于由摄像头拍摄的自然场景视频的特殊分布特性,如图所示为不同分辨率的典型屏幕内容序列示例,与自然内容相比,它基本没有噪音、不连续的色调、细腻的线条、尖锐的边缘、相对大面积的均匀平整区域、明显的方向变化和频繁重复的纹理。例如图5示出了用于vvc的屏幕内容编码的几种测试序列的截图。根据实验数据表明,屏幕内容与自然内容的明显区别是:自然内容的像素值数量多于屏幕内容的像素值数量,自然内容像素值之间的像素差小于屏幕内容像素值之间的像素差,自然内容像素值分布比屏幕内容像素值分布更连续。

45、在视频编码中,cu划分一直占用了大部分的编码时间,无论是自然内容视频还是屏幕内容视频。例如,在使用vvc时,通过对自然内容视频多叉树划分的复杂度进行统计分析表明,禁用多叉树划分可以节省92%的编码时间。当vtm编码器关闭bt(即不使用水平二叉树划分和垂直二叉树划分)时编码时间平均减少71.75%。关闭tt(即不使用水平三叉树划分和垂直三叉树划分)时编码时间平均减少48.33%,关闭ht(即不使用水平二叉树划分和水平三叉树划分)时编码时间平均减少75.42%,关闭vt(即不使用垂直二叉树划分和垂直三叉树划分)时编码时间平均减少75.92%。关闭mt(即只有四叉树划分可用时),编码时间有平均90.42%的节省上限。通过分析,不论是自然内容视频还是屏幕内容视频,多叉树划分模式都占用了大量编码时间。因此,在视频编解码的技术发展中始终关注的一个技术问题是,如何在保证bd-rate不降低或仅有少量降低的情况下减少cu划分时间。

46、cu的最佳划分模式的选择与视频的各类区域特性有极大关联,另外,与自然内容视频相比,屏幕内容视频特性显著。基于以上分析,本公开内容提出一种针对屏幕内容不同区域特性的多叉树划分快速决策算法,提前决策最可能的多叉树划分方式,缩小划分模式遍历范围。


技术实现思路

1、本发明提出了用于在多功能视频编码(vvc)中的方法、装置、编解码器以及处理器可读存储介质。更具体而言,本发明用于在vvc中对视频帧进行编码单元(cu)划分的方法,其涉及基于屏幕内容区域特性的cu划分快速选择。

2、vvc中qtmt划分结构的计算复杂性非常高,但在许多情况下,cu划分与当前编码块的内容属性密切相关。而屏幕内容视频与自然内容视频相比有其独特的属性,因此可以根据屏幕内容视频特性预判当前块划分方式,从而有效降低编码复杂度。

3、通过实验可知,屏幕内容中的边框区域、文字区域在进行多叉树划分时经常连续选择某个方向的划分,即一行或者一列的某段中的最优划分模式连续为水平划分或者垂直划分。这是因为屏幕内容中边框、文字区域的纹理方向往往是固定的、有规律的、沿直线变化的。相反地,自然内容中的边界大多沿曲线变化,比如人物的轮廓等,从而通常不具有屏幕内容的上述特性。

4、除此之外,屏幕内容视频相比于自然内容视频而言存在更多的空白区域,其最大的特点在于空白区域中的每个像素点的亮度值为相同的某个值,这部分区域通常四叉树划分后不会选择二叉树划分和三叉树划分。

5、因此,本公开内容针对屏幕内容视频含有大片空白区域及方向变化明显的特点,对屏幕内容视频中占比相对较高的空白区域、文字区域、边框区域和其他区域分别进行指标设定,分别来进行提前中止判断、和/或某个方向上的划分的提前中止判断。

6、例如,根据本公开内容,针对空白区域,可以直接提前中止cu划分。

7、例如,针对文字区域或边框区域,由于这些纹理方向往往是固定的、有规律的、沿直线变化的,因此根据本公开内容,可以以简单的方式来确定某个区域(cu)的不同方向(例如,水平方向和垂直方向)上的像素变化是否符合上述规律,并进而识别文字区域或边框区域,并将所确定的像素变化方向(例如,水平方向或垂直方向)确定为cu的划分方向,而不判断其他方向(例如,垂直方向或水平方向)上的划分情况,即提前中止其他方向上的划分。

8、另外,本公开内容还针对除了被判断为空白区域、文字区域、边框区域的区域(例如当前cu)之外的其他区域,提出了一种新颖的提前中止判断算法,该算法利用了当前cu的与各个划分模式相关联的各个子块的平均绝对误差,来跳过各个划分模式中的相应划分模式,从而实现某个划分模式的提前中止。

9、本公开内容提出的各种提前中止方案,能够中止针对当前cu的划分,中止当前cu的某个方向(水平或垂直)上的划分,和/或中止当前cu的特定划分模式的划分,从而减少了用于当前cu划分的递归遍历过程的时间。

10、根据一个方面,一种用于对屏幕内容视频中的ctu进行cu划分的方法,包括:

11、确定当前cu是否属于第一类区域或第二类区域,其中:

12、所述第一类区域在水平方向和垂直方向上的活动度低,并且

13、所述第二类区域中的亮度值沿第一方向的变化小于沿第二方向的变化且小于第一阈值;

14、响应于确定当前cu属于所述第一类区域,提前中止cu划分;以及

15、响应于确定当前cu属于所述第二类区域,并基于当前cu的亮度值变化的所述方向,来提前中止水平方向划分或垂直方向划分之一。

16、在一个方面中,确定当前cu是否属于第一类区域或第二类区域进一步包括:

17、确定当前cu的水平像素活动度和垂直像素活动度;

18、确定当前cu的水平像素活动度和垂直像素活动度是否等于或低于第二阈值;

19、响应于确定当前cu的水平像素活动度和垂直像素活动度二者皆等于或低于第二阈值,确定当前cu属于第一类区域。

20、在一个方面中,所述第二阈值为0。

21、在一个方面中,确定当前cu是否属于第一类区域或第二类区域进一步包括:

22、将当前cu在垂直方向上划分为多个水平子块,并在水平方向上划分为多个垂直子块;

23、计算每个水平子块和每个垂直子块的亮度平均值;

24、根据水平子块亮度平均值来计算相邻水平子块的水平子块亮度差,并根据所述水平子块亮度差来计算水平子块亮度差变化幅值;

25、根据垂直子块亮度平均值来计算相邻垂直子块的垂直子块亮度差,并根据所述水平子块亮度差来计算垂直子块亮度差变化幅值;以及

26、当所述水平子块亮度差变化幅值小于所述垂直子块亮度差变化幅值且小于所述第一阈值时,确定当前cu属于第二类区域,并将垂直方向确定为所述第一方向;或者

27、当所述垂直子块亮度差变化幅值小于所述水平子块亮度差变化幅值且小于所述第一阈值时,确定当前cu属于第二类区域,并将水平方向确定为所述第一方向。

28、在一个方面中,响应于确定当前cu属于所述第二类区域,并基于当前cu的亮度值变化的所述方向,来提前中止水平方向划分或垂直方向划分之一,进一步包括:

29、当所述第一方向是水平方向时,中止水平方向划分,或者

30、当所述第一方向是垂直方向时,中止垂直方向划分。

31、在一个方面中,所述方法进一步包括:

32、响应于确定当前cu不属于所述第一类区域或所述第二类区域,基于当前cu的与划分模式相关联的子块的平均绝对误差,来从多个划分模式中确定最佳划分模式。

33、在一个方面中,所述多个划分模式包括:水平二叉树、垂直二叉树、水平三叉树和垂直三叉树。

34、根据另一个方面中,一种用于对屏幕内容视频中的ctu进行cu划分的方法,包括:

35、计算当前cu的水平像素活动度(acth)和垂直像素活动度(actv),判断acth和actv是否都等于0;

36、如果acth和actv两者都等于0,跳过水平二叉树、垂直二叉树、水平三叉树和垂直三叉树划分模式的递归遍历过程;

37、计算当前cu水平方向的等距子块亮度差变化幅值(hora(n))和垂直方向的等距子块亮度差变化幅值(vera(n));

38、如果hora(n)<vera(n)并且hora(n)<th1,跳过水平二叉树划分和水平三叉树划分划分模式的递归遍历过程;

39、如果vera(n)<hora(n)并且vera(n)<th1,跳过垂直二叉树划分和垂直三叉树划分的递归遍历过程;

40、分别计算水平二叉树、垂直二叉树、水平三叉树和垂直三叉树划分模式下平均绝对误差(maehb、maevb、maeht、maevt);

41、如果maehb最小,则跳过水平二叉树划分模式的递归遍历过程;

42、如果maevb最小,则跳过垂直二叉树划分模式的递归遍历过程;

43、如果maeht最小,则跳过水平三叉树划分模式的递归遍历过程;

44、如果maevt最小,则跳过垂直三叉树划分模式的递归遍历过程

45、根据另一方面,一种硬件视频编码器,所述编码器被配置为通过如下操作来对屏幕内容视频中的ctu进行cu划分:

46、确定当前cu是否属于第一类区域或第二类区域,其中:

47、所述第一类区域在水平方向和垂直方向上的活动度低,并且

48、所述第二类区域中的亮度值沿第一方向的变化小于沿第二方向的变化且小于第一阈值;

49、响应于确定当前cu属于所述第一类区域,提前中止cu划分;以及

50、响应于确定当前cu属于所述第二类区域,并基于当前cu的亮度值变化的所述方向,来提前中止水平方向划分或垂直方向划分之一。

51、根据另一方面,一种计算机程序产品,包括非暂时性存储介质,所述非暂时性存储介质中存储有用于执行上述方法的代码。

52、根据另一方面,提出了一种对使用所述的方法或所述的编码器进行编码的视频流进行解码的解码器。

53、根据另一方面,提出了一种用于执行所述的方法的计算机程序产品。根据进一步的方面,该计算机程序产品具有非暂时性存储介质,其上存储有计算机代码/指令,当其被处理器执行时,可以实现本文所述的各种操作。

54、根据另一方面,提出了一种可用于视频编解码的设备,该设备包括:

55、一个或多个处理器;

56、存储器,其中存储有计算机代码,所述计算机代码当由所述处理器执行时,实现所述的方法。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1