用于HEVC的帧间编码单元划分方法、装置和存储介质与流程

本发明涉及视频处理技术领域，尤其是用于hevc的帧间编码单元划分方法、装置和存储介质。

背景技术：

术语解释：

高效视频编码标准(hevc，highefficiencyvideocoding)：是一种在2013年发布的视频编码技术，它是在h.264标准的基础上为了满足数字视频产业对高清和超高清视频存储及传输的日益迫切的发展需求而开发的新一代视频编码标准。hevc在混合编码框架的基础上，结合大量技术创新，在保证相同视频质量的情况下，相比h.264节省近50％的码流。

编码树单元(ctu，codingtreeunit)、编码单元(cu，codingunit)、预测单元(pu，predictionunit)：ctu、cu和pu均为hevc中的数据结构。

率失真优化(rdo，ratedistortionoptimization)：是hevc中的数据处理过程。

hevc编码层的核心是编码树单元，概念上类似于h.264/avc中的宏块，由亮度编码树块(ctb)、相应的色度编码树块和语法元素组成。如图1和图2所示，一个编码树单元可以不进行划分(标记为0)或被分成多个编码单元(标记为1)，编码单元的大小为8×8，16×16，32×32或64×64。然而，为了找到最优的编码树单元划分结构，hevc采用了率失真优化方法。率失真优化方法是一种穷举搜索方法，一个编码树单元会遍历85种编码单元划分方式，但是最终只会选择其中的最佳划分作为最终划分的结果。率失真优化方法在极大地提高编码效率的同时，给编码器带来了很大的计算复杂度。

现有技术的缺点在于，每次进行编码单元划分时都需要执行率失真优化过程，但其中一些不必要的率失真优化过程虽然提高了编码效率，但同时带来了很大的计算复杂度，造成总体的效率不高。

技术实现要素：

为了解决上述技术问题，本发明的目在于提供用于hevc的帧间编码单元划分方法、装置和存储介质。

一方面，本发明包括一种用于hevc的帧间编码单元划分方法，包括以下步骤：

将编码树单元输入到经过训练的卷积神经网络中进行处理；

获取卷积神经网络输出的编码单元划分概率；

根据所述编码单元划分概率执行相应的划分处理；所述划分处理为以下其中一种：从编码树单元划分出具有相应大小的编码单元；不进行划分；执行率失真优化过程，根据率失真优化过程的结果，选择从编码树单元划分出具有相应大小的编码单元或不进行划分。

进一步地，所述卷积神经网络包括：

输入层，用于接收编码树单元的亮度分量的残差信息；

预处理层，用于对所述残差信息进行标准化；

下采样层，用于对划分出的不同大小的编码单元进行尺寸统一；

卷积层组，所述卷积层组包括多个依次相连的卷积层，所述卷积层组用于将经过标准化的残差信息映射到隐层特征空间，从而进行特征提取；

融合层，用于将卷积层组提取的特征进行融合处理；

全连接层，用于接收融合层输出的特征融合结果，并根据辅助参数对特征融合结果进行降维处理；

输出层，用于接收全连接层输出的降维结果，并根据激活函数输出对应各种大小的编码单元划分概率。

进一步地，所述残差信息是接收到的编码树单元的亮度分量所在的当前帧与参考帧之间的残差。

进一步地，所述残差信息是通过对编码树单元的亮度分量执行预编码过程获得的。

进一步地，所述标准化是指对残差信息进行归一化处理，使得残差信息的均值为零。

进一步地，所述卷积层组包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层包括16个大小为4×4的卷积核，所述第二卷积层包括24个大小为2×2的卷积核，所述第三卷积层包括32个大小为2×2的卷积核；所述第一卷积层、第二卷积层和第三卷积层均被设置为批归一化模式和残差学习模式。

进一步地，所述根据所述编码单元划分概率执行相应的划分处理这一步骤，具体包括：

当所述编码单元划分概率小于第一阈值时，不进行划分；

当所述编码单元划分概率大于第二阈值时，从编码树单元划分出具有相应大小的编码单元；

当所述编码单元划分概率大于第一阈值时且小于第二阈值时，执行率失真优化过程，根据率失真优化过程的结果，选择从编码树单元划分出具有相应大小的编码单元或不进行划分。

进一步地，所述第一阈值为0.3，所述第二阈值为0.7。

另一方面，本发明还包括一种用于hevc的帧间编码单元划分装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明方法。

另一方面，本发明还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明方法。

本发明的有益效果是：本发明以编码单元划分概率来表示进行编码单元划分或者执行率失真优化过程的必要性，可以避免每次都要执行率失真优化过程，使得hevc在保证编码效率的基础上提高编码速度，hevc的视频编码能力更强。

附图说明

图1和图2为hevc技术中编码单元的划分原理图；

图3为本发明帧间编码单元划分方法的流程图；

图4为本发明实施例中卷积神经网络的结构图和原理图；

图5为本发明实施例中残差学习的原理图。

具体实施方式

本发明一种用于hevc的帧间编码单元划分方法，参照图3，包括以下步骤：

s1.将编码树单元输入到经过训练的卷积神经网络中进行处理；

s2.获取卷积神经网络输出的编码单元划分概率；

s3.根据所述编码单元划分概率执行相应的划分处理；所述划分处理为以下其中一种：从编码树单元划分出具有相应大小的编码单元；不进行划分；执行率失真优化过程，根据率失真优化过程的结果，选择从编码树单元划分出具有相应大小的编码单元或不进行划分。

本实施例中，所用的卷积神经网络主要接收编码树单元中的亮度分量的残差信息，然后输出64×64、32×32、16×16等各种不同大小的编码单元对应的划分概率。根据编码单元对应的划分概率的具体数值，对该编码单元选择以下a、b和c三种划分处理当中的一种来执行：a.从编码树单元划分出具有相应大小的编码单元；b.不进行划分；c.执行率失真优化过程，根据率失真优化过程的结果，选择从编码树单元划分出具有相应大小的编码单元或不进行划分。

步骤s1-s3的原理为：在hevc中，块的划分结构采用的是四叉树划分。如前所述，确定最佳划分深度需要遍历所有可能的编码单元划分深度组合，选取rd-cost最小的组合作为结果，这是一个非常耗时的过程。如果在率失真优化过程之前就能确定划分深度将大大减少编码时间。编解码器在编码每一帧之前，先使用训练好的卷积神经网络得到当前帧中所有编码树单元的划分概率，然后才进入到当前编码图像的编码树单元划分阶段。通过执行步骤s1-s3，以编码单元划分概率来表示进行编码单元划分或者执行率失真优化过程的必要性，可以避免每次都要执行率失真优化过程，使得hevc在保证编码效率的基础上提高编码速度，hevc的视频编码能力更强。

进一步作为优选的实施方式，所述卷积神经网络包括：

输入层，用于接收编码树单元的亮度分量的残差信息；其中，所述残差信息是接收到的编码树单元的亮度分量所在的当前帧与参考帧之间的残差；

预处理层，用于对所述残差信息进行标准化；所述标准化是指对残差信息进行归一化处理，使得残差信息的均值为零；

下采样层，用于对划分出的不同大小的编码单元进行尺寸统一；下采样层对大尺寸cu进行相对缩小，对小尺寸的cu进行相对放大，使大尺寸的cu特征更加集中，使小尺寸的cu特征更加显著，方便之后的卷积层进行准确的特征提取；

卷积层组，所述卷积层组包括多个依次相连的卷积层，所述卷积层组用于将经过标准化的残差信息映射到隐层特征空间，从而进行特征提取；

融合(concatenate)层，用于将卷积层组提取的特征进行融合处理；

全连接层，用于接收融合层输出的特征融合结果，并根据辅助参数对特征融合结果进行降维处理；因为qp以及参考帧poc对编码树单元划分深度的影响很大，所以需要在全连接层考虑进去，这里的辅助参数主要是指qp和poc；

输出层，用于接收全连接层输出的降维结果，并根据激活函数输出对应各种大小的编码单元划分概率；输出层主要使用softmax激活函数得到64×64、32×32、16×16等大小的编码单元的划分概率。

本实施例中的卷积神经网络的结构和原理如图4所示。由图4可知，将一个编码树单元输入到该卷积神经网络，该卷积神经网络的输出值实际上是该编码树单元的划分深度。因此，无需针对不同大小的编码单元分别进行训练，只需要训练一次，即可以通过调整网络参数分别输出64×64、32×32、16×16等大小的编码单元的划分概率。

进一步作为优选的实施方式，所述残差信息是通过对编码树单元的亮度分量执行预编码(pre-encode)过程获得的。

当通过执行预编码(pre-encode)过程获得残差信息时，要求卷积神经网络中涉及到的编码单元和预测单元的大小均为64×64。本实施例只会在编码开始时对每一帧进行预编码操作，因为限制了编码单元和预测单元大小只能为64×64，省去了编码单元深度决策的过程，所以并不会增加太多复杂度。同时，神经网络会在对当前帧进行编码树单元划分之前得到整帧所有编码树单元的划分概率，通过步骤s3决定是否需要划分。

进一步作为优选的实施方式，所述卷积层组包括第一卷积层、第二卷积层和第三卷积层；所述第一卷积层包括16个大小为4×4的卷积核，所述第二卷积层包括24个大小为2×2的卷积核，所述第三卷积层包括32个大小为2×2的卷积核。所述第一卷积层、第二卷积层和第三卷积层均被设置为批归一化(batchnormalization)模式和残差学习(residuallearning)模式，其中，批归一化可以增强卷积神经网络的泛化能力，残差学习可以增加网络的训练速度。残差学习的原理如图5所示。

本实施例中，卷积层组设有三个卷积层，融合层主要用于对其中的第二卷积层和第三卷积层提取的特征进行融合处理。

进一步作为优选的实施方式，所述步骤s3，即根据所述编码单元划分概率执行相应的划分处理这一步骤，具体包括：

s301.当所述编码单元划分概率小于第一阈值时，不进行划分；

s302.当所述编码单元划分概率大于第二阈值时，从编码树单元划分出具有相应大小的编码单元；

s303.当所述编码单元划分概率大于第一阈值时且小于第二阈值时，执行率失真优化过程，根据率失真优化过程的结果，选择从编码树单元划分出具有相应大小的编码单元或不进行划分。

步骤s301-s303是一种双阈值判断规则，通过设置第一阈值t1和第二阈值t2，并判断编码单元划分概率与第一阈值t1和第二阈值t2的关系，可以减少误判带来的性能损失。本实施例中，第一阈值t1小于第二阈值t2，且第一阈值t1和第二阈值t2的取值范围都是(0,1)。

优选地，第一阈值t1为0.3，所述第二阈值t2为0.7。当编码单元划分概率小于0.3时，不进行编码单元的划分；当所述编码单元划分概率大于0.7时，从编码树单元划分出64×64、32×32、16×16等大小的编码单元；当所述编码单元划分概率在0.3与0.7之间时，执行率失真优化过程，根据率失真优化过程的结果，选择从编码树单元划分出具有相应大小的编码单元或不进行划分。

本发明还包括一种用于hevc的帧间编码单元划分装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行本发明所述用于hevc的帧间编码单元划分方法。

本发明用于hevc的帧间编码单元划分装置可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。

本发明还包括一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行本发明所述用于hevc的帧间编码单元划分方法。

将经过本发明改进的hevc应用在视频编码，可以取得更佳的编码质量。

以上是对本发明的较佳实施进行了具体说明，但对本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。