一种图像特征信息帧内快速划分方法、系统及存储介质与流程

本发明涉及机器视觉和模式识别技术领域，尤其涉及一种图像特征信息帧内快速划分方法、系统及存储介质。

背景技术：

视频编码标准versatilevideocoding(vvc)是继上一代视频编码标准highefficiencyvideocoding(hevc)后，由jointvideoexplorationteam(jvet)工作组于2018年所提出的新一代编码标准。vvc与上一代编码标准类似，vvc也采用了混合编码框架，并引入了qtmt、atmvp和pdpc等技术，使得vvc的压缩能力相比hevc有了大幅度的提升。与hevc类似，将每一幅图像分割为多个树形结构单元(codingtreeunit，ctu)后再递归分割为多个编码单元(codingunit，cu)进行编码，以适应不同图像的不同纹理特征，实现更有效的压缩。而与hevc中将每个ctu按照四叉树划分方法，递归分割为cu不同，vvc中采用了四叉树+多叉树的划分方式，即首先将每个ctu先进行四叉树划分，之后再把四叉树的叶节点进一步划分为二叉树、三叉树或四叉树。

vvc对每一幅图像进行不同模式及划分的尝试，该过程是逐个尝试不同的可用模式以确定最佳模式的过程，因而整个过程中伴随着大量不必要的尝试，使得该过程非常耗时，对编码时间的影响较大。编码时间的大幅上涨对该技术的应用产生了一定的影响，限制了该技术的应用以及推广，当前需要一种可以缩短其编码时间的技术方法。

技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种图像特征信息帧内快速划分方法、系统及存储介质。

一种图像特征信息帧内快速划分方法，包括以下步骤：

获取训练视频序列，对视频序列提取特征获取训练数据；

通过所述训练数据训练支持向量机得到分类器；

通过已训练完成的分类器对模式列表进行过滤，获取跳过模式列表；

根据所述跳过模式列表，跳过编码模式的尝试过程，进行编码流程。

进一步，所述获取训练视频序列，对视频序列提取特征获取训练数据这一步骤，包括以下步骤：

获取所述特征数据的灰度共生矩阵；

通过sobel算子获取所述特征数据的梯度和绝对值；

使用所述灰度共生矩阵，以及所述梯度和绝对值训练支持向量机，得到分类器。

进一步，所述分类器包括四叉树结构分类器、垂直结构分类器、二叉树结构分类器和帧内模式分类器。

进一步，所述通过所述训练数据训练支持向量机得到分类器这一步骤，还包括以下步骤：

通过sobel算子模板对像素矩阵进行卷积计算处理，获取图像的一阶水平梯度矩阵及一阶垂直梯度矩阵；

获取垂直和水平灰度共生矩阵对应的垂直矩阵能量值和水平矩阵能量值，垂直矩阵对比度和水平矩阵对比度，垂直矩阵熵和水平矩阵熵，垂直矩阵逆差距和水平矩阵逆差距；

获取当前待编码划分块的左方，上方及左上方编码完成块的四叉树划分深度；

获取当前待编码划分块的左右区域的像素均值之差及上下区域的第一像素均值差；

获取当前待编码划分块在三叉树划分情况下，不同划分区域的第二像素均值差。

将所述垂直和水平灰度共生矩阵对应的垂直矩阵能量值和水平矩阵能量值，垂直矩阵对比度和水平矩阵对比度，垂直矩阵熵和水平矩阵熵，垂直矩阵逆差距和水平矩阵逆差距，四叉树划分深度，第一像素均值差，第二像素均值差，作为输入数据，训练所述支持向量机，得到分类器。

进一步，所述通过已训练完成的分类器对模式列表进行过滤，获取跳过模式列表这一步骤，包括以下步骤：

通过四叉树结构分类器获取划分为四叉树结构的第一概率值，若所述第一概率值大于四叉树第一预设概率阈值，则直接进行四叉树的划分；反之，所述第一概率值低于四叉树第二预设概率阈值，则禁止进行四叉树划分的尝试过程；

通过垂直结构分类器获取划分为垂直结构的第二概率值，若所述第二概率值大于垂直结构第一预设概率阈值，则禁止水平划分的尝试过程；反之，所述第二概率值小于垂直结构第二预设概率阈值，则禁止垂直划分的尝试过程；

通过二叉树结构分类器获取划分为二叉树的第三概率值，若所述第三概率值大于二叉树第一预设概率阈值，则禁止三叉树划分的尝试过程，反之，所述第三概率值小于二叉树第二预设概率阈值，则禁止二叉树划分的尝试过程。

进一步，所述根据所述跳过模式列表，跳过编码模式的尝试过程，进行编码流程这一步骤，还包括以下步骤：

获取模式列表，进入列表选项的划分尝试过程；

根据跳过模式列表，跳过禁止的划分尝试过程；

进入帧内决策过程，获取帧内模式并进行编码。

进一步，所述进入帧内决策过程，获取帧内模式并进行编码这一步骤，还包括以下步骤：

开始帧内决策过程，加载帧内模式分类器，进行第一轮帧内模式选择；

通过帧内模式分类器获取跳过当前模式的第四概率值，所述第四概率值小于预设的第三概率阈值，则进行第二轮帧内模式选择；

根据选择的帧内模式和预设的编码流程进行编码。

本发明还提出了一种图像特征信息帧内快速划分系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述的一种图像特征信息帧内快速划分方法。

本发明还提出了一种图像特征信息帧内快速划分系统，包括：

预处理模块，用于获取训练视频序列，对视频序列提取特征获取训练数据；

分类器训练模块，用于通过所述训练数据训练支持向量机得到分类器；

分类器划分模块，用于通过已训练完成的分类器对模式列表进行过滤，获取跳过模式列表；

编码模块，用于根据所述跳过模式列表，跳过编码模式的尝试过程，进行编码流程。

本发明还提出了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述的一种图像特征信息帧内快速划分方法。

上述本发明的实施例中的一个或多个技术方案具有如下优点：

本发明采用了一种图像特征信息帧内快速划分方法，该方法提取图像特征信息后，训练得到分类器，并使用分类器对待处理图像进行判断，对耗时较长的编码模式的尝试过程进行跳过，从而缩短了在进行视频编码过程中所花费的时间。对于采用符合本方法技术的视频编码标准，尤其是vvc编码标准的应用和推广，有显著的推动作用。

附图说明

图1是本发明一种图像特征信息帧内快速划分方法的流程图；

图2是本发明的四叉树结构分类器待划分块和周边块的示意图；

图3是本发明垂直结构分类器待划分块和周边块的示意图；

图4是本发明二叉树结构分类器待划分块和周边块的示意图；

图5是本发明通过已训练完成的分类器对模式列表进行过滤，获取过滤后的模式列表这一步骤的详细步骤的流程图；

图6是本发明通过已训练完成的分类器对模式列表进行过滤，获取过滤后的模式列表这一步骤的详细步骤的流程图；

图7是本发明按照当前选项进行划分，进入帧内决策过程这一步骤的详细步骤流程图。

具体实施方式

下面结合附图，对本发明的技术方案进行详细描述。

如图1所示，本发明一种图像特征信息帧内快速划分方法，包括以下步骤：

s1：获取训练视频序列，对视频序列提取特征获取训练数据；

s2：通过所述训练数据训练支持向量机得到分类器；

s3：通过已训练完成的分类器对模式列表进行过滤，获取跳过模式列表；

s4：根据所述跳过模式列表，跳过编码模式的尝试过程，进行编码流程。

在步骤s1中，获取训练视频序列，对视频序列提取特征获取训练数据。其中，训练视频序列包括训练模型用的视频序列和测试模型结果的视频序列。本发明的一个实施例中，采用vvc的参考软件vtm进行特征获取，vtm是运行vvc的标准参考软件。

在步骤s2中，通过所述训练数据训练支持向量机得到分类器。提取到的训练用特征数据需要根据块划分的结果做好相应的标记，从而方便后续的数据训练。

本发明中，采用灰度共生矩阵对纹理进行描述，灰度共生矩阵是一种通过研究灰度的空间相关特性来描述纹理的矩阵，通过对图像上保持设定距离的两像素分别具有某灰度的状况进行统计得到。例如，取n×n大小图像中的任意一点(x，y)及偏离它a和b距离的另一点(x+a，x+b)，由该两点组成的点对为(g1，g2)。之后让(x，y)在整个画面上移动，得到各种(g1，g2)值的组合，并对每种组合出现的次数进行统计，将统计出的次数排列成一个g1×g2大小的方阵，并将各个灰度对出现的次数归一化为出现的概率p(g1，g2)，最终得到的矩阵就是灰度共生矩阵。

其中，当差分值的取值为(1，0)及(0，1)两种情况的时候，得到的灰度共生矩阵就是反应图像水平情况和垂直情况下图像纹理分布特征的矩阵。灰度共生矩阵包含用于描述它的标量，例如：能量、对比度、熵、逆差距等。

在灰度共生矩阵的描述标量中，能量(angularsecondmoment)使用如下公式表述：

其中asm表示能量，k表示灰度共生矩阵的行元素或列元素的个数(即待处理图像灰度级的个数)，(g(i,j))表示每种灰度对出现的归一化后的频率。能量可以反映图像灰度分布的均匀程度和纹理粗细度。

在灰度共生矩阵的描述标量中，对比度(contrast)使用如下公式表述：

其中con表示对比度，k和(g(i,j))表示的含义与能量表达式中相同。对比度反映的是某个像素值和周边像素值的亮度的对比情况。

在灰度共生矩阵的描述标量中，熵(entropy)使用如下公式表述：

其中ent表示熵，k和(g(i,j))表示的含义与能量表达式中相同。熵反映的是图像中纹理的非均匀程度或者复杂程度。

在灰度共生矩阵的描述标量中，逆差距(inversedifferentmoment)使用如下公式表述：

其中idm表示逆差距，k和(g(i,j))表示的含义与能量表达式中相同。逆差距反映的是图像纹理的同质性。

采用上述公式以及差分值为(1，0)及(0，1)的取值，得到垂直及水平两个方向的灰度共生矩阵的能量asmv及asmh，对比度conv及conh，熵entv及enth，逆差距idmv及idmh。

本步骤中，采用如上描述的灰度共生矩阵生成方法及灰度共生矩阵的描述标量，获取图像的特征数据。同时，还采用了sobel算子获取图像的一阶水平梯度矩阵gx以及一阶垂直梯度矩阵gy。sobel算子是一种常用的获取数字图像一阶梯度的方法，其计算公式如下：

δxf(x,y)＝[f(x-1,y+1)+2f(x,y+1)+f(x+1,y+1)]-[f(x-1,y-1)+2f(x,y-1)+f(x+1,y-1)]

δyf(x,y)＝[f(x-1,y-1)+2f(x-1,y)+f(x-1,y+1)]-[f(x+1,y-1)+2f(x+1,y)+f(x+1,y+1)]

其中，δxf(x,y)表示图像中位于(x,y)位置的某一像素值为f(x,y)的点的水平方向的梯度，δyf(x,y)表示图像中位于(x,y)位置的某一像素值为f(x,y)的点的垂直方向的梯度。

在实际计算中，采用如下的sobel算子模板与像素矩阵的卷积，得到具体的梯度矩阵：

其中，gx表示图像的一阶水平梯度矩阵，gy表示图像的一阶垂直梯度矩阵，p为待处理的图像。在后续的模型训练前，先得到两个矩阵的每个值的绝对值之和，公式如下：

其中|gx|即为gx中每个值的绝对值之和，其中|gy|即为gy中每个值的绝对值之和，w为图像的宽度，h为图像的高度。

获取到所需的|gx|、|gy|以及图像的灰度共生矩阵后，对所述分类器进行训练。本发明中分类器采用支持向量机实现。支持向量机是一种有监督学习模型，主要针对线性可分的情况进行分析，或者通过使用非线性映射算法将低维空间输入的线性不可分的样本转化为高位特征空间线性可分的样本进行分析。简单来说，就是将两种不同的数据经过不断拟合学习，找到一条被称为“决策面”的直线将两种数据进行分类。支持向量机可以学习到全局最优化的学习结果。

所述分类器包括四叉树结构分类器、垂直结构分类器、二叉树结构分类器和帧内模式分类器。

在四种分类器中，四叉树结构分类器，用于识别当前块是否有必要进行四叉树结构划分的尝试。采用的分类特征有：此前由sobel算子计算得到的|gx|、|gy|以及两者之和|gx|+|gy|，由差分值为(1，0)及(0，1)计算得到的垂直及水平两个方向的灰度共生矩阵的能量asmv及asmh，对比度conv及conh，熵entv及enth，逆差距idmv及idmh，以及当前待划分块的左方，上方及左上方已经编码完成块的四叉树划分深度，如图2所示，获取当前待编码划分块旁边a、b、c共3块已经编码完成区域的四叉树划分深度。

在四种分类器中，垂直结构分类器，用于识别当进行二叉树和三叉树划分时，划分的方向是否是垂直方向。其采用的分类特征与四叉树结构分类器类似，均采用了由sobel算子计算得到的|gx|、|gy|以及两者之差|gx|-|gy|以及能量之差asmv-asmh，对比度之差conv-conh，熵之差entv-enth，逆差距之差idmv-idmh。不同之处在于，如图3所示，垂直结构分类器需要获取当前待编码划分块的左右区域a和b的像素均值之差gdx及上下区域c、和d的像素均值之差gdy，获取公式如下：

其中，k表示灰度共生矩阵的行元素或列元素的个数(即待处理图像灰度级的个数)，(g(i,j))表示每种灰度对出现的归一化后的频率。

在四种分类器中，二叉树结构分类器，用于在垂直结构分类器的基础上，识别是否进行二叉树划分。其采用的分类特征有：当前待划分块的左方，上方及左上方已经编码完成块的四叉树划分深度，如图2所示，获取当前待编码划分块旁边a、b、c共3块已经编码完成区域的四叉树划分深度；以及当前待编码划分块在三叉树划分情况下，不同划分区域的像素均值差，如图4所示，获取a和b区域的像素均值差gdab，b和c区域的像素均值差gdbc，d和e区域的像素均值差gdde，以及e和f区域的像素均值差gdef，均值差的计算公式如下所示：

其中，w为图像的宽度，h为图像的高度，(g(i,j))表示每种灰度对出现的归一化后的频率。

在四种分类器中，帧内模式分类器，同于判断和跳过帧内决策过程中的第二轮筛选过程。其采用的分类特征与四叉树结构分类器类似，均采用了由sobel算子计算得到的|gx|、|gy|以及两者之和|gx|+|gy|以及能量之和asmv+asmh，对比度之和conv+conh，熵之和entv+enth，逆差距之和idmv+idmh。

根据上述分类器采用的分类特征，提取获得相应的训练用数据，并将所有的数据随机分为互不重合的训练数据和测试数据。训练数据需要做一定的预处理，将部分数据进行丢弃处理，保证两个分类结果的样本数保持相等，例如对四叉树结构分类器的样本，就保证进行四叉树划分和不进行四叉树划分的样本数相等。

训练数据预处理完成后，将各分类器对应的训练数据加入根据支持向量机原理编写好的训练程序进行训练，对于线性不可分的问题，则使用核函数将数据映射到高维空间完成升维，将其转化为在高维空间中的线性可分问题，再针对高维空间进行分类和训练。本方案中根据实际经验，采用高斯核函数对数据进行升维操作。

训练完成后，还使用此前划分出的测试数据对训练出的模型的分类效果进行测试，并根据测试结果对训练时的参数进行调整，直到训练结果达到预设要求。

采用如上的方法和特征数据对支持向量机进行训练后，得到所述的分类器，将训练好的分类器进行存储。

在步骤s3中，通过已训练完成的分类器对模式列表进行过滤，获取跳过模式列表。参考图5，过滤的过程包括如下的步骤：

s301：初始化并加载已训练完成的分类器，所述分类器包括四叉树结构分类器、垂直结构分类器和二叉树结构分类器。

s302：使用四叉树结构分类器进行四叉树划分判断，得到四叉树划分可能性。若判断可能性大于四叉树第一预设概率阈值，则直接进入步骤s305；若判断可能性小于四叉树第二预设概率阈值，则在此次划分中禁止进行四叉树划分的尝试过程。

s303：使用垂直结构分类器进行垂直结构划分判断，得到垂直结构划分可能性。若判断可能性大于垂直结构第一预设概率阈值，则在此次划分中禁止水平结构划分；若判断可能性小于垂直结构第二预设概率阈值，则在此次划分中禁止垂直结构划分。

s304：使用二叉树结构分类器进行二叉树结构划分判断，得到二叉树结构划分可能性。若判断可能性大于二叉树结构第一预设概率阈值，则在此次划分中禁止三叉树结构划分；若判断可能性小于二叉树结构第二预设概率阈值，则在此次划分中禁止二叉树结构划分。

s305：将选择器的判断结果加入跳过列表，进入划分阶段。

在本过滤流程中，四叉树结构分类器、垂直结构分类器和二叉树结构分类器的输出结果均为将图像划分到某一类的概率值大小p，为保证划分分类尽可能地准确，进行分类的概率阈值经过多次经验和统计检验，如四叉树第一预设概率阈值选用0.88，四叉树第二预设概率阈值选用0.12。所述的两个四叉树预设概率阈值也是其他预设概率阈值的参考值。

在步骤s4中，根据所述跳过模式列表，跳过编码模式的尝试过程，进行编码流程，参考图6和图7，该步骤主要包括以下步骤：

s401：判断当前模式列表中的划分选项是否已全部尝试，若全部尝试则进入步骤s404，反之则进入步骤s402。

s402：当前的划分选项是否处于跳过列表中，属于被禁止的划分；若是则回到步骤s401，反之则进入步骤s403。

s403：按照当前选项进行划分，进入帧内决策过程，并递归进入步骤s401。

s403-1：加载帧内模式分类器；

s403-2：进行第一轮帧内模式的选择；

s403-3：将获取的图像特征输入帧内模式分类器进行判断，判断不进行第二轮筛选的可能性大于预设的第四概率值时，跳过第二轮筛选过程，进入步骤s403-5；反之，则进入步骤s403-4；

s403-4：进行第二轮帧内模式的选择；

s403-5：结束帧内决策过程。

s404：结束划分及帧内决策过程。

其中，所述第四概率值经过多次统计及经验计算得到的值为0.88。

为了实现本发明一种图像特征信息帧内快速划分方法，本发明还提出了一种图像特征信息帧内快速划分系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如上所述的一种图像特征信息帧内快速划分方法。

为了实现本发明一种图像特征信息帧内快速划分方法，本发明还提出了一种图像特征信息帧内快速划分系统，包括：

预处理模块，用于获取训练视频序列，对视频序列提取特征获取训练数据；

分类器训练模块，用于通过所述训练数据训练支持向量机得到分类器；

分类器划分模块，用于通过已训练完成的分类器对模式列表进行过滤，获取跳过模式列表；

编码模块，用于根据所述跳过模式列表，跳过编码模式的尝试过程，进行编码流程。

为了实现本发明一种图像特征信息帧内快速划分方法，本发明还提出了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行如上所述的一种图像特征信息帧内快速划分方法。

综上所述，相较于现有技术，本发明具有以下优点：

(1)本发明提取图像特征信息后，训练得到分类器，并使用分类器对待处理图像进行判断，对耗时较长的编码模式的尝试过程进行跳过，从而缩短了在进行视频编码过程中所花费的时间。

(2)本发明同时使用灰度共生矩阵及其标量特征，sobel算子获取的梯度，以及当前待划分块周边块的划分深度记录三方面指标对支持向量机进行训练并得到划分结果，提升了划分的可靠性。

(3)在帧内模式选择的过程中，本发明采用了较高的阈值对选择结果进行判断，降低了因为误判而导致的划分错误或者划分时间损失。

(4)本发明通过训练支持向量机获得分类器，可以使得学习结果做到全局最优话，并在整个样本空间的期望以某个概率满足一定的上界。

(5)本发明在划分流程和帧内决策流程均加入分类器对划分模式进行判断，判断是否要跳过当前的划分模式，从而提升了流程的容错性和可靠性。

对于上述方法实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。