图像编码方法及其设备与流程

本发明涉及一种压缩技术领域，特别涉及一种图像编码方法及其设备。

背景技术：

随着视频图像技术的发展，各种视频图像编码标准已经被开发出来，以减少视频图像传输所需的比特率或存储所需的容量。视频图像之所以能被压缩编码，是因为图像数据中存在着冗余。图像数据的冗余主要表现为：图像中相邻像素间的相关性引起的空间冗余；图像序列中不同帧之间存在相关性引起的时间冗余；不同彩色平面或频谱带的相关性引起的频谱冗余。压缩编码的目的就是通过去除这些数据冗余来减少表示图像数据所需的比特数。根据视频图像压缩方法(诸如运动图像专家组(mpeg)-1、mpeg-2、mpeg-4或h.264/mpeg-4先进视频编码(avc))，画面被划分为多个图像块以对图像进行编码。在所述多个图像块中的每个图像块按照帧间预测和帧内预测编码模式中的任意模式被编码。

视频图像的压缩编码技术主要由四个部分组成，包含：预测模块、量化模块、码控模块和熵编码模块。其中预测模块作为一个重要的模块，是利用相邻像素间存在的空间冗余度，根据邻近像素信息对当前像素值进行预测。

随着视频图像数据的不断增加，如何对当前图像块选择一种最优预测模式从而提高压缩编码的效率成为亟待解决的问题。

技术实现要素：

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种图像编码方法及其设备。

具体地，本发明一个实施例提出的一种图像编码方法，包括：

通过选择预测模式库选取当前图像块的估计预测模式；其中，选择预测模式库为预先规定的多个预测模式候补形成的数据库；

根据估计预测模式对当前图像块中的图像数据进行预测获取所述当前图像块中的图像数据的残差数据；

将所述残差数据以及对应的所述估计预测模式索引标识进行编码形成码流。

在本发明的一个实施例中，所述选择预测模式库中包括第一预测模式候补，第二预测模式候补以及第三预测模式候补；其中，

所述第一预测模式候补为基于当前图像块中多像素分量选取最优参考的预测模式候补；

所述第二预测模式候补为基于当前图像块中不同参考窗口选取最优参考的预测模式候补；

所述第三预测模式候补为基于当前图像块不同分割形式选取最优分割的预测模式候补。

在本发明的一个实施例中，所述估计预测模式的选取包括：

检测所述当前图像块的图像特征信息；

利用所述图像特征信息在选择预测模式库中为所述当前图像块预估出一种预测模式候补作为所述当前图像块的估计预测模式。

在本发明的一个实施例中，根据估计预测模式对当前图像块中的图像数据进行预测获取所述当前图像块中的图像数据的残差数据，包括：

若所述估计预测模式为所述第一预测模式候补，则通过所述第一预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据；

若所述估计预测模式为所述第二预测模式候补，则通过所述第二预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据；

若所述估计预测模式为所述第三预测模式候补，则通过所述第三预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据。

在本发明的另一个实施例提出的一种图像编码设备，包括：

选取器，用于通过选择预测模式库选取当前图像块的估计预测模式；其中，选择预测模式库为预先规定的多个预测模式候补形成的数据库；

预测器，用于根据估计预测模式对当前图像块中的图像数据进行预测获取所述当前图像块中的图像数据的残差数据；

编码器，用于将所述残差数据以及对应的所述估计预测模式索引标识进行编码形成码流。

在本发明的一个实施例中，所述选取器中的所述选择预测模式库中包括第一预测模式候补，第二预测模式候补以及第三预测模式候补；其中，

所述第一预测模式候补为基于当前图像块中多像素分量选取最优参考的预测模式候补；

所述第二预测模式候补为基于当前图像块中不同参考窗口选取最优参考的预测模式候补；

所述第三预测模式候补为基于当前图像块不同分割形式选取最优分割的预测模式候补。

在本发明的一个实施例中，所述选取器中所述估计预测模式的选取包括：

检测所述当前图像块的图像特征信息；

利用所述图像特征信息在选择预测模式库中为所述当前图像块预估出一种预测模式候补作为所述当前图像块的估计预测模式。

在本发明的一个实施例中，所述预测器具体用于：

若所述估计预测模式为所述第一预测模式候补，则通过所述第一预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据；

若所述估计预测模式为所述第二预测模式候补，则通过所述第二预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据；

若所述估计预测模式为所述第三预测模式候补，则通过所述第三预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据。

基于此，本发明具备如下优点：

本发明在选择预测模式库中预先规定多个预测模式候补，选取估计预测模式对当前图像块进行编码。该编码方法无需轮询每种预测模式，减少了大量的计算量，进一步提高视频图像的编码压缩率。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种图像编码方法流程示意图；

图2为本发明实施例提供的一种当前像素分量与周围像素分量的位置示意图；

图3为本发明实施例提供的一种梯度值计算示意图；

图4(a)和图4(b)为本发明实施例提供的水平条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；

图5(a)和图5(b)为本发明实施例提供的垂直条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；

图6(a)和图6(b)为本发明实施例提供的矩形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；

图7为本发明实施例提供的一种预测搜索窗口中位置子权重的示意图；

图8a～图8c为发明实施例提供的不同分割方式示意图；

图9为本发明实施例提供的一种图像编码示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种图像编码方法流程示意图；本实施例对本发明提供的一种图像编码方法进行详细描述，该方法包括如下步骤：

步骤1、通过选择预测模式库选取当前图像块的估计预测模式；

视频即为连续的图像帧序列。为例提高图像数据的预测精度，通常将图像划分为多个图像块，以图像块为单位进行图像编码。

对图像块进行编码之前，建立选择预测模式库，其中选择预测模式库为预先规定的多个预测模式候补形成的数据库，每个预测模式候补为一种针对当前图像块的预测方法。预测模式候补的数量为多个，在一个实施例中选取三种预测模式候补，第一预测模式候补，适用于一般纹理复杂度的图像的预测；第二预测模式候补，适用于复杂纹理复杂度的图像的预测；以及第三预测模式候补，适用于简单纹理复杂度的图像的预测；其中，第一预测模式候补为基于当前图像块中多像素分量选取最优参考的预测模式候补；第二预测模式候补为基于当前图像块中不同参考窗口选取最优参考的预测模式候补；第三预测模式候补为基于当前图像块不同分割形式选取最优分割的预测模式候补。

通过检测当前图像块的图像特征信息，判断当前图像块的纹理复杂度，具体为：计算当前图像块中每相邻的两个像素分量的差值，根据每相邻的所述两个像素分量的差值获取每个当前图像块的梯度值。具体计算公式如下所示：

其中，grad表示每个当前图像块的梯度值，i表示当前图像块中像素分量的位置索引，p表示当前图像块中像素分量值，abs表示绝对值运算。当i的取值为0时，即代表位置索引为0的像素分量，即第一行首个像素分量，此时，设定pi-1的取值为p0，即pi-pi-1＝p0-p0，进一步地，第一行首个像素分量的处理方法同理。

根据当前图像块中每个像素分量的位宽确定出当前图像块中两个像素分量的最大像素差值；例如，若每个像素分量的位宽为9，则每个像素分量的像素值范围为0～511，所述当前图像块中两个像素分量的最大像素差值为511，则当前图像块中两个像素分量的像素差值范围为0～511。根据所述当前图像块中两个像素分量的最大像素差值设置梯度分级，可以分为多个级别区间；优选地，设置第一阈值和第二阈值，可以根据需求手动设定第一阈值和第二阈值的大小。将小于第一阈值的像素差值范围区间分级为第一级别区间；将大于第一阈值且小于第二阈值的像素差值范围区间分级为第二级别区间；将大于第二阈值且小于所述最大像素差值的像素差值范围区间分级为第三级别区间。判断当前图像块的梯度值的所在级别区间；根据当前图像块的梯度值的级别区间确定当前图像块的图像特征信息。具体地，若当前图像块的梯度值在第一级别区间时，当前图像块的图像特征信息为简单复杂度纹理信息；若当前图像块的梯度值在第二级别区间时，当前图像块的图像特征信息为一般复杂度纹理信息；若当前图像块的梯度值在第三级别区间时，当前图像块的图像特征信息为复杂复杂度纹理信息。

利用图像特征信息在选择预测模式库中为当前图像块预估出一种预测模式候补作为估计预测模式。具体地，若当前图像块的图像特征信息为简单复杂度纹理信息时，选取第三预测模式候补作为估计预测模式；若当前图像块的图像特征信息为一般复杂度纹理信息时，选取第一预测模式候补作为估计预测模式；若当前图像块的图像特征信息为复杂复杂度纹理信息时，选取第二预测模式候补作为估计预测模式。

步骤2、根据估计预测模式对当前图像块中的图像数据进行预测获取所述当前图像块中的图像数据的残差数据；

若估计预测模式为第一预测模式候补，则通过第一预测模式候补预测当前图像块，获取当前图像块中的图像数据即每个像素分量的残差数据；

若估计预测模式为第二预测模式候补，则通过第二预测模式候补预测当前图像块，获取当前图像块中的图像数据即每个像素分量的残差数据；

若估计预测模式为第三预测模式候补，则通过第三预测模式候补预测当前图像块，获取当前图像块中的图像数据即每个像素分量的残差数据。

步骤3、将步骤2中获取的当前图像块中每个像素分量的残差数据以及当前图像块对应的估计预测模式索引标识进行编码形成码流。将码流输出至图像解码端。

本实施例通过在选择预测模式库中预先规定多个预测模式候补，选取估计预测模式对当前图像块进行编码。该编码方法无需轮询每种预测模式，减少了大量的计算量，进一步提高视频图像的编码压缩率。

实施例二

本实施例在上述实施例的基础上，对本发明提出的通过第一预测模式候补预测当前图像块的过程进行详细描述。包括如下内容：

步骤21、对于当前图像块，定义当前像素有k(k>1)个像素分量，分别为像素分量1、像素分量2……像素分量k；

步骤22、对于当前像素的每个像素分量，通过该像素分量的周围像素分量，确定每个像素分量的n个纹理方向梯度值g1～gn；

优选地，当前像素分量的周围像素分量，可与当前像素像素分量相邻，也可不相邻；如图2所示，图2为本发明实施例提供的一种当前像素分量与周围像素分量的位置示意图；cur代表当前像素分量，即周围像素分量可以为ghik，也可以为abcdefj。

步骤23、将每个像素分量的n个纹理方向梯度值g1～gn(g1～gn既代表纹理方向梯度值的大小，也代表纹理方向梯度值的方向)进行加权得到n个纹理方向梯度值加权后的第一加权梯度值bg，加权公式如下：

bgi＝w1*g1+w2*g2+…+wn*gn(i＝1…k)

其中，w1、w2…wn为加权系数；bg1为像素分量1的第一加权梯度值，bg2为像素分量2的第一加权梯度值，依次类推，bgk为像素分量k的第一加权梯度值。

优选地，根据每个像素分量与对应的计算纹理方向梯度值的像素的位置关系，设置加权系数w1、w2…wn获得每个像素分量的第一加权梯度值的最优值bgbst。

优选地，计算当前纹理方向梯度值的像素与当前像素分量距离越近加权系数值越大，加权系数值的总和为1，具体为w1+w2+…+wn＝1。

步骤24、将k个像素分量的第一加权梯度值的最优值bgbst进行加权，可以得到第一加权梯度值的最优值加权后的第二加权梯度值bg"，加权公式如下：

bg"i＝t1*bgbst1+t2*bgbst2+…+tk*bgbstk(i＝1…k)

其中，t1、t2…tk为加权系数；bgbst1为像素分量1的第一加权梯度值的最优值，bgbst2为像素分量2的第一加权梯度值的最优值，依次类推，bgbstk为像素分量k的第一加权梯度值的最优值，bg"1为像素分量1的第二加权梯度值，bg"2为像素分量2的第二加权梯度值，依次类推，bg"k为像素分量k的第二加权梯度值，确定出第二加权梯度值bg"的最优值bg"bst。

优选地，根据每个像素分量与对应第一加权梯度值的最优值bgbst的关系，设置加权系数t1、t2…tk获得每个像素分量的第二加权梯度值的最优值bgbst。

优选地，当前像素分量下的第一加权梯度值的最优值bgbst加权系数值最大，与当前像素分量距离逐渐增加的其它像素分量下的第一加权梯度值的最优值bgbst加权系数值逐渐减小，加权系数值的总和为1，具体为t1+t2+…+tk＝1。

第二加权梯度值的最优值bg"bst的方向即为当前像素分量的参考方向dir。

步骤25、将每个像素分量的参考方向上所有可用的像素分量的像素值进行加权，得到每个像素分量的参考值ref，加权公式如下所示：

refi＝r1*cpt1+r2*cpt2+…+rn*cptn(i＝1…k)

其中，r1、r2…rn为加权系数，可以相同也可以不同；cpt1～cptn为每个像素分量的参考方向上n个可用的像素分量的像素值；ref1为像素分量1的参考值，ref2为像素分量2的参考值，依次类推，refk为像素分量k的参考值。

步骤26、将当前像素分量像素值减去参考值，可以得到当前像素分量像素的预测残差dif；公式如下：

difi＝curcpti-refi(i＝1…k)

其中，curcpt1为像素分量1的像素值，curcpt2为像素分量2的像素值，依次类推，curcptk为像素分量k的像素值；dif1为像素分量1的预测残差，dif2为像素分量2的预测残差，依次类推，difk为像素分量k的预测残差。

步骤27、当前像素的其余像素分量，重复s22～s26，即得到该像素所有像素分量的预测残差，进而可以得到当前图像块中每个像素分量的预测残差。

优选地，多像素分量可以并行处理，也可以串行处理，具体应用规格场景需要。

在一个实施例中以当前像素分为y、u、v三个像素分量为例进行说明，具体步骤如下：

步骤31、定义当前像素有三个像素分量，分别为像素分量y、像素分量u、像素分量v；

步骤32、对于当前像素的三个像素分量，通过每个像素分量的周围像素分量，确定每个像素分量的3个纹理方向梯度值g1、g2、g3；

优选地，对于像素分量y、像素分量u、像素分量v，分别根据图3所示，图3为本发明实施例提供的一种梯度值计算示意图；abs(k-h)为45度梯度值，abs(k-g)为90度梯度值，abs(k-f)为135度梯度值，abs(k-j)为180度梯度值。其中，abs为绝对值运算。

步骤33、对于像素分量y、像素分量u、像素分量v的每一个像素分量，加权步骤32中的3个纹理方向梯度值g1、g2、g3，例如为45度梯度值，90度梯度值，135度梯度值，得到每一个像素分量的第一加权梯度值bg，求解每一个像素分量的第一加权梯度值的最优值。

优选地，例如对于y像素分量，45度梯度值上的像素h、90度梯度值上的像素g与135度梯度值上的像素f与y像素分量的距离逐渐增大，因此，w1选取为0.5，w2选取为0.3，w3选取为0.2，bgbsty＝0.5*g1+0.3*g2+0.2*g3。同理可以得出bgbstu和bgbstv。

步骤34、将3个像素分量的第一加权梯度值的最优梯度值进行加权得出第一加权梯度值最优值加权后的第二加权梯度值bg"，并选取出第二加权梯度值的最优值bg"bst。加权计算如下：

bg"bsty＝0.5*bgbsty+0.3*bgbstu+0.2*bgbstv

bg"bstu＝0.3*bgbsty+0.4*bgbstu+0.3*bgbstv

bg"bstv＝0.2*bgbsty+0.3*bgbstu+0.5*bgbstv

其中，bg"bsty为像素分量y第二加权梯度值的最优值，bg"bstu为像素分量u第二加权梯度值的最优值，bg"bstv为像素分量v第二加权梯度值的最优值，bgbsty为像素分量y第一加权梯度值的最优值，bgbstu为像素分量u第一加权梯度值的最优值，bgbstv为像素分量v第一加权梯度值的最优值。

上式中的系数选取规则为当前像素分量下的第一加权梯度值的最优值bgbst加权系数值最大，与当前像素分量距离逐渐增加的其它像素分量下的第一加权梯度值的最优值bgbst加权系数值逐渐减小，加权系数值的总和为1。

其中，bg"bst的方向为当前像素分量的参考方向dir，即diry为像素分量y的参考方向，diru为像素分量u的参考方向，dirv为像素分量v的参考方向。

步骤35、将3个像素分量的参考方向上2个像素分量的像素值进行加权，得到3个像素分量的参考值ref，加权公式如下所示：

refy＝r1*cpt1+r2*cpt2

refu＝r1*cpt1+r2*cpt2

refv＝r1*cpt1+r2*cpt2

其中，refy为y像素分量的参考值，refu为u像素分量的参考值，refv为v像素分量的参考值，cpt1、cpt2为每个参考方向的像素分量像素值。

优选地，对于任意像素分量，若为45度参考，那么参考值ref为0.8*i+0.2e；若为90度参考，那么参考值为0.8*h+0.2c；若为135度参考，那么参考值为0.8*g+0.2a；若为180度参考，那么参考值为0.8*k+0.2j，像素分量像素值离当前像素越近，配置系数越大。

步骤36、将当前像素分量的像素值减去参考值，可以得到当前像素的像素分量的预测残差dif，计算如下：

dify＝curcpty-refy

difu＝curcptu-refu

difv＝curcptv-refv

其中，curcpty为像素分量y的像素值，curcptu为像素分量u的像素值，curcptv为像素分量v的像素值；dify为像素分量y的预测残差，difu为像素分量u的预测残差，difv为像素分量v的预测残差。

1、本实施例通过每个像素分量的多方向梯度加权和同位置多像素分量的方向加权，可以更加合理的确定当前像素分量的预测方向，对于简单纹理复杂度的图像可以起到更好的预测方向纠偏效果。并且该方法，可以均衡同位置各像素分量间和同像素分量相邻多像素分量间的纹理预测方向，减少单个像素分量预测误判的可能性，最终进一步降低预测的理论极限熵。

2、本实施例将多像素分量并行处理，更利于实现预测方法的并行化处理。相对于串行像素分量处理的时间长效率低，并行处理可以成倍提高处理速度，利于预测算法的硬件实现。

实施例三

本实施例在上述实施例的基础上，对本发明提出的第二预测模式候补预测当前图像块的过程进行详细描述。包括如下内容：

101、确定多个预测搜索窗口。

参见图4～图6，图4～图6为本发明实施例提供的三种预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。图4(a)和图4(b)为本发明实施例提供的水平条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；图5(a)和图5(b)为本发明实施例提供的垂直条形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图；图6(a)和图6(b)为本发明实施例提供的矩形预测搜索窗口的像素索引示意图和重建像素搜索编号示意图。

用cij代表当前像素，pij代表已编码的重建像素。其中，ij为当前像素或重建像素的位置索引。设定多个滑动窗口作为预测搜索窗口，预测搜索窗口的形状可以为水平条形、垂直条形、l形、十字形、丁字形、矩形等。

结合图4～图6，本发明实施例中，设定多个大小相同、形状不同的预测搜索窗口，例如分别为第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口。其中，第一预测搜索窗口为水平条形预测搜索窗口，窗口的形状为水平条形，第二预测搜索窗口为垂直条形预测搜索窗口，窗口的形状为垂直条形，第三预测搜索窗口为矩形预测搜索窗口，窗口的形状为矩形。三个预测搜索窗口大小相同，均包含k个像素。优选地，多个预测搜索窗口均包含8个像素。例如在第一预测搜索窗口即水平条形预测搜索窗口内，当前像素cij位于最右端位置，第一预测搜索窗口内的其他位置为已编码的k-1个重建像素pi-1,j、pi-2,j、pi-3,j、pi-4,j、pi-5,j、pi-6,j、pi-7,j；在第二预测搜索窗口即垂直条形预测搜索窗口内，当前像素cij位于最下端位置，第二预测搜索窗口内的其他位置为已编码的k-1个重建像素pi,j-1、pi,j-2、pi,j-3、pi,j-4、pi,j-5、pi,j-6、pi,j-7；在第三预测搜索窗口即矩形预测搜索窗口内，当前像素cij位于右下角位置，第三预测搜索窗口内的其他位置为已编码的k-1个重建像素pi-1,j、pi-2,j、pi-3,j、pi,j-1、pi-1,j-1、pi-2,j-1、pi-3,j-1。在对当前像素cij进行预测时，分别根据第一预测搜索窗口、第二预测搜索窗口和第三预测搜索窗口内k-1个重建像素的重建值newdata(p)来预测当前像素cij的重建值newdata(cij)，得到三个重建值newdata1(cij)、newdata2(cij)、newdata3(cij)，其中newdata1(cij)为在第一预测搜索窗口计算得到的当前像素cij的第一重建值、newdata2(cij)为在第二预测搜索窗口计算得到的当前像素cij的第二重建值、newdata3(cij)为在第三预测搜索窗口计算得到的当前像素cij的第三重建值。

本发明实施例中，在每个预测搜索窗口内，根据k-1个重建像素的重建值来预测当前像素cij的重建值时，对预测搜索窗口内的k-1个重建像素进行顺序编号为0、1、2、...k...、k-2，按照编号对重建像素p0、p1、p2、...pk...、pk-2进行顺序搜索。例如，本发明实施例的第一预测搜索窗口内包含7个重建像素，沿水平方向排列，从左至右对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前像素cij的第一参考像素，计算第一预测残差。第二预测搜索窗口内包含7个重建像素，沿垂直方向排列，从上至下对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前像素cij的第二参考像素，计算第二预测残差。第三预测搜索窗口内包含7个重建像素，以4×2矩阵排列，对7个重建像素进行编号，从0编号至6，对这6个重建像素p0、p1、p2、p3、p4、p5、p6从编号为0的重建像素p0开始搜索，直至搜索到编号为6的重建像素p6，寻找当前像素cij的第三参考像素，计算第三预测残差。在多个预测搜索窗口内分别计算当前像素cij的多个预测残差的方法如下述步骤描述。

102、确定当前像素cij的n个像素分量。

设定当前像素cij包括n个像素分量分别为其中n为大于1的自然数，表示当前像素cij的第n个像素分量。例如，当前像素cij可包括3个像素分量rgb，或包括4个像素分量rgbw，或包括3个像素分量lab，或包括3个像素分量yuv，或包括4个像素分量cmyk。

103、在多个预测搜索窗口内计算当前像素cij的多个权重wij。多个权重包括第一权重、第二权重和第三权重。在第一预测搜索窗口如水平条形预测搜索窗口内计算得到的当前像素cij的权重wij为第一权重，在第二预测搜索窗口如垂直条形预测搜索窗口内计算得到的当前像素cij的权重wij为第二权重，在第三预测搜索窗口如矩形预测搜索窗口内计算得到的当前像素cij的权重wij为第三权重。具体地，在每一个预测窗口内计算当前像素cij的权重wij的方法如下所述：

在预测搜索窗口内，对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，权重wij包括k-1个子权重，即

wij＝{wij、0，wij、1，wij、2,...wij、k...,wij、k-2}

其中，wij、k为当前像素cij对应已编码的重建像素pk的子权重。子权重wij、k为当前像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量子权重加权求和的结果，则

其中，为当前像素cij的第n个像素分量相对重建像素pk的第n个像素分量的分量权重，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

本发明实施例中，当前像素cij的权重wij由当前像素cij的差异度权重difij确定。对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，差异度权重difij有k-1个差异度子权重difij、k，即

difij＝{difij、0,difij、1,difij、2,...difij、k...,difij、k-2}

在本发明一个实施例提供的权重的确定方法步骤如下：

1031、计算当前像素cij的像素分量相对重建像素的像素分量的分量差异度权重每个像素分量的分量差异度权重有k-1个分量差异度子权重即

其中，分量差异度子权重根据当前像素cij的像素分量与重建像素pk的像素分量的差异度来确定。

优选地，本发明实施例中，分量差异度子权重为像素分量的原始值与重建像素分量的重建值的差值的绝对值，即

1032、计算当前像素cij相对每一个重建像素pk的子权重wij、k。当前像素cij相对重建像素pk的子权重wij、k为当前像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量差异度子权重加权求和，即

其中，为当前像素cij的第n个像素分量相对重建像素pk的第n个像素分量的分量差异度子权重，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

1033、计算当前像素cij的权重wij。则权重为

104、根据多个权重wij确定当前像素cij的多个参考像素，并计算多个预测残差。多个参考像素例如包括第一参考像素、第二参考像素和第三参考像素；多个预测残差例如包括第一预测残差、第二预测残差和第三预测残差。具体为根据第一权重确定当前像素cij的第一参考像素，计算得到第一预测残差；根据第二权重确定当前像素cij的第二参考像素，计算得到第二预测残差；根据第三权重确定当前像素cij的第三参考像素，计算得到第三预测残差。具体地，每一个预测残差的计算方法包括如下步骤：

1041、根据权重wij确定当前像素cij的参考像素ps。具体地，根据最优值算法从权重wij的k-1个子权重wij、k中，选择出最优值，将最优值对应的重建像素ps作为当前像素cij的参考像素。最优值确定算法比如是最小权重确定算法，即从权重wij＝{wij、0,wij、1,wij、2,...wij、k...,wij、k-2}的k-1个子权重中，选择出子权重最小值如wij、s对应的重建像素ps，将重建像素ps作为当前像素cij的参考像素。

1042、计算当前像素cij的预测残差resij。具体地，根据参考像素即ps的重建值newdata(ps)与当前像素编码像素cij的原始值olddata(cij)计算当前像素cij相对参考像素ps的预测残差resij，为

其中，为当前像素cij的第n个像素分量相对参考像素ps的第n个像素分量的预测残差。

通过以上步骤101～104，在多个预测搜索窗口内找到当前像素cij的多个参考像素，计算得到多个预测残差。例如在第一预测搜索窗口内找到当前像素cij的第一参考像素ps1，计算得到第一预测残差resij1；在第二预测搜索窗口内找到当前像素cij的第二参考像素ps2，计算得到第二预测残差resij2；在第三预测搜索窗口内找到当前像素cij的第三参考像素ps3，计算得到第三预测残差resij3。

105、比较多个预测残差，确定最优预测残差resij_perf及其对应的最优参考像素ps_perf。在多个预测残差如第一预测残差resij1、第二预测残差resij2、第三预测残差resij3中，根据最小值算法确定最小预测残差，将最小预测残差作为当前像素cij的最优预测残差resij_perf，将最小预测残差对应的参考像素作为当前像素cij的最优参考像素ps_perf。当前像像素的预测残差即为当前像素种每个像素分量的预测残差，预测残差也可以称为残差数据。

在一个实施例中不同在于，步骤103在多个预测搜索窗口内计算当前像素cij的多个权重wij时，权重wij由当前像素的差异度权重difij和位置权重posij共同确定。对应k-1个已编码的重建像素p0、p1、p2、...pk...、pk-2，差异度权重difij有k-1个差异度子权重difij、k，位置权重posij有k-1个位置子权重posij、k，即

difij＝{difij、0,difij、1,difij、2,...difij、k...,difij、k-2}

posij＝{posij、0,posij、1,posij、2,...posij、k...,posij、k-2}

在本发明实施例提供的另一种权重的确定方法步骤如下：

1034、计算当前像素的像素分量相对重建像素的像素分量的的分量差异度权重每个像素分量的分量差异度权重有k-1个分量差异度子权重即

其中，分量差异度子权重根据当前像素cij的像素分量与重建像素pk的像素分量的差异度来确定。

优选地，本发明实施例中，分量差异度子权重为像素分量的原始值与重建像素分量的重建值的差值的绝对值，即

1035、计算当前像素的像素分量相对重建像素的像素分量的分量位置权重每个像素分量的分量位置权重有k-1个分量位置子权重即

其中，分量位置子权重根据当前像素cij与重建像素pk的位置关系来确定。

参见图7，图7为本发明实施例提供的一种预测搜索窗口中位置子权重的示意图。本发明实施例中，以当前像素cij与重建像素pk相间隔的像素数作为分量位置子权重对应预测搜索窗口中的k-1个重建像素p0、p1、p2、...pk...、pk-2，例如与当前像素cij相邻的重建像素p6与cij间隔像素数为0，则确定对应分量位置子权重为重建像素p5与cij间隔像素数为1，则确定对应分量位置子权重为同理，对应共7个重建像素p0、p1、p2、p3、p4、p5、p6的7个分量位置子权重为：

1036、计算当前像素的像素分量的分量权重每个像素分量的分量权重有k-1个分量子权重即

其中，分量子权重为其中，和分别为差异度加权值和位置加权值，且满足在本发明的一个实施例中，取在本发明的另一个实施例中，根据的大小确定对应的值，越大，则越小；根据的大小确定的值，越大，则越小。在本发明的又一个实施例中，和的值根据经验值确定。

1037、计算当前像素cij相对每一个重建像素pk的子权重wij、k。当前像素cij相对重建像素pk的子权重wij、k为当前像素cij的n个像素分量相对重建像素pk的n个像素分量的n个分量子权重加权求和，即

其中，为分量加权值，且满足在本发明的一个实施例中，的取值为在本发明的另一个实施例中，根据像素分量分别与n个像素分量的距离大小来确定，距离越近，则对应的越大；在本发明的又一个实施例中，根据经验确定的取值。

1038、计算当前像素cij的权重，则权重为

在一个实施例中不同在于，在步骤105之后还包括：

106、输出当前像素的最优参考像素ps_perf的位置信息以及最优预测残差resij_perf。最优参考像素ps_perf的位置信息可以是最优参考像素ps_perf的位置索引ij或编号s。

综上所述，本发明实施例的预测模式，采用多种形状的预测搜索窗口寻找到多个参考像素，并计算得到多个预测残差，在多个预测残差中选择出最优预测残差。对于复杂纹理图像，预测效果更优，降低了理论极限熵。

实施例四

本实施例在上述实施例的基础上，对本发明提出的通过第三预测模式候补预测当前图像块的过程进行详细描述。包括如下内容：

如图8a～图8c所示，图8a～图8c为发明实施例提供的不同分割方式示意图；将当前图像块按照不同分割方式进行分割，具体地，将当前图像块按照水平分割方式进行分割，分割为上图像块以及下图像块；将当前图像块按照垂直分割方式进行分割，分割为左图像块以及右图像块；将当前图像块按照不分割方式进行分割。

分别计算不同分割方式下当前图像块对应的不同预测残差。具体地，对于水平分割方式，将上图像块中所有的像素分量，减去上图像块像素分量的最小值，得到上图像块的所有像素分量的预测残差；下图像块同理计算，将下图像块中所有的像素分量，减去下图像块像素分量的最小值，得到下图像块的所有像素分量的预测残差，最终得到该当前图像块的所有像素分量的第一预测残差；对于垂直分割方式，将左图像块中所有的像素分量，减去左图像块像素分量的最小值，得到左图像块的所有像素分量的预测残差；右图像块同理计算，将右图像块中所有的像素分量，减去右图像块像素分量的最小值，得到右图像块的所有像素分量的预测残差，最终得到该当前图像块的所有像素分量的第二预测残差；对于不分割方式，将该当前图像块中的像素分量，减去该当前图像块中的像素分量的最小值，最终得到该当前图像块的所有像素分量的第三预测残差。

分别计算不同分割方式下当前图像块对应的不同比特数。具体地，对于水平分割方式，计算上图像块中像素分量最大值与上图像块中像素分量最小值的第一差值，得到表示第一差值的第一最少比特数，计算下图像块中像素分量最大值与下图像块中像素分量最小值的第二差值，得到表示第二差值的第二最少比特数，根据第一最少比特数、第二最少比特数以及当前图像块的原始数据比特深度得到第一比特数，第一比特数满足如下公式：

mbit1＝n1*bit_min1+n2*bit_min2+2*bitdepth

其中，mbit1为第一比特数，bit_min1为第一最少比特数，n*bit_min2为第二最少比特数，bitdepth为当前图像块的原始数据比特深度，n1为上图像块中像素分量数量，n2为下图像块中像素分量数量。

对于垂直分割方式，计算左图像块中像素分量最大值与左图像块中像素分量最小值的第三差值，得到表示第三差值的第三最少比特数，计算右图像块中像素分量最大值与右图像块中像素分量最小值的第四差值，得到表示第四差值的第四最少比特数，根据第三最少比特数、第四最少比特数以及当前图像块的原始数据比特深度得到第二比特数，第二比特数满足：

mbit2＝n3*bit_min3+n4*bit_min4+2*bitdeth

其中，mbit2为第二比特数，bit_min3为第三最少比特数，bit_min4为第四最少比特数，bitdepth为当前图像块的原始数据比特深度，n3为左图像块中像素分量数量，n4为右图像块中像素分量数量。

对于不分割方式，计算当前图像块中像素分量最大值与当前图像块中像素分量最小值之间的第五差值，得到表示第五差值的第五最少比特数，根据第五最少比特数以及当前图像块的原始数据比特深度得到第三比特数，第三比特数满足：

mbit3＝m*bit_min5+2*bitdeth

其中，mbit3为第三比特数，bit_min5为第五最少比特数，bitdepth为当前图像块的原始数据比特深度，m为当前图像块中像素分量数量。

根据不同预测残差以及不同比特数选取分割方式，具体地，对于水平分割方式，根据第一预测残差得到当前图像块的第一重建值，将第一重建值与当前图像块原始值求差的绝对值得到第一重建差值，将第一重建差值以

及第一比特数进行加权得到水平分割方式下当前图像块的第一加权值，其中，第一加权值满足如下公式：

rdo1＝a*mbit1+b*res1

其中，rdo1为第一加权值，mbit1为第一比特数，res1为第一重建差值，a和b为加权系数。

a和b的取值可以是预先设定的固定值，进一步地，a+b＝1，优选地，a可以选取为0.5，b可以选取为0.5，a和b也可以灵活调整大小。

对于垂直分割方式，根据第二预测残差得到当前图像块的第二重建值，将第二重建值与当前图像块原始值求差的绝对值得到第二重建差值，将第二重建差值以及第二比特数进行加权得到垂直分割方式下当前图像块的第二加权值，其中，第二加权值满足如下公式：

rdo2＝a*mbit2+b*res2

其中，rdo2为第二加权值，mbit2为第二比特数，res2为第二重建差值，a和b为加权系数。

a和b的取值可以是预先设定的固定值，进一步地，a+b＝1，优选地，a可以选取为0.5，b可以选取为0.5，a和b也可以灵活调整大小。

对于不分割方式，根据第三预测残差得到当前图像块的第三重建值，将第三重建值与当前图像块原始值求差的绝对值得到第三重建差值，将第三重建差值以及第三比特数进行加权得到不分割方式下当前图像块的第三加权值，其中，第三加权值满足如下公式；

rdo3＝a*mbit3+b*res3

其中，rdo3为第三加权值，mbit3为第三比特数，res3为第三重建差值，a和b为加权系数。

a和b的取值可以是预先设定的固定值，进一步地，a+b＝1，优选地，a可以选取为0.5，b可以选取为0.5，a和b也可以灵活调整大小。

选取第一加权值、第二加权值以及第三加权值中的最小值对应的分割方式为最终的分割方式，该分割方式下预测残差为最终的预测残差。预测残差也可以称为残差数据。

本实施例提供的预测模式通过当前区域像素分量值间的相关性进行预测，利用本发明的算法对比水平分割、垂直分割、不分割三种情况的压缩数据量，选择对应最优的分割方式进行残差预测，以使初始的图像块块和预测的图像块之间的差异最小而提高压缩效率并提高主观图片质量，对于简单纹理图像处理时，预测效果好、处理效率高，且能够降低理论极限熵。

实施例五

本实施例在上述实施例的基础上，对本发明提出的图像编码设备进行详细描述，该设备包括：

选取器，用于通过选择预测模式库选取当前图像块的估计预测模式；其中，选择预测模式库为预先规定的多个预测模式候补形成的数据库；

预测器，用于根据估计预测模式对当前图像块中的图像数据进行预测获取所述当前图像块中的图像数据的残差数据；

编码器，用于将所述残差数据以及对应的所述估计预测模式索引标识进行编码形成码流。

其中，所述选取器中的所述选择预测模式库中包括第一预测模式候补，第二预测模式候补以及第三预测模式候补；其中，所述第一预测模式候补为基于当前图像块中多像素分量选取最优参考的预测模式候补；所述第二预测模式候补为基于当前图像块中不同参考窗口选取最优参考的预测模式候补；所述第三预测模式候补为基于当前图像块不同分割形式选取最优分割的预测模式候补。

其中，所述选取器中所述估计预测模式的选取包括：

检测所述当前图像块的图像特征信息；

利用所述图像特征信息在选择预测模式库中为所述当前图像块预估出一种预测模式候补作为所述当前图像块的估计预测模式。

其中，所述预测器具体用于：

若所述估计预测模式为所述第一预测模式候补，则通过所述第一预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据；

若所述估计预测模式为所述第二预测模式候补，则通过所述第二预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据；

若所述估计预测模式为所述第三预测模式候补，则通过所述第三预测模式候补预测所述当前图像块，获取所述当前图像块中的图像数据的残差数据。

综上所述，本文中应用了具体个例对本发明进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。