图像信息处理方法

专利名称：图像信息处理方法
技术领域：
本发明涉及一种用于视频编解码的图像信息处理方法，尤其是通过将原始图像信
息分解为多个低分辨率相似图像信息后采用相似性计算方法以降低后续信息编/解码的
信息量和提高信息处理效率；属于图像视频编/解码技术领域。
背景技术：
高效的视频编解码技术是实现高质量、低成本多媒体数据存储与传输的关键。现 在流行的图像编解码国际标准都是基于这样的一种编码理论，采用的是基于块匹配的运动 补偿、离散余弦变换和量化相结合的编码方法。典型的有国际标准化组织/国际电工技术 委员会第一联合技术组推出的MPEG-1、 MPEG-2和MPEG-4等国际标准。我国颁布的AVS国 家标准也是采用相似的混合视频编码策略预测、变换、量化、和信息熵编码等模块。
这些视频编码标准处理信息的方法都是将原始图像按空间分成一定大小的信息 块，如8X8的块、16X16的块等。这些信息块之间没有相似性，因此即使采用帧内预测方式， 其信息预测结果不会理想。不能有效降低帧内信息冗余量。 随着人们对于图像质量要求的提高，图像的分辨率也不断提高，相应增加了信息
编解码的信息处理量、降低了每帧信息处理速度、提升了对传输信息带宽的要求。 但实际上高分辨率图像帧内信息冗余量是比较大的。在图像采集过程中，我们都
有这样的结果以较低分辨率的图像采集获得图像与以较高分辨率的图像采集获得图像有
相似性。同样将以较高分辨率的图像采集获得图像通过等间隔抽取图像点信息形成的低分
辨率的图像与原始高分辨率的图像具有相似性。而且将较高分辨率的图像采集获得图像通
过等间隔抽取图像点信息形成的多个低分辨率的图像之间也具有相似性。这个特点表明高
分辨率图像信息内部实际上是有较大的信息冗余量。可以用低分辨率图像信息通过相关性
处理重新构建高分辨率图像信息。 在本申请人的专利号为ZL200610075904. 6，发明名称为"一种提高图象编解码效 率的图象处理方法"的专利文件中公开了将高分辨率图像分成较低分辨率的图像后采用图 像相似性算法减小信息数据量的方法。但由于该方法以其中一幅低分辨率图像作为基准参 考图像，在实际实现中存在图像的轮廓被模糊化的问题，也没有给出如何得到更好的图像 质量与信息数据量之间进行优化的方法。同时由于以其中一幅低分辨率图像作为基准参考 图像，无法通过相似性算法恢复出其他幅低分辨率图像与基准参考图像的差异信息。

发明内容
本发明所要解决的技术问题在于提出一种将高分辨率视频图像进行压縮编码处 理之前分解为多个低分辨率全景图像，并按一种更优化的算法进行处理后，在极大的减少 进行数据压縮编码的信息量、提高编码效率和提升视频信息传输效率的基础上提高图像的 质量，并在一定程度上解决图像边沿被模糊化的问题。。 本发明的第一种技术方案是改变基准参考图像的选择方法，具体方案包括
1、一种图像处理方法，其特征在于
信息发送端包含如下步骤 1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的 低分辨率图像； 2)计算所述多幅相同分辨率的低分辨率图像的加权平均值图像，对每幅相同分辨 率的低分辨率图像赋予的加权系数相同或不同，所述加权系数不小于0且加权系数之和大 于0; 3)以所述加权平均值图像为基准参考图像，用相关性分析方法获得所述多幅相同 分辨率的低分辨率图像分别与基准参考图像的相关系数，其中所述相关性分析方法为线性 或非线性方法； 4)将所述基准参考图像和所述相关系数、所述加权系数作为进行信息处理的原始 数据或者将所述基准参考图像和所述相关系数、所述加权系数作为信息发送数据；
信息接收端包含如下步骤 5)收到数据是进行信息处理后的数据或者收到数据是基准参考图像和相关系数、 所述加权系数；当收到数据是进行信息处理后的数据时，通过所述信息处理的对应处理方 法得到基准参考图像和相关系数、所述加权系数； 6)根据所述基准参考图像和所述相关系数、所述加权系数计算得到多幅低分辨率 图像； 7)将所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像或者将 所述基准参考图像和所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像。
所述的步骤1)中，优选的是所述等间隔取样是按行等间隔取样或按列等间隔取 样或同时按行等间隔和按列等间隔取样，所述按行等间隔取样是单行等间隔或多行等间 隔，所述按列等间隔取样是单列等间隔或多列等间隔。使生成的低分辨率图像都是原始图 像的低分辨率全景图像。低分辨率图像之间具有视觉相似性。 所述的步骤3)中，优选的是采用相关性分析方法计算其余每个低分辨率图像数 据与基准参考图像数据的最优相关系数。如果采用线性相关分析方法，其余每个低分辨率 图像数据可以只用两个系数表示。为提高系数的精度，可以用两个字节表示一个系数，其中 一个字节表示系数整数部分，另外一个字节表示小数部分。 所述的步骤4)中，进行后续信息处理的图像数据是低分辨率的基准参考图像和 计算出来的反映其余低分辨率图像数据的相关系数。基准参考图像和相关系数的存放顺 序可以预先约定。所述信息处理是可以现有已知的图像压縮编码处理算法之一或组合，如 JPEG算法、MPEG算法、AVS算法等。优化的是所述信息处理对所述相关系数的处理为信息 无损处理。 所述的步骤5)中，在信息接收端，通过图像解压縮解编码处理得到的图像数据是 低分辨率的基准参考图像和反映多幅低分辨率图像数据的相关系数。由于基准参考图像和 相关系数是按预先约定的存放顺序存放的，可以分别提取出来。 所述的步骤6)中，在信息接收端，将步骤5)中得到的低分辨率的基准参考图像和
反映多幅低分辨率图像数据的相关系数进行计算得到多幅低分辨率的图像。 所述的步骤7)中，在信息接收端，将步骤6)中得到的低分辨率的基准参考图像和
5多幅低分辨率的图像按预先约定的方式进行重新组合形成一幅高分辨率图像。从而有效再 现发送端的原始图像信息。这种组合方式有多种实现方法，第一种方式是多幅低分辨率的 图像按信息发送端的抽样顺序对应插入数据进行组合；第二种方式是用基准参考图像替代 其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序对应插入 数据进行组合；第三种方式是先将基准参考图像和计算得到多幅低分辨率的图像与加权系 数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算数据，然后用计算 得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组 合。数学描述式如下 设定在信息发送端生成的多幅低分辨率的图像分别为Y1、Y2、Y3、…、Yn ;每幅图 像的加权系数分别为K1、K2、K3、…、Kn ;则加权平均值图像Y为
Y= (Kl*Yl+K2*Y2+...+Kn*Yn)/(Kl+K2+...+Kn) 以加权平均值图像为基准参考图像，设各幅低分辨率的图像与基准参考图像的线 性相关系数分别为rl， bl ;r2， b2 ;…；rn， bn。设多幅低分辨率的图像的计算图像分别为 Yl，、 Y2，、Y3，、…、Yn，，则
Yl， = rl*Y+bl
Y2' = r2*Y+b2 .........Yn， = rn氺Y+bn 对于第一种方式是直接将Yl' 、Y2' 、Y3'、…、Yn'按信息发送端的抽样顺序对应插 入数据进行组合得到高分别率图像；对于第二种方式是先用Y代替Yl' 、 Y2' 、 Y3'、…、Yn' 中的一幅，假设代替Y1'，然后将Y、Y2'、Y3'、…、Yn'按信息发送端的抽样顺序对应插入数 据进行组合得到高分别率图像；第三种方式是把Y1'、Y2'、Y3'、…、Yn'看成是原始低分辨 率图像的加权平均值，即 Yl， = (Kl*Yr，+K2*Y2"+...+Kn*Yn")/(Kl+K2+...+Kn)
Y2， = (Kl*Yr，+K2*Y2"+...+Kn*Yn")/(Kl+K2+...+Kn)
.........Yn， = (Kl*Yr，+K2*Y2"+...+Kn*Yn")/(Kl+K2+...+Kn) 通过求解上述方程组计算得到Y1"、Y2"、Y3"、…、Yn"，然后将Y1"、Y2"、Y3"、…、
Yn"按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。 在上述方案中由于采用加权平均值图像为基准参考图像，已经包含了多幅相同分
辨率的低分辨率图像的数据信息，特别是对于多幅相同分辨率的低分辨率图像之间的差异
信息部分在基准参考图像存在部分信息，因此在信息接收端接收的信息数据量没有增加的
情况下，提高了组合得到高分别率图像的质量。 本发明的第二种技术方案是改变基准参考图像的选择方法的同时并将多幅相同
分辨率的低分辨率图像进行分别按不同的加权系数进行处理得到每幅相同分辨率的低分
辨率图像的加权平均值图像，然后计算这些相同分辨率的低分辨率图像的加权平均值图像
之间的相似性，提高了参与计算的图像之间的相似性，具体方案包括 1、一种图像信息处理方法，其特征在于 信息发送端包含如下步骤
1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的 低分辨率图像； 2)设定多个加权系数，并设定其中一个加权系数大于其余加权系数，所述多个加 权系数中最大的一个称为第一加权系数，其余加权系数称为第二加权系数组，所述第二加 权系数组内的数据相同或不同，所述第二加权系数组与每幅低分辨率图像的对应关系预先 确定；所述加权系数不小于0且加权系数之和大于0 3)所述多幅相同分辨率的低分辨率图像分别以其中一幅低分辨率图像乘以第一 加权系数加上其余低分辨率图像分别乘以第二加权系数组中所对应的加权系数后再除以 加权系数之和生成多幅加权平均值图像； 4)以所述多幅加权平均值图像的其中一幅作为基准参考图像，用相关性分析方法 获得所述多幅加权平均值图像的其余各幅分别与基准参考图像的相关系数，其中所述相关 性分析方法为线性或非线性方法； 5)将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为进 行信息处理的原始数据或者将所述基准参考图像、所述相关系数、第一加权系数和第二加 权系数组作为信息发送数据；
信息接收端包含如下步骤 6)收到数据是进行信息处理后的数据或者收到数据是基准参考图像、相关系数、
第一加权系数和第二加权系数组；当收到数据是进行信息处理后的数据时，通过所述信息
处理的对应处理方法得到基准参考图像、相关系数、第一加权系数和第二加权系数； 7)根据所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组计算
得到多幅低分辨率图像和/或计算得到多幅低分辨率图像的加权平均值图像； 8)将所述计算得到的多幅低分辨率图像和/或多幅低分辨率图像的加权平均值
图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低
分辨率图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的
多幅低分辨率图像的加权平均值图像重新组合形成一幅高分辨率图像。 其中线性相似性数学描述式如下 设定在信息发送端生成的多幅低分辨率的图像分别为Y1、Y2、Y3、…、Yn ;加权系 数分别为K1、K2、K3、…、Kn，并设定其中一个加权系数大于其余加权系数，假设为Kl，即Kl 大于其余加权系数K2、 K3、…、Kn，所述加权系数K2、 K3、…、Kn与每幅低分辨率图像的对 应关系可以预先确定，则每幅低分辨率的图像的加权平均值图像Sl、S2…、Sn :
SI = (Kl*Yl+K2*Y2+K3*Y3...+Kn*Yn)/(Kl+K2+...+Kn)
S2 = (Kl*Y2+K2*Yl+K3*Y3+...+Kn*Yn)/(Kl+K2+...+Kn)
......... Sn = (Kl*Yn+Kn*Yl+K2*Y2+K3*Y3+... +K (n_l) *Y (n_l)) / (Kl+K2+…+Kn) 以加权平均值图像Sl、S2…、Sn中的一个作为基准参考图像，例如设定为Sl，计算
其他加权平均值图像S2…、Sn与基准参考图像的线性相关系数分别为r2， b2 ;r3， b3 ;…；
rn，bn。设多幅低分辨率的图像的计算图像分别为Y2'、 Y3'、…、Yn'，则 Y2' = r2*Y+b2 Y3' = r3*Y+b3
7
.........Yn， = rn氺Y+bn 可以将S1、Y2'、Y3'、…、Yn'按信息发送端的抽样顺序对应插入数据进行组合得 到高分别率图像。也可以把S1、Y2'、Y3'、…、Yn'看成是原始低分辨率图像的加权平均值 图像的近似值，即: SI = (K1*Y1"+K2*Y2"+K3*Y3，， ...+Kn*Yn" ) / (Kl+K2+…+Kn)
Y2， = (Kl*Y2"+K2*Yr，+K3*Y3"+...+Kn*Yn")/(Kl+K2+...+Kn)
Y3， = (Kl*Y3，，+K3*Yl，，+K2*Y2，，+K4*Y4，，+*-+Kn*Yn，，)/(Kl+K2+*-+Kn)
......... Yn， = (Kl*Yn，，+Kn*Yl，，+K2*Y2，，+K3*Y3，，+'-+K(n_l)*Y(n_l) ，，)/(Kl+K2+'-+Kn)
通过求解上述方程组计算得到Y1"、Y2"、Y3"、…、Yn"，然后将Y1"、Y2"、Y3"、…、
Yn"按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。 该方案的优化方案是加权系数分别为K1、K2、K3、…、Kn只取两个值，其中一个值
大于另一个，即设定K1 > K2 = K3 = =Kn。 在上述方案中由于先计算每幅低分辨率的图像的加权平均值图像并以其中一幅
加权平均值图像作为基准参考图像提高了参与相似性计算的图像之间的相似性，而且线性
化程度更高，更适合线性相关性计算。每幅低分辨率的图像的加权平均值图像已经包含了
多幅相同分辨率的低分辨率图像的数据信息，特别是对于多幅相同分辨率的低分辨率图像
之间的差异信息部分在每幅低分辨率的图像的加权平均值图像存在部分信息，因此在信息
接收端接收的信息数据量没有增加的情况下，提高了组合得到高分别率图像的质量。 本发明的第三种技术方案是改变基准参考图像的选择方法的同时并将多幅相同
分辨率的低分辨率图像进行分别按不同的加权系数进行处理得到每幅相同分辨率的低分
辨率图像的加权图像，然后计算这些相同分辨率的低分辨率图像的加权图像之间的相似
性，提高了参与计算的图像之间的相似性，具体方案包括 1、一种信息处理方法，其特征在于 信息发送端包含如下步骤 1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的 低分辨率图像； 2)设定多个加权系数，并设定其中一个加权系数大于其余加权系数，所述多个加 权系数中最大的一个称为第一加权系数，其余加权系数称为第二加权系数组，所述第二加 权系数组内的数据相同或不同，所述第二加权系数组与每幅低分辨率图像的对应关系预先 确定；所述加权系数不小于0且加权系数之和大于0 3)所述多幅相同分辨率的低分辨率图像分别以其中一幅低分辨率图像乘以第一 加权系数加上其余低分辨率图像分别乘以第二加权系数组中所对应的加权系数生成多幅 加权图像； 4)以所述多幅加权图像的其中一幅作为基准参考图像，用相关性分析方法获得所 述多幅加权图像的其余各幅分别与基准参考图像的相关系数，其中所述相关性分析方法为 线性或非线性方法； 5)将所述基准参考图像 所述相关系数、第一加权系数和第二加权系数组作为进行信息处理的原始数据或者将所述基准参考图像、所述相关系数、第一加权系数和第二加 权系数组作为信息发送数据；
信息接收端包含如下步骤 6)收到数据是进行信息处理后的数据或者收到数据是基准参考图像、相关系数、
第一加权系数和第二加权系数组；当收到数据是进行信息处理后的数据时，通过所述信息
处理的对应处理方法得到基准参考图像、相关系数、第一加权系数和第二加权系数组； 7)根据所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组计算
得到多幅低分辨率图像和/或计算得到多幅低分辨率图像的加权平均值图像； 8)将所述计算得到的多幅低分辨率图像和/或多幅低分辨率图像的加权平均值
图像重新组合形成一幅高分辨率图像或者将所述基准参考图像除以加权系数之和得到的
加权平均值图像与所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像。 其中线性相似性数学描述式如下 设定在信息发送端生成的多幅低分辨率的图像分别为Y1、Y2、Y3、…、Yn ;加权系 数分别为K1、K2、K3、…、Kn，并设定其中一个加权系数大于其余加权系数，假设为Kl，即Kl 大于其余加权系数K2、K3、…、Kn，则每幅低分辨率的图像的加权图像Sl、S2…、Sn :
S1 = (K 1 *Y 1 +K2*Y2+K3*Y3... +Kn*Yn)
S2 = (Kl*Y2+K2*Yl+K3*Y3+...+Kn*Yn)
......... Sn = (Kl*Yn+Kn*Yl+K2*Y2+K3*Y3+...+K(n-l)*Y(n-l)) 以加权图像Tl、T2…、Tn中的一个作为基准参考图像，例如设定为Tl，计算其他加 权平均值图像T2…、Tn与基准参考图像的线性相关系数分别为r2， b2 ;r3， b3 ;…；rn， bn。 设多幅低分辨率的图像的计算图像分别为Y2'、Y3'、…、Yn'，则
Y2' = r2*Y+b2
Y3' = r3*Y+b3 ......... Yn， = rn氺Y+bn 把T1、Y2'、Y3'、…、Yn'看成是原始低分辨率图像的加权图像的近似值，即Tl = (K1*Y1"+K2*Y2"+K3*Y3，， ...+Kn*Yn")Y2， = (Kl*Y2，，+K2*Yl，，+K3*Y3，，+***+Kn*Yn，，)Y3， = (Kl*Y3，，+K3*Yl，，+K2*Y2，，+K4*Y4，，+***+Kn*Yn，，) .........Yn， = (Kl*Yn，，+Kn*Yl，，+K2*Y2，，+K3*Y3，，+*-+K(n_l)*Y(n_l)，，)通过求解上述方程组计算得到Y1"、Y2"、Y3"、…、Yn"，然后将Yl"、Y2"、Y3"、…、
Yn"按信息发送端的抽样顺序对应插入数据进行组合得到高分别率图像。 也可以根据T1、Y2'、Y3'、…、Yn'计算得到多幅低分辨率图像的加权平均值图像
Y1"'、Y2"'、Y3"'、…、Yn"'计算式为Yl，" = T1/(K1+K2+K3+. +Kn)Y2 " = Y2 ， / (K1+K2+K3+. +Kn)Y3"， = Y3/(K1+K2+K3+. +Kn)
.........Yn"， = Yn， /(K1+K2+K3+. . . +Kn) 然后将Yl"' 、 Y2"' 、 Y3"'、…、Yn"'按信息发送端的抽样顺序对应插入数据进行 组合得到高分别率图像。 该方案的优化方案是加权系数分别为K1、K2、K3、…、Kn只取两个值，其中一个值 大于另一个，即设定K1 > K2 = K3 = =Kn。 当第三种方案满足Kl+K2+K3+…+Kn = 1时，第三种方案与第一种方案一致。
当第三种方案满足Kl+K2+K3+…+Kn > 1时，每幅低分辨率的图像的加权图像 Tl、 T2…、Tn中每个像素点的数据值被扩大，因此需要更多的数据位来表示像素点的数 据，因此该方案所传输的基准参考图像的数据量大于第一种方案和第二种方案。比如当 Kl+K2+K3+…+Kn = 256时，每个像素点的数值被扩大256倍，每个像素点的每个颜色数据 量增加了一个字节。但优选的是当Kl+K2+K3+…+Kn大于或等于256时，其图像恢复的质量 很高，加权图像Sl、 S2…、Sn之间的线性相关性很高。 优选的是K1、K2、K3、…、Kn之间大小相近，线性度会提高，但当Kl、K2、K3、…、 Kn基本相等时会造成图像边沿的模糊。优选的是当Kl+K2+K3+…+Kn = 1时，Kl取0. 3 至0. 4之间，K2 = K3 = =Kn取0. 2至0. 3之间可以得到较好的图像质量；优选的是当 Kl+K2+K3+…+Kn = 256时，K1取70至90之间，K2 = K3 = =Kn取50至70之间可以得 到较好的图像质量 在上述方案中由于先计算每幅低分辨率的图像的加权图像并以其中一幅加权图 像作为基准参考图像提高了参与相似性计算的图像之间的相似性，而且线性化程度更高， 更适合线性相关性计算。每幅低分辨率的图像的加权图像已经包含了多幅相同分辨率的低 分辨率图像的数据信息，特别是对于多幅相同分辨率的低分辨率图像之间的差异信息部分 在每幅加权图像存在部分信息，因此在信息接收端接收的信息量更多，提高了组合得到高 分别率图像的质量。 上述方案的数学描述中以线性函数拟合为例进行了描述，本领域的技术人员可以 完全以本发明的思想采用其他非线性函数进行拟合，比如采用二次或更高次的曲线函数进 行拟合。 在进行编码压縮处理前，将高分辨率图像数据通过间隔取样形成多个低分辨率的 相似图像，然后采用相关性最优算法计算这些低分辨率相似图像的相关系数。在信息后续 处理和传输中只需要一个低分辨率的图像和其它低分辨率的相似图像的相关系数信息。大 大降低了信息传输的数据量，从而提高图像编码压縮效率和传输效率。同时对于作为基准 参考图像的低分辨率图像的选择方法，进一步提高了所恢复的高分辨率图像的质量，减少 了图像轮廓、边沿等的模糊，进行相关性计算的图像之间的相关性更好，数据拟合的偏差度 更小。采用相关性计算多个低分辨率的相似图像的相关系数，计算量少，相对于不采用该技 术的图像编解码技术，计算效率更高。


图1是现有技术将一个8X8大小的图像数据按行等间隔和按列等间隔取样数据生 成4个低分辨率4X4大小的全景图像方法示例示意图。
图2是现有技术将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计
算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法示例示意图。 图3是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算
线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第一种实现示意图。 图4和图5是本发明将4个低分辨率4X 4大小的全景图像通过选择基准参考图
像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第二种实现示意图。 图6是本发明第一种技术方案实现在信息发送端的流程图
图7本发明第一种技术方案实现在信息接收端的流程图
图8是本发明第二种技术方案实现在信息发送端的流程图
图9本发明第二种技术方案实现在信息接收端的流程图
图10是本发明第三种技术方案实现在信息发送端的流程图
图11本发明第三种技术方案实现在信息接收端的流程图
具体实施例方式
下面结合附图和实施示例对本发明的技术方案进一步详细说明
图1是现有技术将一个8X8大小的图像数据按行等间隔和按列等间隔取样数据生 成4个低分辨率4X4大小的全景图像方法示例示意图，图中假定高分辨率视频原始图像数 据是8X8的数据阵列，采用隔行隔列等间隔抽取数据生成4个4X4大小的低分辨率图像数 据。这4个4X4大小的低分辨率图像数据包含了原8X8图像的全部数据。这样的数据抽取 方法是4个4X4大小的低分辨率图像数据具有很强的视觉相似性。并且其中任何一个4X4 大小的低分辨率图像数据都是均匀的从原图像抽取的，与原图像也具有视觉相似性。
图2是现有技术将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计 算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法示例示意图。在图中，我 们选定第一个低分辨率4X4大小的全景图像作为基准参考图像，然后分别计算其余低分辨 率4X4大小的全景图像与基准参考图像的最优线性相关系数Sl、 S2、 S3、 S4、 S5、 S6。将基 准参考图像数据阵列与线性相关系数Sl、 S2、 S3、 S4、 S5、 S6按预先约定的存放顺序存放形 成新的数据阵列6X4大小。这个6X4大小数据阵列是图像进行后续压縮编码的原始数据信 息。显然需要压縮编码处理的信息量大大减少。 现有技术中由于选择基准参考图像的方法是从多幅低分辨率全景图像中选择一 幅，当图像的轮廓或边沿很细小时，比如当图像中有一条仅有一个像素点粗细的线段或曲 线，由于在将高分辨率图像等间隔取样生成低分辨率全景图像时，这些细小的线段或曲线 数据不会同时出现在多幅低分辨率全景图像中，选择任何一幅低分辨率全景图像都无法通 过现有技术的相关性算法恢复出线段或曲线的全部信息，因此出现边沿模糊、轮廓不清晰 的情况。 图3是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图像、计算 线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第一种实现示意图。相比 于现有技术，本发明的第一种实现中对于基准参考图像的选择进行了特殊处理。即基准参 考图像的信息包含了每幅低分辨率全景图像的信息，在进行相似性计算中可以基本恢复出高分辨率图像的全部轮廓信息和边沿信息。所述基准参考图像的特殊处理可以采用为每幅 低分辨率全景图像赋予不同或相同的加权系数，然后计算每个像素点的加权平均值作为基 准参考图像的对应像素点信息。比如图3中的基准参考图像的像素点bll的计算式如下
bll = (Kl*all+K2*al2+K3*a21+K4*a22)/(K1+K2+K3+K4) 其中K1、K2、K3、K4为加权系数，K1、K2、K3、K4的取值为非负数且加权系数之和大 于0。优化的选择是Kl = K2 = K3 = K4且Kl+K2+K3+K4 = 1。 图6是本发明第一种技术方案实现在信息发送端的流程图。相应于图3的基准参 考图像选择方法，图中表明在信息发送端，将高分辨率图像数据按如下处理步骤完成后再 进行压縮编码。 对于信息发送端在步骤601获取高分辨率视频图像数据阵列，经过步骤602按行 等间隔和按列等间隔取样生成多幅低分辨率图像数据阵列，然后在步骤603计算所述多幅 分辨率的低分辨率图像的加权平均值图像并在步骤604时以加权平均值图像作为基准参 考图像数据，随后在步骤605中计算其余低分辨率视频图像数据分别与基准参考图像数据 的最优线性系数，最后在步骤606中将基准参考图像数据和其余低分辨率图像的线性相关 系数按约定顺序存放后进入步骤607后续压縮编码处理。 图7本发明第一种技术方案实现在信息接收端的流程图。相应于图3的基准参考 图像选择方法，图中表明在信息接收端，将经过解码解压縮获得的数据信息是基准参考图 像数据信息和其余低分辨率图像数据的相关系数，按如下处理步骤完成后才能生成一幅高 分辨率视频图像数据信息。 对于信息接收端，在步骤701通过解码解压縮后的数据经过步骤702按约定信息 存放顺序获得基准参考图像数据和其余低分辨率图像的线性相关系数；然后在步骤703中 用基准参考图像数据和线性相关系数计算其余低分辨率视频图像数据并在步骤704中确 定基准参考图像数据和其余低分辨率视频图像数据的抽样顺序；最后在步骤705中按行列 等间隔插入数据方式将基准参考图像数据和多个低分辨率图像数据阵列合成为高分辨率 视频图像数据并在步骤706中再现高分辨率视频图像数据阵列。 由于高分辨率图像数据按本发明所述的方法进行分解生成的低分辨率图像之间 存在着较大的视觉相似性，并采用把所有低分辨率图像进行加权平均值计算选取基准参考 图像，使对应的图像数据具有较好的线性相关性并使边沿及轮廓信息部分得到恢复，因此 在信息压縮编码和传输中可以只需要处理和传输一个基准参考图像的数据和其他低分辨 率图像数据的相关系数即可，从而大大降低后续处理的信息数据量，使信息压縮、编解码和 传输效率更高。 图4和图5是本发明将4个低分辨率4X4大小的全景图像通过选择基准参考图 像、计算线性相关系数、按约定顺序存放基准参考图像和线性系数的方法第二种实现示意 图。相比于现有技术，本发明的第二种实现中不仅对于基准参考图像的选择进行了特殊处 理，而且对于参与相似性计算的低分辨率图像进行了处理以提高参与计算的低分辨率图像 之间的相关性。在图4中将4个低分辨率4X4大小的全景图像分别按如下方法计算加权平 均值图像 设定四个加权系数K1、K2、K3、K4其中K1大于其余加权系数K2、 K3、 K4，所述加权 系数K2、K3、K4与每幅低分辨率图像的对应关系可以预先确定，K1、K2、K3、K4的取值为非
12负数且加权系数之和大于0。则每幅低分辨率的图像的加权平均值图像B1、B2、B3、B4 :Bl =(K1*Y1+K2*Y2+K3*Y3+K4*Y4)/(K1+K2+K3+K4)B2 =(K1*Y2+K2*Y1+K3*Y3+K4*Y4)/(K1+K2+K3+K4)B3 =(K1*Y3+K3*Y1+K2*Y2+K4*Y4)/(K1+K2+K3+K4)B4 =(K1*Y4+K4*Y1+K2*Y2+K3*Y4)/(K1+K2+K3+K4)例如，图4中加权平均值图像B1的一个像素点bll的图像数据信息按如下计算bll ==(Kl*all+K2*al2+K3*a21+K4*a22)/(K1+K2+K3+K4)例如，图4中加权平均值图像B2的一个像素点b12的图像数据信息按如下计算bl2 ==(Kl*al2+K2*all+K3*a21+K4*a22)/(K1+K2+K3+K4)例如，图4中加权平均值图像B3的一个像素点b21的图像数据信息按如下计算b21 ==(Kl*a21+K3*all+K2*al2+K4*a22)/(K1+K2+K3+K4)例如，图4中加权平均值图像B4的一个像素点b22的图像数据信息按如下计算b22 ==(Kl*a22+K4*all+K2*al2+K3*a21)/(K1+K2+K3+K4)然后在图5中选择加权平均值图像B1、B2、B3、B4中的一个座位基准参考图像，比如选择Bl，然后计算其余加权平均值图像B2、 B3、 B4项对于基准参考图Bl的相关系数Sl、 S2、 S3、 S4。需要进行后续信息压縮处理的信息包含基准参考图Bl和相关系数Sl、 S2、 S3、 S4总共数据信息量为6X4大小，在进行相似性计算中可以基本恢复出高分辨率图像的全部 轮廓信息和边沿信息。 图8是本发明第二种技术方案实现在信息发送端的流程图。相应于图4、图5的基 准参考图像选择方法，图中表明在信息发送端，将高分辨率图像数据按如下处理步骤完成 后再进行压縮编码。 对于信息发送端在步骤801获取高分辨率视频图像数据阵列，经过步骤802按
行等间隔和按列等间隔取样生成n幅相同分辨率的低分辨率图像Yl、 Y2........Yn，在
步骤803中设定第一加权系数Kl和第二加权系数K2，所述第一加权系数Kl大于所述第
二加权系数K2，然后在步骤804按计算式Bi = ((Kl-K2)*Yi+K2*(Yl+Y2+......+Yn))/
(Kl+(n-l)*K2)生成n幅加权平均值图像，并在步骤805时以其中一幅加权平均值图像作为 基准参考图像数据，随后在步骤806中计算其余加权平均值图像数据分别与基准参考图像 数据的最优线性系数，最后在步骤807中将基准参考图像数据和其余加权平均值图像的线 性相关系数按约定顺序存放后进入步骤808后续压縮编码处理。 图9本发明第二种技术方案实现在信息接收端的流程图。相应于图4、图5的基准 参考图像选择方法，图中表明在信息接收端，将经过解码解压縮获得的数据信息是基准参 考图像数据信息和其余加权平均值图像的相关系数，按如下处理步骤完成后才能生成一幅 高分辨率视频图像数据信息。 对于信息接收端，在步骤901通过解码解压縮后的数据经过步骤902按约定信息 存放顺序获得基准参考图像数据和其余加权平均值图像的线性相关系数；然后在步骤903 中用基准参考图像数据和线性相关系数计算其余加权平均值图像数据并在步骤904中用 基准参考图像数据和其余加权平均值图像数据计算多个低分辨率图像数据并在步骤905 中确定基准参考图像数据和多个低分辨率图像数据的抽样顺序；最后在步骤906中按行列 等间隔插入数据方式将基准参考图像数据和多个低分辨率图像数据阵列合成为高分辨率
13视频图像数据并在步骤907中再现高分辨率视频图像数据阵列。 由于高分辨率图像数据按本发明所述的方法进行分解生成的低分辨率图像之间
存在着较大的视觉相似性，并采用把所有低分辨率图像进行加权平均值计算得到多幅加权
平均值图像并从中选择一幅作为选取基准参考图像，使对应多幅加权平均值图像数据具有
较好的线性相关性并使边沿及轮廓信息部分得到恢复，因此在信息压縮编码和传输中可以
只需要处理和传输一个基准参考图像的数据和其他多幅加权平均值图像数据的相关系数
即可，从而大大降低后续处理的信息数据量，使信息压縮、编解码和传输效率更高。 图IO是本发明第三种技术方案实现在信息发送端的流程图。图中表明在信息发
送端，将高分辨率图像数据按如下处理步骤完成后再进行压縮编码。 对于信息发送端在步骤1001获取高分辨率视频图像数据阵列，经过步骤1002按
行等间隔和按列等间隔取样生成n幅相同分辨率的低分辨率图像Yl、 Y2........Yn，在步
骤1003中设定第一加权系数K1和第二加权系数K2，所述第一加权系数K1大于所述第二加
权系数K2，然后在步骤1004按计算式Yi = (Kl-K2) *Yi+K2* (Y1+Y2+......+Yn)生成n幅
加权图像，并在步骤1005时以其中一幅加权图像作为基准参考图像数据，随后在步骤1006 中计算其余加权图像数据分别与基准参考图像数据的最优线性系数，最后在步骤1007中 将基准参考图像数据和其余加权图像的线性相关系数按约定顺序存放后进入步骤1008后 续压縮编码处理。 图11本发明第二种技术方案实现在信息接收端的流程图。图中表明在信息接收 端，将经过解码解压縮获得的数据信息是基准参考图像数据信息和其余加权图像的相关系 数，按如下处理步骤完成后才能生成一幅高分辨率视频图像数据信息。
对于信息接收端，在步骤1101通过解码解压縮后的数据经过步骤1102按约定信 息存放顺序获得基准参考图像数据和其余加权图像的线性相关系数；然后在步骤1103中 用基准参考图像数据和线性相关系数计算其余加权图像数据并在步骤1104中用基准参考 图像数据和其余加权图像数据计算得到多幅低分辨率图像并在步骤1105中确定计算所得 到多幅低分辨率图像数据的抽样顺序；最后在步骤1106中按行列等间隔插入数据方式将 计算所得到多幅低分辨率图像数据合成为高分辨率视频图像数据并在步骤1107中再现高 分辨率视频图像数据阵列。 由于高分辨率图像数据按本发明所述的方法进行分解生成的低分辨率图像之间 存在着较大的视觉相似性，并采用把所有低分辨率图像进行加权计算得到多幅加权图像并 从中选择一幅作为选取基准参考图像，使对应多幅加权图像数据具有较好的线性相关性并 使边沿及轮廓信息部分得到恢复，因此在信息压縮编码和传输中可以只需要处理和传输一 个基准参考图像的数据和其他多幅加权图像数据的相关系数即可，从而大大降低后续处理 的信息数据量，使信息压縮、编解码和传输效率更高。
权利要求
一种图像信息处理方法，其特征在于信息发送端包含如下步骤1)将需要处理的高分辨率视频图像信息采用等间隔取样生成多幅相同分辨率的低分辨率图像；2)设定多个加权系数，并设定其中一个加权系数大于其余加权系数，所述多个加权系数中最大的一个称为第一加权系数，其余加权系数称为第二加权系数组，所述第二加权系数组内的数据相同或不同，所述第二加权系数组与每幅低分辨率图像的对应关系预先确定；3)所述多幅相同分辨率的低分辨率图像分别以其中一幅低分辨率图像乘以第一加权系数加上其余低分辨率图像分别乘以第二加权系数组中所对应的加权系数后再除以加权系数之和生成多幅加权平均值图像；4)以所述多幅加权平均值图像的其中一幅作为基准参考图像，用相关性分析方法获得所述多幅加权平均值图像的其余各幅分别与基准参考图像的相关系数，其中所述相关性分析方法为线性或非线性方法；5)将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为进行信息处理的原始数据或者将所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组作为信息发送数据；信息接收端包含如下步骤6)收到数据是进行信息处理后的数据或者收到数据是基准参考图像、相关系数、第一加权系数和第二加权系数组；当收到数据是进行信息处理后的数据时，通过所述信息处理的对应处理方法得到基准参考图像、相关系数、第一加权系数和第二加权系数；7)根据所述基准参考图像、所述相关系数、第一加权系数和第二加权系数组计算得到多幅低分辨率图像和/或计算得到多幅低分辨率图像的加权平均值图像；8)将所述计算得到的多幅低分辨率图像和/或多幅低分辨率图像的加权平均值图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低分辨率图像重新组合形成一幅高分辨率图像或者将所述基准参考图像和所述计算得到的多幅低分辨率图像的加权平均值图像重新组合形成一幅高分辨率图像。
2. 根据权利要求l所述的图像信息处理方法，其特征在于所述的步骤l)中，所述等间 隔取样是按行等间隔取样或按列等间隔取样或同时按行等间隔和按列等间隔取样，所述按 行等间隔取样是单行等间隔或多行等间隔，所述按列等间隔取样是单列等间隔或多列等间 隔。
3. 根据权利要求1所述的图像信息处理方法，其特征在于所述步骤4)中，采用相关性 分析方法计算其余每个加权平均值图像数据与基准参考图像数据的最优相关系数。
4. 根据权利要求1所述的图像信息处理方法，其特征在于所述的步骤8)中，所述多幅 低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者所述多幅低分辨率 图像的加权平均值图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考 图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序 对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率图像的加权平均 值图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算 数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应插入数据进行组合。
5. 根据权利要求2所述的图像信息处理方法，其特征在于所述步骤4)中，采用相关性 分析方法计算其余每个低分辨率图像数据与基准参考图像数据的最优相关系数。
6. 根据权利要求2所述的图像信息处理方法，其特征在于所述的步骤8)中，所述多幅 低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者所述多幅低分辨率 图像的加权平均值图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考 图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序 对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率图像的加权平均 值图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算 数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应 插入数据进行组合。
7. 根据权利要求3所述的图像信息处理方法，其特征在于所述的步骤8)中，所述多幅 低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者所述多幅低分辨率 图像的加权平均值图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考 图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序 对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率图像的加权平均 值图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算 数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应 插入数据进行组合。
8. 根据权利要求5所述的图像信息处理方法，其特征在于所述的步骤8)中，所述多幅 低分辨率的图像按信息发送端的抽样顺序对应插入数据进行组合；或者所述多幅低分辨率 图像的加权平均值图像按信息发送端的抽样顺序对应插入数据进行组合；或者用基准参考 图像替代其中一幅低分辨率的图像，然后与其余低分辨率的图像按信息发送端的抽样顺序 对应插入数据进行组合；或者先将基准参考图像和计算得到多幅低分辨率图像的加权平均 值图像与加权系数采用加权平均计算的逆运算计算得到原始多幅低分辨率的图像的计算 数据，然后用计算得到原始多幅低分辨率的图像的计算数据按信息发送端的抽样顺序对应 插入数据进行组合。
9. 根据权利要求1至8中任一项所述的图像信息处理方法，其特征在于所述进行信息 处理的图像数据是低分辨率的基准参考图像和计算出来的反映多幅低分辨率图像的其余 加权平均值图像的相关系数，所述基准参考图像和所述相关系数的存放顺序是预先约定。
10. 根据权利要求1至8中任一项所述的图像信息处理方法，其特征在于所述信息处理 包含图像的编码运算和/或压縮运算；所述信息处理的对应处理方法包含解码运算和/或 解压縮运算。
全文摘要
本发明涉及一种用于视频编解码的图像信息处理方法。将高分辨率视频图像进行压缩编码处理之前分解为多个低分辨率全景图像，并按所述多幅相同分辨率的低分辨率图像分别以其中一幅低分辨率图像乘以第一加权系数加上其余低分辨率图像分别乘以第二加权系数组中所对应的加权系数后再除以加权系数之和生成多幅加权平均值图像；再以所述多幅加权平均值图像的其中一幅作为基准参考图像，用相关性分析方法获得所述多幅加权平均值图像的其余各幅分别与基准参考图像的相关系数后，在极大的减少进行数据压缩编码的信息量、提高编码效率和提升视频信息传输效率的基础上提高图像的质量，并在一定程度上解决图像边沿被模糊化的问题。
文档编号H04N7/50GK101765012SQ20101003450
公开日2010年6月30日 申请日期2010年1月20日 优先权日2010年1月20日
发明者李博航 申请人:李博航