基于多尺度的无参考屏幕内容图像质量评估方法与流程

本发明图像和视频处理以及计算机视觉领域，具体涉及一种基于多尺度的无参考屏幕内容图像质量评估方法。

背景技术：

随着移动设备和多媒体应用的快速发展，屏幕内容图像越来越多地出现在多客户通信系统中，例如在线新闻，电子杂志，电子商务，云游戏和云计算等。在对图像的处理过程中，比如传输、压缩和重定向等，由于技术原因，这会引入失真，降低图像质量，从而影响用户体验。图像质量评估可以用来检验图像处理相关技术的性能，也能对其的发展进行指导，因此一个性能好的屏幕内容图像质量评估方法显得十分重要。

近年来，学者们根据屏幕内容图像和人类视觉系统的特点，提出了许多有效的质量评估算法。fang等人通过结构特征和不确定性加权，提出了一种全参考质量评估模型，该方法先将输入图像粗略地划分为图形区域和文本区域，然后比较并组合上述两种类型的区域在失真和未失真图像之间的感知差异，以产生一个失真图像质量的客观评分。wang等人提出一个简单的方法，即通过设置局部滤波器的自适应窗口大小来修改经典的ssim算法，具体来说，小尺寸内核用于文本区域，而大尺寸内核用于图形区域。上述两个工作中，都需要分割才能区分文本和图片区域，这存在两个明显的弊端，一方面，这明显地增加了计算复杂性，另一方面，由于错误分割，这种错误分割会将图形区域误认为文本区域，这可能会严重降低算法评估图像质量的准确性。shao等人通过利用稀疏表示框架提出了一种无参考图像质量评估方法，该方法需要利用四种全参考方法来生成图像的标签，但这四种方法在预测屏幕内容图像质量上的效果比较差，导致整个算法性能不佳。

目前提出的方法大部分是全参考方法，然而全参考方法需要全部原始图像信息，但这些信息在实际应用中经常是得不到的，目前提出的无参考方法还比较少，而且这些无参考方法效果比较差，不能与主观感知产生较高的一致性。因此，提出一种预测结果比较准确的无参考屏幕内容图像质量评估方法是非常必要的。

技术实现要素：

有鉴于此，本发明的目的在于提供一种基于多尺度的无参考屏幕内容图像质量评估方法，能够提高无参考屏幕内容图像质量评估性能。

为实现上述目的，本发明采用如下技术方案：

一种基于多尺度的无参考屏幕内容图像质量评估方法，包括以下步骤：

步骤s1：将失真图像从rgb颜色空间转换到lmn颜色空间，并利用bicubic算法对l分量进行放大，利用gabor滤波器的虚部在放大后的l分量上提取失真图像的边缘特征；

步骤s2：利用bicubic算法对失真图像的灰度图进行放大，并利用scharr滤波器和局部二值模式在放大后的灰度图上提取失真图像的结构特征；

步骤s3：利用局部归一化算法在放大后的灰度图上提取失真图像的亮度特征；

步骤s4：将得到的输入图像的边缘特征、结构特征和亮度特征作为训练数据，利用随机森林回归训练图像质量评估模型；

步骤s5：根据步骤s1-s3，获取待测图像的边缘特征、结构特征和亮度特征，并利用训练好的图像质量评估模型预测待测图像的质量分数。

进一步的，所述步骤s1具体为：

步骤s11：将失真图像转换为double数据类型，然后将所述失真图像从rgb颜色空间转换到lmn颜色空间，两种颜色空间进行转换的公式如下：

其中，下标i表示所述失真图像中像素的位置索引，li、mi、ni分别是像素i的l、m、n三个颜色通道的值，ri、gi、bi分别是像素i的r、g、b三个颜色通道的值；

接着利用bicubic算法对l分量进行放大两倍处理，将放大后的l分量记为l′；

步骤s12：计算得到水平方向的gabor滤波器的虚部和垂直方向的gabor滤波器的虚部，计算公式如下：

其中，θ为方向，a、b、为参数，分别为0.4、0.4和0.975，m和n分别表示为所述失真图像的长和宽，(x,y)表示像素在所述失真图像中的坐标；θ为0时，计算得到的g(x,y)记为gh(x,y)，失真图像所有像素的gh(x,y)组成gh，是水平方向的gabor滤波器虚部；θ为时，计算得到的g(x,y)记为gv(x,y),失真图像所有像素的gv(x,y)组成gv，是垂直方向的gabor滤波器虚部；

步骤s13：利用步骤s12得到的两个gabor滤波器的虚部分别与步骤s11中得到的放大后的l分量l′进行卷积运算，得到不同方向的所述失真图像的边缘图，然后将得到的两个边缘图相加得到最终的所述失真图像的边缘图，计算公式如下：

e＝eh+ev

其中，表示卷积运算，gh和gv分别表示水平方向和垂直方向的gabor滤波器虚部，eh和ev分别表示水平方向和垂直方向的边缘图，e表示最终的所述失真图像的边缘图；

步骤s14：利用频率分布直方图对步骤s13中得到的最终的所述失真图像的边缘图进行统计，直方图分组个数设置为10，用一个10维向量{f1,f2,...,f10}来表示边缘特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：

其中，m表示最终的所述失真图像的边缘图中的像素个数，ei表示最终的所述失真图像的边缘图中第i个像素的值，q(n)表示直方图中第n个分组的取值范围，取值范围是在最终的所述失真图像的边缘图中像素的最大值和最小值之间等距离分割成10段而得到的；

步骤s15:将得到的所述失真图像的边缘特征集记为fe＝{f1,f2,...,f10}。

进一步的，所述步骤s2具体为：

步骤s21:将失真图像转换成灰度图，然后利用bicubic算法对所述的灰度图进行放大两倍处理，将放大后的灰度图记为p；

步骤s22：利用两个scharr滤波器分别与步骤s21中得到的放大后的灰度图p进行卷积运算，得到放大后的灰度图的不同方向的梯度信息组成的梯度图，然后将得到的两个梯度图的平方和开方，得到放大后灰度图的最终梯度图，计算公式如下：

其中，p表示放大后的灰度图，sh和sv分别表示水平和垂直方向的scharr滤波器，th和tv分别表示通过卷积运算获得的水平和垂直方向的梯度图，t表示放大后的灰度图的最终梯度图；

步骤s23：将旋转不变等价lbp算子作用于步骤s22中得到的梯度图t上，得到梯度图t的lbp图，旋转不变等价lbp算子的表达式如下：

其中，r表示圆形区域的半径，i表示半径为r的圆形区域边上采样点的个数，tc和ti分别表示中心像素的梯度值以及其半径为r的圆形区域边上采样点的梯度值，θ表示lbp模式的二进制值中0-1跳变的次数，lbpi,r表示旋转不变lbp算子，lbp′i,r表示旋转不变等价lbp算子；

步骤s24：累加放大后的灰度图的最终梯度图中具有相同lbp模式的像素的梯度值，并将其作为所述失真图像的结构特征，计算公式如下：

其中，n表示最终梯度图中的像素个数；k∈[0,k]表示lbp模式，k＝i+1；tj表示最终梯度图中第j个像素的梯度值，作为该像素对应lbp模式的权值。

进一步的，所述步骤s3具体为：

步骤s31：利用局部归一化算法在步骤s21中取得的放大两倍后的灰度图p上计算图像的亮度信息，计算公式如下所示：

其中，(i,j)表示像素在图像中的位置，p(i,j)表示图中位置(i,j)处像素的像素值，s′(i,j)表示图p中位置(i,j)处像素的像素值经过局部归一化后的值，图p中所有像素的s′(i,j)组成的s′是图p的亮度图，i∈{1,2,..,w}和j∈{1,2,..,y}表示像素点的空间位置，w和y分别表示图p的长度和宽度；c是一个常数，防止分母为0；μp(i,j)和σp(i,j)分别表示图p中每个像素点的局部加权平均值和局部加权标准差，它们的计算公式分别如下所示：

其中，ω(u,v)表示在图p中坐标(i+u,j+v)处像素值的权重，所有的ω(u,v)构成是一个2维权重矩阵ω＝{ω(u,v)|u＝-u,...,u；v＝-v,...,v}，u和v分别表示局部归一化过程中窗口长度和宽度；

步骤s32：沿着4个方向：水平、垂直、主对角线和副对角线，对步骤s31中得到的亮度图s′中的相邻像素点的亮度值进行相乘，相邻像素点的亮度值相乘运算公式如下所示：

mh(i,j)＝s′(i,j)s′(i,j+1)

md1(i,j)＝s′(i,j)s′(i+1,j+1)

mv(i,j)＝s′(i,j)s′(i+1,j)

md2(i,j)＝s′(i,j)s′(i+1,j-1)

其中，(i,j)表示像素点在图像中的位置，mh(i,j)表示图s′中位置(i,j)处像素点的亮度值与水平方向相邻像素点亮度值相乘后的结果，图s′中所有像素点的mh(i,j)值组成亮度图mh；md1(i,j)表示图s′中位置(i,j)处像素点的亮度值与主对角线方向相邻像素点亮度值相乘后的结果，图s′中所有像素点的md1(i,j)值组成亮度图md1；mv(i,j)表示图s′中位置(i,j)处像素点的亮度值与垂直方向相邻像素点亮度值相乘后的结果，图s′中所有像素点的mv(i,j)值组成亮度图mv；md2(i,j)表示图s′中位置(i,j)处像素点的亮度值与副对角线相邻像素点亮度值相乘后的结果，图s′中所有像素点的mv(i,j)值组成亮度图md2；

步骤s33：利用频率分布直方图对步骤s31和步骤s32中得到的亮度图s′、mh、md1、mv和md2分别进行统计，直方图分组个数设置为10，分别用一个10维向量{z1,z2,...,z10}来表示每幅失真图像的亮度特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：

其中，m表示步骤s32和步骤s33中得到的亮度图s′、mh、md1、mv和md2的像素个数，b∈{s′,mh,md1,mv,md2}，bi表示亮度图中第i个像素，r(n)表示直方图中第n个分组的取值范围；

步骤s34:将亮度图s′的亮度特征集记为z^s，将亮度图mh的亮度特征集记为z^h，将亮度图md1的亮度特征集记为z^d1，将亮度图mv的亮度特征集记为z^v，将亮度图md2的亮度特征集记为z^d2，所述失真图像的亮度特征集fl＝{z^s,z^h,z^d1,z^v,z^d2}。

进一步的，所述步骤s4具体为：

步骤s41：将步骤s1、步骤s2和步骤s3中得到的边缘特征集fe、结构特征集fs和亮度特征集fl组合起来，得到失真图的特征集f1＝{fe,fs,fl}；

步骤s42：将输入的失真图像缩小为0.8倍，利用步骤s1-s3中的方法得到失真图的特征集f2＝{fe′,fs′,fl′}；

步骤s43：将输入的失真图像缩小为0.64倍，利用步骤s1-s3中的方法得到失真图的特征集f3＝{fe″,fs″,fl″}；

步骤s44：将输入的失真图像缩小为0.512倍，利用步骤s1-s3中的方法得到失真图的特征集f4＝{fe″′,fs″′,fl″′}；

步骤s45：综合步骤s41-s44，得到输入的失真图像的最终特征集f＝{f1,f2,f3,f4}，然后将这个最终的特征集f放入随机森林回归中训练，得到图像质量预测模型。

本发明与现有技术相比具有以下有益效果：

1、本发明综合考虑屏幕内容图像和人类视觉系统的显著特征，提取对失真图像的失真信息有更强表示能力的特征，显著提高了无参考屏幕内容图像质量评估方法的性能。

2、本发明适用于多种失真类型的、不同失真程度的屏幕内容图像质量评估，预测得到的失真屏幕内容图像的质量分数与主观评分更加接近。

附图说明

图1是本发明方法的实现流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于多尺度的无参考屏幕内容图像质量评估方法，包括以下步骤：

步骤s1：将输入的图像从rgb颜色空间转换到lmn颜色空间，利用bicubic算法对l分量进行放大，利用gabor滤波器的虚部在放大后的l分量上提取图像的边缘特征。

步骤s11：将所述失真图像转换为double数据类型，然后将所述失真图像从rgb颜色空间转换到lmn颜色空间，其中两种颜色空间进行转换的公式如下：

其中，下标i表示所述失真图像中像素的位置索引，li、mi、ni分别是像素i的l、m、n三个颜色通道的值，ri、gi、bi分别是像素i的r、g、b三个颜色通道的值；

接着利用bicubic算法对l分量进行放大两倍处理，将放大后的l分量记为l′；

步骤s12：计算得到水平方向的gabor滤波器的虚部和垂直方向的gabor滤波器的虚部，计算公式如下：

其中，θ为方向，a、b、为参数，分别为0.4、0.4和0.975，m和n分别表示为所述失真图像的长和宽，(x,y)表示像素在所述失真图像中的坐标；θ为0时，计算得到的g(x,y)记为gh(x,y)，失真图像所有像素的gh(x,y)组成gh，是水平方向的gabor滤波器虚部；θ为时，计算得到的g(x,y)记为gv(x,y),失真图像所有像素的gv(x,y)组成gv，是垂直方向的gabor滤波器虚部；

步骤s13：利用步骤s12得到的两个gabor滤波器的虚部分别与步骤s11中得到的放大后的l分量l′进行卷积运算，得到不同方向的所述失真图像的边缘图，然后将得到的两个边缘图相加得到最终的所述失真图像的边缘图，计算公式如下：

e＝eh+ev

其中，表示卷积运算,gh和gv分别表示水平方向和垂直方向的gabor滤波器的虚部，eh和ev分别表示水平方向和垂直方向的边缘图，e表示最终的所述失真图像的边缘图；

步骤s14：利用频率分布直方图对步骤s13中得到的最终的所述失真图像的边缘图进行统计，直方图分组个数设置为10，用一个10维向量{f1,f2,...,f10}来表示边缘特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：

其中，m表示最终的所述失真图像的边缘图中的像素个数，ei表示最终的所述失真图像的边缘图中第i个像素的值，q(n)表示直方图中第n个分组的取值范围，取值范围是在最终的所述失真图像的边缘图中像素的最大值和最小值之间等距离分割成10段而得到的。

将得到的所述失真图的边缘特征集记为fe＝{f1,f2,...,f10}。

步骤s2：利用bicubic算法对输入图像的灰度图进行放大，然后利用scharr滤波器和局部二值模式(lbp)在放大后的灰度图上提取图像的结构特征。

步骤s21：将失真图转换成灰度图，然后利用bicubic算法对所述的灰度图进行放大两倍处理，将放大后的灰度图记为p；

步骤s22：利用两个scharr滤波器分别与步骤s21中得到的放大后的灰度图p进行卷积运算，得到放大后的灰度图的不同方向的梯度信息组成的梯度图，然后将得到的两个梯度图的平方和开方，得到放大后灰度图的最终梯度图，计算公式如下：

其中，p表示放大后的灰度图，sh和sv分别表示水平和垂直方向的scharr滤波器，th和tv分别表示通过卷积运算获得的水平和垂直方向的梯度图，t表示放大后的灰度图的最终梯度图；

步骤s23：将旋转不变等价lbp算子作用于步骤s22中得到的梯度图t上，得到梯度图t的lbp图，旋转不变等价lbp算子的表达式如下：

其中，r表示圆形区域的半径，i表示半径为r的圆形区域边上采样点的个数，tc和ti分别表示中心像素的梯度值以及其半径为r的圆形区域边上采样点的梯度值，θ表示lbp模式的二进制值中0-1跳变的次数，lbpi,r表示旋转不变lbp算子，lbp′i,r表示旋转不变等价lbp算子；

步骤s24：累加放大后的灰度图的最终梯度图中具有相同lbp模式的像素的梯度值，并将其作为所述失真图像的结构特征，计算公式如下：

其中，n表示最终梯度图中的像素个数；k∈[0,k]表示lbp模式，k＝i+1；tj表示最终梯度图中第j个像素的梯度值，作为该像素对应lbp模式的权值。

本实施例中，优选的，取i为8，r为1，故k为9，得到10种lbp模式，将所述失真图像的结构特征集表示为fs＝{w1,w2,...,w10}。

步骤s3：利用局部归一化算法在步骤s2中得到的放大的灰度图上提取图像的亮度特征。

步骤s31：利用局部归一化算法在步骤s21中取得的放大两倍后的灰度图p上计算图像的亮度信息，计算公式如下所示：

其中，(i,j)表示像素在图像中的位置，p(i,j)表示图中位置(i,j)处像素的像素值，s′(i,j)表示图p中位置(i,j)处像素的像素值经过局部归一化后的值，图p中所有像素的s′(i,j)组成的s′是图p的亮度图，图像中(i,j)位置的值，i∈{1,2,..,w}和j∈{1,2,..,y}表示像素点的空间位置，w和y分别表示图像的长度和宽度。c是一个常数，防止分母为0。μp(i,j)和σp(i,j)分别表示图p中每个像素点的局部加权平均值和局部加权标准差，它们的计算公式分别如下所示：

其中，ω(u,v)表示在图p中坐标(i+u,j+v)处像素值的权重，所有的ω(u,v)构成是一个2维权重矩阵ω＝{ω(u,v)|u＝-u,...,u；v＝-v,...,v}，u和v分别表示局部归一化过程中窗口长度和宽度。

本实施例中，优选的，u和v设置为7；

步骤s32：沿着4个方向：水平、垂直、主对角线和副对角线，对步骤s31中得到的亮度图s′中的相邻像素点的亮度值进行相乘，相邻像素点的亮度值相乘运算公式如下所示：

mh(i,j)＝s′(i,j)s′(i,j+1)

md1(i,j)＝s′(i,j)s′(i+1,j+1)

mv(i,j)＝s′(i,j)s′(i+1,j)

md2(i,j)＝s′(i,j)s′(i+1,j-1)

其中，(i,j)表示像素点在图像中的位置，mh(i,j)表示图s′中位置(i,j)处像素点的亮度值与水平方向相邻像素点亮度值相乘后的结果，图s′中所有像素点的mh(i,j)值组成亮度图mh；md1(i,j)表示图s′中位置(i,j)处像素点的亮度值与主对角线方向相邻像素点亮度值相乘后的结果，图s′中所有像素点的md1(i,j)值组成亮度图md1；mv(i,j)表示图s′中位置(i,j)处像素点的亮度值与垂直方向相邻像素点亮度值相乘后的结果，图s′中所有像素点的mv(i,j)值组成亮度图mv；md2(i,j)表示图s′中位置(i,j)处像素点的亮度值与副对角线相邻像素点亮度值相乘后的结果，图s′中所有像素点的mv(i,j)值组成亮度图md2；

步骤s33：利用频率分布直方图对步骤s31和步骤s32中得到的亮度图s′、mh、md1、mv和md2分别进行统计，直方图分组个数设置为10，用一个10维向量{z1,z2,...,z10}来表示亮度特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：

其中，m表示步骤s32和步骤s33中得到的亮度图s′、mh、md1、mv和md2的像素个数，b∈{s′,mh,md1,mv,md2}，bi表示亮度图中第i个像素，r(n)表示直方图中第n个分组的取值范围。

将亮度图s′的亮度特征集记为z^s，将亮度图mh的亮度特征集记为z^h，将亮度图md1的亮度特征集记为z^d1，将亮度图mv的亮度特征集记为z^v，将亮度图md2的亮度特征集记为z^d2，所述失真图的亮度特征集fl＝{z^s,z^h,z^d1,z^v,z^d2}。

步骤s4：根据步骤s1-s3，从4个尺度上提取失真图像的3种特征，然后利用随机森林回归训练图像质量评估模型，利用训练好的模型预测所有待测图像的质量分数。

步骤s41：将步骤s14、步骤s24和步骤s33中得到的特征集fe、fs和fl组合起来，得到失真图的特征集f1＝{fe,fs,fl}；

步骤s42：将输入的失真图像缩小为0.8倍，利用步骤s1-s3中的方法得到失真图的特征集f2＝{fe′,fs′,fl′}；

步骤s43：将输入的失真图像缩小为0.64倍，利用步骤s1-s3中的方法得到失真图的特征集f3＝{fe″,fs″,fl″}；

步骤s44：将输入的失真图像缩小为0.512倍，利用步骤s1-s3中的方法得到失真图的特征集f4＝{fe″′,fs″′,fl″′}；

步骤s45：综合步骤s41-s44，得到输入的失真图像的最终特征集f＝{f1,f2,f3,f4}，然后将这个最终的特征集f放入随机森林回归中训练，得到图像质量预测模型。

步骤s5：根据步骤s1-s3，从4个尺度上提取待测图像的3种特征，利用训练好的模型预测待测图像的质量分数。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。