一种对相机图像质量的评价方法与装置的制造方法
【专利摘要】本发明提供了一种对相机图像质量的评价方法与装置，属于图像质量评价技术领域。本方法利用自然场景统计模型和局部清晰度特性，有三组特征组成。第一组特征利用自由能和结构退化模型之间存在线性关系提取4个特征，第二组特征利用自然图像的统计特征，利用广义高斯分布衡量失真图像与自然场景统计模型的偏差来提取4个特征，第三组特征利用离散小波分解提取3个特征来衡量图像的清晰度。前两组特征都是衡量图像的自然性，但侧重点不一样，第一组特征考虑局部自回归，第二组特征考虑全局直方图统计。最后，评价算法的结果是通过支持向量机的机器学习工具来得出相机图像的质量分数。根据质量分数评价相机图像的质量。
【专利说明】
-种对相机图像质量的评价方法与装置
技术领域
[0001] 本发明设及一种对相机图像质量的评价方法与装置，特别设及一种基于自然场景 统计和清晰度的相机图像质量评价方法和装置。
【背景技术】
[0002] 随着移动设备和网络的飞速发展，每时每刻都有海量的图像呈现给用户，由于设 备拍摄本身的问题，图像处理W及传输过程，图像不可避免的会出现失真和降质，如何评价 和控制运些数字图像的质量变得尤为重要。
[0003] 在过去的几年中，图像质量评价成为一个广泛而基本的问题，出现了许多客观评 价算法能够准确的评价失真图像的质量。如果失真图像对应的无失真原始图像是存在的， 评价算法可W通过运两幅图像对比得出失真图像质量，那运种图像质量评价算法就称为全 参考的图像质量评价算法。但在大多数情况下，只有失真的图像，运类图像质量评价算法称 为无参考的图像质量评价算法。当前无参考的图像质量评价算法根据先验知识或失真类型 又可分为通用型无参考的图像质量评价算法和特定失真类型的盲图像质量评价算法。典型 的特定失真类型的盲图像质量评价算法有针对振铃效应，块效应，噪声，清晰度/模糊等等。 化rzli等人提出了一种利用恰好感知模糊和概率求和模型对模糊失真图像的质量进行评 价，该算法称为^just-noticeable blur metric。受JNBM算法的启发，narvekar等人提出了 利用局部模糊的累积概率来评价失真图像。在文献:C. T.化，T. D. Phan，and D. Μ.化and 1 er， "S3:A spectral and spatial measure of local perceived sharpness in natural imagesI邸E Trans . Image Process. , vol. 21 ,no. 3 ,pp: 9:34-945 ,May. 2012，作者利用振 幅谱的斜率和空间域的变化得到清晰度的映射图，用此来评价失真图像。随后，Vu等人提出 利用小波变换的高频子带的能量来评价失真图像的局部和全局的清晰度。最近，有很多算 法尝试对真实相机的图像进行评价。Nimtinen等人在文献:M.Nutinen,T. Vi;rtanen,and P.Oittinen."Features for predicting quality ofimages captured by digital cameras , "in Proc. IE邸Int. Symp.Multimedia.试图寻找有效的特征集来预测真实照片 的质量。在文南犬：M.A. Saad,P.Corriveau,and R. Jaladi . "Objective consumer device photo quality evaluation ,"IEEE Signal Process . Lett.,vol.22,no.10,PP.1516- 1520,0ct.2015.，作者提出了一种方法，利用自然场景统计模型NSS，并结合消费者的使用 提取特征，对真实的消费型图像的质量进行评价。文献：M. A . Saad，P . Corr i veau，and R.Jaladi."Consumer content framework for blind photo quality evaluation," Ninth International Workshop on Video Processing and Quality Metrics for Cons皿er Electronics针对消费型图像提出了一个盲图像质量评价的框架。
[0004] 近年来，通用型的无参考图像质量评价是当前的研究热点。在文献:A.K.Moodhy and A.C.Bovik,'? two-step framework for constructing blind image quality indicesIE邸 Signal Process 丄ett. , vol. 17 ,no. 5 ,pp. 513-516 ,May. 2010，作者提出了 一种基于自然场景统计(NSS)的两步框架来评价失真图像的质量，其中第一步是估计图像 失真类型，第二步是通过运些失真类型来评价失真图像的质量。自然图像质量评估算法是 从统计规律的角度计算失真图像与观察到的无失真的自然图像的偏差来预测失真图像质 量。研究人员还受到其它一些统计规律的启发开发出一些质量评价算法。Saad等人在文献 M.A.Saad and A.C.Bovik,''Blind image quality assessment: A natural scene statistics approach in the DCT domain，，'IEEE Trans. Image Process.，vol .21，no.8， pp.3339-3352，Aug.2012.利用离散余弦变换系数提取特征，然后用简单的贝叶斯推理方法 预测图像质量。
[0005] 文献提出A.Mittal'A.K.Moorthy,and A.C.Bovik, --No-reference image quality assessment in the spatial domainIEEE Trans . Image Process. ,vol .21, no. 12，pp. 4695-4708，Dec. 2012利用场景统计局部归一化亮度系数来衡量失真图像可能损 失的"自然"性，给出失真图像的整体评价。
[0006] W上算法在通用图像质量评价数据库如LIVE数据库、CSIQ数据库等表现良好，但 对真实的相机图像的质量评价结果不理想。原因是通用图像质量评价数据库中图像的失真 是一种失真，或者失真是计算机仿真出来的，而真实相机图像是同时包含多种失真，而且失 真的类型是不可预知的。因此对相机图像的质量评价具有很大的挑战性。
【发明内容】
[0007] 本发明的目的是针对上述问题，提出一种基于自然场景统计和清晰度的相机图像 质量评价方法和装置，在没有参考图像的情况下对相机图像的质量进行评价，并且得出的 相机图像评价分数与图像主观质量分数一致性程度很高，很准确地反映了相机图像的质 量。
[0008] 为实现上述目的，本发明提出一种相机图像质量评价方法，其特征在于，该方法包 括：
[0009] 从测试相机图像提取Ξ组特征，利用脑神经科学理论-自由能原理提取和结构退 化模型之间存在线性关系提取第一组的4个特征，利用广义高斯分布衡量失真图像与自然 场景统计模型的的偏差来提取第二组的4个特征，再利用离散小波分解提取第Ξ组3个特征 来衡量图像的清晰度，利用支持向量机的机器学习工具来得出相机图像的质量分数;根据 所述待评价相机图像的质量分数评价相机图像的质量。
[0010] 作为优选，利用脑神经科学理论-自由能原理提取和结构退化模型之间存在线性 关系提取第一组的4个特征的具体步骤包括：
[0011] 内部生成模型G是有参数的，通过调整参数向量X来推断输入的感知信号；给定一 个输入的视觉信号I，通过计算模型参数X的联合分布P(I，x)得出输入的视觉信号的差异性 信息;联合分布函数可W计算如下：
[0012] -logp(I) = -logJp(I ,x)dx. (1)
[0013] 通过添加一个辅助的后验分布模型的参数q(x I I)代到分子和分母中W偏于计算 公式(1)中p(I，x)，重写公式(1)得：
[0014]
猶
[0015] 对公式(2)利用Jensen's不等式，得出公式(3):
[0019] 公式(4)的自由能代表能量的最小赌。因此，对一幅图像的自由能描述可w表示 为：
[0020] 纖
[0021] 考虑到计算复杂度，利用AR模型作为内部生成模型，一幅图像I的k-阶AR模型开始 表示为：
[0022]
[0023] 作为优选，失真图像的低通滤波版本和原始图像相比在空间频率域有减少;结构 退化模型能够捕获失真图像与原始图像之间的相似性信息;根据结构相似性算法，二维循 环对称高斯权函数能够满足总和为1方差为1.5;
[0024] 图像I的结构退化信息S(I)可W表示为：
[0025]
[0026] 其中和分布代表图像I的均值和方差，C是一个小的常数避免公式分母趋于0时公 式不稳定;对于质量差的噪声图像，结构退化信息与主观评价分数不同，结构退化信息能够 准确描述不同失真类型的图像，将图像I的结构退化信息S(I)修改为：
[0027]
[002引其中，阔值巧良据实验测试设为5。
[0029] 作为优选，对LIVE图像库中的图像进行测试，得出自由能和结构退化模型之间存 在线性定义，线性回归模型定义为：
[0030]
[0031 ]其中Ir代表原始图像，由最小二乘法得出。
[0032] 作为优选，第二组特征基于自然图像的归一化亮度的统计特性显现出高斯分布， 当图像有失真时，运种统计特性被破坏，利用广义高斯分布函数来捕获失真图像的统计特 性，广义高斯分布的概率密度函数定义为：
[0033]
[0034] 其中，表示均值，表示形状参数控制分布的形状，其中
[0037]利用零均值的广义高斯分布函数计算失真图像的偏离特性，其定义如下：
[00；3 引
[0039] 每一幅图像利用两组广义高斯分布参数来拟合减均值对比度归一化系数，一组参 数拟合原始图像，一组参数是对图像低通下采样2的参数。
[0040] 作为优选，第Ξ组特征评价分块图像的清晰度，通过对图像进行离散小波变换，计 算小波变换后子带的能量，公式为：
[0041]
[00创其中，Sxy代表Shh，Shl或者Slh，皿，化和LH代表小波变换子带，Μ代表小波变换系数 的总和。
[0043] -种该相机图像质量评价方法的装置，主体为图像质量评价单元，包括:第一组特 征提取模块、第二组特征提取模块和第Ξ组特征提取模块；
[0044] 所述第一组特征提取模块，基于局部场景统计提取特征；
[0045] 所述第二组特征提取模块，基于全局场景统计提取；
[0046] 所述第Ξ组特征提取模块，基于分块图像的清晰度评价提取特征。
[0047] 作为优选，还包括训练模块，素数训练模块根据前Ξ组特征，利用支持向量机进行 训练，得出相机图像质量评价分数。
[004引本发明的有益效果为：本技术方案与W往的一些通用型无参考质量评价算法相 比，符合人类视觉感知系统从全局到局部抽取出全面的图像感知特征，与人的主观感受一 致性更好。此方法在评价相机图像的质量上与主观质量评价更加契合，比W往的无参考图 像质量评价方法更准确。
【附图说明】
[0049] 图1是本发明提出的无参考相机图像质量评价方法流程图；
[0050] 图2是本发明实施评价相机图像的装置方框图；
[0051] 图3是自然图像的AR参数模型；
[0052] 图4是CID2013图像数据库中474幅多失真图像的主观质量分数与客观质量分数 (通用型无参考质量评价方法BRISQ肥方法、BLIINDS-II算法、化-ΝΙ犯算法和本发明方法） 的非线性拟合图；
[0053] 图5是CID2013图像数据库中474幅多失真图像的主观质量分数与客观质量分数 (特定类型失真的无参考质量评价方法S3方法、BLUR算法、Arism算法和本发明方法)的非线 性拟合图；
[0054] 图6是CID2013图像数据库中474幅多失真图像的主观质量分数与客观质量分数 (本发明所采用的Ξ组特征单独的和全部Ξ组特征)的非线性拟合图。
【具体实施方式】
[0055] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
[0056] 为了更好地验证本发明评价图像质量的准确性，将本发明方法与与其他通用型无 参考图像评价算法和通用型图像清晰度评价算法在图像数据库上进行测试。本发明提出一 种相机图像质量评价方法，如图1~3所示，该方法包括W下步骤：
[0057] 将待评价的相机图像进行灰度化，利用线性自回归计算灰度化图像的自由能，AR 参数的特征见图3;
[0058] 利用结构退化模型，取Ξ组参数1，3,5对待评价的图像进行计算，自由能与结构退 化模型之间的线性关系，参数由最小二乘法得到，此Ξ组结构退化模型和自由能之间的线 性关系组成3个特征加上自由能本身1个特征构成算法的第一组特征；
[0059] 利用广义高斯强度函数
[0060]
[0061] 来统计失真图像与自然场景统计模型之间的偏差，采用原始图像与下采样为2的 图像，每幅图像对应广义高斯强度函数的均值和方差，共4个参数构成第二组的4个特征；
[0062] 对输入图像进行一层离散小波变换，取其皿，化和LH子带进行能量计算，构成第Ξ 组的3个特征来衡量图像的清晰度；
[0063] 利用支持向量机对上述提取的3组特征进行训练，得到待评价图像的质量分数，所 述待评价图像的质量分数来评价相机图像的质量。实验采用CID2013图像数据库，该图像库 包含用79种不同的相机拍摄36个场景的474幅图像。CID2013图像数据库中的主观质量评价 分数为DM0S。DM0S值越小，表示图像质量越好;DM0S值越大，代表图像质量越差。
[0064] 利用场景统计局部归一化亮度系数来衡量失真图像可能损失的"自然"性，给出失 真图像的整体评价，该方法记为BRISQ肥;对图像进行离散余弦变换，对变换后的图像基于 自然场景统计提取特征，然后利用贝叶斯定理得出图像的质量分数，记该方法为化IINDS- II;从多个角度提取自然图像的统计特征，然后利用多元高斯模型学习自然原始图像的特 征，最后利用化attacharyya系数衡量每个失真图像块的质量，每个图像块加权后得到整个 图像的质量，该方法记为IL-NIQE。下面就把本发明方法与运Ξ种通用型无参考图像质量评 价方法在CID2013图像数据库做实验进行对比。
[0065] 利用振幅谱的斜率和空间域的变化得到清晰度的映射图，用此来评价失真图像， 该方法记为S3;首先检测提取图像边缘，然后计算边缘宽度，最后对所有局部模糊边缘宽度 求平均得到图像质量评价分数，记运种无参考评价图像模糊失真的方法为Marziliano;利 用自回归参数来计算图像局部的能量和对比度，最后利用百分制加权得到图像的整体清晰 度分数，记该方法为Arism。下面就把本发明方法与运Ξ种特定失真无参考图像质量评价方 法在CID2013图像数据库做实验进行对比。
[0066] 根据国际视频质量专家组的意见，图像客观质量评价分数与图像主观质量分数之 间呈现非线性关系，所W本发明采用的下面Logistic非线性回归方程对主客观评价进行非 线性回归，
[0067]
[0068] 其中，S代表客观质量评价分数，选择最优的τι、τ2、Τ3和T4使得f(s)与主观质量评 价分数的误差最小。用回归曲线与客观分的统计指标作为评价客观评价方法性能的指标， 包括：1)皮尔森线性相关系数（Pearsonlinear correlation coefficient,化CC)，用于定 量衡量评价算法的准确性;2)均方误差根(Root Mean Squared化rorJMSE)为非线性回归 后的标准差，用于定量度量客观分数与主观分数的一致性程度；3)Spearman相关系数 (Spearman Rank Order Correlation Coefficient,SR0CC)，用于衡量图像质量评价方法 的单调性。4化endall相关系数化endall's Rank Correlation Coefficient,KRCC)，也用 于衡量图像质量评价方法的单调性。
[0069] 为了验证本发明算法中所用的Ξ组特征的必要性，分别测试了每组特征在 CID2013图像数据库的性能和本发明的Ξ组组合特征在CID2013图像数据库的性能，并对性 能进行比较。
[0070] 表1给出了本发明方法与Ξ种通用型无参考图像质量评价算法在CID2013图像数 据库中的性能指标;表2给出了本发明方法与Ξ种特定失真类型的通用型无参考图像质量 评价算法在CID2013图像数据库中的性能指标;表3给出了每组特征在CID2013图像数据库 的性能和本发明的Ξ组组合特征在CID2013图像数据库的性能指标，其中化CC，SRCC，KRCC 数值越大，代表算法性能越好，RMSE数值越小性能越好。由表1和表2可W看出，本发明不论 与通用型无参考图像质量评价方法比还是特定失真无参考图像质量评价方法比，在 CID2013图像数据库中效果均为最好，而且本发明的化CC、SRCC和KRCC值均明显高于其他方 法，说明了本发明在评价图像质量上具有很高的准确性。由表3可W看出，本发明方法选取 Ξ组特征组合的必要性。图4为本发明方法与Ξ种通用型无参考图像质量评价算法在 CID2013图像数据库中的主客观质量分数的非线性拟合图。从图4可W看出，本发明方法获 得的质量分数分布更加均匀，而且质量分数更加集中在拟合曲线附近，拟合特性最好。
[0071] 图5为本发明方法与Ξ种通用型无参考图像质量评价算法在CID2013图像数据库 中的主客观质量分数的非线性拟合图。从图可W看出本发明方法相比其它Ξ种特定失真图 像质量评价方法获得的质量分数分布更加均匀，而且质量分数更加集中在拟合曲线附近， 拟合特性最好。
[0072] 图6为每组特征在CID2013图像数据库和本发明的Ξ组组合特征在CID2013图像数 据库中的主客观质量分数的非线性拟合图，从图6中可W看出，本发明方法所用的Ξ组特征 所获得的质量分数分布更加均匀，而且质量分数更加集中在拟合曲线附近，拟合特性最好， 也说明本发明方法使用Ξ组特征的必要性。
[0073] 表1:通用无参考图像质量评价算法在CID2013图像数据库实验结果
[0074]
[0079]~尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可W 理解在不脱离本发明的原理和精神的情况下可W对运些实施例进行多种变化、修改、替换 和变型，本发明的范围由所附权利要求及其等同物限定。
【主权项】
1. 一种相机图像质量评价方法，其特征在于，该方法包括： 从测试相机图像提取三组特征，利用脑神经科学理论-自由能原理提取和结构退化模 型之间存在线性关系提取第一组的4个特征，利用广义高斯分布衡量失真图像与自然场景 统计模型的的偏差来提取第二组的4个特征，再利用离散小波分解提取第三组3个特征来衡 量图像的清晰度，利用支持向量机的机器学习工具来得出相机图像的质量分数;根据所述 待评价相机图像的质量分数评价相机图像的质量。2. 根据权利要求1所述的一种相机图像质量评价方法，其特征在于:所述利用脑神经科 学理论-自由能原理提取和结构退化模型之间存在线性关系提取第一组的4个特征的具体 步骤包括： 内部生成模型G是有参数的，通过调整参数向量X来推断输入的感知信号；给定一个输 入的视觉信号I，通过计算模型参数X的联合分布P(I，x)得出输入的视觉信号的差异性信 息;联合分布函数可以计算如下： -logp(I)=-logJp(I,x)dx. (1) 通过添加一个辅助的后验分布模型的参数q(x|l)代到分子和分母中以偏于计算公式 (1)中P(I，x)，重写公式(1)得：公式(4)的自由能代表能量的最小熵。因此，对一幅图像的自由能描述可以表示为：考虑到计算复杂度，利用AR模型作为内部生成模型，一幅图像I的k-阶AR模型开始表示 为：3. 根据权利要求1所述的一种相机图像质量评价方法，其特征在于:所述失真图像的低 通滤波版本和原始图像相比在空间频率域有减少;结构退化模型能够捕获失真图像与原始 图像之间的相似性信息;根据结构相似性算法，二维循环对称高斯权函数能够满足总和为1 方差为1.5; 图像I的结构退化信息S(I)可以表示为：其中和分布代表图像I的均值和方差，C是一个小的常数避免公式分母趋于0时公式不 稳定;对于质量差的噪声图像，结构退化信息与主观评价分数不同，结构退化信息能够准确 描述不同失真类型的图像，将图像I的结构退化信息S(I)修改为：其中，阈值T根据实验测试设为5。4. 根据权利要求2所述的一种相机图像质量评价方法，其特征在于:对LIVE图像库中的 图像进行测试，得出自由能和结构退化模型之间存在线性定义，线性回归模型定义为： F(I,) = a-SUr) + /J 其中Ir代表原始图像，由最小二乘法得出。5. 根据权利要求2所述的一种相机图像质量评价方法，其特征在于:所述第二组特征基 于自然图像的归一化亮度的统计特性显现出高斯分布，当图像有失真时，这种统计特性被 破坏，利用广义高斯分布函数来捕获失真图像的统计特性，广义高斯分布的概率密度函数 定义为：其中，表示均值，表示形状参数控制分布的形状，其中利用零均值的广义高斯分布函数计算失真图像的偏离特性，其定义如下：每一幅图像利用两组广义高斯分布参数来拟合减均值对比度归一化系数，一组参数拟 合原始图像，一组参数是对图像低通下采样2的参数。6. 根据权利要求2所述的一种相机图像质量评价方法，其特征在于:所述第三组特征评 价分块图像的清晰度，通过对图像进行离散小波变换，计算小波变换后子带的能量，公式 为：其中，Sxy代表SHH，SHL或者Slh，HH，HL和LH代表小波变换子带，Μ代表小波变换系数的总 和。7. -种实现权利要求1~6任意一项所述一种相机图像质量评价方法的装置，其特征在 于:主体为图像质量评价单元，包括:第一组特征提取模块、第二组特征提取模块和第三组 特征提取模块； 所述第一组特征提取模块，基于局部场景统计提取特征； 所述第二组特征提取模块，基于全局场景统计提取； 所述第三组特征提取模块，基于分块图像的清晰度评价提取特征。8.根据权利要求7所述的一种相机图像质量评价装置，其特征在于:还包括训练模块， 素数训练模块根据前三组特征，利用支持向量机进行训练，得出相机图像质量评价分数。
【文档编号】G06T7/00GK105825500SQ201610136249
【公开日】2016年8月3日
【申请日】2016年3月10日
【发明人】汤丽娟, 钱建生, 李雷达, 顾稞, 张剑英, 孙克争
【申请人】江苏商贸职业学院