图像质量预测方法、装置、计算机设备及存储介质与流程

文档序号:23754872发布日期:2021-01-29 15:50阅读:53来源:国知局
图像质量预测方法、装置、计算机设备及存储介质与流程

[0001]
本发明涉及图像质量预测技术领域,具体而言,涉及一种图像质量预测方法、装置、计算机设备及存储介质。


背景技术:

[0002]
随着互联网技术的迅速发展,每天都有大量的图像需要经过多媒体处理系统进行压缩和处理,因此如何评价这些多媒体处理系统的性能就显得尤为重要。
[0003]
现有的图像质量预测方法分为主观质量评价和客观质量评价,主观质量评价通常需要对数据库中的样本进行平均意见分数评定,这个过程费时费力;客观质量评价中的全参考方法需要获取待评价图像的参考图像,而参考图像在很多场景中难以获得,不适合大规模的图像质量评价。


技术实现要素:

[0004]
本发明的目的在于,针对上述现有技术中的不足,提供一种图像质量预测方法、装置、计算机设备和存储介质,以便提高图像质量预测的泛化能力。
[0005]
为实现上述目的,本申请实施例采用的技术方案如下:
[0006]
第一方面,本申请实施例提供一种图像质量预测方法,包括:
[0007]
对待预测图像进行分块处理,得到多个待预测图像块;
[0008]
对每个待预测图像块进行特征编码,确定所述每个待预测图像块的特征;
[0009]
通过预先训练的图像质量预测模型,根据所述多个待预测图像块的特征,分别将所述多个待预测图像块分配至预先构建的视觉质量码本中的多个视觉单词中与各待预测图像块最接近的视觉单词上,得到多个目标视觉单词,并从所述视觉质量码本中确定所述多个目标视觉单词的代理质量分值;其中,所述视觉质量码本还包括:多个视觉单词,以及每个视觉单词的代理质量分值;
[0010]
通过所述图像质量预测模型,根据所述多个目标视觉单词的代理质量分值,得到所述待预测图像的质量分值。
[0011]
可选的,所述通过所述图像质量预测模型,根据所述多个目标视觉单词的代理质量分值,得到所述待预测图像的质量分值,包括:
[0012]
通过所述图像质量预测模型,根据所述多个目标视觉单词的代理质量分值,采用所述多个目标视觉单词对应的预设权重,进行加权计算,得到所述待预测图像的质量分值。
[0013]
可选的,所述通过所述图像质量预测模型,根据所述多个目标视觉单词的代理质量分值,采用所述多个目标视觉单词对应的预设权重,进行加权计算,得到所述待预测图像的质量分值之前,所述方法还包括:
[0014]
通过所述图像质量预测模型,计算所述每个目标视觉单词分配的预测图像块与所述每个目标视觉单词的距离之和,为所述每个目标视觉单词对应的距离和;
[0015]
通过所述图像质量预测模型,根据所述多个目标视觉单词对应的距离和,分别确
定所述多个目标视觉单词对应的预设权重。
[0016]
可选的,所述通过所述图像质量预测模型,根据所述多个目标视觉单词对应的距离和,分别确定所述多个目标视觉单词对应的预设权重,包括:
[0017]
通过所述图像质量预测模型,对所述多个目标视觉单词对应的距离和进行归一化,得到所述多个目标视觉单词对应的预设权重。
[0018]
可选的,所述通过预先训练的图像质量预测模型,根据所述多个待预测图像块的特征,分别将所述多个待预测图像块分配至预先构建的视觉质量码本中的个视觉单词中与各待预测图像块最接近的视觉单词上,得到多个目标视觉单词之前,所述方法还包括:
[0019]
获取图像块数据集,所述图像块数据集包括:多个数据组,每个数据组包括:参考图像的一个参考图像块和所述参考图像对应的一个失真图像的一个失真图像块;
[0020]
采用预设的全参考客观评价算法,对所述每个数据组中的失真图像块进行标定,得到所述每个数据组中失真图像块的代理质量分值;
[0021]
获取所述每个数据组中失真图像块的特征;
[0022]
对所述多个数据组中的多个失真图像块的特征进行聚类,得到所述多个视觉单词;
[0023]
根据所述每个视觉单词中失真图像块的特征与所述每个视觉单词的距离,以及所述每个视觉单词中各失真图像块的代理质量分值,计算所述每个视觉单词的代理质量分值。
[0024]
可选的,所述获取图像块数据集,包括:
[0025]
对所述参考图像施加多种类型的单失真,得到所述参考图像对应的多个失真图像,每个失真图像对应一种类型的单失真;
[0026]
对多个图像对进行分块处理,得到所述图像块数据集,每个图像对包括:所述参考图像和所述参考图像对应的一个失真图像。
[0027]
可选的,所述获取所述每个数据组中失真图像块的特征,包括:
[0028]
采用lbp算法,对所述每个数据组中的失真图像块进行特征编码,得到所述每个数据组中失真图像块的特征。
[0029]
第二方面,本申请实施例提供一种图像质量预测装置,所述装置包括:
[0030]
分块处理模块,用于对待预测图像进行分块处理,得到多个待预测图像块;
[0031]
第一特征编码模块,用于对每个待预测图像块进行特征编码,确定所述每个待预测图像块的特征;
[0032]
分配模块,通过预先训练的图像质量预测模型,根据所述多个待预测图像块的特征,分别将所述多个待预测图像块分配至预先构建的视觉质量码本中的多个视觉单词中与各待预测图像块最接近的视觉单词上,得到多个目标视觉单词,并从所述视觉质量码本中确定所述多个目标视觉单词的代理质量分值;其中,所述视觉质量码本还包括:多个视觉单词,以及每个视觉单词的代理质量分值;
[0033]
分值计算模块,用于通过所述图像质量预测模型,根据所述多个目标视觉单词的代理质量分值,得到所述待预测图像的质量分值。
[0034]
可选的,分值计算模块包括:
[0035]
加权计算单元,用于通过所述图像质量预测模型,根据所述多个目标视觉单词的
代理质量分值,采用所述多个目标视觉单词对应的预设权重,进行加权计算,得到所述待预测图像的质量分值。
[0036]
可选的,在所述加权计算单元之前,所述装置还包括:
[0037]
距离计算单元,用于通过所述图像质量预测模型,计算所述每个目标视觉单词分配的预测图像块与所述每个目标视觉单词的距离之和,为所述每个目标视觉单词对应的距离和;
[0038]
权重计算单元,用于通过所述图像质量预测模型,根据所述多个目标视觉单词对应的距离和,分别确定所述多个目标视觉单词对应的预设权重。
[0039]
可选的,所述权重计算单元用于通过所述图像质量预测模型,对所述多个目标视觉单词对应的距离和进行归一化,得到所述多个目标视觉单词对应的预设权重。
[0040]
可选的,所述装置还包括:
[0041]
数据集获取模块,用于获取图像块数据集,所述图像块数据集包括:多个数据组,每个数据组包括:参考图像的一个参考图像块和所述参考图像对应的一个失真图像的一个失真图像块;
[0042]
标定模块,用于采用预设的全参考客观评价算法,对所述每个数据组中的失真图像块进行标定,得到所述每个数据组中失真图像块的代理质量分值;
[0043]
第二特征编码模块,用于获取所述每个数据组中失真图像块的特征;
[0044]
聚类模块,对所述多个数据组中的多个失真图像块的特征进行聚类,得到所述多个视觉单词;
[0045]
代理质量分值计算模块,用于根据所述每个视觉单词中失真图像块的特征与所述每个视觉单词的距离,以及所述每个视觉单词中各失真图像块的代理质量分值,计算所述每个视觉单词的代理质量分值。
[0046]
可选的,所述数据集获取模块包括:
[0047]
失真图像获取单元,用于对所述参考图像施加多种类型的单失真,得到所述参考图像对应的多个失真图像,每个失真图像对应一种类型的单失真;
[0048]
分块处理单元,用于对多个图像对进行分块处理,得到所述图像块数据集,每个图像对包括:所述参考图像和所述参考图像对应的一个失真图像。
[0049]
可选的,所述第二特征编码模块用于采用lbp算法,对所述每个数据组中的失真图像块进行特征编码,得到所述每个数据组中失真图像块的特征。
[0050]
第三方面,本申请实施例提供一种计算机设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的程序指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述程序指令,以执行时执行上述任一所述的图像质量预测方法的步骤。
[0051]
第四方面,本申请实施例提供一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述任一所述的图像质量预测方法的步骤。
[0052]
本申请的有益效果是:
[0053]
本申请提供的图像质量预测方法、装置、计算机设备及存储介质,可通过对待预测图像分块得到的多个待预测图像块进行特征编码,通过预先训练的图像质量预测模型,根据每个待预测图像块的特征,将每个待预测图像块分配至预先构建的视觉质量码本中与各
个待预测图像块最接近的视觉单词上,得到多个目标视觉单词,并基于多个目标视觉单词的代理质量分数通过图像质量预测模型,得到待预测图像的质量分值。本申请提供的方案,可通过预先训练的图像质量预测模型,根据待预测图像中每个待预测图像块的特征,将每个待预测图像块分配到视觉质量码本中最接近的视觉单词上,基于得到的目标视觉单词确定代理质量分值,根据代理质量分值通过图像质量预测模型得到待预测图像的质量分值,实现对待预测图像的质量分值预测,基于预先训练的图像质量预测模型,可对各种图像进行质量分值预测,提高图像质量分值预测的泛化能力,保证质量分值预测的准确度。
附图说明
[0054]
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
[0055]
图1为本申请实施例提供的第一种图像质量预测方法的流程示意图;
[0056]
图2为本申请实施例提供的第二种图像质量预测方法的流程示意图;
[0057]
图3为本申请实施例提供的第三种图像质量预测方法的流程示意图;
[0058]
图4为本申请实施例提供的第四种图像质量预测方法的流程示意图;
[0059]
图5为本申请实施例提供的第一种图像质量预测装置的结构示意图;
[0060]
图6为本申请实施例提供的第二种图像质量预测装置的结构示意图;
[0061]
图7为本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0062]
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0063]
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0064]
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
[0065]
为实现对图像质量的预测,提高图像质量预测的泛化能力,本申请实施例提供了下述多种可能的实现方式。如下结合附图对示例进行解释说明。
[0066]
需要指出的是,本申请所提供图像质量预测方法,可由安装并运行有图像质量预测应用的计算机设备实现,该计算机设备可以为服务器,也可以为客户端设备,本申请对此不做限制。
[0067]
图1为本申请实施例提供的第一种图像质量预测方法的流程示意图;如图1所示,该方法包括:
[0068]
s10:对待预测图像进行分块处理,得到多个待预测图像块。
[0069]
具体的,分块处理为对采用预设的分块方法,将待预测图像分为多个待预测图像块p
i
,预设的分块方法例如可以为分块算法,通过分块算法将待预测图像分割为l*l个大小相等的待预测图像块p
i
,i等于l*l。
[0070]
s20:对每个待预测图像块进行特征编码,确定每个待预测图像块的特征。
[0071]
具体的,采用预设的特征编码方法,对每个待预测图像块的进行特征编码,编码后的第i个待预测图像块的特征向量为f
i
,特征向量f
i
表征每个失真图像块的特征,预设的特征编码方法是根据每个待预测图像块的像素值得到每个待预测图像块的特征。
[0072]
s30:通过预先训练的图像质量预测模型,根据多个待预测图像块的特征,分别将多个待预测图像块分配至预先构建的视觉质量码本中的多个视觉单词中与各待预测图像块最接近的视觉单词上,得到多个目标视觉单词,并从视觉质量码本中确定多个目标视觉单词的代理质量分值。
[0073]
具体的,预先训练的图像质量预测模型中具有一个视觉质量码本,视觉质量码本包括:多个视觉单词,以及每个视觉单词的代理质量分值,视觉质量码本是在对图像质量预测模型训练过程得到的,第k个视觉单词c
k
为对多个图像块的特征进行聚类得到的中心聚类点,第k个视觉单词c
k
对应多个图像块,每个视觉单词的代理质量分数是根据与每个视觉单词对应的多个图像块的代理质量分值得到的。对多个待预测图像块分配的过程为:
[0074]
计算第i个待预测图像块p
i
与第k个视觉单词c
k
的距离d
i,k
,与第i个待预测图像块p
i
最接近的视觉单词c
k
,即为第i个待预测图像块p
i
的目标视觉单词,目标视觉单词的代理质量分数可以从视觉质量码本中得到。
[0075]
s40:通过图像质量预测模型,根据多个目标视觉单词的代理质量分值,得到待预测图像的质量分值。
[0076]
具体的,经过上述s30得到每个待预测图像块的目标视觉单词,基于每个视觉单词的代理质量分值,通过图像质量预测模型中预设的计算方法,计算待预测图像的质量分值。示例的,预设的计算方法可以为对每个待预测图像块对应的目标视觉单词的代理质量分值求取平均值,得到待预测图像的质量分值。
[0077]
本申请实施例提供的图像质量预测方法,可通过预先训练的图像质量预测模型,根据待预测图像中每个待预测图像块的特征,将每个待预测图像块分配到视觉质量码本中最接近的视觉单词上,基于得到的目标视觉单词确定代理质量分值,根据代理质量分值通过图像质量预测模型得到待预测图像的质量分值,实现对待预测图像的质量分值预测,基于预先训练的图像质量预测模型,可对各种经过压缩和处理的图像进行质量分值预测,提高了图像质量分值预测的泛化能力,基于预先训练的图像质量预测墨西哥可保证质量分值预测的准确度。
[0078]
在上述任一所示图像质量预测方法的基础上,本申请实施例还提供一种图像质量预测方法,在上述s40包括:
[0079]
通过图像质量预测模型,根据多个目标视觉单词的代理质量分值,采用多个目标视觉单词对应的预设权重,进行加权计算,得到待预测图像的质量分值。
[0080]
具体的,每个目标视觉单词对应至少一个待预测图像块,预设权重例如可以根据与每个目标视觉单词对应的待预测图像块与该目标视觉单词的距离进行计算,根据该预设
权重,计算每个待预测图像块的加权代理质量分值,并根据每个待预测图像块的加权代理质量分值得到待预测图像的质量分数。
[0081]
在一种可选实施方式中,还提供一种图像质量预测方法,图2为本申请实施例提供的第二种图像质量预测方法的流程示意图,如图2所示,在上述进行加权计算之前,该方法还包括:
[0082]
s41:通过图像质量预测模型,计算每个目标视觉单词分配预测图像块与所述每个目标视觉单词的距离之和,为每个目标视觉单词对应的距离和。
[0083]
具体的,每个目标视觉单词对应至少一个待预测图像块,计算第k个目标视觉单词c
k
与第i个待预测图像块p
i
距离d
i,k
,计算与第k个目标视觉单词c
k
与对应的至少一个待预测图像块的距离和,得到第k个目标数据单词c
k
的距离和dsum
k

[0084]
示例的,求取每个目标数据单词的距离和dsum
k
的公式为:
[0085][0086]
s42:通过图像质量预测模型,根据多个目标视觉单词对应的距离和,分别确定多个目标视觉单词对应的预设权重。
[0087]
具体的,计算第k个目标视觉单词对应的距离和dsum
k
与多个目标视觉单词的距离和dsum
k
之和的占比,作为每个目标视觉单词的预设权重。
[0088]
在一种可选实施方式中,上述s42包括:
[0089]
通过图像质量预测模型,对多个目标视觉单词对应的距离和进行归一化,得到多个目标视觉单词对应的预设权重。
[0090]
具体的,归一化是对第k个目标视觉单词的距离和d
k
进行处理,使处理后的目标视觉单词的距离和d
k
限制在预设范围内,预设范围例如为[0,1]之内,对每个目标视觉单词进行统一的归一化处理后,得到每个目标视觉单词对应的预设权重。
[0091]
示例的,对距离和dsum
k
进行归一化处理,基于归一化得到的每个目标数据单词的权重,计算待预测图像的质量分值score(i)为:
[0092][0093]
本申请实施例提供的图像质量预测方法,通过对与待预测图像块对应的目标视觉单词进行加权计算,得到待预测图像的质量分值。通过本申请实施例的方案,根据经过加权计算的目标视觉单词的代理质量分值,计算待预测图像的质量分值,使得对待预测图像的质量分值的预测结果更加准确,提高图像质量预测的准确率。
[0094]
在上述任一所示的图像质量预测方法的基础上,本申请实施例还提供一种图像质量预测方法,图3为本申请实施例提供的第三种图像质量预测方法的流程示意图,如图3所示,在上述s40之前,该方法还包括:
[0095]
s50:获取图像块数据集。
[0096]
具体的,图像块数据集p包括:多个数据组,每个数据组包括:参考图像的一个参考图像块r
i
和参考图像对应的一个失真图像的一个失真图像块p
i

[0097]
具体的,参考图像为无失真的图像,对参考图像进行降质处理,得到对应的失真图像,对参考图像进行分块处理,得到多个无失真的参考图像r
i
块,对与参考图像对应的失真
图像进行分块处理,得到多个失真图像块p
i
,多个参考图像块r
i
和多个失真图像块p
i
构成的图像块数据集为:p={(r1,p1),(r2,p2),...,(r
i
,p
i
)},(r
i
,p
i
)表示第i个数据组,r
i
为第i个数据组中的参考图像块r
i
,p
i
为第i个数据组中的失真图像块p
i

[0098]
s60:采用预设的全参考客观评价算法,对每个数据组中的失真图像块进行标定,得到每个数据组中失真图像块的代理质量分值。
[0099]
具体的,以每个参考图像块r
i
作为评价标准,采用预设的全参考客观评价算法,对与参考图像块对应的失真图像块p
i
进行代理质量分数标定,得到失真图像块的代理质量分数s
i
。示例的,预设的全参考客观评价算法可以为vif(visual information fidelity,视觉信息保真度)算法或fsim(feature similarity,特征相似度)算法,本申请实施例采用vif算法对失真图像块p
i
进行代理质量分数标定,该算法的代理质量分数标定的准确率在95%以上,与人眼主观视觉具有更高的一致性,vif值越大,表示该失真图像块的图像质量越好。
[0100]
s70:获取每个数据组中失真图像块的特征。
[0101]
具体的,采用预设的特征编码方法,对每个失真图像块p
i
进行特征编码,编码后的每个失真图像块具有一个特征向量f
i
,特征向量f
i
表征每个失真图像块的特征。
[0102]
在一种可选实时方式中,采用lbp算法,对所述每个数据组中的失真图像块进行特征编码,得到所述每个数据组中失真图像块的特征。
[0103]
具体的,采用lbp(local binary pattern,局部二进制模式)算法,将每个图像块划分为n*n个的像素点,对每个图像块中的中心像素点的灰度值和其邻域像素点的灰度值做比较,如果邻域像素点的灰度值比中心像素点的灰度值大,则将邻域像素点赋为1,反之,则赋为0,这样从左上角开始,可以形成一个二进制值,然后将该二进制值转换为十进制数,该十进制数即为该图像块的特征。
[0104]
s80:对多个数据组中的多个失真图像块的特征进行聚类,得到多个视觉单词。
[0105]
具体的,采用预设的聚类算法,对多个失真图像块的特征进行聚类,将聚类在同一个簇中的多个失真图像块的特征以一个视觉单词进行表示。示例的,预设的聚类算法可以为k-means算法,对多个数据组中的多个失真图像块,按照失真图像块之间的特征向量的距离,将多个失真图像块划分为k个簇,将第k个簇中的多个失真图像块以一个视觉单词c
k
表示。
[0106]
在一种可选实施方式中,视觉单词c
k
的最优化求解过程如下:
[0107][0108]
通过计算多个失真图像块的特征向量f
i
之间的距离,确定多个失真图像块的特征向量之间的最小距离,将最小距离对应的多个失真图像块进行聚类成簇,以一个视觉单词表示表示该簇中的多个失真图像块的特征向量f
i

[0109]
s90:根据每个视觉单词中失真图像块的特征与每个视觉单词的距离,以及每个视觉单词中各失真图像块的代理质量分值,计算每个视觉单词的代理质量分值。
[0110]
具体的,计算第k个视觉单词c
k
所聚类的第i个失真图像块与第k个视觉单词c
k
的距离d
i,k
,每个视觉单词中各失真图像块的代理质量分值通过上述s60得到,第k个视觉单词的代理质量分值sc
k
,例如可采用如下方式计算:
[0111][0112]
本申请实施例提供的图像质量预测方法,通过获取图像块数据集,并采用预设的全参考客观评价算法,以图像块数据集中的参考图像块作为评价标准,对图像块数据集中与参考图像块对应的失真图像块进行代理质量分值标定,通过对多个失真图像块的特征进行聚类得到多个视觉单词,并基于失真图像块与对应聚类的视觉单词的距离以及失真图像块的代理质量分值,计算每个视觉单词的代理质量分值。通过本申请实施例的方案,基于每个视觉单词的代理质量分值,对待预测图像进行质量分值预测,使得可以针对各种图像进行质量分值预测,提高图像质量分值预测的泛化能力。
[0113]
在上述任一所示的图像质量预测方法的基础上,本申请实施例还提供一种图像质量预测方法,图4为本申请实施例提供的第四种图像质量预测方法的流程示意图,如图4所示,上述s50包括:
[0114]
s51:对参考图像施加多种类型的单失真,得到参考图像对应的多个失真图像,每个失真图像对应一种类型的单失真。
[0115]
具体的,获取多个无失真的参考图像,获取途径例如为公开的图像质量评价数据集,对多个无失真的参考图像进行单失真处理,通过单失真处理对参考图像进行降质,得到与参考图像对应的多个失真图像。多种类型的单失真包括:高斯白噪声、高斯模糊、快速瑞丽蜕变、jpeg压缩、jpeg2000压缩,针对每个参考图像,仅施加任意一种类型的单失真,得到对应类型的失真图像。
[0116]
s52:对多个图像对进行分块处理,得到图像块数据集,每个图像对包括:参考图像和参考图像对应的一个失真图像。
[0117]
具体的,采用预设的分块方法对多个参考图像和多个失真图像进行分块处理,得到图像块数据集,图像块数据集中包括多个参考图像块和参考图像块对应的多个失真图像块。
[0118]
本申请实施例提供的图像质量预测方法,通过对参考图像施加多种类型的单失真,得到参考图像对应的多个失真图像,并对多个参考图像和多个失真图像进行分块处理,得到图像块数据集。通过本申请实施例的方案,得到与无失真的参考图像对应的失真图像,基于一一对应的参考图像块和失真图像块,得到每个视觉单词的代理质量分值,并基于每个视觉单词的代理质量分数对待预测图像进行质量分值预测,实现通过图像质量预测模型进行图像质量预测,对各种图像进行质量分值预测,提高图像质量分值预测的泛化能力,保证质量分值预测的准确度。
[0119]
在一种可选实施方式中,本申请实施例在上述任一实施例的图像质量预测方法的基础上,还可提供一种对于图像质量预测模型的测试方法。可选的,可通过该图像质量预测模型,对预设的测试图像进行处理,得到测试质量分值,采用预设的评测指标算法,对测试质量分值进行处理,得到该图像质量预测模型的评测指标,该评测指标可用于表征该图像质量预测模型的图像质量预测准确度。其中,测试图像可以为:单失真图像质量评价数据集中的至少一个单失真图像。
[0120]
具体的,单失真图像质量评价数据集中包含多个单失真图像,该数据集中的单失
真图像已经过现有的图像质量评价方法得到多个单失真图像的图像质量,预设的评测指标算法例如可以为srocc(spearman's rank order correlation coefficient,spearman秩相关系数)、plcc(pearson linear correlation coefficient,pearson线性相关系数)或rmse(root mean square erro,均方根误差)。
[0121]
本申请实施例提供的图像质量预测模型的测试方法,通过公开的单失真图像质量评价数据集中的单失真图像作为测试图像,无需额外的样本,具有足够的测试图像对该图像质量预测模型进行评测。实验表明,该图像质量预测模型具有突出的性能,提高了对各种图像进行质量预测的泛化能力。
[0122]
以下对用以执行本申请图像质量预测方法的装置、计算机设备及存储介质等进行说明,其具体的实现过程以及技术效果参见上述,下述不再赘述。
[0123]
图5为本申请实施例提供的第一种图像质量预测装置的结构示意图,图像质量预测装置可以软件模块的形式集成在计算机设备中,如图5所示,该装置包括:
[0124]
分块处理模块100,用于对待预测图像进行分块处理,得到多个待预测图像块。
[0125]
第一特征编码模块200,用于对每个待预测图像块进行特征编码,确定每个待预测图像块的特征。
[0126]
分配模块300,通过预先训练的图像质量预测模型,根据多个待预测图像块的特征,分别将多个待预测图像块分配至预先构建的视觉质量码本中的多个视觉单词中与各待预测图像块最接近的视觉单词上,得到多个目标视觉单词,并从视觉质量码本中确定多个目标视觉单词的代理质量分值。
[0127]
分值计算模块400,用于通过图像质量预测模型,根据多个目标视觉单词的代理质量分值,得到待预测图像的质量分值。
[0128]
在一种可选实施方式中,分值计算模块400包括:
[0129]
加权计算单元,用于通过图像质量预测模型,根据多个目标视觉单词的代理质量分值,采用多个目标视觉单词对应的预设权重,进行加权计算,得到待预测图像的质量分值。
[0130]
在一种可选实施方式中,在加权计算单元之前,该装置还包括:
[0131]
距离计算单元,用于通过图像质量预测模型,计算每个目标视觉单词分配的预测图像块与每个目标视觉单词的距离之和,为每个目标视觉单词对应的距离和。
[0132]
权重计算单元,用于通过图像质量预测模型,根据多个目标视觉单词对应的距离和,分别确定多个目标视觉单词对应的预设权重。
[0133]
在一种可选实施方式中,权重计算单元用于通过图像质量预测模型,对多个目标视觉单词对应的距离和进行归一化,得到多个目标视觉单词对应的预设权重。
[0134]
在上述所示的图像质量预测装置的基础上,本申请实施例还提供一种图像质量预测装置,图6为本申请实施例提供的第二种图像质量预测装置的结构示意图,如图6所示,该装置还包括:
[0135]
数据集获取模块500,用于获取图像块数据集。
[0136]
标定模块600,用于采用预设的全参考客观评价算法,对每个数据组中的失真图像块进行标定,得到每个数据组中失真图像块的代理质量分值。
[0137]
第二特征编码模块700,用于获取每个数据组中失真图像块的特征。
[0138]
聚类模块800,对多个数据组中的多个失真图像块的特征进行聚类,得到多个视觉单词;
[0139]
代理质量分值计算模块900,用于根据每个视觉单词中失真图像块的特征与每个视觉单词的距离,以及每个视觉单词中各失真图像块的代理质量分值,计算每个视觉单词的代理质量分值。
[0140]
在一种可选实施方式中,数据集获取模块500包括:
[0141]
失真图像获取单元,用于对参考图像施加多种类型的单失真,得到参考图像对应的多个失真图像,每个失真图像对应一种类型的单失真。
[0142]
分块处理单元,用于对多个图像对进行分块处理,得到图像块数据集。
[0143]
在一种可选实施方式中,第二特征编码模块700用于采用lbp算法,对每个数据组中的失真图像块进行特征编码,得到每个数据组中失真图像块的特征。
[0144]
上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。
[0145]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,简称asic),或,一个或多个微处理器(digital singnal processor,简称dsp),或,一个或者多个现场可编程门阵列(field programmable gate array,简称fpga)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(central processing unit,简称cpu)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称soc)的形式实现。
[0146]
图7为本申请实施例提供的计算机设备的示意图,该计算机设备可以为安装并运行有图像质量预测应用的服务器或者客户端设备。该计算机设备1000包括:处理器1001、存储器1002。
[0147]
存储器1002用于存储计算机程序,处理器1001调用存储器1002存储的计算机程序,以执行上述任一图像质量预测方法实施例。具体实现方式和技术效果类似,这里不再赘述。
[0148]
可选地,本发明还提供一种存储介质,存储介质上存储有计算机程序,该计算机程序被读取并执行时,实现上述任一实施例的图像质量预测方法。
[0149]
在本发明所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0150]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0151]
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以
是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
[0152]
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(英文:processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(英文:read-only memory,简称:rom)、随机存取存储器(英文:random access memory,简称:ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0153]
上仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1