质量评价方法、装置、电子设备及存储介质与流程

本申请属于多媒体数据的质量检测领域，尤其涉及一种质量评价方法、装置、电子设备及存储介质。

背景技术：

数字图像或视频等多媒体作为可视化和信息交互的重要媒介，在视频会议、电视广播等行业中获得了广泛的发展。而且，随着互联网和多媒体等技术水平的不断提高，人们对各种多媒体数据的需求也越来越大。

然而，在图像或视频等多媒体数据的采集、编码、传输等环节中，多媒体数据一般面临着相应程度的质量损失，这些质量损失通常会导致视频或图像等多媒体数据的质量显著下降，低质量图像或视频会严重降低人眼视觉观感，因此，为了提升用户的视觉体验，提供一种能有效评价图像或视频等多媒体数据的质量的解决方案，具有非常重要的意义。

技术实现要素：

有鉴于此，本申请提供了一种质量评价方法、装置、电子设备及存储介质，通过采用多阶段策略对多媒体数据等对象进行质量预测，实现一种适用于多媒体数据等对象的由粗到细的、高精度的质量评价方案。

具体技术方案如下：

一种质量评价方法，包括：

获取待评价的目标对象；

利用第一质量评价模型对所述目标对象进行质量评价，得到第一评价结果；

利用第二质量评价模型，根据所述第一评价结果对所述目标对象进行质量评价，得到第二评价结果；

其中，所述第二质量评价模型基于所述第一质量评价模型的样本和所述第一质量评价模型对所述样本的第一评价结果训练得到，以使所述第二质量评价模型的第二评价结果对应的质量评价精细粒度，高于所述第一质量评价模型的第一评价结果对应的质量评价精细粒度。

可选的，所述第一质量评价模型包括第一特征提取层、第一泛化处理层和softmax层；

所述利用第一质量评价模型对所述目标对象进行质量评价，得到第一评价结果，包括：

将所述目标对象输入所述第一特征提取层，利用所述第一特征提取层对所述目标对象进行特征提取处理，得到第一特征；

利用所述第一泛化处理层对所述第一特征进行提炼处理，得到第二特征；

利用所述softmax层将所述第二特征映射为样本标记空间中各个第一粒度分值分别对应的置信度；所述第一评价结果包括：所述各个第一粒度分值中置信度最高的目标第一粒度分值。

可选的，所述第二质量评价模型包括第二特征提取层、第二泛化处理层和全连接层；

所述利用第二质量评价模型，根据所述第一评价结果对所述目标对象进行质量评价，得到第二评价结果，包括：

将所述目标对象输入所述第二特征提取层，利用所述第二特征提取层对所述目标对象进行特征提取处理，得到第三特征；

利用所述第二泛化处理层对所述第三特征进行提炼处理，得到第四特征；

将所述第四特征和所述第一评价结果输入所述全连接层，利用所述全连接层将所述第四特征和所述第一评价结果映射到样本标记空间，得到所述目标对象在样本标记空间对应的第二粒度分值；

其中，所述第二评价结果包括所述第二粒度分值；所述第二粒度分值由所述目标第一粒度分值和微调分值构成，所述微调分值为小于两个相邻第一粒度分值的差值绝对值的非负数值。

可选的：

所述第一泛化处理层的数目为一个；

所述第二泛化处理层的数目为多个。

可选的，所述第二质量评价模型为：对孪生网络模型的两个模型分支中的一个分支进行训练所得的模型；

所述第二质量评价模型，通过利用所述第一质量评价模型的样本集中的各个样本和所述第一质量评价模型对每一样本的第一评价结果，对所述一个分支进行训练得到；

所述孪生网络模型，通过利用所述第一质量评价模型的样本集中的各个样本对和所述第一质量评价模型对样本对中每一样本的第一评价结果，对基于预定分类网络确定的孪生结构网络进行排序训练得到；

其中，所述样本对为所述样本集中的任意两个样本构成的样本对。

可选的，上述方法，在所述获取待评价的目标对象之前，还包括：

构建所述第一质量评价模型；

基于所述第一质量评价模型的样本集和所述第一质量评价模型对所述样本集中每一样本的第一评价结果，构建所述第二质量评价模型。

可选的，所述构建所述第一质量评价模型，基于所述第一质量评价模型的样本集和所述第一质量评价模型对所述样本集中每一样本的第一评价结果，构建所述第二质量评价模型，包括：

基于样本集以及为所述样本集中各个样本标注的质量评价标签，对基于第一分类网络确定的模型网络进行训练，得到所述第一质量评价模型；

基于所述样本集中的各个样本对、为样本对中的每一样本标注的质量评价标签，以及所述第一质量评价模型对样本对中每一样本的第一评价结果，对基于第二分类网络确定的孪生结构网络进行排序训练，得到孪生网络模型；

基于所述样本集、为所述样本集中各个样本标注的质量评价标签，以及所述第一质量评价模型对所述样本集中每一样本的第一评价结果，对所述孪生网络模型中的一个分支进行训练，得到所述第二质量评价模型；

其中，所述样本对为所述样本集中的任意两个样本构成的样本对。

可选的，为样本集中的样本标记的所述质量评价标签为第二粒度分值；

所述第一评价结果包括第一粒度分值；所述孪生网络模型中的任一分支对样本进行质量评价得到的评价结果包括第二粒度分值；所述第二评价结果包括第二粒度分值；

所述第二粒度分值对应的质量评价精细粒度，高于所述第一粒度分值对应的质量评价精细粒度。

一种质量评价装置，包括：

获取单元，用于获取待评价的目标对象；

第一评价单元，用于利用第一质量评价模型对所述目标对象进行质量评价，得到第一评价结果；

第二评价单元，用于利用第二质量评价模型，根据所述第一评价结果对所述目标对象进行质量评价，得到第二评价结果；

其中，所述第二质量评价模型基于所述第一质量评价模型的样本和所述第一质量评价模型对所述样本的第一评价结果训练得到，以使所述第二质量评价模型的第二评价结果对应的质量评价精细粒度，高于所述第一质量评价模型的第一评价结果对应的质量评价精细粒度。

一种电子设备，包括：

存储器，用于存放计算机指令集；

处理器，用于通过执行所述存储器上存放的指令集，实现如上任一项所述的质量评价方法。

一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机指令集，所述计算机指令集被处理器执行时实现如上任一项所述的质量评价方法。

根据以上方案可知，本申请提供的质量评价方法、装置、电子设备及存储介质，通过分别利用第一质量评价模型、第二质量评价模型对待测对象进行质量评价，实现了一种采用多阶段(两阶段)策略对待测对象进行由粗到细的质量预测的质量评价方案，能有效解决图像或视频等多媒体数据的质量评价问题，并且，该方案由于首先利用第一质量评价模型对待测对象进行粗粒度质量评价，之后，进一步以粗粒度质量评价结果为先验知识，利用第二质量评价模型进行质量评价的微调(最终得到待测对象的细粒度质量评价结果)，从而可实现对待测对象的高精度的质量评价。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的质量评价方法的一种流程示意图；

图2是本申请实施例提供的第一质量评价模型的模型结构示意图；

图3是本申请实施例提供的利用第一质量评价模型对目标对象进行质量评价的流程示意图；

图4是本申请实施例提供的第二质量评价模型的模型结构示意图；

图5是本申请实施例提供的利用第二质量评价模型对目标对象进行质量评价的流程示意图；

图6是本申请实施例提供的质量评价方法的另一种流程示意图；

图7是本申请实施例提供的构建多阶段质量评价模型的流程示意图；

图8是本申请实施例提供的孪生网络模型的模型结构示意图；

图9是本申请实施例提供的质量评价装置的一种结构示意图；

图10是本申请实施例提供的质量评价装置的另一种结构示意图；

图11是本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了提升用户的视觉体验，提供一种能有效评价图像或视频等多媒体数据的质量的解决方案，具有非常重要的意义。发明人经研究发现，传统技术一般通过单阶段任务处理方式直接得到视频或图像的质量分数，该方式的质量评价结果的精度不高，尤其对于质量相近的两个视频或图像，往往不能准确度量两个视频或图像的质量好坏。

为此，本申请公开一种质量评价方法、装置、电子设备及存储介质，通过采用多阶段策略对多媒体数据等对象进行质量预测，实现一种适用于多媒体数据等对象的由粗到细的、高精度的质量评价方案，以至少一定程度地提升传统技术对图像、视频等多媒体数据的质量评价结果的精度。

参见图1，为本申请一可选实施例提供的质量评价方法的流程示意图，该方法可应用于但不限于具有数据处理功能的手机、平板电脑、个人pc(如笔记本、一体机、台式机)等终端设备中，或具有数据处理功能的私有云/公有云云平台、局域网/互联网络服务器等对应的物理机中。

如图1所示，本实施例中，上述的质量评价方法具体包括：

步骤101、获取待评价的目标对象。

待评价的目标对象，可以是但不限于图像或视频等多媒体数据。在目标对象为视频的情况下，其可以是完整视频，或者，还可以是从完整视频中截取(或对完整视频进行切片)所得的任意视频片段。

典型的，本申请的方法可应用于图像/视频等多媒体数据的过滤场景中，在该场景中，通过利用本申请方法对上传的图像或视频等数据进行质量评价，而过滤掉不符合质量要求的数据，以提升用户的人眼视觉观感。相应的，在该场景下，待评价的目标对象可以是上传至网络(如上传至某视频客户端后台服务器)的一个个的图片或视频/视频片段。

步骤102、利用第一质量评价模型对所述目标对象进行质量评价，得到第一评价结果。

第一质量评价模型，为本申请的多阶段质量预测中第一个阶段所使用的模型，该模型为粗粒度的质量评价模型，可预先基于预定分类网络构建，所基于的分类网络可以是但不限于resnet50、vgg16等卷积神经网络。

该第一质量评价模型的模型结构，如图2所示，包括第一特征提取层(图1中表示为cnnfeatures)、第一泛化处理层(图2中表示为fcblock)和softmax层；其中，第一泛化处理层的数目可以为一个或多个。

实施中，可在平衡模型效率和效果的基础上，根据实际需要设定第一泛化处理层的数目，对于粗粒度的第一质量评价模型来说，其不需要精细粒度的对象特征与对象质量之间的潜在规律学习，第一泛化处理层数目的增多也不会带来明显的模型效果提升，鉴于此，实施中，优选的将第一质量评价模型中第一泛化处理层的数目设置为一个。

基于图2示出的第一质量评价模型的模型结构，参见图3，可通过利用第一质量评价模型对目标对象进行以下的质量评价处理，得到第一评价结果：

步骤301、将目标对象输入第一特征提取层，利用第一特征提取层对目标对象进行特征提取处理，得到第一特征；

具体地，可将图像或视频等目标对象输入第一质量评价模型的第一特征提取层，第一特征提取层具体可实现为包括一个或多个卷积层，用于提取目标对象的底层特征，以目标对象为图像或视频为例，所提取的底层特征可以包括但不限于图像或视频中的图像帧在颜色、亮度、边缘、角点和/或纹理等方面的底层特征。

其中，如果向第一质量评价模型输入的目标对象为视频，则具体将视频的至少部分视频帧(如，视频的所有视频帧)的帧级特征求平均而得到该视频的底层特征。为便于描述，本实施例将第一特征提取层提取的上述底层特征称为第一特征。

步骤302、利用第一泛化处理层对第一特征进行提炼处理，得到第二特征；

第一泛化处理层接收第一特征提取层输出的上述底层特征(第一特征)，并对接收的底层特征进行进一步的特征提炼处理，以防止第一质量评价模型过拟合，提升第一质量评价模型的泛化能力。

参见图2，本实施例中，第一泛化处理层由全连接层(图2中表示为fc)、relu激活层(图2中表示为relu)、归一化层(图2中表示为batchnorm)和dropout层组成，通过所包括的上述各个功能层实现对第一特征提取层提取的底层特征进行进一步的特征提炼，得到第二特征，达到防止模型过拟合、提升模型泛化能力的目的。关于全连接层、relu激活层，归一化层，dropout层中每个功能层的具体作用，可参考现有神经网络中各相应层的功能设计，不再详述。

步骤303、利用softmax层将第二特征映射为样本标记空间中各个第一粒度分值分别对应的置信度；所述第一评价结果包括：所述各个第一粒度分值中置信度最高的目标第一粒度分值。

softmax层接收第一泛化处理层输出的第二特征，并将第二特征映射为样本标记空间中各个第一粒度分值分别对应的置信度。置信度最高的目标第一粒度分值，即为目标对象经第一质量评价模型处理所得的第一评价结果。

其中，第一粒度分值为样本标记空间中的粗粒度分值，假设样本标记空间中样本的主观标注分数值的范围为1-5，标注的分数值具体为浮点数类型，例如，1.0、1.1、1.7、3.5、4.9等，则样本标记空间对应的各个第一粒度分值(粗粒度分值)具体可以为：1、2、3、4。各个第一粒度分值1、2、3、4，在逻辑角度分别对应主观标注分数值1-5中的1-2、2-3、3-4、4-5，也即，若第一质量评价模型输出的置信度最高的目标第一粒度分值为1，则表示目标对象的实际质量得分在1-2之间，具体可能为1.0、1.1…1.9中的任意得分值。

需要说明的是，上述的样本标记空间及其对应的各个第一粒度分值(粗粒度分值)，仅为本申请的示例性说明，实际应用中，还可以是其他的实施形式，例如，样本标记空间为1-100的自然数，样本标记空间对应的各个第一粒度分值分别为：0、1、2…9，或者，0、10、20…90等，并在逻辑上分别对应1-9、10-19、20-29…90-99的实际标注得分值，在此不加限制。

步骤103、利用第二质量评价模型，根据所述第一评价结果对所述目标对象进行质量评价，得到第二评价结果。

其中，第二质量评价模型基于第一质量评价模型的样本和第一质量评价模型对其样本的第一评价结果训练得到，以使第二质量评价模型的第二评价结果对应的质量评价精细粒度，高于第一质量评价模型的第一评价结果对应的质量评价精细粒度。

第二质量评价模型，为本申请的多阶段质量预测中第二个阶段所使用的模型，该模型为细粒度的质量评价模型，同样可预先基于预定分类网络构建，所基于的分类网络可以是但不限于resnet50、vgg16等卷积神经网络，并且，构建第二质量评价模型所基于的分类网络与构建第一质量评价模型所基于的分类网络，可以相同或不同，例如，两个质量评价模型均基于resnet50构建，或者，其中一个质量评价模型基于resnet50构建，而另一个基于vgg16构建等。

参见图4，示出了第二质量评价模型的模型结构，包括第二特征提取层(图4中表示为cnnfeatures)，第二泛化处理层(图4中表示为fcblock)和全连接层(图4中表示为fc)。

同理，实施中，可在平衡模型效率和效果的基础上，根据实际需要设定第二泛化处理层的数目，对于细粒度的第二质量评价模型来说，鉴于其精细粒度的对象(图像或视频等)特征与对象质量之间的潜在规律学习需求，优选的，可将第二质量评价模型中第二泛化处理层的数目设置为多个。

基于图4示出的第二质量评价模型的模型结构，参见图5，可通过利用第二质量评价模型对目标对象进行以下的质量评价处理，得到第二评价结果：

步骤501、将目标对象输入第二特征提取层，利用第二特征提取层对目标对象进行特征提取处理，得到第三特征。

与第一质量评价模型中的第一特征提取层的功能相类似，第二质量评价模型中的第二特征提取层同样可实现为包括一个或多个卷积层，用于提取目标对象的底层特征，如图像或视频中图像帧在颜色、亮度、边缘、角点和/或纹理等方面的底层特征等，第二特征提取层提取的底层特征描述为第三特征。

其中，如果向第二质量评价模型输入的目标对象为视频，则同样将视频的至少部分视频帧(如，所有视频帧)的帧级特征求平均而得到该视频的底层特征。

步骤502、利用第二泛化处理层对第三特征进行提炼处理，得到第四特征；

同理，第二泛化处理层同样可包括全连接层(fc)，relu激活层(relu)，归一化层(batchnorm)和dropout，用于通过所包括的各个层实现对第二特征提取层提取的目标对象的底层特征(第三特征)进行进一步的特征提炼，得到第四特征，以防止第二质量评价模型过拟合，提升第二质量评价模型的泛化能力。

与第一质量评价模型所不同的是，第一质量评价模型在模型训练阶段所学习的是对象(图像或视频等)特征与粗粒度对象质量之间的规律，而第二质量评价模型在模型训练阶段所学习的是对象(图像或视频等)特征与细粒度对象质量之间的规律，体现在模型自身，则是模型的网络参数和/或模型中各功能层的具体处理过程(如基于卷积的特征提取，特征提炼等)的不同。

步骤503、将第四特征和第一评价结果输入全连接层，利用全连接层将第四特征和第一评价结果映射到样本标记空间，得到目标对象在样本标记空间对应的第二粒度分值。

其中，第二质量评价模型对目标对象进行质量评价所输出的第二评价结果包括上述第二粒度分值。

具体地，全连接层接收第二泛化处理层输出的第四特征，并且，如图4所示，全连接层同时还以第一质量评价模型输出的第一评价结果为输入(如图4中，向fc输入的mos1)。之后，将两路输入进行融合，其中具体可将两路输入所对应的向量进行融合(concat)，并将融合结果映射到样本标记空间，得到目标对象在样本标记空间对应的第二粒度分值。

第二粒度分值对应的质量评价精细粒度，高于第一粒度分值对应的质量评价精细粒度，第二粒度分值与样本标记空间中样本的主观标注分数值属同一精细粒度。仍沿用上文的示例，假设第一质量评价模型输出的置信度最高的目标第一粒度分值为1，则第二质量评价模型输出的第二粒度分值具体可以为1.7。

本申请中，将第一质量评价模型的第一评价结果，与待评价的目标对象一并作为第二质量评价模型的输入，由第二质量评价模型结合该第一评价结果对目标对象进行质量评价，本质目的在于：将第一质量评价模型的第一评价结果作为先验知识提供给第二质量评价模型，这样，第二质量评价模型不必再对目标对象进行粗粒度质量评价，而仅在经先验得到的粗粒度质量评价结果(置信度最高的目标第一粒度分值)基础上进行微调，相应得到相匹配的细粒度质量评价结果(第二评价结果中的第二粒度分值)即可。从而，本质上来说，第二评价结果中的第二粒度分值，由第一评价结果中置信度最高的目标第一粒度分值和一微调分值构成，该微调分值为小于两个相邻第一粒度分值的差值绝对值的非负数值。

容易理解，第二质量评价模型在模型训练阶段，同样以第一质量评价模型输出的粗粒度质量评价结果为先验知识，仅有针对性地精细粒度地学习对象(图像或视频等)特征与对象质量之间的潜在规律，相应使得模型具备针对输入的先验性的粗粒度质量评价结果进行质量得分微调功能即可，而粗粒度的“对象特征与对象质量之间的潜在规律”，则由第一质量评价模型通过学习得到。

根据以上方案可知，本实施例的质量评价方法，通过分别利用第一质量评价模型、第二质量评价模型对待测对象进行质量评价，实现了一种采用多阶段(两阶段)策略对待测对象进行由粗到细的质量预测的质量评价方案，能有效解决图像或视频等多媒体数据的质量评价问题，并且，该方案由于首先利用第一质量评价模型对待测对象进行粗粒度质量评价，之后，进一步以粗粒度质量评价结果为先验知识，利用第二质量评价模型进行质量评价的微调(最终得到待测对象的细粒度质量评价结果)，从而可实现对待测对象的高精度的质量评价。

传统技术通过单阶段任务处理方式直接得到视频或图像的质量分数，其质量评价结果的精度不高，发明人经研究，发现其根本原因在于：质量评价任务本质上属于回归任务，即输入某个视频或图像数据，通过模型回归该数据的精细化的质量结果(如，精细化的质量分值)，回归任务要求的精度越高，其难度也会越大，也即，单阶段任务处理中的一个模型，很难高准确度地学习图像/视频等对象特征与图像/视频在全样本标记空间的质量评价分值之间的潜在规律，本申请通过采用多阶段(两阶段)策略对目标对象进行由粗到细的质量预测，使得利用一个模型学习粗粒度的“对象特征与对象质量之间的潜在规律”(以基于粗粒度对象特征初步判定属于哪个粗粒度分值)，利用另一个模型以粗粒度质量评价结果为先验知识，有针对性地学习精细粒度的“对象特征与对象质量之间的潜在规律”(以进一步基于细粒度对象特征判定属于所属粗粒度分值基础上的哪个细粒度分值)，解决了这一问题，提升了对图像或视频等的质量评价精度。

另外，传统技术的单阶段任务处理方式，对于质量相近的两个视频或图像，往往不能准确度量两个视频或图像的质量好坏。

为进一步解决该问题，可选的，本申请实施例中，在构建第二质量评价模型时，首先利用第一质量评价模型的样本集中的“样本对”和第一质量评价模型对样本对中每一样本的第一评价结果，对基于预定分类网络设计的孪生结构网络进行排序训练得到一孪生网络模型。

其中，构建孪生网络模型所基于的预定分类网络，可以是但不限于resnet50、vgg16等卷积神经网络，且所基于的分类网络可以与构建第一质量评价模型所基于的分类网络相同或不同。孪生网络模型中的两个分支共享网络参数，基于排序训练，可使得孪生网络模型中的每一分支能有效度量两个质量相近的视频或图像的质量好坏。

在此基础上，选取其中一个分支，并利用第一质量评价模型的样本集中的各个样本和第一质量评价模型对每一样本的第一评价结果，对该分支进行进一步的训练，经此训练，可使选取的该分支进一步以粗粒度质量评价结果为先验知识，而学习精细粒度的“对象特征与对象质量之间的潜在规律”，最终得到第二质量评价模型。

接下来会在下文一实施例详细说明本申请所涉及的各阶段模型的构建过程。

本实施例中，第二质量评价模型兼具对两个质量相近的视频或图像等对象的质量好坏的度量功能，以及以粗粒度质量评价结果为先验结果基础上的细粒度质量评价功能，在提升了对图像或视频等对象的质量评价精度的同时，能够进一步达到准确度量两个质量相近的视频或图像等对象的质量好坏的目的。

本申请方法的实现，需要以预先构建有第一质量评价模型、第二质量评价模型为前提，由此，在一可选实施例中，如图6示出的质量评价方法的流程示意图，该质量评价方法在步骤101之前，还可以包括：

步骤601、构建第一质量评价模型；并基于第一质量评价模型的样本集和所述第一质量评价模型对所述样本集中每一样本的第一评价结果，构建所述第二质量评价模型。

参见图7，该构建第一质量评价模型与第二质量评价模型的过程包括：

步骤701、基于样本集以及为所述样本集中各个样本标注的质量评价标签，对基于第一分类网络确定的孪生结构网络进行训练，得到所述第一质量评价模型。

对于第一质量评价模型的构建，首先需进行样本空间及样本标记空间的构建，其中，可选取一系列图像或视频作为样本集，并对每一样本进行质量标注，本实施例假设对样本集进行质量标注时的主观标注分数值范围为1-5，其中，标注的分数值为浮点数类型，例如，1.0、1.1、1.7、3.5、4.9等，1-5范围的各个主观标注分数值构成样本标记空间，并将样本标记空间的主观标注分数值分为四组，即1-2、2-3、3-4、4-5，以及将相应分数段的视频或图像的主观标注分数值映射为1、2、3、4这4个粗粒度分值(即上文的第一粒度分值)。

之后，将各个样本输入基于选取的resnet50或vgg16等第一分类网络设计的网络结构中进行模型训练，所设计的模型网络结构，如图2所示，包括第一特征提取层、第一泛化处理层和softmax层，其中，第一特征提取层可实现为包括一个或多个卷积层，第一泛化处理层的数目可以为一个或多个，优选的为一个，第一泛化处理层包括全连接层、relu激活层归一化层和dropout层。在进行样本输入时，具体将样本输入网络的第一特征提取层中。

模型训练过程中，以相应分数段的视频或图像的主观标注分数值映射得到的粗粒度分值(如上文的1、2、3、4)为准，度量模型损失及此基础上的模型调参、模型优化，直到模型收敛或达到预设迭代次数为止，即可得到训练好的粗粒度质量评价网络，并作为本申请的第一质量评价模型，模型网络结构中各个层的功能具体可结合参照上文实施例的说明，这里不再赘述。

步骤702、基于所述样本集中的各个样本对、为样本对中的每一样本标注的质量评价标签，以及所述第一质量评价模型对样本对中每一样本的第一评价结果，对基于第二分类网络确定的孪生结构网络进行排序训练，得到孪生网络模型；

可选的，为了有效度量两个质量相近的视频或图像等待测对象的质量好坏，针对第二质量评价模型的构建，本实施例首先训练一孪生网络结构的网络模型，之后进一步选取孪生网络模型的一个分支训练第二质量评价模型。

孪生网络模型的训练，以第一质量评价模型的样本集中的两两样本构成的各个样本对作为训练样本，以第一质量评价模型的样本标记空间中对应于每一样本对的两个主观标注分值的排序(体现了两个样本的质量好坏)为标签。实施中，优选的，为了获得较好的模型效果，样本集中应包含数量足够的质量相近的两两样本。

之后，将每一样本对中的两个样本，分别一对一输入基于选取的resnet50或vgg16等第二分类网络所设计的孪生网络结构的两个分支中，每一分支的网络结构如图8所示，包括第二特征提取层，第二泛化处理层和全连接层。其中，第二特征提取层可实现为包括一个或多个卷积层，第二泛化处理层的数目可以为一个或多个，优选的为多个，第二泛化处理层包括全连接层、relu激活层归一化层和dropout层。在进行样本输入时，具体将样本输入所对应分支的第二特征提取层中。

孪生网络模型的两个分支在训练过程中共享网络参数，损失函数采用rankingloss函数。

另外，模型训练过程中，在每一分支全连接层的输入中，加入第一质量评价模型对该分支中输入的样本的第一评价结果(置信度最高的目标第一粒度分值)，并与该分支结构中全连接层之前的功能层输出的特征进行融合，然后一并在全连接层中进行模型训练。将样本对中两个样本一对一输入到孪生网络模型的两个分支中之后，每个分支输出所对应分支的输入样本的质量评估值，并通过rankingloss损失函数计算相应损失值，进而反馈至模型进行网络参数更新，直到模型收敛或达到预设迭代次数为止，相应得到训练好的孪生网络模型。

孪生网络模型相比于上述的第一质量评价模型，其对图像或视频等对象的质量评价粒度更为精细，训练过程中，孪生网络模型的每一分支输出的质量评估值均为细粒度的质量分值，如1.2、1.3等，

需要说明的是，孪生网络模型训练阶段，模型学习到样本对中质量相近的两个样本的对象特征与两个样本的质量好坏之间的潜在规律，训练过程中，通过rankingloss损失函数，以两个分支输出结果所体现的两个样本的质量好坏排序，与样本标记空间中主观标注分值体现的这两个样本的质量好坏排序之间的差异，度量模型损失及此基础上的模型调参、模型优化，最终可得到共享网络参数的两个模型分支。也即，训练过程中，模型损失的度量，不考虑模型分支输出分值与标注分值之间的取值差异，仅考虑排序结果之间的差异，例如，若样本对中两个样本的标注分值分别为1.1、1.2，模型两个分支所输出的分值为1.2、1.3，两者的排序结果相同，则相应认为模型输出与标注结果一致，无损失。

步骤703、基于所述样本集、为所述样本集中各个样本标注的质量评价标签，以及所述第一质量评价模型对所述样本集中每一样本的第一评价结果，对所述孪生网络模型中的一个分支进行训练，得到所述第二质量评价模型。

在完成上述的孪生网络模型的训练后，从中选择一个分支(任一分支即可)进行进一步的模型训练，以构建第二质量评价模型。

模型训练所基于的样本集，仍为第一质量评价模型的训练所使用的样本集，样本标记空间则为上述的主观标注分数值范围对应的标记空间，如1-5范围内的各个浮点类型的精细质量分值等，模型结构则沿用孪生网络模型中模型分支的结构，具体如图4所示，包括第二特征提取层，第二泛化处理层和全连接层。

训练过程中，将样本集中的每一样本输入所选取的分支中，具体输入所选取分支的第二特征提取层，依次经第二特征提取层的特征提取以及第二泛化处理层的特征提炼后，将结果输出至全连接层，并且，在全连接层的输入中，加入第一质量评价模型对该分支中所输入样本的第一评价结果(置信度最高的目标第一粒度分值，如图4中向fc输入的mos1)，并与该分支结构中全连接层之前的功能层输出的特征进行融合，然后一并在全连接层中进行模型训练。通过计算模型输出与主观标注分值(原始标注的精细粒度分值，即上文所述的第二粒度分值，如1.1、1.7、3.5、4.9等)之间的损失，进行不断迭代和训练，实现模型微调，使得模型的预测结果不断逼近精细粒度的主观标注分值，直到模型收敛或达到预设迭代次数为止，相应得到训练好的精细粒度质量评价网络，即上述的第二质量评价模型。

模型损失具体可采用l1loss或l2loss度量，其中，l1loss指平均绝对误差(meanabsoluteerror，mae)，是用于回归模型的一种损失函数；l2loss指均方误差(mean-squareerror，mse)，是用于回归模型的另一种损失函数。

该阶段的训练，可使得模型在具备有效度量两个质量相近的视频或图像等对象的质量好坏功能的基础上，以第一质量评价模型输出的粗粒度质量评价结果为先验知识，进一步学习到精细粒度的对象特征与对象质量之间的潜在规律，使得模型输出更逼近于实际的标注分值(如，对于训练完成的孪生网络模型，其能有效地将质量相近的两个对象进行正确的质量排序，但可能会将标注的质量分值为1.1的对象，预测为1.2或1.3的质量分值，基于本阶段的训练，可进一步纠正孪生网络模型的分支的这一问题，使其输出逼近真实标注结果)。

模型使用阶段，将视频或图像等对象输入至训练好的第一质量评价模型，得到粗粒度质量评价结果(上文的第一评价结果)，之后进一步将该对象输入至训练好的第二质量评价模型，并在第二质量评价模型的全连接层加入第一质量评价模型的粗粒度质量评价结果作为输入，最终由第二质量评价模型输出该对象的细粒度质量评价结果(上文的第二评价结果)即可，具体的质量评价过程可参照上文相应实施例的描述，这里不再赘述。

基于本实施例提供的模型构建过程，可实现对图像或视频等待测对象进行基于多阶段评价策略的由粗到细的质量评价，相比于传统技术的单阶段质量评价方式，质量评价结果的精度更高，并且，可有效度量两个质量相近的视频或图像的质量好坏。

对应于上文的质量评价方法，本申请实施例还提供了一种质量评价装置，如图9示出的该装置的结构示意图，可以包括：

获取单元901，用于获取待评价的目标对象；

第一评价单元902，用于利用第一质量评价模型对所述目标对象进行质量评价，得到第一评价结果；

第二评价单元903，用于利用第二质量评价模型，根据所述第一评价结果对所述目标对象进行质量评价，得到第二评价结果；

其中，第二质量评价模型基于第一质量评价模型的样本和第一质量评价模型对其样本的第一评价结果训练得到，以使第二质量评价模型的第二评价结果对应的质量评价精细粒度，高于第一质量评价模型的第一评价结果对应的质量评价精细粒度。

在本申请实施例的一可选实施方式中，上述第一质量评价模型包括第一特征提取层、第一泛化处理层和softmax层；

第一评价单元902，具体用于：

将所述目标对象输入所述第一特征提取层，利用所述第一特征提取层对所述目标对象进行特征提取处理，得到第一特征；

利用所述第一泛化处理层对所述第一特征进行提炼处理，得到第二特征；

利用所述softmax层将所述第二特征映射为样本标记空间中各个第一粒度分值分别对应的置信度；所述第一评价结果包括：所述各个第一粒度分值中置信度最高的目标第一粒度分值。

在本申请实施例的一可选实施方式中，上述第二质量评价模型包括第二特征提取层、第二泛化处理层和全连接层；

第二评价单元903，具体用于：

将所述目标对象输入所述第二特征提取层，利用所述第二特征提取层对所述目标对象进行特征提取处理，得到第三特征；

利用所述第二泛化处理层对所述第三特征进行提炼处理，得到第四特征；

将所述第四特征和所述第一评价结果输入所述全连接层，利用所述全连接层将所述第四特征和所述第一评价结果映射到样本标记空间，得到所述目标对象在样本标记空间对应的第二粒度分值；

其中，所述第二评价结果包括所述第二粒度分值；所述第二粒度分值由所述目标第一粒度分值和微调分值构成，所述微调分值为小于两个相邻第一粒度分值的差值绝对值的非负数值。

在本申请实施例的一可选实施方式中：

上述第一泛化处理层的数目为一个；

上述第二泛化处理层的数目为多个。

在本申请实施例的一可选实施方式中，上述第二质量评价模型为：对孪生网络模型的两个模型分支中的一个分支进行训练所得的模型；

第二质量评价模型，通过利用所述第一质量评价模型的样本集中的各个样本和所述第一质量评价模型对每一样本的第一评价结果，对所述一个分支进行训练得到；

孪生网络模型，通过利用所述第一质量评价模型的样本集中的各个样本对和所述第一质量评价模型对样本对中每一样本的第一评价结果，对基于预定分类网络确定的孪生结构网络进行排序训练得到；

其中，所述样本对为所述样本集中的任意两个样本构成的样本对。

在本申请实施例的一可选实施方式中，参见图10，本申请的质量评价装置，还可以包括：

模型构建单元904，用于：在所述获取待评价的目标对象之前，构建所述第一质量评价模型；并基于第一质量评价模型的样本集和所述第一质量评价模型对所述样本集中每一样本的第一评价结果，构建所述第二质量评价模型。

在本申请实施例的一可选实施方式中，模型构建单元904，具体用于：

基于样本集以及为所述样本集中各个样本标注的质量评价标签，对基于第一分类网络确定的模型网络进行训练，得到所述第一质量评价模型；

基于所述样本集中的各个样本对、为样本对中的每一样本标注的质量评价标签，以及所述第一质量评价模型对样本对中每一样本的第一评价结果，对基于第二分类网络确定的孪生结构网络进行排序训练，得到孪生网络模型；

基于所述样本集、为所述样本集中各个样本标注的质量评价标签，以及所述第一质量评价模型对所述样本集中每一样本的第一评价结果，对所述孪生网络模型中的一个分支进行训练，得到所述第二质量评价模型；

其中，所述样本对为所述样本集中的任意两个样本构成的样本对。

在本申请实施例的一可选实施方式中，为样本集中的样本标记的所述质量评价标签为第二粒度分值；

所述第一评价结果包括第一粒度分值；所述孪生网络模型中的任一分支对样本进行质量评价得到的评价结果包括第二粒度分值；所述第二评价结果包括第二粒度分值；

所述第二粒度分值对应的质量评价精细粒度，高于所述第一粒度分值对应的质量评价精细粒度。

对于本申请实施例公开的质量评价装置而言，由于其与上文方法实施例公开的质量评价方法相对应，所以描述的比较简单，相关相似之处请参见上文相应方法实施例的说明即可，此处不再详述。

本申请实施例还公开了一种电子设备，该电子设备可以是但不限于具有数据处理功能的手机、平板电脑、个人pc(如笔记本、一体机、台式机)等终端设备，或具有数据处理功能的私有云/公有云云平台、局域网/互联网络服务器等对应的物理机。

如图11示出的电子设备的结构示意图，至少包括：

存储器1101，用于存放计算机指令集；

所述的计算机指令集可以采用计算机程序的形式实现。

存储器1101可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1102，用于通过执行存储器上存放的指令集，实现如上任一方法实施例的质量评价方法。

其中，处理器1102可以为中央处理器(centralprocessingunit，cpu)，特定应用集成电路(application-specificintegratedcircuit，asic)，数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件等。

除此之外，电子设备还可以包括通信接口、通信总线等组成部分。存储器、处理器和通信接口通过通信总线完成相互间的通信。

通信接口用于电子设备与其他设备之间的通信。通信总线可以是外设部件互连标准(peripheralcomponentinterconnect，pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，eisa)总线等，该通信总线可以分为地址总线、数据总线、控制总线等。

本实施例中，电子设备中的处理器在执行存储器中存放的计算机指令集时，通过分别利用第一质量评价模型、第二质量评价模型对待测对象进行质量评价，实现了一种采用多阶段(两阶段)策略对待测对象进行由粗到细的质量预测的质量评价方案，能有效解决图像或视频等多媒体数据的质量评价问题，并且，该方案由于首先利用第一质量评价模型对待测对象进行粗粒度质量评价，之后，进一步以粗粒度质量评价结果为先验知识，利用第二质量评价模型进行质量评价的微调(最终得到待测对象的细粒度质量评价结果)，从而可实现对待测对象的高精度的质量评价。

另外，本申请实施例还公开一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上文任一方法实施例公开的质量评价方法。

具体地，本实施例的计算机可读存储介质中的计算机指令集被处理器执行时，通过分别利用第一质量评价模型、第二质量评价模型对待测对象进行质量评价，实现了一种采用多阶段(两阶段)策略对待测对象进行由粗到细的质量预测的质量评价方案，能有效解决图像或视频等多媒体数据的质量评价问题，并且，该方案由于首先利用第一质量评价模型对待测对象进行粗粒度质量评价，之后，进一步以粗粒度质量评价结果为先验知识，利用第二质量评价模型进行质量评价的微调(最终得到待测对象的细粒度质量评价结果)，从而可实现对待测对象的高精度的质量评价。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

为了描述的方便，描述以上系统或装置时以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。