图像处理方法、装置、设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.在信息化时代，图像是一种最直观的展现形式，布局合理或色彩丰富的图像通常能够获得较高的关注度和使用价值，因此现实生活中便出现了许多利用人工智能技术对图像进行处理的场景，例如，在对封面图像的选取过程中，可以通过对多张图像进行评分的方式将评分最高的图像作为封面图像。
3.依赖于人为设立的评分规则对图像进行评分，评分规则便具有极强的主观性。现实情况下，不同的人针对不同应用场景下的图像评分标准有不同的见解，因此人为设计评分规则的方式极易导致方案的泛化性不强。由此可见，研究如何提升图像处理的泛化性是十分有意义的。


技术实现要素：

4.本技术实施例提供了图像处理方法、装置、设备及存储介质，可提升图像处理的泛化性。
5.一方面，本技术实施例提供了一种图像处理方法，包括：
6.获取待处理图像；
7.通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值；
8.其中，所述图像评价模型基于训练后的孪生网络模块构建，所述训练后的孪生网络模块基于图像样本对的评价结果对孪生网络模块进行训练得到，所述评价结果用于指示所述图像样本对中正样本和负样本的评价等级，所述评价结果基于所述图像样本对的融合特征得到，所述融合特征基于正样本特征和负样本特征得到，所述正样本特征采用所述孪生网络模块的第一特征提取分支对所述正样本进行特征提取得到，所述负样本特征采用所述孪生网络模块的第二特征提取分支对所述负样本进行特征提取得到。
9.相应的，本技术实施例提供了一种图像处理装置，包括：
10.获取单元，用于获取待处理图像；
11.处理单元，用于通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值；
12.其中，所述图像评价模型基于训练后的孪生网络模块构建，所述训练后的孪生网络模块基于图像样本对的评价结果对孪生网络模块进行训练得到，所述评价结果用于指示所述图像样本对中正样本和负样本的评价等级，所述评价结果基于所述图像样本对的融合特征得到，所述融合特征基于正样本特征和负样本特征得到，所述正样本特征采用所述孪生网络模块的第一特征提取分支对所述正样本进行特征提取得到，所述负样本特征采用所
述孪生网络模块的第二特征提取分支对所述负样本进行特征提取得到。
13.相应的，本发明实施例提供了一种图像处理设备，其特征在于，该设备包括输入接口，还包括：
14.处理器，适于实现一条或多条指令；
15.计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述图像处理方法。
16.相应的，本技术实施例还提供了一种计算机存储介质，其特征在于，所述计算机存储介质存储有一条多条指令，所述一条或多条指令适于由所述处理器加载并执行上述图像处理方法。
17.相应的，本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；终端的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得图像处理设备执行上述图像处理方法。
18.在本技术实施例中，通过获取待处理图像，然后调用图像评价模型对该待处理图像进行评价处理，得到待处理图像的评价值。其中，图像评价模型基于训练好的孪生网络模块构建，孪生网络模块基于图像样本对的评价结果进行训练得到，且图像样本对包括正样本和负样本。那么，可以理解的是，由于每次孪生网络模块的训练过程都是采用的一对图像样本(正样本、负样本)，所以基于孪生网络建立的模型具备学习图像之间细微差别的能力，增强了图像处理的泛化性。
附图说明
19.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是本技术实施例提供的一种孪生网络模块训练方法的示意流程图；
21.图2a是本技术实施例提供的一种图像处理的模型训练流程示意图；
22.图2b是本技术实施例提供的一种特征提取流程示意图；
23.图2c是本技术实施例提供的一种图像评价模型构建方法的示意图；
24.图3是本技术实施例提供的一种图像评价模型训练方法的示意流程图；
25.图4a是本技术实施例提供的一种图像评价模型训练流程示意图；
26.图4b是本技术实施例提供的一种待处理图像示意图；
27.图5是本技术实施例提供的一种图像处理方法的示意流程图；
28.图6是本技术实施例提供的一种图像处理装置的结构示意图；
29.图7是本技术实施例提供的一种图像处理设备的结构示意图。
具体实施方式
30.人工智能技术通过利用数字计算机或利用数字计算机控制的机器去模拟、延伸和扩展人的智能，进而得到可用于感知环境、获取知识或使用知识获得最佳结果的理论、方法、技术及应用系统。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应
用遍及人工智能的各个领域，机器学习是指一门包括概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科的交叉学科。机器学习专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构以使计算机不断改善自身的性能。
31.本技术实施例充分利用了上述人工智能技术与机器学习技术，提供了一种图像处理方法，该方法主要通过图像评价模型对待处理图像进行图像评价处理，以得到待处理图像的评价值，其中，待处理图像可以是任意图像；图像评价模型是基于训练后的孪生网络模块构建的。在构建图像评价模型前，本技术实施例还利用深度学习算法，利用大批量的图像样本对的评价结果对孪生网络模块进行训练，其中，图像样本对包括正样本和负样本，正样本可以例如是经人工选取的质量较高的图像(如清晰度高、色彩明亮鲜艳的图像)，负样本可以例如是质量低于正样本的图像(如清晰度低、色彩黯淡的图像)；评价结果可以理解为正样本和负样本的比较结果，如：正样本质量等级高于负样本质量等级或负样本质量等级高于正样本质量等级。其中，孪生网络模块是通过输入成对数据进行比较训练(如上述比较一个图像样本对中正样本和负样本的质量)的方式得到的，具体的比较训练流程(或称：孪生网络模块训练流程)将在后面实施例进行详细阐述，在此不再赘述。因此，可以理解，基于训练后的孪生网络模块构建的图像评价模型具备客观评价体系，使用本实施例提供的图像评价模型对图像进行评价，显著提高了图像处理的泛化性。
32.在一个实施例中，上述图像处理方法主要目的是对待处理图像进行内容维度上的分析及评价，以得到待处理图像的评价值，进而使得该方法可应用到多种图像处理场景中。例如，该图像处理方法可应用于对图片内容进行打分(如海报图片择优、视频封面选择等)、对图片质量进行打分等一系列需要图像评价的场景。在用于选择视频封面时，可根据视频中抽取出的若干视频帧，得到由各个视频帧对应的图像组成的图像集群，然后运用该图像处理方法对图像集群中的各个图像进行图片内容打分，以选取评分最高的图像作为视频封面图像；在进行海报图片择优时，可通过该方法在多个海报图像组成的图像集群中选取出清晰度高、主题鲜明的图像。其中，待处理图像的评价值可以用于指示待处理图像的质量高低、待处理图像的合适度(应用在某个场景中的适用程度)等，例如，该评价值可以是对图像中的色彩丰富度、主体完整性、亮度、锐度等做出的评价，也可以是对图像中主题贴合程度、主体鲜明度等做出的评价。
33.在一个实施例中，上述图像处理方法可以在同一图像处理设备中完成应用，例如，图像处理设备可以是服务器，那么可通过服务器获取待处理图像，并利用图像评价模型对待处理图像进行评价处理；在另一个实施例中，上述基于图像处理方法也可在不同的图像处理设备中完成应用，如可以在第一设备中完成待处理图像的获取，在第二设备中进行待处理图像的评价处理，其中，第一设备可以例如是终端，第二设备可以例如是与上述终端建立有通信连接的服务器。
34.在图像处理设备对图像处理方法进行应用之前，本技术实施例还可通过模型训练设备对图像预测模型进行训练的方式对孪生网络模块进行训练，以及对图像评价模型进行训练，其中，图像预测模型是基于孪生网络模块构建的。在一个实施例中，模型训练设备和图像处理设备可以是同一设备，也可以是不同设备，本技术实施例在此不做限制。
35.本技术实施例以图像处理设备和模型训练设备为同一设备为例进行阐述。
36.请参见图1，图1是本技术实施例提供的一种孪生网络模块训练方法的示意图，如图1所示，该方法包括：
37.s101，获取图像样本对。
38.在一个实施例中，图像样本对包括正样本和负样本，假定图像样本对中的正样本和负样本有明显的优劣区别，且正样本的质量(如亮度、锐度、色彩丰富度、主体完整性等)优于负样本，例如，正样本可以是用户在多个图像间进行多维度的比较后选取的质量最佳图像。那么，具体实施例中，若直接采用线上业务(现有技术中已存在的一些图像处理业务，如视频封面选择、图书封面选择等)数据作为训练数据(图像样本对)，可能会由于业务数据存在噪声进而影响训练效果。示例性地，以在视频文件中获取图像样本对为例，若在获取图像样本对过程中，采用人工选定图像样本对中的正样本(即正样本)、随机选定图像样本对的负样本(即负样本)的方式，可能由于随机选择的负样本比人工选定的正样本质量更好，从而导致图像样本对中负样本的质量优于正样本的质量，违反上述正样本的质量优于负样本的质量这一假设，进而影响图像预测模型的训练效果。因此，为了避免上述情况，本实施例中图像处理设备在获取图像样本对时，扩大了图像样本对的数量，具体地，图像处理设备通过在视频中随机截取图像得到图像集群，并在图像集群除正样本以外的图像中选取负样本，使得训练数据可以达到千万级别，从而解决了训练数据不足的问题。
39.在又一个实施例中，由于整个视频画面平淡无变化，可导致选取的正样本和负样本组成的图像样本对中，正样本和负样本之间的优劣区别不明显，进而也可影响图像预测模型的训练效果。因此，本实施例中图像处理设备在选取负样本时，需要先获取正样本与该图像集群中任一图像之间的相似度，得到至少一个相似度小于相似度阈值的图像，然后图像处理设备在从相似度小于相似度阈值的图像中选取负样本，以得到一对有优劣区分的图像。具体地，图像处理设备通过应用差异哈希算法，计算正样本和负样本之间的哈希相似度，以得到正样本和负样本对应的哈希值，并通过该哈希值计算两个图像之间的汉明距离，然后基于汉明距离确定图像样本对中正样本和负样本，进一步避免了由于上述情况导致的图像预测模型的训练效果不理想的情况。可选地，图像处理设备可将汉明距离小于距离阈值的两个图像(正样本、负样本)作为图像样本对，例如，图像处理设备可将汉明距离小于50的两个图像组成一个图像样本对。其中，图像处理设备应用差异哈希算法的具体步骤可为：缩放图像、转灰度图、计算相邻两行像素值的差异值、计算指纹(图像中的关键信息)。
40.那么，根据上述实施例的描述，不难理解的是，在具体实施例中，图像处理设备获取无标注样本的方式可以为：图像处理设备先获取图像集群，然后将图像集群中用户选取的图像作为正样本，并在该图像集群中除正样本以外的图像中确定一个负样本，然后基于该正样本和负样本生成一个图像样本对。可见，每个图像样本对都有对应的图像样本集，且任一图像样本对对应的图像样本集中可包括n个图像样本对(n>1，且n为整数)。示例性地，每个图像样本集可包括20个图像样本对(即，n＝20)，图像样本集的组成方式可以是：图像1+随机图像1，图像1+随机图像2，
…
，图像1+随机图像20。
41.示例性地，以为视频a(视频a为封面图业务中的视频)选取封面图像为例，假设相似度阈值为25％，视频a中包括图像1、图像2、图像3和图像4，那么，图像集群可表示为{图像1，图像2，图像3，图像4}。若图像1为业务中用户选取的封面图片，图像2、图像3和图像4为视频a中随机截取的图像。那么，图像处理设备可将图像1作为正样本，然后在图像2、图像3和
图像4中选取任意一个图像，计算该图像和图像1之间的相似度，若图像1与其他图像之间的相似度如下：图像1与图像2——90％，图像1与图像——20％，图像1与图像4——10％，那么可以确定，相似度小于相似度阈值的图像为图像3和图像4。因此，图像处理设备应在图像3和图像4之间选取任意一个图像作为负样本，即：选取图像3作为负样本，或选取图像4作为负样本；若图像处理设备选取图像3作为负样本，那么图像处理设备可将图像1和图像3组成一个图像样本对。本技术实施例中，图像处理设备可通过上述方式获取更多图像集群，从而得到更多的图像样本对。由此可见，图像处理设备在获取训练数据(图像样本对)时，通过选取视频封面图业务中已有的图像数据，充分利用了业务优势，节省了人力成本(如避免了人为创建训练数据)。
42.s102，通过当前孪生网络模块的第一特征提取分支对图像样本对中正样本进行特征提取得到正样本特征，并采用当前孪生网络模块中的第二特征提取分支对图像样本对中负样本进行特征提取得到负样本特征。
43.在一个实施例中，请参见图2a，如图2a所示，孪生网络模块201为图像预测模型中的组成部分，且孪生网络模块201中具备两个并行的网络分支(第一特征提取分支，第二特征提取分支)，这两个并行的网络分支共享网络权重，且该两个并行网络分支用于将图像样本对映射到新的空间，以使图像样本对在新的空间中形成新的表示，即：该两个并行网络分支用于对图像样本对中的正样本和负样本进行特征提取，以得到正样本和负样本在孪生网络模块的特征表示(如，特征图)。
44.具体实施例中，孪生网络模块的两个分支与正样本、负样本之间的处理关系可参见图2b。如图2b所示，图像处理设备并不限定正样本和负样本与第一特征提取分支和第二特征提取分支之间的处理关系，即：特征提取过程中，第一特征提取分支既可以用于对负样本进行特征提取得到负样本特征，也可以用于对正样本进行特征提取得到正样本特征，可以理解的是，在同一特征提取过程中，一个特征提取分支只用于对一个图像进行特征提取。例如，在一个训练过程中，当第一特征提取分支用于对负样本进行特征提取得到负样本特征时，第二特征提取分支则用于对正样本进行特征提取得到正样本特征。
45.示例性地，孪生网络模块中的两个网络分支可以采用经典的神经网络构成，如视觉几何组网络(visual geometry group network，vggnet)，谷歌网(googlenet，一种全新的深度学习结构)等。本技术实施例中，孪生网络模块中的网络分支选用了注意力残差网络101(squeeze
‑
and
‑
excitation
‑
resnet
‑
101，se
‑
resnet
‑
101)训练而成的网络，se
‑
resnet
‑
101的网络结构实际上是在resnet101(残差网络101)的基础上，添加了注意力模块(squeeze
‑
and
‑
excitation block，seblock)，并引入信道维度的注意力机制。示例性地，图像处理设备可将孪生网络模块中两个网络分支的输出维度设定为100维，那么不难理解的是，若两个分支的输出合并(正样本特征和负样本特征进行融合处理)，得到的图像样本对对应的特征维度即为200维，具体地，se
‑
resnet
‑
101的每一层的结构可参见下表所示：
[0046][0047]
s103，对正样本特征和负样本特征进行融合处理，得到图像样本对的融合特征，并对融合特征进行分析处理，得到图像样本对的评价结果。
[0048]
在一个实施例中，可继续参见图2a，如图2a所示，图像预测模型还包括特征融合模块和第一特征解析模块，图像处理设备可在得到图像样本对中正样本对应的正样本特征和负样本对应的负样本特征后，在特征融合模块对正样本特征和负样本特征进行融合，得到该图像样本对的融合特征，然后再通过第一特征解析模块对融合特征进行解析，得到该图像样本对的评价结果。示例性地，该评价结果可用于指示图像样本对中正样本和负样本的评价等级，该评价等级可以例如是正样本和负样本的合适度等级，那么，评价结果可以例如是正样本和负样本的合适度等级比较结果，示例性地，可用1代表第一特征提取分支的输入图片合适度优于第二特征提取分支的输入图片，用0代表第二特征提取分支的输入图片合适度优于第一特征提取分支的输入图片。
[0049]
具体实施例中，第一特征解析模块可以例如是一个全连接层；特征融合模块可以对正样本与负样本合适度的等级顺序进行预测，然后按照正样本和负样本合适度的优劣顺序进行特征融合。可选地，特征融合的方式可以为：将正样本和负样本的图像特征进行拼接
处理，例如，将两个图像中合适度较高的图像对应的图像特征a放在融合特征的前部分，合适度较低的图像对应的图像特征b拼接在图像特征a的后面，作为融合特征的后部分。
[0050]
举例来说，假设有一图像样本对，该图像样本对中包括正样本a和负样本b，且评价结果包括1和0，其中，用1代表第一特征提取分支的输入图片合适度优于第二特征提取分支的输入图片，用0代表第二特征提取分支的输入图片合适度优于第一特征提取分支的输入图片。那么，当该无标注样本经过孪生网络模块的第一特征提取分支对正样本a进行特征提取后得到正样本特征a1，经过孪生网络模块的第二特征提取分支对负样本b进行特征提取后得到负样本特征b1时；若将a1和b1输入至特征融合模块，特征融合模块预测得到正样本特征a1对应的图像合适度高于负样本特征b1对应的图像合适度，特征融合模块则生成融合特征a1b1；若特征融合模块预测得到负样本特征b1对应的图像合适度高于正样本特征a1对应的图像合适度，特征融合模块则生成融合特征b1a1。然后，第一特征解析模块再根据融合特征中正样本特征和负样本特征的排列顺序，解析得到正样本a和负样本b合适度的等级顺序的评价结果，例如：第一特征解析模块根据融合特征a1b1可得到评价结果1(表示正样本a的合适度优于负样本b的合适度)；根据融合特征b1a1可得到评价结果0(表示负样本b的合适度优于正样本a的合适度)。
[0051]
s104，基于评价结果对当前孪生网络模块进行训练。
[0052]
在一个实施例中，图像处理设备基于评价结果对孪生网络模块的进行训练是指：图像处理设备对孪生网络模块进行一次训练。由于孪生网络模块是图像预测模型的组成部分，那么，可以理解的是，对孪生网络模块进行一次训练即为对图像预测模型进行一次训练。
[0053]
在一个实施例中，由前述可知，图像样本对所属图像样本集包括n个图像样本对，n为大于1的整数，那么，图像处理设备对孪生网络模块进行一次训练所用的图像样本对可为图像样本集中第m个样本对(1≤m≤n，m为整数)；当m＝1时，当前孪生网络模块为孪生网络模块；当1<m≤n时，当前孪生网络模块为第m
‑
1次训练后得到的孪生网络模块；在图像处理设备基于评价结果对当前孪生网络模块进行训练，得到训练后的孪生网络模块之后，可对m执行加1操作，并触发执行获取图像样本对，以对训练后的孪生网络模块进行下一次训练。
[0054]
具体实施例中，由于本技术在获取图像样本对时，组成图像样本对的正样本质量一定高于负样本，那么，图像处理设备基于评价结果对孪生网络模块进行一次训练，可通过如下方式实现：图像处理设备基于图像样本对的评价结果与标准评价结果(正样本质量一定高于负样本质量)之间的目标差值，利用第一损失函数对图像预测模型进行一次训练，从而对图像预测模型中各个模块(孪生网络模块、第一特征提取模块、特征融合模块)，特别是孪生网络模块中的参数进行一次调整。其中，第一损失函数可以例如是交叉熵损失函数。可选地，为了得到更加出色的训练效果，图像处理设备可准备多个不同的视频，以用于获取图像样本对，其中，每个视频可获取n个图像样本对。当该图像处理方法主要应用于视频封面选择场景时，此类获取图像样本对的方式极大地提升了该图像处理方法的业务贴合程度。
[0055]
s105，基于训练后的孪生网络模块，构建图像评价模型。
[0056]
在一个实施例中，可参见图2a中202所示，在图像处理设备得到训练后的孪生网络模块之后，可通过任一特征提取分支后接第二特征解析模块的方式构成图像评价模型；也可以如图2c所示，基于整个训练后的孪生网络模块构建图像评价模型。然后图像处理设备
可通过该图像评价模型对待处理图像进行评价，得到该待处理图像的评级值。具体实施例中，评价值可以例如是图像中主题的鲜明度、色彩的丰富度、或图像的清晰度等，第二特征解析模块可以例如是一个不同于第一特征解析模块的全连接层。
[0057]
本技术实施例利用图像比较的方法，通过在现有业务中获取大量的成对数据(图像样本对)作为训练数据的方式，节省了人力成本；另外，图像处理设备通过将图像样本对输入孪生网络模块进行特征提取，以得到图像样本对的融合特征，然后根据融合特征得到该图像样本对中正样本与负样本的比较结果(评价结果)，并基于比较结果对孪生网络模块进行训练，以得到训练后的孪生网络模块；然后图像处理设备基于该训练后的孪生网络模块构建图像评价模型，搭建了较为客观的图像评价体系，使得图像评价模型的泛化性得到了增强。
[0058]
请参见图3，图3是本技术实施例提供的一种图像评价模型训练方法示意图，如图3所示，所述方法包括：
[0059]
s301，获取标注样本。
[0060]
在一个实施例中，由前述可知，图像处理设备是通过输入成对图像实现对图像预测模型的训练的，那么，可以理解的是，当采用图像预测模型中孪生网络模块的任一特征提取分支构建图像评价模型时，图像评价模型的处理对象是单一图像，因此，在构建了图像评价模型后，还需利用少量的标注样本对该图像评价模型进行训练，以使得该任一特征提取分支适用于图像评价场景中的特征提取流程。其中，标注样本可以包括标注图像以及标注图像的第一评价值，第一评价值是用户对该标注图像进行标注得到的，其中，少量的标注样本可以例如是数量为万级别的标注样本。示例性地，针对图像评价模型的训练流程可如图4a所示，可见，标注样本为任意图像集群中的任意一个图像。
[0061]
具体实施例中，标注图像的第一评价值可以为多个用户进行评分之后得到的分布分数，也可以为单个用户进行评分之后得到的单个分数。示例性地，假设有一如图4b所示的标注图像，那么该标注图像的第一评价值可以例如是用户a针对图像的内容进行评分后的评分数据，如：主体完整性85分，主体位置合理性90分，色彩丰富度评分95分；也可以例如是用户a和用户b分别进行评分后，根据两者的评分数据得到的最终评分数据。
[0062]
s302，通过图像评价模型对标注图像进行特征提取，得到标注图像的图像特征，并通过图像评价模型对图像特征进行分析处理，得到标注图像的第二评价值。
[0063]
在一个实施例中，当图像评价模型是基于孪生网络模块的任一特征提取分支(以下简称孪生网络分支)构建的时，图像评价模型可通过该孪生网络分支对标注图像进行特征提取，得到图像特征，然后利用第二特征解析模块对图像特征进行解析，得到该标注图像的第二评价值。
[0064]
s303，基于第一评价值和第二评价值对图像评价模型进行训练，得到训练后的图像评价模型。
[0065]
在一个实施例中，当第一评价值为分布分数时，图像处理设备在对图像评价模型进行训练的过程中，所用的损失函数可以例如是相似度度量损失函数(earth mover’s loss)，相似度度量为两个分布之间的距离，earth mover’s loss主要是通过度量两个分布之间的距离，然后将该距离与距离阈值进行比较，以此实现对图像评价模型的训练；当第一评价值为单个分数时，图像处理设备在对图像评价模型进行训练的过程中所用的第二损失
函数可以沿用交叉熵损失函数，也可以将单个分数按正态分布模拟转化为分布分数之后使用上述earth mover’s loss。
[0066]
在又一个实施例中，假设标注图像a的第一评价值为95分，第二评价值为70分，图像处理设备可采用第二损失函数根据第一评价值和第二评价值，对图像评价模型进行训练，尤其是对图像评价模型中的孪生网络分支进行训练，以得到适用于图像评价过程的特征提取模块，进而得到训练后的图像评价模型。由此可见，当图像评价模型是基于训练后的孪生网络模块的任一特征提取分支构建时，图像处理设备对图像评价模型的训练，主要是对训练后的孪生网络模块的其中一个网络分支的权重进行微调，即：在图像评价模型的训练过程中，图像处理设备仅需将该训练后的任一网络分支的参数进行小幅度调整，便可得到用于在图像评价过程中对待处理图像进行特征提取的网络模块，上述训练方法提升了图像评价模型的训练过程中的训练收敛速度，其中，训练收敛是指：利用损失函数得到的损失值不断缩小，直至达到预期值的过程。
[0067]
本技术实施例利用评分比较的方法，通过少量标注有第一评价值的标注图像输入至图像评价模型进行训练，以进一步地对孪生网络模块的参数进行调整，得到训练后的图像评价模型，提升了图像处理的速度，同时保留了图像评价模型的评分易操作性。
[0068]
请参见图5，图5是本发明实施例提供的一种图像处理方法，如图5所示，该方法包括：
[0069]
s501，获取待处理图像。
[0070]
在一个实施例中，待处理图像可以是任意一个需要进行图像评价处理的图像，如：杂志封面选取过程中，该杂志包括的所有图像。另一个实施例中，待处理图像还可是任意需要进行视频评价处理的视频中的图像，如：视频筛选过程中，图像处理设备对该视频进行抽帧后得到的视频画面。
[0071]
s502，通过图像评价模型对待处理图像进行图像评价处理，得到待处理图像的评价值。
[0072]
在一个实施例中，当图像评价模型基于孪生网络模块的任一特征提取分支进行构建得到时，该图像评价模型可用于对单个的待处理图像进行图像评价处理，可见，本实施例提供的方法使得图像评价模型中的孪生网络模块不再依赖于成对数据的比较。举例来说，当用户a需要对某张图像进行评分时，可调用该图像评价模型直接对该图像进行处理，以得到该图像的评价值，并不需要将该图像与另一图像组成一对有优劣区分的图像对之后再进行图像评价处理。
[0073]
在又一个实施例中，当图像评价模型是基于整个训练后的孪生网络模块构建得到时，可用于对包括两个子图像的待处理图像进行图像评价处理，该待处理图像中包括的两个子图像可以为任意两个图像。举例来说，假设摄影大赛中，需要将参赛作品进行两两比较，胜出者可晋级下一轮比赛。若将用户a上传的参赛图像1和用户b上传的参赛图像2组成了一对比拼作品，那么，可调用图像评价模型对参赛图像1和参赛图像2进行评价处理，以得到这一对比拼作品的评价值。那么，在此情况下，评价值可以是每个参赛图像的各个维度的评分结果，如：参赛图像1，亮度95分，色彩鲜艳度75分；参赛图像2，亮度89分，色彩鲜艳度96分；评价值也可是各个维度下评分较高的图像名称，如：“亮度：参赛图像1，色彩鲜艳度：参赛图像2”(即，亮度更佳的是参赛图像1，色彩鲜艳度更佳的是参赛图像2)；可见，此类图像
评价模型的构建方式可有效提高图像评价模型对待处理图像进行图像评价处理速度。
[0074]
本技术实施例提供的图像处理方法通过获取待处理图像，然后调用图像评价模型对该待处理图像进行评价处理，得到待处理图像的评价值时，由于本技术采用的图像评价模型是基于训练后的孪生网络模块构建的，因此，本技术的图像评价模型具有较客观的图像评价体系，进而使得本技术提供的图像处理方法提高了图像处理的泛化性。
[0075]
基于上述图像处理方法实施例的描述，本技术实施例还公开了一种图像处理装置，所述图像处理装置可以是运行于上述所提及的服务器中的一个计算机程序(包括程序代码)。该图像处理装置可以执行图1、图3或图5所示的方法。请参见图6，所述图像处理装置60至少可以包括：获取单元601以及处理单元602。
[0076]
获取单元601，用于获取待处理图像；
[0077]
处理单元602，用于通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值；
[0078]
其中，所述图像评价模型基于训练后的孪生网络模块构建，所述训练后的孪生网络模块基于图像样本对的评价结果对孪生网络模块进行训练得到，所述评价结果用于指示所述图像样本对中正样本和负样本的评价等级，所述评价结果基于所述图像样本对的融合特征得到，所述融合特征基于正样本特征和负样本特征得到，所述正样本特征采用所述孪生网络模块的第一特征提取分支对所述正样本进行特征提取得到，所述负样本特征采用所述孪生网络模块的第二特征提取分支对所述负样本进行特征提取得到。
[0079]
在一种实施方式中，所述图像处理装置60还包括训练单元603；在所述处理单元602执行通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值之前，所述训练单元603用于执行：
[0080]
获取图像样本对，所述图像样本对包括所述正样本和所述负样本；
[0081]
通过当前孪生网络模块的第一特征提取分支对所述图像样本对中正样本进行特征提取得到正样本特征，并通过所述当前孪生网络模块中的第二特征提取分支对所述图像样本对中负样本进行特征提取得到负样本特征；
[0082]
对所述正样本特征和所述负样本特征进行融合处理，得到所述图像样本对的融合特征，并基于所述融合特征得到所述图像样本对的评价结果，所述评价结果用于指示所述图像样本对中正样本和负样本的评价等级；
[0083]
基于所述评价结果对所述当前孪生网络模块进行训练，得到训练后的孪生网络模块；
[0084]
所述处理单元602，还具体用于：基于所述训练后的孪生网络模块，构建所述图像评价模型。
[0085]
在又一种实施方式中，所述处理单元602在执行基于所述训练后的孪生网络模块，构建所述图像评价模型时，具体用于：基于所述训练后的孪生网络模块的任一特征提取分支，构建所述图像评价模型。
[0086]
在又一种实施方式中，在处理单元602执行所述基于所述训练后的孪生网络模块，构建所述图像评价模型之后，所述训练单元603，还用于执行：
[0087]
获取标注样本，所述标注样本包括标注图像以及所述标注图像的第一评价值，所述第一评价值是通过用户对所述标注图像进行标注得到的；
[0088]
通过所述图像评价模型对所述标注图像进行特征提取，得到所述标注图像的图像特征，并通过所述图像评价模型对所述图像特征进行分析处理，得到所述标注图像的第二评价值；
[0089]
基于所述第一评价值和所述第二评价值对所述图像评价模型进行训练，得到训练后的图像评价模型；
[0090]
那么，所述处理单元602在执行所述通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值时，具体用于执行：
[0091]
通过所述训练后的图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值。
[0092]
在又一种实施方式中，所述获取单元601在获取图像样本对时，具体用于执行：
[0093]
获取图像集群，所述图像集群包括多个图像；将所述图像集群中用户选取的图像作为正样本；在所述图像集群中除所述正样本以外的图像中确定一个负样本；生成包含所述正样本和所述负样本的图像样本对。
[0094]
在又一种实施方式中，所述获取单元601在所述图像集群中除所述正样本以外的图像中确定一个负样本时，具体用于执行：
[0095]
获取所述正样本与所述图像集群中任一图像之间的相似度；在相似度小于相似度阈值的图像中选取所述负样本。
[0096]
在又一种实施方式中，所述图像样本对所属图像样本集包括n个图像样本对，n为大于1的整数；所述图像样本对为所述图像样本集中第m个样本对，1≤m≤n，m为整数；当m＝1时，所述当前孪生网络模块为所述孪生网络模块；当1<m≤n时，所述当前孪生网络模块为第m
‑
1次训练后得到的孪生网络模块；
[0097]
所述训练单元603在执行基于所述评价结果对所述当前孪生网络模块进行训练，得到训练后的孪生网络模块之后，还用于执行：对所述m执行加1操作，并触发执行所述获取图像样本对。
[0098]
根据本技术的一个实施例，图1、图3和图5所示的方法所涉及各个步骤可以是由图6所示的图像处理装置60中的各个单元来执行的。例如，图1所示的步骤s101至步骤s104可由图6所述的图像处理装置60中训练单元603来执行，步骤s105可由图6所示的图像处理装置60中的处理单元602来执行；图3所示的步骤s301至步骤s303可由图6所示的图像处理装置60中的训练单元603来执行，步骤s304可由图6所示的图像处理装置60中的处理单元602来执行；再如，图5所示的步骤s501可由图6所述的图像处理装置60中获取单元601来执行，步骤s502可由图6所示的图像处理装置60中的处理单元602来执行。
[0099]
根据本技术的另一个实施例，图6所示的图像处理装置60中的各个单元是基于逻辑功能划分的，上述各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。在本技术的其它实施例中，上述基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0100]
根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运
行能够执行如图1、图3或图5所示的方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的图像处理装置60，以及来实现本技术实施例的图像处理方法、孪生网络模块训练方法和图像评价模型训练方法。所述计算机程序可以记载于例如计算机存储介质上，并通过计算机存储介质装载于上述计算设备中，并在其中运行。
[0101]
在本技术实施例中，获取单元601获取待处理图像，然后处理单元602通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值，其中，图像评价模型基于训练后的孪生网络模块构建，训练后的孪生网络模块基于图像样本对的评价结果对孪生网络模块进行训练得到，评价结果用于指示图像样本对中正样本和负样本的评价等级，评价结果基于图像样本对的融合特征得到，融合特征基于正样本特征和负样本特征得到，正样本特征采用孪生网络模块的第一特征提取分支对正样本进行特征提取得到，负样本特征采用孪生网络模块的第二特征提取分支对负样本进行特征提取得到，可以理解的是，由于特征提取过程采用了孪生网络对图像样本对进行处理，使得基于孪生网络建立的模型具备学习图像之间细微差别的能力，增强了图像处理的泛化性。
[0102]
基于上述方法实施例以及装置实施例的描述，本技术实施例还提供一种图像处理设备。请参见图7，该图像处理设备70至少包括处理器701、输入接口702、以及计算机存储介质703，且图像处理设备70内的处理器701、输入接口702以及计算机存储介质703可通过总线或其他方式连接。
[0103]
所述计算机存储介质703是计算机设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质703既可以包括图像处理设备中的内置存储介质，当然也可以包括图像处理设备所支持的扩展存储介质。计算机存储介质703提供存储空间，该存储空间存储了图像处理设备的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non
‑
volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。所述处理器701(或称cpu(central processing unit，中央处理器))是图像处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
[0104]
在一个实施例中，可由处理器701加载并执行计算机存储介质703中存放的一条或多条指令，以实现上述有关图1、图3和图5所示的方法实施例中的相应方法步骤；具体实现中，计算机存储介质703中的一条或多条指令由处理器701加载并执行如下步骤：
[0105]
通过输入接口702获取待处理图像；
[0106]
通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值；
[0107]
其中，所述图像评价模型基于训练后的孪生网络模块构建，所述训练后的孪生网络模块基于图像样本对的评价结果对孪生网络模块进行训练得到，所述评价结果用于指示所述图像样本对中正样本和负样本的评价等级，所述评价结果基于所述图像样本对的融合特征得到，所述融合特征基于正样本特征和负样本特征得到，所述正样本特征采用所述孪生网络模块的第一特征提取分支对所述正样本进行特征提取得到，所述负样本特征采用所述孪生网络模块的第二特征提取分支对所述负样本进行特征提取得到。
[0108]
在一种实施方式中，在计算机存储介质703中所述通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值指令执行之前，所述处理器还用于加载并执行：
[0109]
获取图像样本对，所述图像样本对包括所述正样本和所述负样本；
[0110]
通过当前孪生网络模块的第一特征提取分支对所述图像样本对中正样本进行特征提取得到正样本特征，并通过所述当前孪生网络模块中的第二特征提取分支对所述图像样本对中负样本进行特征提取得到负样本特征；
[0111]
对所述正样本特征和所述负样本特征进行融合处理，得到所述图像样本对的融合特征，并基于所述融合特征得到所述图像样本对的评价结果，所述评价结果用于指示所述图像样本对中正样本和负样本的评价等级；
[0112]
基于所述评价结果对所述当前孪生网络模块进行训练，得到训练后的孪生网络模块；
[0113]
基于所述训练后的孪生网络模块，构建所述图像评价模型。
[0114]
在又一种实施方式中，计算机存储介质703中所述基于所述训练后的孪生网络模块，构建图像评价模型指令，具体由处理器701加载并执行：基于所述训练后的孪生网络模块的任一特征提取分支，构建所述图像评价模型。
[0115]
在又一种实施方式中，在计算机存储介质703中所述基于所述训练后的孪生网络模块，构建所述图像评价模型指令执行之后，所述处理器701还用于加载并执行：
[0116]
获取标注样本，所述标注样本包括标注图像以及所述标注图像的第一评价值，所述第一评价值是通过用户对所述标注图像进行标注得到的；
[0117]
通过所述图像评价模型对所述标注图像进行特征提取，得到所述标注图像的图像特征，并通过所述图像评价模型对所述图像特征进行分析处理，得到所述标注图像的第二评价值；
[0118]
基于所述第一评价值和所述第二评价值对所述图像评价模型进行训练，得到训练后的图像评价模型；
[0119]
所述通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值，包括：
[0120]
通过所述训练后的图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值。
[0121]
在又一种实施方式中，计算机存储介质703中的所述获取图像样本对指令，具体由处理器701加载并执行：
[0122]
获取图像集群，所述图像集群包括多个图像；
[0123]
将所述图像集群中用户选取的图像作为正样本；
[0124]
在所述图像集群中除所述正样本以外的图像中确定一个负样本；
[0125]
生成包含所述正样本和所述负样本的图像样本对。
[0126]
在又一种实施方式中，计算机存储介质703中的所述在所述图像集群中除所述正样本以外的图像中确定一个负样本指令，具体由处理器701加载并执行：
[0127]
获取所述正样本与所述图像集群中任一图像之间的相似度；
[0128]
在相似度小于相似度阈值的图像中选取所述负样本。
[0129]
在又一种实施方式中，所述图像样本对所属图像样本集包括n个图像样本对，n为大于1的整数；所述图像样本对为所述图像样本集中第m个样本对，1≤m≤n，m为整数；当m＝1时，所述当前孪生网络模块为所述孪生网络模块；当1<m≤n时，所述当前孪生网络模块为第m
‑
1次训练后得到的孪生网络模块；
[0130]
计算机存储介质703中的所述基于所述评价结果对所述当前孪生网络模块进行训练，得到训练后的孪生网络模块指令执行之后，处理器701还用于加载并执行：
[0131]
对所述m执行加1操作，并触发执行所述获取图像样本对。
[0132]
在本技术实施例中，输入接口702获取待处理图像，然后处理器701通过图像评价模型对所述待处理图像进行图像评价处理，得到所述待处理图像的评价值，其中，图像评价模型基于训练后的孪生网络模块构建，训练后的孪生网络模块基于图像样本对的评价结果对孪生网络模块进行训练得到，评价结果用于指示图像样本对中正样本和负样本的评价等级，评价结果基于图像样本对的融合特征得到，融合特征基于正样本特征和负样本特征得到，正样本特征采用孪生网络模块的第一特征提取分支对正样本进行特征提取得到，负样本特征采用孪生网络模块的第二特征提取分支对负样本进行特征提取得到，可以理解的是，由于特征提取过程采用了孪生网络对图像样本对进行处理，使得基于孪生网络建立的模型具备学习图像之间细微差别的能力，增强了图像处理的泛化性。
[0133]
本技术实施例还提供了一种计算机存储介质，该计算机存储介质中存储了上述图像处理方法的计算机程序，该计算机程序包括程序指令，当一个或多个处理器加载并执行该程序指令，可以实现实施例中对图像处理方法的描述，在此不再赘述。对采用相同方法的有益效果的描述，在此不再赘述。可以理解的是，程序指令可以被部署在一个或多个能够相互通信的设备上执行。
[0134]
需要说明的是，根据本技术的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。图像处理设备中的处理器从计算机可读存储介质读取该计算机指令，然后执行该计算机指令，进而使得该图像处理设备能够执行上述图1、图3和图5所示的图像处理方法实施例方面的各种可选方式中提供的方法。
[0135]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可存储于计算机可读取存储介质中，该计算机程序在执行时，可包括如上述图像处理方法的实施例的流程。其中，所述的计算机可读取存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0136]
以上所揭露的仅为本技术的局部实施例而已，当然不能以此来限定本技术之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或局部流程，并依本技术权利要求所作的等同变化，仍属于发明所涵盖的范围。