图像处理模型训练方法、图像处理方法、设备及存储介质与流程

1.本技术涉及数据处理技术领域，具体而言，涉及一种图像处理模型训练方法、图像处理方法、设备及存储介质。


背景技术：

2.随着消费水平的提高，越来越多的人开始注重护肤，目前已有的皮肤检测方式包括人工检测和仪器检测，可用于毛孔大小检测、泪沟严重程度检测、皱纹严重程度检测等。
3.对于泪沟严重程度检测，人工检测主要是人工主观给定泪沟的无、轻、中、重等级，仪器检测主要是采用特征提取方式提取图像特征，根据图像特征对泪沟进行无、轻、中、重分级。
4.然而，由于泪沟程度具有较大的模糊性，人工检测只能大概给出等级，科学性与客观性不足；仪器检测所提取的特征与实际严重程度在很大程度上不相关，对泪沟评价的精度较低。


技术实现要素：

5.本技术的目的在于，针对上述现有技术中的不足，提供一种图像处理模型训练方法、图像处理方法、设备及存储介质，以提高泪沟评价精度。
6.为实现上述目的，本技术实施例采用的技术方案如下：
7.第一方面，本技术一实施例提供了一种图像处理模型训练方法，包括：
8.获取多个泪沟图像样本，每个所述泪沟图像样本标注有泪沟监督数据以及所述泪沟监督数据对应的特征图监督数据，所述泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，所述第一标注分数表征所述泪沟图像样本中泪沟的严重程度；
9.根据所述多个泪沟图像样本进行模型训练，得到图像处理模型。
10.可选地，所述特征图监督数据通过如下步骤得到：
11.对所述第一标注分数进行归一化处理，得到泪沟映射分数；
12.采用预设的激活函数对所述泪沟映射分数进行处理，得到所述特征图监督数据；
13.所述泪沟监督数据通过如下步骤得到：
14.对所述特征图监督数据进行全局平均池化处理，得到所述泪沟监督数据。
15.可选地，所述对所述第一标注分数进行归一化，得到泪沟映射分数之前，所述方法还包括：
16.针对每个所述泪沟图像样本，随机确定是否对所述泪沟图像样本进行方格拼接处理；
17.若是，则从所述多个泪沟图像样本中随机获取预设数量的其他泪沟图像样本，并将所述其他泪沟图像样本和所述泪沟图像样本拼接为方格；
18.所述对所述第一标注分数进行归一化处理，得到泪沟映射分数，包括：
19.对所述第一标注分数进行归一化处理，获取第一泪沟映射分数；
20.获取所述方格中所述其他泪沟图像样本的第二标注分数，所述第二标注分数表征所述其他泪沟图像样本中泪沟的严重程度；
21.对所述第二标注分数进行归一化处理，获取第二泪沟映射分数，其中，所述泪沟映射分数包括所述第一泪沟映射分数和所述第二泪沟映射分数。
22.可选地，所述根据所述多个泪沟图像样本进行模型训练，得到图像处理模型，包括：
23.针对每个所述泪沟图像样本，根据预设的神经网络模型对所述泪沟图像样本进行处理，获取特征图输出数据；
24.对所述特征图输出数据进行全局平均池化处理，获取所述特征图输出数据对应的泪沟输出数据；
25.根据所述泪沟输出数据和所述泪沟监督数据，获取第一损失；
26.根据所述特征图输出数据和所述特征图监督数据，获取第二损失；
27.根据所述第一损失和第二损失进行模型训练，得到所述图像处理模型。
28.可选地，所述根据所述第一损失和第二损失进行模型训练，得到所述图像处理模型，包括：
29.根据预设排序方式，对多个所述泪沟图像样本标注的多个泪沟监督数据进行排序，并进行两两组合，获取多个监督数据组合；
30.针对每个所述监督数据组合，根据所述监督数据组合中的第一泪沟监督数据和第二泪沟监督数据，获取所述监督数据组合对应的组合子损失；
31.获取多个所述监督数据组合对应的多个所述组合子损失的和值，并根据所述和值，获取组合排序损失；
32.根据所述第一损失、第二损失以及所述组合排序损失，进行模型训练，得到所述图像处理模型。
33.可选地，所述针对每个所述监督数据组合，根据所述监督数据组合中的第一泪沟监督数据和第二泪沟监督数据，获取所述监督数据组合对应的组合排序子损失，包括：
34.计算所述第一泪沟监督数据和所述第二泪沟监督数据的第一差值；
35.计算所述第一泪沟监督数据对应的第一泪沟输出数据，和所述第二泪沟监督数据对应的第二泪沟输出数据的第二差值；
36.若所述第一差值为0，则根据loss＝
‑
0.5*log
e
(1
‑
d)
‑
0.5*log
e
(d)，获取所述组合排序子损失；
37.否则，根据loss＝
‑
log
e
(d)，获取所述组合排序子损失；
38.其中，d为所述第二差值，loss为所述组合排序子损失。
39.第二方面，本技术另一实施例提供了一种图像处理方法，包括：
40.获取待处理泪沟图像；
41.根据预先训练的图像处理模型对所述待处理泪沟图像进行处理，获取所述待处理泪沟图像对应的泪沟输出数据，其中，所述图像处理模型是根据多个泪沟图像样本训练得到的，每个所述泪沟图像样本标注有泪沟监督数据以及所述泪沟监督数据对应的特征图监督数据，所述泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，所述第一标注分数表征所述泪沟图像样本中泪沟的严重程度；
42.根据所述待处理泪沟图像对应的泪沟输出数据，获取所述待处理泪沟图像中泪沟的预测分数。
43.第三方面，本技术另一实施例提供了一种图像处理模型训练装置，包括：
44.获取模块，用于获取多个泪沟图像样本，每个所述泪沟图像样本标注有泪沟监督数据以及所述泪沟监督数据对应的特征图监督数据，所述泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，所述第一标注分数表征所述泪沟图像样本中泪沟的严重程度；
45.训练模块，用于根据所述多个泪沟图像样本进行模型训练，得到图像处理模型。
46.可选地，还包括：
47.处理模块，用于对所述第一标注分数进行归一化处理，得到泪沟映射分数，采用预设的激活函数对所述泪沟映射分数进行处理，得到所述特征图监督数据；对所述特征图监督数据进行全局平均池化处理，得到所述泪沟监督数据。
48.可选地，还包括：
49.确定模块，用于针对每个所述泪沟图像样本，随机确定是否对所述泪沟图像样本进行方格拼接处理；
50.若是，所述获取模块，还用于从所述多个泪沟图像样本中随机获取预设数量的其他泪沟图像样本，并将所述其他泪沟图像样本和所述泪沟图像样本拼接为方格；
51.所述获取模块，具体用于：
52.对所述第一标注分数进行归一化处理，获取第一泪沟映射分数；
53.获取所述方格中所述其他泪沟图像样本的第二标注分数，所述第二标注分数表征所述其他泪沟图像样本中泪沟的严重程度；
54.对所述第二标注分数进行归一化处理，获取第二泪沟映射分数，其中，所述泪沟映射分数包括所述第一泪沟映射分数和所述第二泪沟映射分数。
55.可选地，所述训练模块，具体用于：
56.针对每个所述泪沟图像样本，根据预设的神经网络模型对所述泪沟图像样本进行处理，获取特征图输出数据；
57.对所述特征图输出数据进行全局平均池化处理，获取所述特征图输出数据对应的泪沟输出数据；
58.根据所述泪沟输出数据和所述泪沟监督数据，获取第一损失；
59.根据所述特征图输出数据和所述特征图监督数据，获取第二损失；
60.根据所述第一损失和第二损失进行模型训练，得到所述图像处理模型。
61.可选地，所述训练模块，具体用于：
62.根据预设排序方式，对多个所述泪沟图像样本标注的多个泪沟监督数据进行排序，并进行两两组合，获取多个监督数据组合；
63.针对每个所述监督数据组合，根据所述监督数据组合中的第一泪沟监督数据和第二泪沟监督数据，获取所述监督数据组合对应的组合子损失；
64.获取多个所述监督数据组合对应的多个所述组合子损失的和值，并根据所述和值，获取组合排序损失；
65.根据所述第一损失、第二损失以及所述组合排序损失，进行模型训练，得到所述图
像处理模型。
66.可选地，所述训练模块，具体用于：
67.计算所述第一泪沟监督数据和所述第二泪沟监督数据的第一差值；
68.计算所述第一泪沟监督数据对应的第一泪沟输出数据，和所述第二泪沟监督数据对应的第二泪沟输出数据的第二差值；
69.若所述第一差值为0，则根据loss＝
‑
0.5*log
e
(1
‑
d)
‑
0.5*log
e
(d)，获取所述组合排序子损失；
70.否则，根据loss＝
‑
log
e
(d)，获取所述组合排序子损失；
71.其中，d为所述第二差值，loss为所述组合排序子损失。
72.第四方面，本技术另一实施例提供了一种图像处理装置，包括：
73.获取模块，用于获取待处理泪沟图像；
74.处理模块，用于根据预先训练的图像处理模型对所述待处理泪沟图像进行处理，获取所述待处理泪沟图像对应的泪沟输出数据，其中，所述图像处理模型是根据多个泪沟图像样本训练得到的，每个所述泪沟图像样本标注有泪沟监督数据以及所述泪沟监督数据对应的特征图监督数据，所述泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，所述第一标注分数表征所述泪沟图像样本中泪沟的严重程度；
75.所述获取模块，还用于根据所述待处理泪沟图像对应的泪沟输出数据，获取所述待处理泪沟图像中泪沟的预测分数。
76.第五方面，本技术另一实施例提供了一种图像处理模型训练设备，包括：包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当图像处理模型训练设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行第一方面任一项所述的方法。
77.第六方面，本技术另一实施例提供了一种图像处理设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的计算机程序，当图像处理设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述计算机程序，以执行第二方面所述的方法。
78.第七方面，本技术另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面和第二方面任一项所述的方法。
79.本技术的有益效果是：
80.本技术提供的图像处理模型训练方法、图像处理方法、设备及存储介质，其中，图像处理模型训练方法包括：获取多个泪沟图像样本，每个泪沟图像样本标注有泪沟监督数据以及泪沟监督数据对应的特征图监督数据，泪沟监督数据用于指示泪沟图像样本中泪沟的第一标注分数，第一标注分数表征泪沟图像样本中泪沟的严重程度，根据多个泪沟图像样本进行模型训练，得到图像处理模型。在本技术中，通过对多个泪沟图像样本进行泪沟监督数据和特征图监督数据的标注，以建模得到图像处理模型，提高了泪沟评价的精度。
附图说明
81.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附
图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
82.图1示出了本技术实施例提供的图像处理模型训练方法的流程示意图一；
83.图2示出了本技术实施例提供的图像处理模型训练方法的流程示意图二；
84.图3示出了本技术实施例提供的方格拼接处理的示意图；
85.图4示出了本技术实施例提供的图像处理模型训练方法的流程示意图三；
86.图5示出了本技术实施例提供的图像处理模型训练方法的流程示意图四；
87.图6示出了本技术实施例提供的图像处理方法的流程示意；
88.图7示出了本技术实施例提供的图像处理模型训练装置的结构示意图；
89.图8示出本技术实施例提供的图像处理装置的结构示意图；
90.图9示出了本技术实施例提供的图像处理模型训练设备的结构示意图；
91.图10示出了本技术实施例提供的图像处理设备的结构示意图。
具体实施方式
92.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
93.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
94.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
95.对于泪沟严重程度检测，现有技术提供了两种检测方式，一种是人工检测，主要是人工主观给定泪沟的无、轻、中、重等级，另一种是仪器检测，主要利用传统方法提取特征，如：尺度不变特征转换(scale
‑
invariant feature transform，sift)、方向梯度直方图(histogram of oriented gradient，hog)、颜色特征、纹理特征、形状特征等，或者利用卷积神经网络(convolutional neural networks，cnn)提取特征来对泪沟程度进行无、轻、中、重分级。
96.然而，由于泪沟程度具有较大的模糊性，人工也只能大概给出等级，科学性与客观性不足，而特征提取泪沟的严重程度也大多差强人意，实际严重程度与提取特征不相关，且泪沟的分级大多也只能给到4级，无法量化泪沟的实际分数，综上，现有的泪沟评价方法精度较低。
97.基于此，本技术提供了一种图像处理模型训练方法和图像处理方法，通过对多个泪沟图像样本进行泪沟监督数据和特征图监督数据的标注，进行高质量的建模，得到图像处理模型，在评价泪沟时，采用该图像处理模型对待处理泪沟图像进行处理，得到待处理泪沟图像中泪沟的预测分数，从而通过分数对泪沟进行衡量，提高了泪沟评价的精度。
98.下面结合图1至图4实施例对本技术提供的图像处理模型训练方法进行说明。
99.图1示出了本技术实施例提供的图像处理模型训练方法的流程示意图一，本实施例的执行主体可以为图像处理模型训练设备，例如可以为终端设备、服务器等具备数据处理能力的设备。
100.如图1所示，该方法可以包括：
101.s101、获取多个泪沟图像样本。
102.在实际应用中，为对面部上的泪沟进行评价，可以通过拍摄得到多个泪沟图像样本，为确保样本数据的丰富性，多个泪沟图像样本可以包括不同年龄段、不同性别的图像样本，并且包含不同类型的泪沟，例如，萎缩型泪沟、凸起型泪沟和松弛型泪沟等。
103.每个泪沟图像样本标注有泪沟监督数据以及泪沟监督数据对应的特征图监督数据，泪沟监督数据用于指示泪沟图像样本中泪沟的第一标注分数，第一标注分数表征泪沟图像样本中泪沟的严重程度。
104.需要说明的是，泪沟监督数据和特征图监督数据是将第一标注分数映射到隐空间的表示，泪沟监督数据可以是一维的表示，泪沟监督数据对应的特征图监督数据可以是二维的表示，例如，32张图像共有32个泪沟监督数据(隐向量监督数据)，记为：[32，1]，32张图像共有32个特征图监督数据(隐向量特征图监督数据)，记为：[32，h，w]，其中，h、w分别表示像素横坐标和纵坐标。
[0105]
其中，第一标注分数可以是由专业医生和普通群众共同决定的，在一可能的实现中，可以由专业医生从获取到的多个泪沟图像样本中挑选能反映泪沟程度的典型数据确定分级表，以7种程度分级(等级1至等级7)为例，算分上采用百分制，分数与分级可以具有预设的映射关系，例如等级0：100分、等级1：85
‑
99、等级2：70
‑
84、等级3：55
‑
69、等级4：40
‑
54、等级5：25
‑
39、等级6：2
‑
24，普通群众用来标注分数，标注以分级表为参考，进行分数的估计，通常可以由3个普通群众标注1个泪沟图像样本，取3个标注分数的平均值作为泪沟图像样本中泪沟的第一标注分数，即可得到较为离散的泪沟分数。
[0106]
在该示例中，为了高质量衡量泪沟的严重程度，通过采集不同年龄段和性别的数据，并对数据进行归纳分类、定级与算分(采用百分制)，利用本算法解决人类对于泪沟程度标注分数的模糊不清，使其结果更具有客观的区分度，确保了泪沟精度的区分度。
[0107]
示例性地，第一标注分数与泪沟的严重程度可以呈反比，第一标注分数越高，泪沟越不严重，第一标注分数越低，泪沟越严重。当然，以上是对第一标注分数的一种示例性的说明，本实施例不以此限。
[0108]
可选地，特征图监督数据通过如下步骤得到：
[0109]
对第一标注分数进行归一化处理，得到泪沟映射分数。
[0110]
采用预设的激活函数对泪沟映射分数进行处理，得到特征图监督数据。
[0111]
泪沟监督数据通过如下步骤得到：
[0112]
对特征图监督数据进行全局平均池化处理，得到泪沟监督数据。
[0113]
其中，该步骤中的归一化处理可以指的是将第一标注分数映射到[0.01，0.99]之间，映射公式可以为：
[0114][0115]
scoresrc为第一标注分数，scoreout为泪沟映射分数。
[0116]
当然，以上提供的映射公式仅仅为一种示例，可以根据实际情况，扩展多种映射公式，本实施例不对映射公式进行特别限定。
[0117]
该激活函数可以为sigmoid函数，采用预设的激活函数对泪沟映射分数进行处理可以为采用sigmoid函数的逆过程对泪沟映射分数进行处理。
[0118]
其中，sigmoid函数的定义为：
[0119][0120]
其逆过程为：
[0121][0122]
其中，x为特征图监督数据，s(x)为泪沟映射分数，取值范围在(0，1)，为了避免训练发散，本方案可以将其限制在[0.01，0.99]。
[0123]
在本步骤中，可以通过逆sigmoid模块对泪沟映射分数进行处理，得到特征图监督数据，然后通过全局平均池化模块(globalaveragepool)对特征图监督数据进行全局平均池化处理，得到泪沟监督数据。
[0124]
s102、根据多个泪沟图像样本进行模型训练，得到图像处理模型。
[0125]
将多个泪沟图像样本输入到预设的卷积神经网络中，通过迭代优化网络权重，可以得到图像处理模型，其中，预设的卷积神经网络可以为u型网络，例如unet网络。
[0126]
综上，本实施例的图像处理模型训练方法，包括：获取多个泪沟图像样本，每个泪沟图像样本标注有泪沟监督数据以及泪沟监督数据对应的特征图监督数据，泪沟监督数据用于指示泪沟图像样本中泪沟的第一标注分数，第一标注分数表征泪沟图像样本中泪沟的严重程度，根据多个泪沟图像样本进行模型训练，得到图像处理模型。通过对多个泪沟图像样本进行泪沟监督数据和特征图监督数据的标注，以建模得到图像处理模型，提高了泪沟评价的精度。
[0127]
示例性地，在对第一标注分数进行归一化处理之前，还可以对泪沟图像样本进行预处理，图2示出了本技术实施例提供的图像处理模型训练方法的流程示意图二，如图2所示，在对第一标注分数进行归一化处理，得到泪沟映射分数之前，该方法还可以包括：
[0128]
s201、针对每个泪沟图像样本，随机确定是否对泪沟图像样本进行方格拼接处理。
[0129]
s202、从多个泪沟图像样本中随机获取预设数量的其他泪沟图像样本，并将其他泪沟图像样本和泪沟图像样本拼接为方格。
[0130]
步骤s201
‑
s202属于图像预处理的过程，可以按照一定的随机概率决定是否对每个泪沟图像样本进行方格拼接处理，例如，以0.5的随机概率决定是否进行方格拼接处理，方格拼接处理指的是将预设数量的泪沟图像样本拼接为方格，若是，则执行步骤s201，从多个泪沟图像样本中获取预设数量的其他泪沟图像样本，并将其他泪沟图像样本和该泪沟图
像样本拼接为方格。
[0131]
相应的，对第一标注分数进行归一化处理，得到泪沟映射分数，可以包括：
[0132]
对第一标注分数进行归一化处理，获取第一泪沟映射分数。
[0133]
获取方格中其他泪沟图像样本的第二标注分数，第二标注分数表征其他泪沟图像样本中泪沟的严重程度。
[0134]
对第二标注分数进行归一化处理，获取第二泪沟映射分数。
[0135]
其中，泪沟映射分数包括第一泪沟映射分数和第二泪沟映射分数。对第一标注分数和第二标注分数分别进行归一化处理，得到第一泪沟映射分数和第二泪沟映射分数。
[0136]
在本实施例，通过将真实的分数数据映射到隐空间中，在隐空间中进行泪沟程度的对比，解决了人工标注泪沟程度的模糊性、离散性，精度上与实际泪沟程度具有较大的相关性和可区分度。
[0137]
以图3为例，图3示出了本技术实施例提供的方格拼接处理的示意图，如图3所示，预设数量可以为3，该泪沟图像样本的第一标注分数为11，其他泪沟图像样本的第二标注分数分别为21、31、41，将这4张泪沟图像样本拼接为方格，然后根据上述公式(1)得到映射泪沟分数，分别为0.10、0.20、0.30、0.40。
[0138]
然后，通过逆sigmoid模块，根据公式(3)计算得到该泪沟图像样本对应的特征图监督数据，近似为
‑
2.20、
‑
1.39、
‑
0.85、
‑
0.41，再通过全局平均池化模块，对特征图监督数据进行全局平均池化处理，得到泪沟监督数据，图3中的近似值
‑
1.21。
[0139]
示例性地，若确定不进行方格拼接处理，则对第一标注分数进行归一化处理，获取第一泪沟映射分数，例如第一标注分数为26，归一化处理为0.25，再通过逆sigmoid模块，根据公式(3)计算得到该泪沟图像样本对应的特征图监督数据，如
‑
1.10，再通过全局平均池化模块，得到泪沟监督数据，即
‑
1.10。
[0140]
可选地，图像预处理还可以包括图像增强处理和/或图像缩放处理，在预处理后还可以执行步骤s201。
[0141]
在步骤s201之前，该方法还可以包括：
[0142]
对泪沟图像样本进行图像增强处理和/或图像缩放处理，得到处理后的泪沟图像样本。
[0143]
也就是说，在进行图像增强处理和/或图像缩放处理之后，可以再执行步骤s201。
[0144]
其中，图像增强处理可以包括：仿射变换、镜像映射、压缩、平滑、加噪以及调整色彩中的至少一种，通过图像增强处理可以提高图像处理的精度，以减小由于图像质量问题导致处理精度差的问题。
[0145]
图像缩放处理指的是将泪沟图像样本缩放至固定大小，例如256*256，这样在统一像素的前提下，也可以提高图像处理的精度。
[0146]
综上，本实施例的图像处理模型训练方法，还包括：随机确定是否对泪沟图像样本进行方格拼接处理，若是，则从多个泪沟图像样本中随机获取预设数量的其他泪沟图像样本，并将其他泪沟图像样本和泪沟图像样本拼接为方格，对第一标注分数进行归一化处理，获取第一泪沟映射分数，获取方格中其他泪沟图像样本的第二标注分数，第二标注分数表征所述其他泪沟图像样本中泪沟的严重程度，对第二标注分数进行归一化处理，获取第二泪沟映射分数。在本实施例，通过对泪沟图像样本进行预处理，以获取高精度的数据，提高
了图像处理的稳定性和连续性。
[0147]
示例性地，图4示出了本技术实施例提供的图像处理模型训练方法的流程示意图三，如图4所示，步骤s102，根据多个泪沟图像样本进行模型训练，得到图像处理模型，可以包括：
[0148]
s301、针对每个泪沟图像样本，根据预设的神经网络模型对泪沟图像样本进行处理，获取特征图输出数据。
[0149]
s302、对特征图输出数据进行全局平均池化处理，获取特征图输出数据对应的泪沟输出数据。
[0150]
其中，预设的神经网络模型可以为u型网络，例如unet网络，针对每个泪沟图像样本，将泪沟图像样本输入到预设的神经网络模型，对该泪沟图像样本进行处理，以获取该泪沟图像样本对应的特征图输出数据。
[0151]
然后，通过全局平均池化模块对特征图输出数据进行全局平均池化处理，得到特征图输出数据对应的泪沟输出数据，其中，泪沟输出数据和特征图输出数据是隐空间的表示，泪沟输出数据也即输出隐向量，特征图输出数据也即输出隐向量特征图。
[0152]
s303、根据泪沟输出数据和泪沟监督数据，获取第一损失。
[0153]
s304、根据特征图输出数据和特征图监督数据，获取第二损失。
[0154]
s305、根据第一损失和第二损失进行模型训练，得到图像处理模型。
[0155]
根据泪沟输出数据和泪沟监督数据，可以获取第一损失，根据特征图输出数据和特征图监督数据，可以获取第二损失，然后根据第一损失和第二损失可以进行模型训练，将所得的第一损失和第二损失通过反向传播算法进行梯度更新，迭代优化直至收敛，以得到图像处理模型。
[0156]
可选地，第一损失和第二损失可以为通过smooth l1计算得到，公式如下：
[0157][0158]
针对第一损失，y为泪沟输出数据和泪沟监督数据的差值，针对第二损失，y为特征图输出数据和特征图监督数据的差值。
[0159]
本实施例的图像处理模型训练方法，包括：针对每个泪沟图像样本，根据预设的神经网络模型对泪沟图像样本进行处理，获取特征图输出数据，对特征图输出数据进行全局平均池化处理，获取特征图输出数据对应的泪沟输出数据，根据泪沟输出数据和泪沟监督数据，获取第一损失，根据特征图输出数据和特征图监督数据，获取第二损失，根据第一损失和第二损失进行模型训练，得到图像处理模型。在本实施例，通过高精度数据的获取、高标准的分级制定与标注、高质量的算法建模，不仅保证了输出分数的稳定性和连续性，也确保了泪沟精度的区分度。
[0160]
示例性地，图5示出了本技术实施例提供的图像处理模型训练方法的流程示意图四，如图5所示，步骤s305，根据第一损失和第二损失进行模型训练，得到图像处理模型，可以包括：
[0161]
s401、根据预设排序方式，对多个泪沟图像样本标注的多个泪沟监督数据进行排序，并进行两两组合，获取多个监督数据组合。
[0162]
其中，预设排序方式可以为从大到小的排序方式，根据预设排序方式，将多个泪沟
图像样本标注的多个泪沟监督数据(隐向量监督数据)从大到小进行排序，并根据两两组合，获取多个监督数据组合。
[0163]
例如，多个泪沟图像样本的数量为n，对n个泪沟监督数据进行从大到小排序，并进行两两组合，共有个监督数据组合，若n取16，则有4千多个监督数据组合。
[0164]
s402、针对每个监督数据组合，根据监督数据组合中的第一泪沟监督数据和第二泪沟监督数据，获取监督数据组合对应的组合子损失。
[0165]
针对每个监督数据组合，可以比较第一泪沟监督数据和第二泪沟数据，然后根据第一泪沟监督数据和第二泪沟监督数据的相对大小，确定该监督数据组合对应的组合子损失函数，进而计算得到监督数据组合对应的组合子损失。
[0166]
可选地，步骤s402，可以包括：
[0167]
计算第一泪沟监督数据和第二泪沟监督数据的第一差值。
[0168]
计算第一泪沟监督数据对应的第一泪沟输出数据，和第二泪沟监督数据对应的第二泪沟输出数据的第二差值。
[0169]
若第一差值为0，则根据loss＝
‑
0.5*log
e
(1
‑
d)
‑
0.5*log
e
(d)，获取组合排序子损失。
[0170]
否则，根据loss＝
‑
log
e
(d)，获取组合排序子损失。
[0171]
其中，d为第二差值，loss为组合排序子损失。
[0172]
例如，当前选取的第一泪沟监督数据和第二泪沟监督数据分别为label_i和label_j，且label_j大于等于label_i，根据公式d＝s(output_j
‑
output_i)计算得到第一泪沟输出数据和第二泪沟输出数据的差值，其中，output_j为第一泪沟输出数据，output_i为第二泪沟输出数据，i、j表示第一泪沟监督数据和第二泪沟监督数据的按照预设排序方式进行排序的序号，例如1、4。
[0173]
若label_j与label_i相等，则根据loss＝
‑
0.5*log
e
(1
‑
d)
‑
0.5*log
e
(d)，获取组合排序子损失；若label_j与label_i不相等，根据loss＝
‑
log
e
(d)，获取组合排序子损失。
[0174]
计算第一泪沟监督数据和第二泪沟监督数据的第一差值，以及第一泪沟监督数据对应的第一泪沟输出数据和第二泪沟监督数据对应的第二泪沟输出数据的第二差值，若第一差值为0，则根据loss＝
‑
0.5*log
e
(1
‑
d)
‑
0.5*log
e
(d)，计算组合排序子损失；若第一差值不相等，则根据loss_diff＝
‑
log
e
(d)，获取组合排序子损失。
[0175]
s403、获取多个监督数据组合对应的多个组合子损失的和值，并根据和值，获取组合排序损失。
[0176]
每个监督数据组合都对应一个组合子损失，那么还可以计算多个监督数据组合对应的多个组合子损失的和值，然后根据该和值，获取组合排序损失，可选地，可以根据如下公式计算组合排序损失：
[0177]
loss_rank＝(∑loss)/(n*(n
‑
1)/2)
[0178]
其中，loss_rank为组合排序损失，∑loss为多个组合子损失的和值，n为多个泪沟图像样本的数量。
[0179]
s404、根据第一损失、第二损失以及组合排序损失，进行模型训练，得到图像处理模型。
[0180]
将第一损失、第二损失以及组合排序损失通过反向传播算进行梯度更新，迭代优
化直至收敛，输出保存迭代优化好的权重，以得到图像处理模型。
[0181]
在本实施例，基于组合排序的方法、高精度的数据分类与定级、同个人的不同时段数据以及高质量图片数据，使得本算法对于同个人连续拍摄的泪沟分数具有较高的稳定性，其中变异系数高达0.03。
[0182]
综上，本实施例的图像处理模型训练方法，根据预设排序方式，对多个泪沟图像样本标注的多个泪沟监督数据进行排序，并进行两两组合，获取多个监督数据组合，针对每个监督数据组合，根据监督数据组合中的第一泪沟监督数据和第二泪沟监督数据，获取监督数据组合对应的组合子损失，获取多个监督数据组合对应的多个组合子损失的和值，并根据和值，获取组合排序损失，根据第一损失、第二损失以及组合排序损失，进行模型训练，得到图像处理模型。在本实施例，通过对泪沟监督数据进行全排序，并将真实的分数数据映射到隐空间中，在隐空间中进行泪沟程度的对比，解决了人工标注泪沟程度的模糊性、离散性，精度上与实际泪沟程度具有较大的相关性和可区分度。
[0183]
下面结合图6实施例对本技术提供的图像处理方法进行说明。
[0184]
图6示出了本技术实施例提供的图像处理方法的流程示意，本实施例的执行主体可以为图像处理设备，例如可以为终端设备、服务器等具备数据处理能力的设备。
[0185]
如图6所示，该方法可以包括：
[0186]
s501、获取待处理泪沟图像。
[0187]
s502、根据预先训练的图像处理模型对待处理泪沟图像进行处理，获取待处理泪沟图像对应的泪沟输出数据。
[0188]
其中，图像处理模型是根据多个泪沟图像样本训练得到的，每个泪沟图像样本标注有泪沟监督数据以及泪沟监督数据对应的特征图监督数据，泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，第一标注分数表征泪沟图像样本中泪沟的严重程度。
[0189]
根据预先训练的图像处理模型对待处理泪沟图像进行处理，得到待处理泪沟图像对应的泪沟输出数据。可选地，在进行图像处理之前，还可以对待处理泪沟图像进行预处理和归一化处理，预处理包括：图像增强处理和/或图像缩放处理，以提高图像处理的精度。
[0190]
可选地，步骤s502具体包括：
[0191]
将待处理泪沟图像输入到图像处理模型，得到待处理泪沟图像对应的特征图输出数据。
[0192]
采用预设的激活函数对特征图输出数据进行处理，获取激活输出。
[0193]
对激活输出进行全局平均池化处理，获取泪沟输出数据。
[0194]
将待处理泪沟图像输入到预先训练的图像处理模型，执行网络推理输出，得到待处理泪沟图像对应的特征图输出数据(输出隐向量特征图)，然后采用预设的激活函数对特征图输出数据进行处理，获取激活输出，其中，预设的激活函数可以为sigmoid，参见公式(2)，将特征图输出数据作为x，输出s(x)，即激活输出，然后通过全局平均池化处理模块对激活输出进行全局平均化处理，获取泪沟输出数据(输出隐向量)。
[0195]
需要说明的是，关于图像处理模型的具体描述可以参见上述实施例提供的图像处理模型训练方法的相关内容，在此不再赘述。
[0196]
s503、根据待处理泪沟图像对应的泪沟输出数据，获取待处理泪沟图像中泪沟的
预测分数。
[0197]
其中，待处理泪沟图像对应的泪沟输出数据是隐空间的表示，因此，可以将根据待处理泪沟图像对应的泪沟输出数据作为scoreout，代入公式(1)，即可求取待处理泪沟图像中泪沟的预测分数，即公式(1)中的scoresrc。
[0198]
需要说明的是，根据预先得到的分级表和待处理泪沟图像中泪沟的预测分数，还可以输出泪沟分级，关于分级表具体可以参见图1实施例中的相关描述。
[0199]
综上，本实施例的图像处理方法，获取待处理泪沟图像，根据预先训练的图像处理模型对待处理泪沟图像进行处理，获取待处理泪沟图像对应的泪沟输出数据，根据待处理泪沟图像对应的泪沟输出数据，获取待处理泪沟图像中泪沟的预测分数。在本实施例，通过高质量的算法建模，对待处理泪沟图像进行处理，不仅保证了输出分数的稳定性和连续性，也确保了泪沟精度的区分度，提高了泪沟评价的精度。
[0200]
图7示出了本技术实施例提供的图像处理模型训练装置的结构示意图，该图像处理模型训练装置可以集成在图像处理模型训练设备中。如图7所示，图像处理模型训练装置60包括：
[0201]
获取模块601，用于获取多个泪沟图像样本，每个所述泪沟图像样本标注有泪沟监督数据以及所述泪沟监督数据对应的特征图监督数据，所述泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，所述第一标注分数表征所述泪沟图像样本中泪沟的严重程度；
[0202]
训练模块602，用于根据所述多个泪沟图像样本进行模型训练，得到图像处理模型。
[0203]
可选地，还包括：
[0204]
处理模块603，用于对所述第一标注分数进行归一化处理，得到泪沟映射分数，采用预设的激活函数对所述泪沟映射分数进行处理，得到所述特征图监督数据；对所述特征图监督数据进行全局平均池化处理，得到所述泪沟监督数据。
[0205]
可选地，还包括：
[0206]
确定模块604，用于针对每个所述泪沟图像样本，随机确定是否对所述泪沟图像样本进行方格拼接处理；
[0207]
若是，所述获取模块601，还用于从所述多个泪沟图像样本中随机获取预设数量的其他泪沟图像样本，并将所述其他泪沟图像样本和所述泪沟图像样本拼接为方格；
[0208]
所述获取模块601，具体用于：
[0209]
对所述第一标注分数进行归一化处理，获取第一泪沟映射分数；
[0210]
获取所述方格中所述其他泪沟图像样本的第二标注分数，所述第二标注分数表征所述其他泪沟图像样本中泪沟的严重程度；
[0211]
对所述第二标注分数进行归一化处理，获取第二泪沟映射分数，其中，所述泪沟映射分数包括所述第一泪沟映射分数和所述第二泪沟映射分数。
[0212]
可选地，所述训练模块602，具体用于：
[0213]
针对每个所述泪沟图像样本，根据预设的神经网络模型对所述泪沟图像样本进行处理，获取特征图输出数据；
[0214]
对所述特征图输出数据进行全局平均池化处理，获取所述特征图输出数据对应的
泪沟输出数据；
[0215]
根据所述泪沟输出数据和所述泪沟监督数据，获取第一损失；
[0216]
根据所述特征图输出数据和所述特征图监督数据，获取第二损失；
[0217]
根据所述第一损失和第二损失进行模型训练，得到所述图像处理模型。
[0218]
可选地，所述训练模块602，具体用于：
[0219]
根据预设排序方式，对多个所述泪沟图像样本标注的多个泪沟监督数据进行排序，并进行两两组合，获取多个监督数据组合；
[0220]
针对每个所述监督数据组合，根据所述监督数据组合中的第一泪沟监督数据和第二泪沟监督数据，获取所述监督数据组合对应的组合子损失；
[0221]
获取多个所述监督数据组合对应的多个所述组合子损失的和值，并根据所述和值，获取组合排序损失；
[0222]
根据所述第一损失、第二损失以及所述组合排序损失，进行模型训练，得到所述图像处理模型。
[0223]
可选地，所述训练模块602，具体用于：
[0224]
计算所述第一泪沟监督数据和所述第二泪沟监督数据的第一差值；
[0225]
计算所述第一泪沟监督数据对应的第一泪沟输出数据，和所述第二泪沟监督数据对应的第二泪沟输出数据的第二差值；
[0226]
若所述第一差值为0，则根据loss＝
‑
0.5*log
e
(1
‑
d)
‑
0.5*log
e
(d)，获取所述组合排序子损失；
[0227]
否则，根据loss＝
‑
log
e
(d)，获取所述组合排序子损失；
[0228]
其中，d为所述第二差值，loss为所述组合排序子损失。
[0229]
本实施例提供的图像处理模型训练装置，其实现过程和实现原理与上述实施例提供的图像处理模型训练方法类似，在此不再赘述。
[0230]
图8示出本技术实施例提供的图像处理装置的结构示意图，该图像处理装置可以集成在图像处理设备中。如图8所示，图像处理装置70包括：
[0231]
获取模块701，用于获取待处理泪沟图像；
[0232]
处理模块702，用于根据预先训练的图像处理模型对所述待处理泪沟图像进行处理，获取所述待处理泪沟图像对应的泪沟输出数据，其中，所述图像处理模型是根据多个泪沟图像样本训练得到的，每个所述泪沟图像样本标注有泪沟监督数据以及所述泪沟监督数据对应的特征图监督数据，所述泪沟监督数据用于指示所述泪沟图像样本中泪沟的第一标注分数，所述第一标注分数表征所述泪沟图像样本中泪沟的严重程度；
[0233]
所述获取模块701，还用于根据所述待处理泪沟图像对应的泪沟输出数据，获取所述待处理泪沟图像中泪沟的预测分数。
[0234]
本实施例提供的图像处理装置，其实现过程和实现原理与上述方法实施例提供的图像处理方法类似，在此不再赘述。
[0235]
图9示出了本技术实施例提供的图像处理模型训练设备的结构示意图，如图9所示，图像处理模型训练设备80包括：处理器801、存储器802和总线803，所述存储器802存储有所述处理器801可执行的计算机程序，当图像处理模型训练设备80运行时，所述处理器801与所述存储器802之间通过总线803通信，所述处理器801执行所述计算机程序，以执行
图像处理模型训练方法。
[0236]
图10示出了本技术实施例提供的图像处理设备的结构示意图，如图10所示，图像处理设备90包括：处理器901、存储器902和总线903，所述存储器902存储有所述处理器901可执行的计算机程序，当图像处理设备90运行时，所述处理器901与所述存储器902之间通过总线通信，所述处理器901执行所述计算机程序，以执行图像处理方法。
[0237]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例。
[0238]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0239]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0240]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。