皮肤区域提取模型的训练方法、直播图像处理方法及装置与流程

1.本技术涉及图像处理及直播技术领域，特别是涉及一种皮肤区域提取模型的训练方法、处理直播图像中皮肤区域的方法、装置、电子设备和计算机可读存储介质。


背景技术：

2.随着人工智能技术的发展，基于深度学习的图像处理被应用于各种领域以执行相应的图像处理任务，其中包含利用基于深度学习的皮肤区域处理模型应用于对图像中皮肤区域的处理任务中。然而，在目前的技术中，此类皮肤区域处理模型多集中于对如皮肤病理、病变或皮肤分析中，这些模型对皮肤区域的提取容易受到复杂场景的影响，其对皮肤区域的提取稳定性和准确性较低。


技术实现要素：

3.基于此，有必要针对上述技术问题，提供一种皮肤区域提取模型的训练方法、处理直播图像中皮肤区域的方法、装置、电子设备和计算机可读存储介质。
4.第一方面，本技术提供了一种皮肤区域提取模型的训练方法。所述方法包括：
5.获取包含皮肤区域的样本图像集及用于标注所述皮肤区域的标注图像集；
6.针对所述样本图像集中的样本图像，基于所述样本图像集及标注图像集，对所述样本图像进行针对图像场景的增强处理，得到增强样本图像及其标注图像；
7.基于所述增强样本图像及其标注图像，对所述增强样本图像进行针对皮肤区域亮度的第一亮度增强处理和第二亮度增强处理，得到第一模型输入图像和第二模型输入图像；
8.将所述第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型，获得所述待训练的皮肤区域提取模型输出的所述第一模型输入图像对应的第一模型输出图像和所述第二模型输入图像对应的第二模型输出图像；
9.获取表征所述第一模型输出图像和第二模型输出图像的一致性的第一模型损失，获取表征所述第一模型输出图像和第二模型输出图像各自与标注图像的一致性的第二模型损失和第三模型损失；
10.根据所述第一模型损失、第二模型损失和第三模型损失，对所述待训练的皮肤区域提取模型进行训练。
11.在其中一个实施例中，所述对所述样本图像进行针对图像场景的增强处理，包括：从所述样本图像集中获取所述样本图像的辅助图像；将所述样本图像进行尺寸放大处理，在尺寸放大的样本图像中划分辅助图像容纳区域；将所述辅助图像对应放入所述尺寸放大的样本图像中的辅助图像容纳区域中，将放入辅助图像的样本图像进行尺寸恢复处理。
12.在其中一个实施例中，所述对所述样本图像进行针对图像场景的增强处理，包括：从所述样本图像集中获取所述样本图像的辅助图像；按照一定概率将所述样本图像和辅助图像进行缩放处理后，将缩放处理后的辅助图像中的皮肤区域添加到缩放处理后的样本图
像中。
13.在其中一个实施例中，所述对所述样本图像进行针对图像场景的增强处理，包括：
14.对所述样本图像的标注图像进行腐蚀处理；根据腐蚀处理后的标注图像与腐蚀处理前的标注图像，确定所述样本图像的边缘皮肤区域；对所述样本图像的标注图像进行膨胀处理；根据膨胀处理后的标注图像与膨胀处理前的标注图像，确定所述样本图像的待填充边缘区域；根据所述边缘皮肤区域的像素值对所述样本图像的待填充边缘区域进行填充处理。
15.在其中一个实施例中，所述对所述样本图像进行针对图像场景的增强处理，包括：根据所述样本图像的标注图像，确定所述样本图像的皮肤区域；根据所述样本图像的皮肤区域的像素值统计信息，获得类肤色噪声信息；将所述类肤色噪声信息添加至所述样本图像中。
16.在其中一个实施例中，所述第一亮度增强处理或第二亮度增强处理，包括：根据所述增强样本图像的标注图像，确定所述增强样本图像的边缘皮肤区域；根据所述增强样本图像的边缘皮肤区域确定待调整图像块；对所述待调整图像块进行亮度增强处理。
17.在其中一个实施例中，所述第一亮度增强处理或第二亮度增强处理，包括：根据所述增强样本图像的标注图像，确定所述增强样本图像的边缘皮肤区域；对所述边缘皮肤区域进行亮度增强处理。
18.第二方面，本技术提供了一种处理直播图像中皮肤区域的方法。应用于终端。所述方法包括：
19.获取经训练的皮肤区域提取模型；所述皮肤区域提取模型根据如上所述的方法训练得到；
20.获得待处理的直播图像后，将所述直播图像输入所述皮肤区域提取模型，根据所述皮肤区域提取模型输出的皮肤区域预测图像，确定所述直播图像中的皮肤区域；
21.在所述直播图像中的皮肤区域添加皮肤处理效果。
22.第三方面，本技术提供了一种皮肤区域提取模型的训练装置。所述装置包括：
23.图像集获取模块，用于获取包含皮肤区域的样本图像集及用于标注所述皮肤区域的标注图像集；
24.第一增强处理模块，用于针对所述样本图像集中的样本图像，基于所述样本图像集及标注图像集，对所述样本图像进行针对图像场景的增强处理，得到增强样本图像及其标注图像；
25.第二增强处理模块，用于基于所述增强样本图像及其标注图像，对所述增强样本图像进行针对皮肤区域亮度的第一亮度增强处理和第二亮度增强处理，得到第一模型输入图像和第二模型输入图像；
26.图像输入模块，用于将所述第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型，获得所述待训练的皮肤区域提取模型输出的所述第一模型输入图像对应的第一模型输出图像和所述第二模型输入图像对应的第二模型输出图像；
27.损失获取模块，用于获取表征所述第一模型输出图像和第二模型输出图像的一致性的第一模型损失，获取表征所述第一模型输出图像和第二模型输出图像各自与标注图像的一致性的第二模型损失和第三模型损失；
28.训练处理模块，用于根据所述第一模型损失、第二模型损失和第三模型损失，对所述待训练的皮肤区域提取模型进行训练。
29.第四方面，本技术提供了一种处理直播图像中皮肤区域的装置。应用于终端。所述装置包括：
30.模型获取模块，用于获取经训练的皮肤区域提取模型；所述皮肤区域提取模型根据如上所述的方法训练得到；
31.区域确定模块，用于获得待处理的直播图像后，将所述直播图像输入所述皮肤区域提取模型，根据所述皮肤区域提取模型输出的皮肤区域预测图像，确定所述直播图像中的皮肤区域；
32.效果添加模块，用于在所述直播图像中的皮肤区域添加皮肤处理效果。
33.第五方面，本技术提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
34.获取包含皮肤区域的样本图像集及用于标注所述皮肤区域的标注图像集；针对所述样本图像集中的样本图像，基于所述样本图像集及标注图像集，对所述样本图像进行针对图像场景的增强处理，得到增强样本图像及其标注图像；基于所述增强样本图像及其标注图像，对所述增强样本图像进行针对皮肤区域亮度的第一亮度增强处理和第二亮度增强处理，得到第一模型输入图像和第二模型输入图像；将所述第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型，获得所述待训练的皮肤区域提取模型输出的所述第一模型输入图像对应的第一模型输出图像和所述第二模型输入图像对应的第二模型输出图像；获取表征所述第一模型输出图像和第二模型输出图像的一致性的第一模型损失，获取表征所述第一模型输出图像和第二模型输出图像各自与标注图像的一致性的第二模型损失和第三模型损失；根据所述第一模型损失、第二模型损失和第三模型损失，对所述待训练的皮肤区域提取模型进行训练。
35.第六方面，本技术提供了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
36.获取经训练的皮肤区域提取模型；所述皮肤区域提取模型根据如上所述的方法训练得到；获得待处理的直播图像后，将所述直播图像输入所述皮肤区域提取模型，根据所述皮肤区域提取模型输出的皮肤区域预测图像，确定所述直播图像中的皮肤区域；在所述直播图像中的皮肤区域添加皮肤处理效果。
37.第七方面，本技术提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
38.获取包含皮肤区域的样本图像集及用于标注所述皮肤区域的标注图像集；针对所述样本图像集中的样本图像，基于所述样本图像集及标注图像集，对所述样本图像进行针对图像场景的增强处理，得到增强样本图像及其标注图像；基于所述增强样本图像及其标注图像，对所述增强样本图像进行针对皮肤区域亮度的第一亮度增强处理和第二亮度增强处理，得到第一模型输入图像和第二模型输入图像；将所述第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型，获得所述待训练的皮肤区域提取模型输出的所述第一模型输入图像对应的第一模型输出图像和所述第二模型输入图像对应的第二模型输出图像；获取表征所述第一模型输出图像和第二模型输出图像的一致性的第一模型损
失，获取表征所述第一模型输出图像和第二模型输出图像各自与标注图像的一致性的第二模型损失和第三模型损失；根据所述第一模型损失、第二模型损失和第三模型损失，对所述待训练的皮肤区域提取模型进行训练。
39.第八方面，本技术提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
40.获取经训练的皮肤区域提取模型；所述皮肤区域提取模型根据如上所述的方法训练得到；获得待处理的直播图像后，将所述直播图像输入所述皮肤区域提取模型，根据所述皮肤区域提取模型输出的皮肤区域预测图像，确定所述直播图像中的皮肤区域；在所述直播图像中的皮肤区域添加皮肤处理效果。
41.上述皮肤区域提取模型的训练方法、处理直播图像中皮肤区域的方法、装置、电子设备和计算机可读存储介质，获取包含皮肤区域的样本图像集及用于标注该皮肤区域的标注图像集，基于样本图像集及标注图像集对其中的样本图像进行针对图像场景的增强处理得到增强样本图像及其标注图像，基于增强样本图像及其标注图像对该增强样本图像进行针对皮肤区域亮度的第一、第二亮度增强处理得到第一、第二模型输入图像，将第一、第二模型输入图像输入待训练的皮肤区域提取模型，获得该模型输出的第一、第二模型输出图像，获取表征第一、第二模型输出图像的一致性的第一模型损失、表征第一、第二模型输出图像各自与标注图像的一致性的第二、第三模型损失，根据第一、第二和第三模型损失对该待训练的皮肤区域提取模型进行训练。该方案基于对样本图像依次在图像场景和亮度上的增强处理并配合以相应的损失监督训练，能够训练获得可稳定、准确提取图像中完整皮肤区域的皮肤区域提取模型。
附图说明
42.图1为本技术实施例中相关方法的应用场景图；
43.图2为本技术实施例中皮肤区域提取模型的训练方法的流程示意图；
44.图3为本技术实施例中增强处理的流程示意图；
45.图4为本技术实施例中皮肤区域提取模型的处理示意图；
46.图5为本技术实施例中模型损失监督训练的流程示意图；
47.图6为本技术实施例中处理直播图像中皮肤区域的方法的流程示意图；
48.图7为本技术实施例中皮肤区域提取模型的训练装置的结构框图；
49.图8为本技术实施例中处理直播图像中皮肤区域的装置的结构框图；
50.图9为本技术实施例中电子设备的内部结构图；
51.图10为本技术另一实施例中电子设备的内部结构图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
53.本技术提供的皮肤区域提取模型的训练方法和处理直播图像中皮肤区域的方法可应用于如图1所示的应用场景中，该应用场景可以包括终端和服务器，终端通过网络与服
务器进行通信，其中，服务器可以用于执行本技术提供的皮肤区域提取模型的训练方法，将经训练的皮肤区域提取模型发送至终端进行部署，终端可以用于执行本技术提供的直播图像中皮肤区域的方法，将该经训练的皮肤区域提取模型应用于对直播图像的皮肤区域提取及后续处理中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑，服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
54.以下结合各实施例及相应附图对本技术提供的皮肤区域提取模型的训练方法和处理直播图像中皮肤区域的方法依次进行说明。
55.在一个实施例中，如图2所示，提供了一种皮肤区域提取模型的训练方法，该方法可由如图1所示的服务器执行，该方法可以包括以下步骤：
56.步骤s201，获取包含皮肤区域的样本图像集及用于标注皮肤区域的标注图像集。
57.本步骤中，可以从训练样本数据库中获取包含皮肤区域的样本图像集以及用于标注皮肤区域的标注图像集。其中，样本图像集中可以包括多张样本图像，对相应样本图像的皮肤区域进行标注的图像称为其标注图像，由这些标注图像构成的图像集即为前述标注图像集，具体的，该标注图像集中所包含的标注图像可以是用于标注相应样本图像中皮肤区域的掩码(mask)图像，相应的，标注图像集可以是包含皮肤区域的样本图像集对应的掩码图像集。
58.步骤s202，针对样本图像集中的样本图像，基于样本图像集及标注图像集，对样本图像进行针对图像场景的增强处理，得到增强样本图像及其标注图像。
59.步骤s203，基于增强样本图像及其标注图像，对增强样本图像进行针对皮肤区域亮度的第一亮度增强处理和第二亮度增强处理，得到第一模型输入图像和第二模型输入图像。
60.结合图3，上述步骤s202和步骤s203是对样本图像集中的样本图像依次进行针对图像场景的增强处理以及针对皮肤区域亮度的第一亮度增强处理或第二亮度增强处理，即样本图像先进行针对图像场景的增强处理，获得增强样本图像，再将该增强样本图像进行第一亮度增强处理得到第一模型输入图像，或者再将该增强样本图像进行第二亮度增强处理得到第二模型输入图像，该第一、第二模型输入图像将用于在步骤s204中输入至待训练的皮肤区域提取模型。
61.在步骤s202中，可以针对样本图像集中的每一样本图像进行针对图像场景的增强处理，具体的，针对一样本图像，基于样本图像集和标注图像集对其进行针对图像场景的增强处理，由此处理而获得的图像称为增强样本图像。其中，针对图像场景的增强处理是指能够对该图像中的场景进行丰富/增强的处理，其可以采用多种方式进行的，例如针对一样本图像，可以用样本图像集中另一样本图像与之进行融合/组合拼接等处理，处理后的样本图像可作为增强样本图像。
62.进一步的，对于步骤s202中的对样本图像进行针对图像场景的增强处理，在其中一个实施例中，可以包括：
63.从样本图像集中获取样本图像的辅助图像；将样本图像进行尺寸放大处理，在尺寸放大的样本图像中划分辅助图像容纳区域；将辅助图像对应放入尺寸放大的样本图像中的辅助图像容纳区域中，将放入辅助图像的样本图像进行尺寸恢复处理。
64.本实施例中，具体的，可以从样本图像集中随机获取样本图像的四张辅助图像，设
样本图像集中各样本图像的尺寸为h
×
w，h表示图像高度、w表示图像宽度，也设该尺寸为待训练的皮肤区域提取模型所需的输入图像的尺寸，由此，可以将样本图像进行尺寸放大处理，将该样本图像放大至原尺寸的四倍，即得到的尺寸放大的样本图像的尺寸为4h
×
4w，然后可以在该尺寸放大的样本图像的中部1/3区域随机确定一个中心点，基于该中心点将尺寸放大的样本图像划分为四个区域，该区域即为辅助图像容纳区域，然后可以在该四个辅助图像容纳区域中，对应中心点将该四张辅助图像分别对应放入一个辅助图像容纳区域中，最后将该放入辅助图像的样本图像进行尺寸恢复处理，即缩放回尺寸为h
×
w。本实施例的方案可以丰富样本图像的图像场景，还可以避免普通的马赛克增强中因为有些图像尺寸过小而导致边角区域中出现大量的无图区域的问题，能够保证增强样本图像包含整个区域，提升模型训练效果。
65.进一步的，对于步骤s202中的对样本图像进行针对图像场景的增强处理，在其中一个实施例中，可以包括：
66.从样本图像集中获取样本图像的辅助图像；按照一定概率将样本图像和辅助图像进行缩放处理后，将缩放处理后的辅助图像中的皮肤区域添加到缩放处理后的样本图像中。
67.本实施例中，针对样本图像集中一样本图像，可以再从样本图像集中随机获取该样本图像的辅助图像，由此获得样本图像及其辅助图像，然后可以将该样本图像及其辅助图像分别按一定概率并以[0.8，1.2]的缩放因子进行缩放处理，得到缩放处理后的辅助图像和缩放处理后的样本图像，然后可以将缩放处理后的辅助图像中的皮肤区域提取出来并添加到缩放处理后的样本图像中，由此能够使样本图像中获得一些碎片化的皮肤区域，达到丰富样本图像的图像场景以提升模型训练效果的目的。
[0068]
进一步的，对于步骤s202中的对样本图像进行针对图像场景的增强处理，在其中一个实施例中，可以包括：
[0069]
对样本图像的标注图像进行腐蚀处理；根据腐蚀处理后的标注图像与腐蚀处理前的标注图像，确定样本图像的边缘皮肤区域；对样本图像的标注图像进行膨胀处理；根据膨胀处理后的标注图像与膨胀处理前的标注图像，确定样本图像的待填充边缘区域；根据边缘皮肤区域的像素值对样本图像的待填充边缘区域进行填充处理。
[0070]
本实施例中，针对一样本图像，在一方面，对该样本图像的标注图像(记为腐蚀前的标注图像)进行腐蚀操作，得到腐蚀处理后的标注图像，然后可以将腐蚀处理后的标注图像与腐蚀前的标注图像做差集，根据该差集确定样本图像的边缘皮肤区域并获取该样本图像的边缘皮肤区域的像素值。在另一方面，对该样本图像的标注图像(记为膨胀前的标注图像)进行膨胀操作，得到膨胀处理后的标注图像，接着可以将膨胀处理后的标注图像与膨胀前的标注图像做差集，在样本图像中确定该差集对应的区域记为待填充边缘区域。最后，根据在第一方面获得的边缘皮肤区域的像素值对第二方面确定的待填充边缘区域进行填充处理，具体可以将待填充边缘区域填充为上述边缘皮肤区域的像素值的平均值。本实施例的方案，可以使得后续模型能够据此学习到皮肤形状的语义信息，在背景颜色与皮肤颜色相近的场景下，也能够实现精确到皮肤边缘提取。
[0071]
进一步的，对于步骤s202中的对样本图像进行针对图像场景的增强处理，在另外一个实施例中，可以包括：
[0072]
根据样本图像的标注图像，确定样本图像的皮肤区域；根据样本图像的皮肤区域的像素值统计信息，获得类肤色噪声信息；将类肤色噪声信息添加至样本图像中。
[0073]
本实施例是为进一步增强模型对皮肤区域与背景区域的识别能力而在样本图像中引入类肤色噪声信息或称类肤色噪点增强。具体的，可以先根据样本图像的标注图像确定样本图像的皮肤区域，然后获取样本图像的皮肤区域的像素值，对该皮肤区域的像素值进行统计得到像素值统计信息，具体可以根据皮肤区域的像素值，得到该皮肤区域的像素值平均值和方差值等像素值统计信息，然后可以根据像素值平均值和方差值等像素值统计信息，获得高斯噪声作为类肤色噪声信息，将该类肤色噪声信息加入到样本图像中得到增强样本图像，相比于类肤色填充的方式，本实施例的称类肤色噪点增强能从全局的角度增强模型对肤色与背景噪点的识别能力。
[0074]
在实际应用中，样本图像集中的样本图像在进行针对图像场景的增强处理时，可以按照一定概率进行上述一个或多个实施例中提供的针对图像场景的增强处理从而获得增强样本图像及其标注图像。
[0075]
在步骤s203中，在获得增强样本图像及其标注图像的基础上进行第一、第二亮度增强处理，其中，第一、第二亮度增强处理可以是针对同一增强样本图像的两种不同的亮度增强处理，在实际应用中，第一亮度增强处理可以是对整张增强样本图像进行提亮的处理得到第一模型输入图像，第二亮度增强处理可以是保持该增强样本图像的亮度不变的处理得到第二模型输入图像，反之亦可，而在第一、第二亮度增强处理后，均可各自进行高斯平滑操作，本步骤的处理可以使得模型对光亮更具鲁棒性。
[0076]
进一步的，在其中一个实施例中，第一亮度增强处理或第二亮度增强处理可以包括：
[0077]
根据增强样本图像的标注图像，确定增强样本图像的边缘皮肤区域；根据增强样本图像的边缘皮肤区域确定待调整图像块；对待调整图像块进行亮度增强处理。
[0078]
本实施例提供的亮度增强处理可以作为第一亮度增强处理或第二亮度增强处理，具体是对皮肤区域局部进行亮度增强处理。本实施例中，可以先根据增强样本图像的标注图像确定该增强样本图像的边缘皮肤区域，其方式具体可以参考在前已述的基于腐蚀操作的方式进行边缘皮肤区域的确定，然后可以根据该边缘皮肤区域随机确定一个大小不限的图像块作为待调整图像块，例如可以在边缘皮肤区域上一位置处确定一个大小不限的图像块作为待调整图像块，对该待调整图像块进行亮度增强处理，例如可以将该待调整图像块进行提亮处理。
[0079]
进一步的，在另外一个实施例中，第一亮度增强处理或第二亮度增强处理可以包括：
[0080]
根据增强样本图像的标注图像，确定增强样本图像的边缘皮肤区域；对边缘皮肤区域进行亮度增强处理。
[0081]
本实施例提供的亮度增强处理可以作为第一亮度增强处理或第二亮度增强处理，具体是对皮肤区域边缘进行亮度增强处理。本实施例中，具体的，可以将增强样本图像的标注图像分别进行腐蚀、膨胀操作，获得该增强样本图像对应的腐蚀处理后的标注图像和膨胀处理后的标注图像，接着可以提取腐蚀处理后的标注图像和膨胀处理后的标注图像的边缘信息的差集，根据该差集获得在增强样本图像上对应的边缘皮肤区域，然后对该边缘皮
肤区域进行亮度增强处理，例如可以将该边缘皮肤区域进行提亮处理。
[0082]
在实际应用中，对增强样本图像进行针对皮肤区域亮度的第一、第二亮度增强处理时，可以按照一定概率将上述一个或多个实施例中提供的针对皮肤区域亮度的亮度增强处理设置在第一、第二亮度增强处理中使得第一、第二亮度增强处理能够分别形成对增强样本图像不同的亮度增强处理，分别得到第一模型输入图像和第二模型输入图像。
[0083]
步骤s204，将第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型，获得待训练的皮肤区域提取模型输出的第一模型输入图像对应的第一模型输出图像和第二模型输入图像对应的第二模型输出图像。
[0084]
本步骤中，待训练的皮肤区域提取模型的模型输入图像可以包括第一模型输入图像和第二模型输入图像，待训练的皮肤区域提取模型针对第一模型输入图像输出第一模型输出图像，针对第二模型输入图像输出第二模型输出图像，也即待训练的皮肤区域提取模型的模型输出图像可以包括第一模型输出图像和第二模型输出图像。结合图4，在实际应用中，待训练的皮肤区域提取模型可以是一个深度学习网络，可以由双分支组成，具体可以包括浅层网络分支和深层网络分支，前者可以用于提取模型输入图像的图像细节信息，后者可以用于提取模型输入图像的高语义信息，深度学习网络的两个分支提取的特征可以融合到一起从而获得模型的输出。
[0085]
步骤s205，获取表征第一模型输出图像和第二模型输出图像的一致性的第一模型损失，获取表征第一模型输出图像和第二模型输出图像各自与标注图像的一致性的第二模型损失和第三模型损失。
[0086]
本步骤是获取模型损失的步骤，具体的，结合图5，模型损失包括第一模型损失、第二模型损失和第三模型损失。其中，第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型后，待训练的皮肤区域提取模型输出对应于第一模型输入图像的第一模型输出图像和对应于第二模型输入图像的第二模型输出图像，然后，可以根据第一模型输出图像和第二模型输出图像的一致性获得第一模型损失，可以根据第一模型输出图像和前述增强样本图像的标注图像的一致性获得第二模型损失，以及可以根据第二模型输出图像和该标注图像的一致性获得第三模型损失。其中，对于第一模型损失，可以作为第一模型输出图像和第二模型输出图像的一致性约束损失，具体的，根据第一模型输出图像和第二模型输出图像，可以基于kl散度损失函数计算得到第一模型损失；对于第二、第三模型损失，可以作为第一模型输出图像和第二模型输出图像的监督损失，具体的，根据第一模型输出图像和标注图像，可以基于交叉熵损失函数计算得到该第二模型损失，根据第二模型输出图像和标注图像，也可以基于交叉熵损失函数计算得到第三模型损失。
[0087]
步骤s206，根据第一模型损失、第二模型损失和第三模型损失，对待训练的皮肤区域提取模型进行训练。
[0088]
本步骤中，具体的，结合图5，可以将第一模型损失、第二模型损失和第三模型损失进行求和获得模型总损失，根据模型总损失采用反向传播的方式调整待训练的皮肤区域提取模型的模型参数以对其进行训练，由此可让模型学习到不受数据增强影响的关键语义特征。作为一种实施例，当模型总损失小于或等于设定的损失阈值时，可以获得训练好的皮肤区域提取模型。
[0089]
本实施例的皮肤区域提取模型的训练方法，获取包含皮肤区域的样本图像集及用
于标注该皮肤区域的标注图像集，基于样本图像集及标注图像集对其中的样本图像进行针对图像场景的增强处理得到增强样本图像及其标注图像，基于增强样本图像及其标注图像对该增强样本图像进行针对皮肤区域亮度的第一、第二亮度增强处理得到第一、第二模型输入图像，将第一、第二模型输入图像输入待训练的皮肤区域提取模型，获得该模型输出的第一、第二模型输出图像，获取表征第一、第二模型输出图像的一致性的第一模型损失、表征第一、第二模型输出图像各自与标注图像的一致性的第二、第三模型损失，根据第一、第二和第三模型损失对该待训练的皮肤区域提取模型进行训练。该方案基于对样本图像依次在图像场景和亮度上的增强处理并配合以相应的损失监督训练，能够训练获得可稳定、准确提取图像中完整皮肤区域的皮肤区域提取模型。
[0090]
在一个实施例中，如图6所示，提供了一种处理直播图像中皮肤区域的方法，该方法可由图1所示的终端执行，该方法可以包括以下步骤：
[0091]
步骤s601，获取经训练的皮肤区域提取模型。
[0092]
本步骤中，服务器可以根据如上任一项实施例提供的皮肤区域提取模型的训练方法获得训练好的皮肤区域提取模型，记为经训练的皮肤区域提取模型，然后服务器可以将该经训练的皮肤区域提取模型发送至终端进行部署，从而终端获得服务器提供的经训练的皮肤区域提取模型。
[0093]
步骤s602，获得待处理的直播图像后，将直播图像输入皮肤区域提取模型，根据皮肤区域提取模型输出的皮肤区域预测图像，确定直播图像中的皮肤区域。
[0094]
本步骤中，终端可以在用户授权的前提下采集用户的直播图像，用户还可授权终端进行皮肤处理效果的添加，该皮肤处理效果可以包括美颜、美妆或ar特效等。由此，终端可以将采集的直播图像作为待处理的直播图像，将该直播图像输入皮肤区域提取模型，此时属于皮肤区域提取模型的应用阶段，在应用阶段，无需对所输入的图像做增强处理，但可将待处理的直播图像进行归一化到皮肤区域提取模型指定的图像输入尺寸的操作后再输入到皮肤区域提取模型。然后，皮肤区域提取模型根据输入的直播图像输出相应的皮肤区域预测图像，终端获得该皮肤区域预测图像后可据此在直播图像确定皮肤区域。
[0095]
步骤s603，在直播图像中的皮肤区域添加皮肤处理效果。
[0096]
本步骤中，终端可根据用户所需的皮肤处理效果，在该直播图像中的皮肤区域添加该皮肤处理效果，如美颜、美妆或ar特效等。
[0097]
本实施例的方案能够将皮肤区域提取模型应用于直播场景中，供终端借助该皮肤区域提取模型准确稳定地从直播图像中提取完整的皮肤区域并完成皮肤处理效果的添加。
[0098]
本技术的方案可提供轻量化的皮肤区域提取模型可在终端进行部署，学习多变场景下的皮肤语义信息，通过针对性的增强处理提高模型的鲁棒性，通过监督约束、一致性约束提高模型对皮肤区域的语义识别能力，实现对直播图像中人物皮肤区域的实时精细化分割，获得直播场景中人物的实时皮肤区域，可以实现高效、稳定及精确的直播场景中完整皮肤区域提取，可用于精确的皮肤美颜、美妆和特效生成，即得到的精细的皮肤区域可以做美颜、美妆或ar特效，且对光照和皮肤完整性预测具备很强的鲁棒性，节省人工抠图成本从而提高直播图像处理效率，能够满足直播等场景下实时分割完整的皮肤区域的需求，同时易于进行大规模推广应用。
[0099]
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头
的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0100]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的相关方法的相关装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个装置实施例中的具体限定可以参见上文中对于相关方法的限定，在此不再赘述。
[0101]
在一个实施例中，如图7所示，提供了一种皮肤区域提取模型的训练装置，可应用于服务器，该装置700可以包括：
[0102]
图像集获取模块701，用于获取包含皮肤区域的样本图像集及用于标注所述皮肤区域的标注图像集；
[0103]
第一增强处理模块702，用于针对所述样本图像集中的样本图像，基于所述样本图像集及标注图像集，对所述样本图像进行针对图像场景的增强处理，得到增强样本图像及其标注图像；
[0104]
第二增强处理模块703，用于基于所述增强样本图像及其标注图像，对所述增强样本图像进行针对皮肤区域亮度的第一亮度增强处理和第二亮度增强处理，得到第一模型输入图像和第二模型输入图像；
[0105]
图像输入模块704，用于将所述第一模型输入图像和第二模型输入图像输入待训练的皮肤区域提取模型，获得所述待训练的皮肤区域提取模型输出的所述第一模型输入图像对应的第一模型输出图像和所述第二模型输入图像对应的第二模型输出图像；
[0106]
损失获取模块705，用于获取表征所述第一模型输出图像和第二模型输出图像的一致性的第一模型损失，获取表征所述第一模型输出图像和第二模型输出图像各自与标注图像的一致性的第二模型损失和第三模型损失；
[0107]
训练处理模块706，用于根据所述第一模型损失、第二模型损失和第三模型损失，对所述待训练的皮肤区域提取模型进行训练。
[0108]
在一个实施例中，第一增强处理模块702，用于从所述样本图像集中获取所述样本图像的辅助图像；将所述样本图像进行尺寸放大处理，在尺寸放大的样本图像中划分辅助图像容纳区域；将所述辅助图像对应放入所述尺寸放大的样本图像中的辅助图像容纳区域中，将放入辅助图像的样本图像进行尺寸恢复处理。
[0109]
在一个实施例中，第一增强处理模块702，用于从所述样本图像集中获取所述样本图像的辅助图像；按照一定概率将所述样本图像和辅助图像进行缩放处理后，将缩放处理后的辅助图像中的皮肤区域添加到缩放处理后的样本图像中。
[0110]
在一个实施例中，第一增强处理模块702，用于对所述样本图像的标注图像进行腐蚀处理；根据腐蚀处理后的标注图像与腐蚀处理前的标注图像，确定所述样本图像的边缘皮肤区域；对所述样本图像的标注图像进行膨胀处理；根据膨胀处理后的标注图像与膨胀处理前的标注图像，确定所述样本图像的待填充边缘区域；根据所述边缘皮肤区域的像素
值对所述样本图像的待填充边缘区域进行填充处理。
[0111]
在一个实施例中，第一增强处理模块702，用于根据所述样本图像的标注图像，确定所述样本图像的皮肤区域；根据所述样本图像的皮肤区域的像素值统计信息，获得类肤色噪声信息；将所述类肤色噪声信息添加至所述样本图像中。
[0112]
在一个实施例中，所述第一亮度增强处理或第二亮度增强处理，包括：根据所述增强样本图像的标注图像，确定所述增强样本图像的边缘皮肤区域；根据所述增强样本图像的边缘皮肤区域确定待调整图像块；对所述待调整图像块进行亮度增强处理。
[0113]
在一个实施例中，所述第一亮度增强处理或第二亮度增强处理，包括：根据所述增强样本图像的标注图像，确定所述增强样本图像的边缘皮肤区域；对所述边缘皮肤区域进行亮度增强处理。
[0114]
在一个实施例中，如图8所示，提供了一种处理直播图像中皮肤区域的装置，可应用于终端，该装置800可以包括：
[0115]
模型获取模块，用于获取经训练的皮肤区域提取模型；所述皮肤区域提取模型根据如上所述的方法训练得到；
[0116]
区域确定模块，用于获得待处理的直播图像后，将所述直播图像输入所述皮肤区域提取模型，根据所述皮肤区域提取模型输出的皮肤区域预测图像，确定所述直播图像中的皮肤区域；
[0117]
效果添加模块，用于在所述直播图像中的皮肤区域添加皮肤处理效果。
[0118]
上述装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0119]
在一个实施例中，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储样本图像集等数据。该电子设备的网络接口用于与外部的设备通过网络连接通信。该计算机程序被处理器执行时以实现一种皮肤区域提取模型的训练方法。
[0120]
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的设备进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种处理直播图像中皮肤区域的方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0121]
本领域技术人员可以理解，图9和图10中示出的结构，仅仅是与本技术方案相关的
部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0122]
在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0123]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0124]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive randomaccess memory，mram)、铁电存储器(ferroelectric randomaccess memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(randomaccess memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static randomaccess memory，sram)或动态随机存取存储器(dynamic randomaccess memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0125]
需要说明的是，本技术所可能涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
[0126]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0127]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。