3D模型服饰图像处理方法、装置及电子设备与流程

3d模型服饰图像处理方法、装置及电子设备
技术领域
1.本技术涉及图像处理技术领域，具体而言，涉及一种3d模型服饰图像处理方法、装置及电子设备。


背景技术：

2.随着网络社交相关技术的不断发展，对数字化虚拟形象的应用越来越广泛，对虚拟形象多样化和个性化的需求也越来越高。在传统的虚拟形象生成方案中，针对虚拟形象的服饰，用户只能从预设的图像或服饰纹理素材库中选择图案显示至虚拟形象的服饰上，这种方式难以满足海量多样化的虚拟形象生成需求。


技术实现要素：

3.为了克服现有技术中的上述不足，本技术的目的在于提供一种3d模型服饰图像处理方法，所述方法包括：
4.获取待处理图像；
5.将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果；
6.根据所述服饰类别识别结果确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点；
7.根据所述服饰关键点将所述待处理图像中的服饰图像显示至3d模型表面。
8.在一种可能的实现方式中，所述将所述待处理图像输入服饰类别识别模型的步骤之前，所述方法还包括：
9.将所述待处理图像输入图像语义分割模型，获得所述图像语义分割模型输出的服饰区域掩膜图像，所述服饰区域掩膜图像包括指示服饰图像的第一图像区域和指示非服饰图像的第二图像区域；
10.所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3d模型表面的步骤之前，所述方法还包括：
11.根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理。
12.在一种可能的实现方式中，所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理的步骤之前，所述方法还包括：
13.根据所述服饰关键点对所述待处理图像进行服饰部位拆分，确定拆分后的服饰部位轮廓信息；
14.所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理的步骤，包括：
15.根据所述服饰区域掩膜图像、所述服饰部位轮廓信息对所述服饰关键点进行插值处理。
16.在一种可能的实现方式中，所述根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理的步骤之前，所述方法还包括：
17.根据所述服饰区域掩膜图像对所述服饰关键点进行调整，使所述服饰关键点位于所述第一图像区域内。
18.在一种可能的实现方式中，所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3d模型表面的步骤，包括：
19.获取与所述3d模型的3d表面关键点的集合对应的uv关键点的集合，所述uv关键点的集合中包括至少部分与所述服饰关键点对应的uv关键点；
20.根据各所述3d表面关键点的相对位置关系和各所述uv关键点的相对位置关系，对所述服饰关键点进行调整；
21.根据调整后的所述服饰关键点将所述第一图像区域内的服饰图像转换为uv展开图；
22.将所述uv展开图贴图至所述3d模型。
23.在一种可能的实现方式中，所述根据所述服饰关键点将所述待处理图像中的服饰图像显示至3d模型表面的步骤之前，所述方法还包括：
24.根据所述3d模型的3d表面关键点确定服饰部位尺寸比例；
25.根据所述服饰部位尺寸比例对所述服饰关键点进行调整。
26.在一种可能的实现方式中，所述方法还包括：
27.根据所述待处理图像中的服饰正面图像进行颜色检索和/或纹理生成，获得服饰背面图像。
28.本技术的另一目的在于提供一种3d模型服饰图像处理装置，所述装置包括：
29.图像获取模块，用于获取待处理图像；
30.服饰类别识别模块，用于将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果；
31.服饰关键点识别模块，用于根据所述服饰类别识别结果确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点；
32.贴图模块，用于根据所述服饰关键点将所述待处理图像中的服饰图像显示至3d模型表面。
33.本技术的另一目的在于提供一种电子设备，包括处理器及机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被所述处理器执行时，实现本技术提供的3d模型服饰图像处理方法。
34.本技术的另一目的在于提供一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被一个或多个处理器执行时，实现本技术提供的3d模型服饰图像处理方法。
35.相对于现有技术而言，本技术具有以下有益效果：
36.本技术提供的一种3d模型服饰图像处理方法、装置及电子设备，通过对用户提供的2d待处理图像进行服饰类别识别，然后根据识别结果选用相应的服饰关键点检测模型获
取服饰各部位的服饰关键点，然后根据所述服饰关键点和3d模型的模型贴图关键点对待处理图像进行分割及贴图。如此，可以根据输入的2d服饰图像自动地生成3d模型的服饰贴图，提高了3d模型服饰生成的灵活度，可以满足用户更高的个性化需求。
附图说明
37.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
38.图1为本技术实施例提供的3d模型服饰图像处理方法的流程示意图；
39.图2为本技术实施例提供的服饰关键点的示意图之一；
40.图3为本技术实施例提供的服饰关键点的示意图之二；
41.图4为本技术实施例提供的电子设备的示意图；
42.图5为本技术实施例提供的3d模型服饰图像处理装置的功能模块示意图。
具体实施方式
43.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
44.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
46.在本技术的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
47.在本技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
48.请参见图1，图1为本实施例提供的一种3d模型服饰图像处理方法的步骤流程示意图，下面对本实施例提供的方法进行详细阐述。
49.步骤s110，获取待处理图像。
50.在本实施例中，所述待处理图像可以为用户提供的包含希望显示到3d模型上的目标服饰的图像。例如，在一个例子中，所述待处理图像可以为仅包括所述目标服饰的图像；在另一个例子中，所述待处理图像可以为穿着有所述目标服饰的人物照片或人物图案。
51.步骤s120，将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果。
52.由于不同的服饰在执行3d模型贴图时处理差异可能较大，为了提高后续图像处理准确性，在本实施例中，可以将所述待处理图像输入预先训练的所述服饰类别识别模型，先通过所述服饰类别识别模型确定所述待处理图像中目标服饰的类型，后续再更具所述目标服饰的类型进行进一步细化处理。其中，所述服饰类别识别模型输出的结果可以包括短袖、短裤、长裤、下身裙子、吊带裙等服饰类别识别结果。
53.步骤s130，根据所述服饰类别识别结果确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点。
54.在本实施例中，可以预先训练针对不同类型服饰进行关键点检测的多个所述服饰关键点检测模型。在步骤s130中，针对所述服饰类别识别结果指示的服饰类别，可以确定与之对应的服饰关键点检测模型对所述待处理图像进行关键点检测。如此，针对不同类别的服饰可以更加准确地确定出相应的服饰关键点，从而提高服饰部位分割和贴图的准确程度。并且，通过不同的所述服饰关键点检测模型对不同类型的服饰进行关键点检测，在后续需要增加非常规服饰类型时，可以更加灵活进行检查类型的扩容。例如，需要增加动漫、游戏等场景中的非常规异形服饰、盔甲等时，可以不需要对已训练的所述服饰关键点识别模型做出调整，只需要增加新服饰类型对应的服饰关键点检测模型即可。
55.其中，所述服饰关键点可以预先设定的服饰外轮廓关键点及服饰部位分割关键点，所述服饰外轮廓关键点可以包括领口、袖子脚、衣服底脚等指示服饰外部轮轮廓的关键点，所述服饰部位分割关键点可以包括衣袖和衣身的交界点、裙身和裙摆的交界点等。
56.步骤s140，根据所述服饰关键点将所述待处理图像中的服饰图像显示至3d模型表面。
57.在本实施例中，确定出所述服饰关键点后，即可根据所述服饰关键点确定所述待处理图像中的服饰图像各个位置与所述3d模型表面的位置对应关系，从而可以将所述待处理图像中的服饰图像显示至3d模型表面。
58.例如，在确定出所述服饰关键点后，即可确定出各个服饰关键点与所述3d模型的uv展开点集的对应关系，然后根据该对应关系对所述待处理图像中的服饰图像执行对应的扭曲(warp)操作，获得与所述3d模型匹配的uv展开图。再根据所述uv展开点集与所述3d模型的3d表面关键点的对应关系，将所述uv展开图显示至所述3d模型表面。
59.可选地，针对不同类型的服饰，其对应的3d模型表面轮廓可能不同，因此，在本实施例中，可以根据步骤s120中的服饰类型识别结果确定相应的3d模型，如，裤装的3d模型、群装的3d模型、风衣装的3d模型等。然后在步骤s140中，再确定所述服饰关键点与对应的3d模型表面的模型贴图关键点的变化关系。
60.基于上述设计，在本实施例中，通过对用户提供的2d待处理图像进行服饰类别识别，然后根据识别结果选用相应的服饰关键点检测模型获取服饰各部位的服饰关键点，然后根据所述服饰关键点和3d模型的模型贴图关键点对待处理图像进行分割及贴图。如此，可以根据输入的2d服饰图像自动地生成3d模型的服饰贴图，提高了3d模型服饰生成的灵活度，可以满足用户更高的个性化需求。
61.在一些场景中，用户输入的所述待处理图像可以是穿着了目标服饰的人物图像
(如，人物照片)，因此，在一些可能的实现方式中，在步骤s110获取所述待处理图像后，可以先将所述待处理图像输入图像语义分割模型，获得所述图像语义分割模型输出的所述服饰区域掩膜图像。其中，所述服饰区域掩膜图像包括指示服饰图像的第一图像区域和指示非服饰图像的第二图像区域。进一步地，在确定所述服饰区域掩膜图像的同时还可以确定出服饰图像在所述待处理图像中所处的位置作为兴趣区域(region of interest，roi)。
62.具体地，所述图像语义分割模型输出的语义分割结果可能因识别准确度问题存在边缘毛刺，或者所述待处理图像中存在多个服饰图像时所述图像语义分割模型输出的语义分割结果可能存在游离块，在本实施例中，可以会所述图像语义分割模型输出的语义分割结果执行边缘平滑、去除游离块等后处理算法，然后执行识别roi操作，从而为带来更好的关键点检测精度。最终每件目标服饰图像获取单语义图像掩码作为所述服饰区域掩膜图像img
mask
，具体如公式(1)所示：
63.img
mask
＝pre(e
seg
(img
rgb
))
ꢀꢀꢀ
(1)
64.box(x1,x2,y1,y2)＝f
roi
(img
mask
)
ꢀꢀꢀ
(2)
65.其中，img
rgb
为所述待处理图像，e
seg
为所述图像语义分割模型；pre为语义分割输出结果的后处理函数，用于平滑边缘、移除游离块；img
mask
为所述服饰区域掩膜图像。f
roi
为获取roi的函数，x1,x2,y1,y2为所述服饰区域掩膜图像img
mask
的兴趣区域的box的四个顶点坐标参数。
66.对所述待处理图像ing
rgb
同样进行取roi操作，与所述服饰区域掩膜图像img
mask
拼接合成有alpha通道的透明png的合成图像img
rgba
，具体如公式(3)所示：
67.img
rgba
＝concat(crop(img
rgb
,box),crop(img
mask
,box))
ꢀꢀꢀ
(3)
68.其中，crop为取roi操作，concat为拼接合成有alpha通道的透明png图像。
69.如此，通过所述图像语义分割模型确定出指示服饰图像所在区域的所述服饰区域掩膜图像，并确定出服饰图像在所述待处理图像上的roi区域，可以方便后续进一步的图像处理，减少非相关图像干扰，降低后续计算量，提高后续图像处理的准确度。
70.在一些可能的实现方式中，在步骤s120中，可以采用普适性的分类网络作为所述服饰类别识别模型对roi区域中的图像img
roi
进行分类识别，获得所述服饰关键点key(img
roi
)，具体，可以通过公式(4)获得：
[0071][0072]
其中，cls为所述服饰类型识别模型，用于输出roi区域中的图像img
roi
的所述服饰类别识别结果；key()为所述服饰关键点检测模型，其下标是所述服饰类型识别模型的服饰类别识别结果，其用于根据所述服饰类别识别结果访问对应的所述服饰关键点检测模型对以roi区域中的图像img
roi
进行并输出所述服饰关键点key(img
roi
)。
[0073]
在一些可能的实现方式中，在通过所述图像语义分割模型，获得所述服饰区域掩膜图像的情况下，在步骤s140之前还可以根据所述服饰区域掩膜图像对所述服饰关键点进行调整，使所述服饰关键点位于所述第一图像区域内。
[0074]
具体地，在本实施例中，理论上所述服饰关键点检测模型检测出的所述服饰关键点均应该位于所述服饰区域掩膜图像中的所述第一图像区域内(即，位于服饰图像所在区域内)，但实际在存在图像干扰、所述服饰关键点检测模型训练样本限制或所述服饰关键点检测模型本身识别能力限制的问题，导致存在得出的部分所述服饰关键点可能没有位于所
述第一图像区域内的情况。因此，在本实施例中，可以根据所述服饰区域掩膜图像对所述服饰关键点进行调整，使所述服饰关键点位于所述第一图像区域内，以保证后续可以准确地分割出服饰贴图。
[0075]
具体地，对所述服饰关键点进行调整时，部分所述服饰关键点拥有具体的语义信息(例如，表征袖角、衣服底等)，而这些所述服饰关键点通常是所述图像语义分割模型得出的所述服饰区域掩膜图像中的所述第一图像区域边界上的点，且部分所述服饰关键点通常是斜率变化较大的角点，且考虑到服饰的对称性及些许先验信息，可以结合这些关键点来微调最终的所述服饰关键点。针对非拐点的所述服饰关键点，调整方式可以如式(5)所示，针对明显的角点的所述服饰关键点调整方式可以如式(6)所示，
[0076]
key
′
＝fnp(fct(img
rgba
),refine(key))
ꢀꢀꢀ
(5)
[0077]
key
′
＝fnp(fc(fct(img
rgba
)),refine(key))
ꢀꢀꢀ
(6)
[0078]
其中，fct()是用于获取合成图像img
rgba
的分割边界的函数，fc()是用于获取边界中重要拐点集合的函数，fnp()是查找最近点的函数，refine()是根据先验信息(例：上领口点邻近轮廓的上边界、下裤口邻近轮廓下边界、左右袖口高度通常一致等先验信息)调整关键点的函数。
[0079]
如此，通过结合所述服饰区域掩膜图像进行
[0080]
在一些可能的实现方式中，通过所述服饰关键点检测模型确定出的所述服饰关键点可能数量较少，导致仅依靠这些所述服饰关键点来进行贴图可能导致3d模型的服饰图像存在镂空、扭曲或分块后的服饰在3d模型上拼接处不对齐的问题。因此，在已经通过所述图像语义分割模型，获得所述服饰区域掩膜图像的情况下，在步骤s140之前还可以根据所述服饰区域掩膜图像对所述服饰关键点进行插值处理，和/或在相邻的所述服饰关键点进行线性插值处理，从而丰富所述服饰关键点的数量，有利于后续的贴图动作。
[0081]
例如，请参照图2，图2为所述服饰关键点检测模型确定出的所述服饰关键点，其中，部分关键点可能没有位于所述第一图像区域边界上，并且当前所述服饰关键点的数量可能较少。
[0082]
在此基础上，可以结合所述服饰区域掩膜图像中的所述第一图像区域边界对所述服饰关键点进行调整。
[0083]
然后，请参照图3，可以沿所述服饰区域掩膜图像中的所述第一图像区域指示的边界进行插值；针对不在边界上的两个相邻但间隔较远的所述服饰关键点可以进行线性插值；或者还可以在线性插值以后再根据位于边界上的所述服饰关键点进行调整或进一步插值。
[0084]
进一步地，可以先根据所述服饰关键点对所述待处理图像进行服饰部位拆分，确定拆分后的服饰部位轮廓信息，然后根据所述服饰区域掩膜图像、所述服饰部位轮廓信息对所述服饰关键点进行插值处理。即，在插值过程中除了考虑整个服饰的外部轮廓，还可以加入服饰各个部位的所述服饰部位轮廓信息，从而使插值后所述服饰关键点可以表达的信息更加丰富。
[0085]
具体地，在一些虚拟偶像动漫纹理图像中，图像通常是多块的，在本实施例中，可以结合具有固定语义的所述服饰关键点、所述服饰区域掩膜图像指示的轮廓信息及拟合曲线对服饰进行拆分，例如，左右袖和衣身区域拆分、左右前后裤腿的拆分、裙子上衣下裙及
袖子的拆分等。如此，部分所述服饰关键(例如长袖的袖口分界点)可以进一步根据拆分后的获得的所述服饰部位轮廓信息来进行插值处理。
[0086]
由于原本2d的服饰图像在3d模型上的显示效果与3d模型布线的密度和位置信息相关(例如在2d纹理图上正常的图可能因为布线的原因在3d模型上被极致拉伸或收缩)，因此，在本实施例的一些可能实现方式中，在步骤s140中，可以先获取与所述3d模型的3d表面关键点的集合对应的uv关键点的集合，所述uv关键点的集合中包括至少部分与所述服饰关键点对应的uv关键点。再根据各所述3d表面关键点的相对位置关系和各所述uv关键点的相对位置关系，对所述服饰关键点进行调整。然后，根据调整后的所述服饰关键点将所述第一图像区域内的服饰图像转换为uv展开图，并将所述uv展开图贴图至所述3d模型。
[0087]
具体地，在本实施例中，在获取与所述3d模型的3d表面关键点的集合对应的uv关键点的集合后，可以计算各相邻的所述3d表面关键点之间第一线段的长度，以及各相邻的所述uv关键点之间的第二线段的长度。
[0088]
然后，以形变最小的线段作为标准，确定各所述第一线段和对应的所述第二线段之间的拉伸比例。根据各所述uv关键点对应拉伸比例，确定各所述uv关键点对应的移动方向，并依此对所述uv关键点的集合进行移动调整，获得调整后的所述uv关键点的集合。具体地，以形变最小的线段作为标准，所述uv关键点相连的第二线段对应的拉伸比例可以表征在将所述uv关键对应至所述3d模型的表面时需要与其他uv关键点之间进行压缩或拉伸的比例。根据所述uv关键点与相邻的每个其他uv关键点的之间相对位置关系及所述拉伸比例，可以确定多个拉伸移动向量，根据多个拉伸向量之和可以确定与该uv关键点对应的移动向量。然后根据该移动向量，以减小各个所述uv关键的移动向量为目标，以较小位移量进行多次迭代移动调整，获得调整后的所述uv关键点。
[0089]
再根据调整后的所述uv关键点与所述服饰关键点的对应关系对所述第一图像区域内的服饰图像进行扭曲(warp)调整获得uv展开图，然后根据各所述uv关键点调整前后的位置变化，对所述uv展开图进行调整，是所述uv展开图与调整前的所述uv关键点位置相符。最后将所述uv展开图贴图至所述3d模型。
[0090]
在一些可能的实现方式中，所述待处理图像中给出的目标服饰版型可能与所述3d模型的整体版型存在差异，因此在本实施例中，在步骤s130中可以根据所述3d模型的模型贴图关键点确定服饰部位尺寸比例，然后根据所述服饰部位尺寸比例对所述服饰关键点进行调整。
[0091]
例如，可以根据所述3d模型的模型贴图关键点确定对应的袖长、衣长、长宽比、领口衣长的比例，然后根据这些比例确定所述服饰关键点与3d模型的模型贴图关键点的对应关系。在步骤s140中即可按比例对所述服饰贴图进行扭曲(warp)调整，使所述服饰贴图与所述3d模型的服饰版型相符。
[0092]
在一些可能的实现方式中，一些所述待处理图像中可能仅包括了服饰正面的图案或纹理，而所述3d模型需要多个视角的服饰图案或纹理图像。因此，在本实施例中，根据所述待处理图像中的服饰正面图像进行颜色检索和/或纹理生成，获得服饰背面图像。如此，在后续
[0093]
请参照图4，本实施例还提供一种电子设备100，所述电子设备100可以为服务器、个人电脑、笔记本电脑等具有图像处理能力的设备。所述电子设备100包括3d模型服饰图像
处理装置110、机器可读存储介质120、处理器130。
[0094]
所述机器可读存储介质120、处理器130以及通信单元140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述3d模型服饰图像处理装置110包括至少一个可以软件或固件(firmware)的形式存储于所述机器可读存储介质120中或固化在所述电子设备100的操作系统(operating system，os)中的软件功能模块。所述处理器130用于执行所述机器可读存储介质120中存储的可执行模块，例如所述3d模型服饰图像处理装置110所包括的软件功能模块及计算机程序等。
[0095]
其中，所述机器可读存储介质120可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。其中，机器可读存储介质120用于存储程序，所述处理器130在接收到执行指令后，执行本实施例提供的所述3d模型服饰图像处理方法。
[0096]
所述处理器130可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0097]
请参照图5，本实施例还提供一种3d模型服饰图像处理装置110，3d模型服饰图像处理装置110包括至少一个可以软件形式存储于机器可读存储介质120中的功能模块。从功能上划分，3d模型服饰图像处理装置110可以包括图像获取模块111、服饰类别识别模块112、服饰关键点识别模块113及贴图模块114。
[0098]
所述图像获取模块111用于获取待处理图像。
[0099]
本实施例中，所述图像获取模块111可用于执行图1所示的步骤s110，关于所述图像获取模块111的具体描述可参对所述步骤s110的描述。
[0100]
所述服饰类别识别模块112用于将所述待处理图像输入服饰类别识别模型，获得所述服饰类别识别模型输出的服饰类别识别结果。
[0101]
本实施例中，所述服饰类别识别模块112可用于执行图1所示的步骤s120，关于所述服饰类别识别模块112的具体描述可参对所述步骤s120的描述。
[0102]
所述服饰关键点识别模块113用于根据所述服饰类别识别结果确定相应的服饰关键点检测模型对所述待处理图像进行关键点检测，获得所述待处理图像上各服饰部位对应的服饰关键点。
[0103]
本实施例中，所述服饰关键点识别模块113可用于执行图1所示的步骤s130，关于所述服饰关键点识别模块113的具体描述可参对所述步骤s130的描述。
[0104]
所述贴图模块114用于根据所述服饰关键点从所述待处理图像上获取服饰贴图，根据变化关系将所述服饰贴图显示至所述3d模型。
[0105]
本实施例中，所述贴图模块114可用于执行图1所示的步骤s140，关于所述贴图模
块114的具体描述可参对所述步骤s140的描述。
[0106]
综上所述，本技术提供的所述3d模型服饰图像处理方法、装置及电子设备，通过对用户提供的2d待处理图像进行服饰类别识别，然后根据识别结果选用相应的服饰关键点检测模型获取服饰各部位的服饰关键点，然后根据所述服饰关键点和3d模型的模型贴图关键点对待处理图像进行分割及贴图。如此，可以根据输入的2d服饰图像自动地生成3d模型的服饰贴图，提高了3d模型服饰生成的灵活度，可以满足用户更高的个性化需求。
[0107]
在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0108]
另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0109]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0110]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0111]
以上所述，仅为本技术的各种实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。