图像处理方法及装置、电子设备及存储介质与流程

文档序号:25091719发布日期:2021-05-18 20:35阅读:101来源:国知局
图像处理方法及装置、电子设备及存储介质与流程

1.本申请涉及图像处理技术领域,尤其涉及一种图像处理方法及装置、电子设备及存储介质。


背景技术:

2.目前,美妆行业具有很大的市场潜力。美妆是运用化妆品和工具,采取合理的步骤和技巧对人的面部进行渲染、描画,增强人的形象气质。美妆涉及的步骤很多,选择也比较复杂。因此,大部分人们都不清楚自己适合哪一种妆容。
3.人们找到适合自己的妆容常用的方法是:通过专业机构进行专业的美妆咨询。但是,这种方法不仅效率低,用户体验度不高,而且不能针对用户的特点帮助用户提供较为准确的美妆模板。


技术实现要素:

4.本申请提供一种图像处理方法及装置、电子设备及存储介质。
5.本申请提供了一种图像处理方法,所述方法包括:
6.响应于接收到开始美妆的指令,输出美妆模式;所述美妆模式包括,推荐美妆模板的模式和自主美妆的模式;
7.响应于接收到选择推荐美妆模板的模式,获取用户的人物属性;
8.使用所述人物属性检索第一美妆模板库,得到具有与所述人物属性匹配的特征数据的至少一个美妆模板。
9.结合本申请任一实施方式,所述至少一个美妆模板包括第一待处理美妆模板,所述方法还包括:
10.获取用户的面部图像;
11.将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像。
12.结合本申请任一实施方式,所述获取用户的人物属性,包括:
13.对所述面部图像进行人物属性提取处理,获得所述面部图像中所述用户的人物属性。
14.结合本申请任一实施方式,所述至少一个美妆模板均包含人脸图像区域;
15.在所述将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像之前,还包括:
16.在所述至少一个美妆模板的数量超过1的情况下,将最高美妆模板作为所述第一待处理美妆模板;所述最高美妆模板为所述至少一个美妆模板中与所述面部图像之间的人脸相似度最高的美妆模板。
17.结合本申请任一实施方式,在所述将所述第一待处理美妆模板的妆容迁移到所述用户的面部图像,得到第一虚拟美妆后的图像之前,还包括:
18.显示所述第一待处理美妆模板;
19.在接收到选择使用所述第一待处理美妆模板的指令的情况下,执行所述将所述第一待处理美妆模板的妆容迁移到所述用户的面部图像,得到第一虚拟美妆后的图像的步骤;
20.在接收到针对所述第一待处理美妆模板不满意的指令的情况下,将所述至少一个美妆模板中与所述面部图像之间的人脸相似度次高的美妆模板作为所述第一待处理美妆模板,或,进入自主美妆的模式。
21.结合本申请任一实施方式,所述方法还包括:
22.显示所述第一虚拟美妆后的图像;
23.在接收到对所述第一虚拟美妆后的图像的美妆效果满意的指令的情况下,输出美妆辅助信息;所述美妆辅助信息用于指导使用者进行实际美妆以得到所述第一待处理美妆模板的美妆效果。
24.结合本申请任一实施方式,所述至少一个美妆模板还包括与所述第一待处理美妆模板不同的第二待处理美妆模板,所述方法还包括:
25.在接收到针对所述第一虚拟美妆后的图像不满意的指令的情况下,将所述第二待处理美妆模板的妆容迁移到所述面部图像,得到第二虚拟美妆后的图像。
26.结合本申请任一实施方式,所述方法还包括;
27.获取实际美妆后的图像;所述实际美妆后的图像为根据所述美妆辅助信息对所述用户进行实际美妆得到的图像;
28.将所述实际美妆后的图像和所述第一虚拟美妆后的图像进行匹配度检测,得到所述实际美妆后的图像和所述第一虚拟美妆后的图像的匹配度结果。
29.结合本申请任一实施方式,响应于接收到选择自主美妆的模式,不使用所述第一美妆模板库。
30.结合本申请任一实施方式,所述方法还包括:
31.获取样本美妆模板和第二美妆模板库;
32.使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库。
33.结合本申请任一实施方式,在所述使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库之前,所述方法还包括:
34.将所述样本美妆模板与所述第二美妆模板库中的美妆模板进行比对,得到相似度集;
35.所述使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库,包括:
36.在所述相似度集中的最大值大于相似度阈值的情况下,使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库。
37.结合本申请任一实施方式,所述使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库,包括:
38.对所述样本美妆模板和第一美妆模板进行融合,得到第二美妆模板;所述第一美妆模板为所述第二美妆模板库中与所述相似度集中的最大值对应的美妆模板;
39.使用所述第二美妆模板替换所述第二美妆模板库中的所述第一美妆模板,得到所述第一美妆模板库。
40.在一些实施例中,本申请还提供了一种图像处理的装置,所述装置包括:
41.输出单元,响应于接收到开始美妆的指令,输出美妆模式;所述美妆模式包括,推荐美妆模板的模式和自主美妆的模式;
42.获取单元,用于响应于接收到选择推荐美妆模板的模式,获取用户的人物属性;
43.检索单元,用于使用所述人物属性检索第一美妆模板库,得到具有与所述人物属性匹配的特征数据的至少一个美妆模板。
44.结合本申请任一实施方式,所述至少一个美妆模板包括第一待处理美妆模板,所述获取单元,还用于:
45.获取用户的面部图像;
46.所述装置还包括:迁移单元,用于将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像。
47.结合本申请任一实施方式,所述获取单元,具体用于:
48.对所述面部图像进行人物属性提取处理,获得所述面部图像中所述用户的人物属性。
49.结合本申请任一实施方式,所述至少一个美妆模板均包含人脸图像区域;
50.所述装置还包括:第一处理单元,用于在所述将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像之前,在所述至少一个美妆模板的数量超过1的情况下,将最高美妆模板作为所述第一待处理美妆模板;所述最高美妆模板为所述至少一个美妆模板中与所述面部图像之间的人脸相似度最高的美妆模板。
51.结合本申请任一实施方式,所述装置还包括:显示单元,用于在所述将所述第一待处理美妆模板的妆容迁移到所述用户的面部图像,得到第一虚拟美妆后的图像之前,显示所述第一待处理美妆模板;
52.所述迁移单元,用于在接收到选择使用所述第一待处理美妆模板的指令的情况下,执行所述将所述第一待处理美妆模板的妆容迁移到所述用户的面部图像,得到第一虚拟美妆后的图像的步骤;
53.所述装置还包括:第二处理单元,用于在接收到针对所述第一待处理美妆模板不满意的指令的情况下,将所述至少一个美妆模板中与所述面部图像之间的人脸相似度次高的美妆模板作为所述第一待处理美妆模板,或,进入自主美妆的模式。
54.结合本申请任一实施方式,所述装置还包括:显示单元,用于显示所述第一虚拟美妆后的图像;
55.所述输出单元,还用于在接收到对所述第一虚拟美妆后的图像的美妆效果满意的指令的情况下,输出美妆辅助信息;所述美妆辅助信息用于指导使用者进行实际美妆以得到所述第一待处理美妆模板的美妆效果。
56.结合本申请任一实施方式,所述至少一个美妆模板还包括与所述第一待处理美妆模板不同的第二待处理美妆模板,所述迁移单元,还用于:
57.在接收到针对所述第一虚拟美妆后的图像不满意的指令的情况下,将所述第二待处理美妆模板的妆容迁移到所述面部图像,得到第二虚拟美妆后的图像。
58.结合本申请任一实施方式,所述获取单元,还用于;
59.获取实际美妆后的图像;所述实际美妆后的图像为根据所述美妆辅助信息对所述用户进行实际美妆得到的图像;
60.所述装置还包括:检测单元,用于将所述实际美妆后的图像和所述第一虚拟美妆后的图像进行匹配度检测,得到所述实际美妆后的图像和所述第一虚拟美妆后的图像的匹配度结果。
61.结合本申请任一实施方式,所述装置还包括:第三处理单元,用于响应于接收到选择自主美妆的模式,不使用所述第一美妆模板库。
62.结合本申请任一实施方式,所述获取单元,还用于:
63.获取样本美妆模板和第二美妆模板库;
64.所述装置还包括:更新单元,用于使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库。
65.结合本申请任一实施方式,所述装置还包括:比对单元,用于在所述使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库之前,将所述样本美妆模板与所述第二美妆模板库中的美妆模板进行比对,得到相似度集;
66.所述检索单元,具体用于:
67.在所述相似度集中的最大值大于相似度阈值的情况下,使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库。
68.结合本申请任一实施方式,所述更新单元,具体用于:
69.对所述样本美妆模板和第一美妆模板进行融合,得到第二美妆模板;所述第一美妆模板为所述第二美妆模板库中与所述相似度集中的最大值对应的美妆模板;
70.使用所述第二美妆模板替换所述第二美妆模板库中的所述第一美妆模板,得到所述第一美妆模板库。
71.在一些实施例中,本申请还提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
72.在一些实施例中,本申请还提供了一种电子设备,包括:处理器、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,在所述处理器执行所述计算机指令的情况下,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
73.在一些实施例中,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,在所述程序指令被处理器执行的情况下,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
74.在一些实施例中,本申请还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或指令,在所述计算机程序或指令在计算机上运行的情况下,使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。
75.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请。
附图说明
76.为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
77.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
78.图1为本申请实施例提供的一种图像处理方法的流程示意图;
79.图2为本申请实施例提供的一种图像处理系统的流程示意图;
80.图3为本申请实施例提供的一种应用图像处理方法的流程示意图;
81.图4为本申请实施例提供的一种图像处理装置的结构示意图;
82.图5为本申请实施例提供的一种图像处理装置的硬件结构示意图。
具体实施方式
83.为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
84.本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
85.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
86.下面结合本申请实施例中的附图对本申请实施例进行描述。
87.请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图。
88.101、响应于接收到开始美妆的指令,输出美妆模式,其中,上述美妆模式包括,推荐美妆模板的模式和自主美妆的模式。
89.本申请实施例中,开始美妆的指令用于指示图像处理装置启动美妆程序。在一种可能实现的方式中,图像处理装置与显示器之间具有通信连接,图像处理装置通过该通信连接在显示器上显示是否启动美妆程序的信息框。用户可通过该信息框向图像处理装置输入开始美妆的指令。
90.在另一种可能实现的方式中,用户通过向图像处理装置输入携带启动美妆程序信息的语音数据,向图像处理装置输入开始美妆的指令。
91.在又一种可能实现的方式中,图像处理装置接收开始美妆的指令可以是,图像处理装置接收终端发送的开始美妆的指令。可选的,终端可以是以下任意一种:手机、计算机、平板电脑、服务器、可穿戴设备。
92.本申请实施例中,推荐美妆模板的模式指图像处理装置向用户推荐适合用户的美
妆模板,自主美妆的模式指用户自行美妆,进一步的,用户可将自行美妆的效果图作为美妆模板,上传至图像处理装置。
93.输出美妆模式,可以是图像处理装置响应于接收到开始美妆的指令,进入美妆模板选择界面。
94.102、响应于接收到选择推荐美妆模板的模式,获取用户的人物属性。
95.本申请实施例中,用户的人物属性包括用户的外貌特征(包括:年龄段、发型、发色、性别、脸型、五官的类型、肤色)。
96.一种获取用户的人物属性的实现方式中,获取用户的人物属性的方式可以是接收用户通过输入组件输入的用户的人物属性,其中,输入组件包括:键盘、鼠标、触控屏、触控板和音频输入器等。也可以是接收终端发送的用户的人物属性,其中,终端包括手机、计算机、平板电脑、服务器等。
97.在又一种获取用户的人物属性的实现方式中,终端与服务器之间通信连接,终端接收用户输入的用户的人物属性,并将该用户的人物属性发送至服务器,以使服务器获取用户的人物属性。可选的,在该种可能实现的方式中,用户在通过终端输入用户的人物属性之前,终端可向用户显示待选择的用户的人物属性,并将用户选择的用户的人物属性作为用户的人物属性,发送至服务器。
98.举例来说,终端向用户显示的人物属性中,脸型的待选择项包括:标准脸、圆脸、方脸、菱形脸、鹅蛋脸、长脸、心形脸;性别的待选择项包括:男性、女性;年龄段的待选择项包括:20岁以下、20岁

25岁、25岁

30岁、30岁

35岁、35岁

40岁、40岁

45岁、45岁

50岁、50岁以上;发色的待选择项包括:黑色、白色、红色、橙色、黄色、绿色、蓝色、紫色、棕色;眉毛的待选择项包括:弦月眉、一字眉、三角眉、剑眉、柳叶眉、八字眉;眼睛的待选择项包括:标准眼、圆眼、丹凤眼、三白眼、眯缝眼、三角眼、深窝眼、肿泡眼、细长眼、桃花眼;嘴巴的待选择项包括:薄嘴唇、厚嘴唇、m型唇、含珠唇、微笑唇、嘟嘟唇、爱心唇;鼻子的待选择项包括:朝天鼻、鞍鼻、直鼻、波浪鼻、高鼻、低鼻;肤色的待选择项包括:黑色、白色、黄色;发型的待选择项包括:有刘海长发、无刘海长发、有刘海短发、无刘海短发。
99.103、使用上述人物属性检索第一美妆模板库,得到具有与上述人物属性匹配的特征数据的至少一个美妆模板。
100.本申请实施例中,第一美妆模板库可以是在获取用户的人物属性之前建立的,第一美妆模板库包括图像和图像的特征数据。其中,图像的特征数据指图像中的人物对象的人物属性。图像中的人物对象的人物属性包括了:脸型、性别、年龄段、眉毛的类型、鼻子的类型、眼睛的类型、嘴巴的类型、发型、发色、肤色。
101.由于第一美妆模板库中的每张图像均具有特征数据,因此,使用用户的人物属性检索第一美妆模板库,即从第一美妆模板库中确定与用户的人物属性匹配的特征数据,进而确定具有与用户的人物属性匹配的特征数据的美妆模板。需要理解的是,美妆模板的数量可能是一张,也可能是多张。
102.举例说明,用户的人物属性包括:脸型为圆脸、鼻子的类型为高鼻、发色为黑色。使用用户的人物属性检索第一美妆模板库,即从第一美妆模板库中确定具有特征数据为脸型为圆脸、鼻子的类型为高鼻、发色为黑色的图像,得到至少一个美妆模板。
103.图像处理装置使用用户的人物属性对第一美妆模板库中的数据进行检索,确定第
一美妆模板库中具有与用户的人物属性匹配的特征数据的图像,以获得至少一个美妆模板。因此,用户可以通过用户的人物属性检索第一美妆模板库得到的至少一个美妆模板,去学习美妆模板中包含的人物对象的美妆方法,从而找到适合用户自身的美妆。
104.举例说明,用户的人物属性为:圆脸、桃花眼、高鼻、女性。那么,图像处理装置使用用户的人物属性检索第一美妆模板库,得到特征数据为“圆脸、桃花眼、高鼻、女性”的多个图像,也就是至少一个美妆模板。
105.本申请实施例中,图像处理装置在进入推荐美妆模板的模式后,将用户的人物属性作为检索依据,从第一美妆模板库中检索得到至少一个适合用户的美妆模板。
106.作为一种可选的实施方式,至少一个美妆模板包括第一待处理美妆模板,图像处理装置还执行步骤:
107.1、获取用户的面部图像。
108.本申请实施例中,用户的面部图像为包含用户人脸的图像。在一种获取用户的面部图像的实现方式中,图像处理装置接收用户通过输入组件输入的用户的面部图像。
109.在又一种获取用户的面部图像的实现方式中,图像处理装置接收数据终端发送的用户的面部图像。
110.在又一种获取用户的面部图像的实现方式中,图像处理装置接收摄像头发送的用户的面部图像。可选的,图像处理装置接收摄像头发送的视频流,将视频流进行解码处理,获得的图像作为用户的面部图像。
111.2、将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像。
112.本申请实施例中,第一待处理美妆模板为至少一个美妆模板中的一个美妆模板。一种可能的从至少一个美妆模板中选取第一待处理美妆模板的实现方式中,从至少一个美妆模板包含的图像中选取与用户的面部图像的特征的欧氏距离最小的图像作为第一待处理美妆模板。从至少一个美妆模板中选取与用户的面部图像的特征的欧氏距离最小的图像,也就是选取与用户的面部图像最相近的图像作为第一待处理美妆模板。
113.本申请实施例中,将第一待处理美妆模板的妆容迁移到用户的面部图像,得到第一虚拟美妆后的图像。第一虚拟美妆后的图像是将第一待处理美妆模板的妆容迁移到用户的面部图像上,使得用户的面部图像具有第一待处理美妆模板中人物对象的美妆效果的图像。
114.在一种可能的实现方式中,图像处理装置通过妆容迁移网络将第一待处理美妆模板的妆容迁移到用户的面部图像,得到第一虚拟美妆后的图像。通过将至少一张带有标注信息的第一训练图像作为训练数据,对深度卷积神经网络进行训练可得到妆容迁移网络,其中,标注信息为第一训练图像中人物对象的眉毛、眼睛、鼻子、脸颊等美妆部位。将用户的面部图像输入到已经训练好的妆容迁移网络中,可以得到一张美妆后的图像,也就是第一虚拟美妆后的图像。
115.在又一种可能的实现方式中,图像处理装置通过妆容迁移算法将第一待处理美妆模板的妆容迁移到用户的面部图像。妆容迁移算法将第一待处理美妆模板对应的素颜图像的像素值除以对应第一待处理美妆模板的像素值,得到第一待处理美妆模板对应的素颜图像和第一待处理美妆模板之间的美妆映射(cosmetic map,cp)的数值。然后利用美妆映射
的数值乘以用户的面部图像的像素值,得到第一虚拟美妆后的图像的像素值,进而得到一张第一虚拟美妆后的图像。也就是说,妆容迁移算法的输入是第一待处理美妆模板的素颜图像,第一待处理美妆模板以及用户的面部图像;输出是美妆后的用户的面部图像,也就是第一虚拟美妆后的图像。图像处理装置将用户的面部图像、第一待处理美妆模板以及第一待处理美妆模板所对应的素颜图像,输入到妆容迁移算法中,输出得到第一虚拟美妆后的图像。
116.可选的,为了将第一待处理美妆模板的妆容迁移到用户的面部图像得到比较好的美妆效果,在上述利用美妆映射的数值乘以用户的面部图像的像素值,得到第一虚拟美妆后的图像的像素值之前,妆容迁移算法可以先将第一待处理美妆模板和用户的面部图像的空间布局变形到一致。通过分别提取第一待处理美妆模板和用户的面部图像的特征点,对第一待处理美妆模板和用户的面部图像的特征点进行匹配,得到最优匹配。再利用仿射变换、透视变换等参数优化第一待处理美妆模板和用户的面部图像之间的对应关系,得到最优化参数。利用最优化参数,将第一待处理美妆模板变形为与用户的面部图像同样的空间布局。
117.图像处理装置通过获取用户的人物属性,能准确地检索到与用户的人物属性匹配的美妆模板,即能针对用户的特点提供符合用户特点的美妆模板。并且,图像处理装置能逼真地显示与用户的人物属性匹配的美妆模板和将美妆模板的妆容迁移到用户的面部图像所得到的第一虚拟美妆后的图像。因此,用户能够依据图像处理装置显示的与用户的人物属性匹配的美妆模板以及将与用户的人物属性匹配的美妆模板迁移到用户的面部图像所得到的第一虚拟美妆后的图像,可以了解自己适合哪一类妆容。
118.作为一种可选的实施方式,图像处理装置在执行步骤1的过程中执行以下步骤:
119.3、对上述面部图像进行人物属性提取处理,获得上述面部图像中上述用户的人物属性。
120.本申请实施例中,对用户的面部图像进行人物属性提取处理,人物属性提取的本质是特征提取处理。其中,该特征提取处理可通过预先训练好的神经网络实现,也可通过特征提取模型实现,本申请对此不作限定。通过对用户的面部图像进行人物属性提取处理得到的特征数据可以理解为用户的面部图像的更深层次的语义信息。其中,特征数据为用户的面部图像中用户的人物属性。
121.在一些可能的实现方式中,通过多层任意堆叠的卷积层对用户的面部图像逐层进行卷积处理完成对用户的面部图像的特征提取处理,其中,每个卷积层提取出的特征内容及语义信息均不一样,具体表现为,特征提取处理一步步地将图像的特征抽象出来,同时也将逐步去除相对次要的特征数据,因此,越到后面提取出的特征数据越小,内容及语义信息就越浓缩。通过多层卷积层逐级对用户的面部图像进行卷积处理,并提取相应的特征数据,这样,可在获得用户的面部图像主要内容信息(即用户的面部图像的特征数据)的同时,将图像尺寸缩小,减小系统的计算量,提高运算速度。
122.在一种可能实现的方式中,卷积处理的实现过程如下:卷积层对用户的面部图像做卷积处理,即利用卷积核在用户的面部图像上滑动,并将用户的面部图像上的像素与对应的卷积核上的数值相乘,然后将所有相乘后的值相加作为卷积核中间像素对应的图像上像素值,最终滑动处理完用户的面部图像中所有的像素,并提取出特征数据。
123.需要理解的是,人物属性提取处理得到的用户的人物属性越多,图像处理装置利用用户的人物属性检索数据库得到的美妆模板会与用户的面部图像更为匹配,将美妆模板的妆容迁移到用户的面部图像能够取得更好的美妆效果。
124.举例说明,人物属性提取处理得到的用户的人物属性为:圆脸、厚嘴唇、桃花眼。利用用户的人物属性检索得到具有“圆脸、厚嘴唇、桃花眼”特征的美妆模板有五个。人物属性提取处理得到的用户的人物属性为:圆脸、厚嘴唇、桃花眼、高鼻、柳叶眉。利用用户的人物属性检索得到具有“圆脸、厚嘴唇、桃花眼、高鼻、柳叶眉”特征的美妆模板有三个。图像处理装置利用更多的用户的人物属性检索得到的美妆模板会与用户的面部图像更加匹配。
125.作为一种可选的实施方式,图像处理装置在执行步骤2之前,还执行以下步骤:
126.4、在上述至少一个美妆模板的数量超过1的情况下,将最高美妆模板作为上述第一待处理美妆模板,其中,上述最高美妆模板为上述至少一个美妆模板中与上述面部图像之间的人脸相似度最高的美妆模板。
127.本申请实施例中,将至少一个美妆模板中与上述用户的面部图像之间的人脸相似度最高的美妆模板作为上述第一待处理美妆模板,需要进行两张图像之间的相似度对比。相似度比对的算法可以采用以下任意一种算法:像素点比对,重心比对,投影比对,分块比对、opencv的直方图方法、图像模板匹配、峰值信噪比(peak signal to noise ratio,psnr)、结构相似性(structural similarity,ssim)、感知哈希算法。
128.可选的,在将至少一个美妆模板中与用户的面部图像之间的人脸进行相似度比对之前,若用户的面部图像和至少一个美妆模板包含的图像是rgb图像,那么图像的像素点的像素值在0~255之间。如果直接处理范围太大的像素值,会使得数据的处理比较复杂,因此先进行图像的降维,也就是图像的二值化处理。二值化处理可以将图像变成只有黑色和白色,黑色用1表示,白色用0表示,这样就得到一个矩阵,矩阵中只有数字0和1组成,可以使用otsu算法。
129.接下来以像素点比对说明如何计算甲图像和乙图像的相似度。其中,甲图像为二值化处理后的用户的面部图像,乙图像为二值化处理后的第一待处理美妆模板。第一待处理美妆模板为至少一个美妆模板中的任意一个美妆模板。甲图像的像素点和乙图像的像素点的数量相同。将甲图像和乙图像的相同位置的像素点依次进行比对,如果相同位置的像素点对应的像素值相等,那么甲图像和乙图像相似点的数量加一。计算甲图像和乙图像的相似点的数量,将相似点的数量除以甲图像(或者乙图像)的像素点的数量,得到一个0~1之间的数值,将这个数值作为甲图像和乙图像的相似度。
130.举例说明,假设至少一个美妆模板含有a模板和b模板。其中,a模板和用户的面部图像的像素点都是100个像素点,有30个像素点不同,那么a模板和用户的面部图像之间的人脸的相似度为70%。b模板和用户的面部图像的像素点都是100个像素点,有40个像素点不同,那么b模板和用户的面部图像之间的人脸的相似度为60%。因为a模板和用户的面部图像之间的人脸的相似度大于b模板和用户的面部图像之间的人脸的相似度,所以将a模板作为第一待处理美妆模板推荐给用户。
131.作为一种可选的实施方式,图像处理装置在执行步骤2之前,还执行以下步骤:
132.5、显示上述第一待处理美妆模板。
133.6、在接收到选择使用上述第一待处理美妆模板的指令的情况下,执行上述将上述
第一待处理美妆模板的妆容迁移到上述用户的面部图像,得到第一虚拟美妆后的图像的步骤。
134.本申请实施例中,图像处理装置接收选择是否使用上述第一待处理美妆模板的指令。图像处理装置接收到选择使用上述第一待处理美妆模板的指令,表示用户对上述第一待处理美妆模板比较满意,因此选择使用第一待处理美妆模板。图像处理装置进而将第一待处理美妆模板的妆容迁移到用户的面部图像,得到虚拟美妆后的图像。
135.7、在接收到针对上述第一待处理美妆模板不满意的指令的情况下,将上述至少一个美妆模板中与上述面部图像之间的人脸相似度次高的美妆模板作为上述第一待处理美妆模板,或,进入自主美妆的模式。
136.图像处理装置接收到针对第一待处理美妆模板不满意的指令,表示用户对第一待处理美妆模板不满意,因此选择不使用第一待处理美妆模板。
137.在一种情况下,图像处理装置进而从至少一个美妆模板中,选取与面部图像之间的人脸相似度次高的美妆模板,作为第一待处理美妆模板。在另一种情况下,图像处理装置进入自主美妆的模式。
138.作为一种可选的实施方式,图像处理装置还执行以下步骤:
139.8、显示上述第一虚拟美妆后的图像。
140.9、在接收到对上述第一虚拟美妆后的图像的美妆效果满意的指令的情况下,输出美妆辅助信息,其中,上述美妆辅助信息用于指导使用者进行实际美妆以得到上述第一待处理美妆模板的美妆效果。
141.图像处理装置接收到用户对于第一虚拟美妆后的图像的美妆效果不满意的指令,表示用户不喜欢第一虚拟美妆后的图像的美妆效果。因此,图像处理装置不执行基于第一待处理美妆模板,指导用户进行实际美妆的步骤,从而可减少运行数据的内存。
142.图像处理装置接收到用户对第一虚拟美妆后的图像满意的指令,表示用户喜欢第一虚拟美妆后的图像的美妆效果,图像处理装置执行输出美妆辅助信息的指令。其中,上述美妆辅助信息用于指导使用者进行实际美妆以得到上述第一待处理美妆模板的美妆效果。上述使用者可以是上述用户,也可以是帮助用户化妆的其他人,本申请对使用者的人数以及性别不做限定。可选的,辅助信息的形式可以是语音、文字、图像、视频中的一种或多种。
143.一种可能的实现方式中,上述数据库中存储美妆模板和与美妆模板所对应的美妆方法,图像处理装置在接收用户对第一虚拟美妆后的图像满意的指令之后,调用第一待处理美妆模板对应的美妆方法,并显示上述第一待处理美妆模板中人物对象的美妆方法的步骤,进而用户依据美妆方法自己动手化妆。
144.又一种可能的实现方式,图像处理装置显示第一待处理美妆模板对应的美妆方法的步骤的同时,再识别到用户对某一个美妆部位进行操作时,将对应美妆部位的美妆方法以语音播报的方式用于提示用户。
145.举例说明,数据库中存储与第一待处理美妆模板对应的美妆方法为:脸上打好均匀肤色粉底,在脸颊和下巴部位加上深色粉底;眉毛2/3画直,眉峰不宜太高,也不要往下,画长一点(类似一字眉);眼线画椭圆型;鼻影不适合做太明显的鼻影,应以自然为宜;口红上唇不要画得太丰满,下唇可画丰满些;修容要往耳边擦,以横刷为佳。图像处理装置识别到用户正在画眉毛,那么可以通过播放眉毛的美妆方法,如“眉毛2/3画直,眉峰不宜太高,
也不要往下,画长一点”提示用户。
146.又一种可能的实现方式中,图像处理装置获取用户每一个需要美妆的目标部位,然后根据具体美妆部位在真实人脸图像中所在的位置等信息,结合预先建立的美妆数据模型,生成具体的美妆部位需要的辅助信息包括美妆部位的形状,美妆部位的颜色等,再叠加到人脸图像对应器官所在的位置进行展示。
147.举例说明,口红对应的人脸部位为嘴唇。在界面上生成口红要化妆的形状的辅助线和标注口红需要上色的颜色的提示信息,然后叠加到人脸图像的嘴巴所在的位置进行展示。
148.另外,在用户进行实际化妆的过程中,用户可能还会调整自己的姿势、口型,或者移动自己的位置,以便于更好地确认美妆效果。因此,图像处理装置还需要跟踪具体目标美妆部位在人脸图像中的变化,包括位置的变化,目标美妆部位形状的变化等,并实时调整虚拟辅助信息的属性,使得无论用户如何运动,都可以使得虚拟的辅助信息贴合在人脸图像上。为了达到上述目的,可以采用以下任意一种运动跟踪算法:基于区域的跟踪算法、基于特征的跟踪算法、基于轮廓的跟踪算法,实现对人脸的实时定位。
149.作为一种可选的实施方式,至少一个美妆模板还包括与上述第一待处理美妆模板不同的第二待处理美妆模板,图像处理装置还执行以下步骤:
150.10、在接收到针对上述第一虚拟美妆后的图像不满意的指令的情况下,将上述第二待处理美妆模板的妆容迁移到上述面部图像,得到第二虚拟美妆后的图像。
151.在该种实施方式中,至少一个第一美妆模板中美妆模板的数量至少为2。图像处理装置接收到针对第一虚拟美妆后的图像不满意的指令,表示用户认为第一待处理美妆模板的美妆效果不适合自己。因此,图像处理装置从至少一美妆模板中选取一个不同于第一待处理美妆模板的美妆模板,作为第二美妆模板。并将第二美妆模板的妆容迁移到面部图像,得到第二虚拟美妆后的图像。
152.作为一种可选的实施方式,图像处理装置还执行以下步骤:
153.11、获取实际美妆后的图像,其中,上述实际美妆后的图像为根据上述美妆辅助信息对上述用户进行实际美妆得到的图像。
154.本申请实施例中,上述美妆辅助信息用于指导使用者进行实际美妆以得到上述待处理美妆模板的美妆效果,根据上述美妆辅助信息对上述用户进行实际美妆得到具有上述待处理美妆模板的美妆效果的图像,也就是获取实际美妆后的图像。
155.举例说明,张三使用图像处理装置进行实际美妆。图像处理装置显示张三实际美妆的界面,图像处理装置识别到张三的眉毛、嘴巴等位置,在张三的眉毛、嘴巴等位置显示美妆辅助信息。比如说,在张三的眉毛位置显示出关于眉毛的辅助线,标注眉毛的颜色为棕色;在张三的嘴巴位置显示出关于嘴巴的辅助线,标注嘴巴的颜色为玫红色。张三依据图像处理装置显示的美妆辅助信息进行实际美妆,得到实际美妆后的图像。
156.需要理解的是,实际美妆后的图像可以是使用者通过其他数据终端拍摄的图像,也可以是用户本人通过其他数据终端拍摄的图像,还可以是图像处理装置在确定用户完成实际美妆的情况下拍摄所得到的图像。
157.在一种获取实际美妆后的图像的实现方式中,图像处理装置接收用户通过输入组件输入的实际美妆后的图像。
158.在另一种获取实际美妆后的图像的实现方式中,图像处理装置接收数据终端发送的实际美妆后的图像。
159.12、将上述实际美妆后的图像和上述第一虚拟美妆后的图像进行匹配度检测,得到上述实际美妆后的图像和上述第一虚拟美妆后的图像的匹配度结果。
160.本申请实施例中,将上述实际美妆后的图像和上述虚拟美妆后的图像进行匹配度检测,得到上述实际美妆后的图像和上述虚拟美妆后的图像的匹配度结果。其中,检测实际美妆后的图像和虚拟美妆后的图像的匹配度,与上述步骤4的进行两张图像之间的相似度对比的过程类似。
161.举例说明,假设二值化处理后的虚拟美妆后的图像和二值化处理后的实际美妆后的图像的像素点都是100个像素点,有30个像素点不同,那么虚拟美妆后的图像和实际美妆后的图像的匹配度为70%。
162.根据虚拟美妆后的图像和实际美妆后的图像的匹配度结果,用户可以判断自己的化妆水平。匹配度越高,说明用户的化妆水平越好。可选的,将用户每次使用美妆模板进行实际美妆得到的实际美妆后的图像和虚拟美妆后的图像进行匹配度检测后得到的匹配度结果存储到数据库,与用户下一次使用相同的美妆模板进行实际美妆得到的实际美妆后的图像和虚拟美妆后的图像进行匹配度检测后得到的匹配度结果进行对比,作为衡量用户的化妆水平是否提高的依据,帮助用户判断自己的化妆水平是否提高。
163.举例说明,用户第一次使用美妆模板c化妆得到的实际美妆后的图像a和虚拟美妆后的图像的匹配度为70%。用户第二次使用美妆模板c化妆得到的实际美妆后的图像b和虚拟美妆后的图像的匹配度为78%。那么说明用户的化妆水平有所提高。
164.图像处理装置通过上述实际美妆后的图像和上述虚拟美妆后的图像进行匹配度检测,得到上述实际美妆后的图像和上述虚拟美妆后的图像的匹配度结果,可以帮助用户了解自己的化妆水平的高低。图像处理装置中记录用户每一次使用美妆模板得到的实际美妆后的图像和虚拟美妆后的图像的匹配度较前一次使用相同美妆模板得到的实际美妆后的图像和虚拟美妆后的图像的匹配度的增长或者降低,可以帮助用户了解自己的化妆水平是否提高,提升用户使用图像处理装置的体验。
165.用户自主美妆的模式,说明用户不需要图像处理装置基于第一美妆模板库进行美妆模板的推荐。因此,作为一种可选的实施方式,图像处理装置在接收到选择自主美妆的模式,不使用第一美妆模板库,从而减少数据处理量。
166.作为一种可选的实施方式,图像处理装置还执行以下步骤:
167.13、获取样本美妆模板和第二美妆模板库。
168.本步骤中,样本美妆模板为用户满意美妆效果的图像。例如,样本美妆模板可以是用户自己化妆后,自拍得到的图像。又例如,样本美妆模板也可以是上述第一虚拟美妆后的图像。再例如,样本美妆模板还可以是上述实际美妆后的图像。可以理解的,本实施例并不对样本美妆模板的来源作限定。本步骤中,第二美妆模板库包括至少一个美妆模板,且第二美妆模板库与第一美妆模板库不同。
169.14、使用上述样本美妆模板更新上述第二美妆模板库中的美妆模板,得到第一美妆模板库。
170.由于用户满意样本美妆模板中的美妆效果,图像处理装置使用样本美妆模板更新
第二美妆模板更新第二美妆模板库中的美妆模板,可提升第二美妆模板库中的美妆模板的美妆效果。
171.基于步骤13和步骤14,图像处理装置可不断更新第二美妆模板库中的美妆模板,得到第一美妆模板库。图像处理装置再将第一美妆模板库用于向用户推荐美妆模板,可提升推荐效果。
172.作为一种可选的实施方式,图像处理装置在执行步骤14之前,还执行以下步骤:
173.15、将上述样本美妆模板与上述第二美妆模板库中的美妆模板进行比对,得到相似度集。
174.本步骤中,图像处理装置通过将样本美妆模板与第二美妆模板库中的美妆模板进行人脸相似度比对,得到相似度集。
175.在得到相似度集后,图像处理装置在执行步骤14的过程中执行以下步骤:
176.16、在上述相似度集中的最大值大于相似度阈值的情况下,使用上述样本美妆模板更新上述第二美妆模板库中的美妆模板,得到第一美妆模板库。
177.相似度集中的最大值大于相似度阈值,说明第二美妆模板库中存在与样本美妆模板匹配的美妆模板。此时,图像处理装置使用样本美妆模板库更新第二美妆模板库中的美妆模板,可使第一美妆模板库中的美妆模板的美妆效果更佳。
178.作为一种可选的实施方式,图像处理装置在执行步骤14的过程中执行以下步骤:
179.17、对上述样本美妆模板和第一美妆模板进行融合,得到第二美妆模板,其中,上述第一美妆模板为上述第二美妆模板库中与上述相似度集中的最大值对应的美妆模板。
180.可选的,图像处理装置通过将样本美妆模板和第二美妆模板进行融合,达到使用样本美妆模板修正第一美妆模板的效果,得到第二美妆模板。
181.18、使用上述第二美妆模板替换上述第二美妆模板库中的上述第一美妆模板,得到上述第一美妆模板库。
182.请参阅图2,图2是本申请实施例提供的一种图像处理系统的流程示意图。
183.本申请实施例中,如图2所示,图像处理装置包括一种具有人脸识别功能的电子装置、云服务平台、美妆应用(application,app)。在进行数据更新的时候,将数据放在设备中会造成数据存储量过大,影响设备的运行速度。为更好地对数据进行管理,图像处理系统将数据库中的数据存储到云服务平台。在具有人脸识别功能的电子装置上安装美妆app用于执行上述方法,用户通过使用美妆app能方便地进行美妆。
184.云服务平台包含第一美妆模板库、用户创造分享平台以及交流分享平台。其中,第一美妆模板库用于存储包括男性的美妆后的人脸图像和女性的美妆后的人脸图像。在美妆app接收到用户需要获取美容模板的指令的情况下,从云服务平台的第一美妆模板库中调用美妆模板,能减少具有人脸识别功能的电子装置的数据占用内存。用户创造分享平台用于存储用户自己实际创作的美妆图像。交流分享平台用于存储用户分享的关于使用美妆模板进行实际美妆后的交流内容。可选的,交流内容可以是上述第一虚拟美妆后的图像,也可以是上述实际美妆后的图像,也可以是上述第一虚拟美妆后的图像和上述实际美妆后的图像的匹配度结果,而且交流内容的形式可以是:音频、文字、图像、视频中的一种或多种。
185.请参阅图3,图3为本申请实施例提供一种应用图像处理方法的流程示意图。
186.本申请实施例中,如图3所示,图像处理装置通过人脸识别检测到人脸的时候,就
会获取到用户的面部图像。通过对用户的面部图像进行特征提取,可以获取到用户的人脸轮廓,人脸五官特征、人脸比例以及人脸纹理等特征信息,从而能确定用户的脸型、性别、年龄段、五官的特征、肤色等用户的人物属性。例如:在图像处理装置识别到张三的人脸的情况下,首先得到张三的面部图像。对张三的面部图像进行特征提取处理,可以得到张三的人物属性为“圆脸、男性、剑眉、20岁

25岁、肤色为黄色”。图像处理装置接收用户是否选择使用美妆模板的指令。
187.在接收用户选择使用美妆模板的指令的情况下,从数据库的美妆模板中获取与用户的人物属性匹配的美妆模板。一般来说,具有与用户的人物属性匹配的特征数据的美妆模板的数量有多个。可选的,为了能够减少调用美妆模板的次数,加快图像处理装置的运行内存速度,每次图像处理装置仅调用并且显示多个美妆模板中的其中一个模板。本申请对如何选取多个美妆模板的其中一个模板的方法不做限定。
188.图像处理装置的显示美妆模板之后,接收用户对推荐的美妆模板是否满意的指令。
189.在接收用户对推荐的美妆模板不满意的指令的情况下,重新从多个美妆模板中依据选取第一次推荐的美妆模板的方式调用并显示再次推荐的美妆模板,接收用户是否对再次推荐的美妆模板满意的指令。在接收用户对多个美妆模板均不满意的指令的情况下,接收用户是否需要创作美妆的指令。
190.在接收用户对推荐的美妆模板满意的情况下,将美妆模板的妆容迁移到用户的面部图像,得到第一虚拟美妆后的图像,接收用户对第一虚拟美妆后的图像的美妆效果是否满意的指令。
191.在接收用户对第一虚拟美妆后的图像的美妆效果不满意的指令的情况下,重新从多个美妆模板中依据选取第一次推荐的美妆模板的方式调用并显示推荐的美妆模板,接收是否对推荐的美妆模板满意的指令。
192.在接收用户对第一虚拟美妆后的图像的美妆效果满意的指令的情况下,图像处理装置输出用于指导使用者进行实际美妆以得到所述第一待处理美妆模板的美妆效果的美妆辅助信息。图像处理装置接收用户是否完成实际美妆的指令,在接收用户完成实际美妆的指令的情况下,得到用户实际美妆后的图像。
193.图像处理装置接收用户是否选择将实际美妆后的图像或者第一虚拟美妆后的图像进行交流的指令。在接收用户选择将实际美妆后的图像或者第一虚拟美妆后的图像进行交流的指令的情况下,输出编辑框。其中,用户在编辑框中编辑内容的形式可以是文字、图像、视频、音频的一种或多种。图像处理装置接收用户在编辑框中完成编辑内容的指令,将用户编辑内容上传到数据库中的交流分享平台。
194.在接收到用户不选择使用美妆模板的指令的情况下,输出用户实际创作美妆的界面。可选的,在输出用户自己创作美妆的界面之前,还可以根据用户的脸型属性检索数据库,得到与用户脸型对应的美妆建议和穿衣建议。举例说明,用户的脸型为长脸,那么检索数据库得到的美妆建议是:在脸上打好均匀肤色粉底,在脸颊和下巴部位加上深色粉底;眉毛2/3画直,眉峰不宜太高,也不要往下,画长一点(类似一字眉);眼线画椭圆型;不适合做太明显的鼻影,应以自然为宜;口红上唇不要画得太丰满,下唇可画丰满些;修容要往耳边擦,以横刷为佳。相应地,穿衣建议是:用户适宜穿圆领口的衣服,也可穿高领口、马球衫或
带有帽子的上衣。可选的,还可以根据用户的五官属于哪一种类型检索数据库,得到与用户的五官对应的美妆建议,得到用户的五官的美妆建议。比如说,用户的眼睛类型为桃花眼,那么检索数据库得到的美妆建议为桃花眼妆。
195.图像处理装置显示上述通过用户的人物属性检索数据库得到的美妆建议,得到用户依据上述美妆建议进行实际化妆获取的一张实际创作美妆后的图像。
196.在获取用户实际创作美妆后的图像之后,为了更新数据库包含的美妆模板,使得数据库中的美妆模板更为丰富,帮助用户有更多的美妆模板可以进行选择,因此可以将用户实际创作美妆后的图像作为新的美妆模板。用户实际创作美妆后的图像是否上传,需要先征得用户的许可,因此图像处理装置接收用户是否同意分享实际创作美妆后的图像的指令。
197.在接收到用户同意分享实际创作美妆后的图像的指令的情况下,将实际创作美妆后的图像上传到数据库中的用户创造分享平台,然后对实际创作美妆后的图像进行审核。需要理解的是,这里的审核可以是对实际创作美妆后的图像进行打分,在分数超过一定阈值的情况下,审核通过;也可以是将用户的面部图像和实际创作美妆后的图像进行相似度对比,检测实际创作美妆后的图像和用户的面部图像相似度低于设定的数值的情况下,审核通过;还可以是对实际创作美妆后的图像进行妆容完整度的检测,检测实际创作美妆后的图像的妆容完整的情况下,审核通过。
198.一种可能的实现方式中,审核可以采取的方式可以是对实际创作美妆后的图像进行打分,在对实际创作美妆后的图像的打分超过一定分数的情况下,确定实际创作美妆后的图像审核通过。比如说,打分规则为:将实际创作美妆后的图像与用户的面部图像对比,检测到实际创作美妆后的图像中人脸眉毛的颜色改变的情况下,加一分;检测到实际创作美妆后的图像中人脸嘴巴的颜色改变的情况下,加一分;检测到实际创作美妆后的图像中人脸的上眼睑的颜色发生改变的情况下,加一分;检测到实际创作美妆后的图像中人脸的脸颊的颜色发生改变的情况下,加一分,检测到实际创作美妆后的图像中人脸的皮肤的颜色发生改变的情况下,加一分,在实际创作美妆后的图像得分在四分以上的情况下,确定实际创作美妆后的图像审核通过。
199.举例说明,图像处理装置检测到张三实际创作美妆后的图像相较于张三的面部图像,眉毛的颜色改变、上眼睑的颜色改变、嘴巴的颜色改变、皮肤的颜色改变,那么张三实际创作美妆后的图像的分数为四分,确定张三实际创作美妆后的图像审核通过。
200.又一种可能的实现方式中,因为用户实际创作美妆后的图像和用户的面部图像存在差异,审核可以采取的方式还可以是将用户的面部图像与用户实际创作美妆后的图像进行相似度对比,将相似度对比的结果作为衡量用户实际创作美妆后的图像能否作为美妆模板的标准。在检测到用户的面部图像和用户实际创作美妆后的图像的相似度低于设定的数值的情况下,将实际创作美妆后的图像存储作为美妆模板到数据库。假设用户的面部图像和用户实际创作美妆的图像的相似度不超过80%的情况下,确定实际创作美妆后的图像审核通过,从而将用户实际创作美妆的图像可以作为美妆模板存储到数据库中,用于丰富数据库中的美妆模板,更新数据库的数据。
201.举例说明,图像处理装置检测到张三的面部图像和用户实际创作美妆的图像的相似度不超过80%,那么确定张三实际创作美妆后的图像审核通过。
202.又一种可能的实现方式中,审核可以采取的方式还可以是检测实际创作美妆后的图像的妆容是否完整,在确定实际创作美妆后的图像的妆容完整的情况下,确定实际创作美妆后的图像审核通过。比如说,判断妆容完整的规则为:将实际创作美妆后的图像与用户的面部图像进行对比,检测到实际创作美妆后的图像中人脸有画眉毛、涂口红、画眼影、涂腮红、打高光的情况下,确定实际创作美妆后的图像的妆容完整,从而确定实际创作美妆后的图像审核通过。
203.举例说明,图像处理装置将张三的面部图像和用户实际创作美妆的图像进行对比,检测到张三实际创作美妆后的图像中人脸有画眉毛、涂口红、画眼影、涂腮红、打高光,确定张三实际创作美妆后的图像的妆容完整,那么确定张三实际创作美妆后的图像审核通过。
204.在接收对实际创作美妆后的图像审核不通过的指令的情况下,输出实际创作美妆后的图像审核不通过的提示信息。可选的,图像处理装置可以输出用户没有化妆的具体的部位的提示,还可以输出是否需要美妆模板的提示。本申请在这里不做限定。
205.举例说明,图像a为张三实际创作美妆后的图像,图像处理装置检测到图像a中的张三没有画眉毛和涂口红,那么输出“用户的眉毛和嘴巴部分还有待完善”的提示信息。可选的,图像处理装置还可以调用数据库中与张三的脸型或者张三的五官特征对应的美妆建议,输出与张三的脸型或者张三的五官特征对应的美妆建议,帮助张三完善实际创作的美妆。
206.可选的,将审核通过的实际创作美妆后的图像作为美妆模板存储到美妆模板库。
207.可选的,将审核通过的用户实际创作美妆后的图像先存储到数据库的用户创造分享平台。对数据库中的用户创造分享平台中进一步筛选实际创作美妆后的图像,将筛选通过的实际创作美妆后的图像作为美妆模板存储到数据库的美妆模板库中,用于丰富数据库的美妆模板库的数据,更新数据库中美妆模板库的美妆模板。
208.可选的,在确定美妆模板库存储实际创作美妆后的图像后,图像处理装置输出请求用户输入实际创作美妆的方法,并给予用户奖励。奖励可以是一定的积分或者小礼品,本申请在这里不做限定。
209.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
210.上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
211.请参阅图4,图4为本申请实施例提供的一种图像处理装置的结构示意图,该装置1包括:输出单元11、获取单元12、检索单元13,可选的,该装置1还包括:迁移单元14、第一处理单元15、显示单元16、第二处理单元17、第三处理单元18、更新单元19、比对单元20,其中:
212.输出单元11,响应于接收到开始美妆的指令,输出美妆模式;所述美妆模式包括,推荐美妆模板的模式和自主美妆的模式;
213.获取单元12,用于响应于接收到选择推荐美妆模板的模式,获取用户的人物属性;
214.检索单元13,用于使用所述人物属性检索第一美妆模板库,得到具有与所述人物属性匹配的特征数据的至少一个美妆模板。
215.结合本申请任一实施方式,所述至少一个美妆模板包括第一待处理美妆模板,所
述获取单元12,还用于:
216.获取用户的面部图像;
217.所述装置还包括:迁移单元14,用于将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像。
218.结合本申请任一实施方式,所述获取单元12,具体用于:
219.对所述面部图像进行人物属性提取处理,获得所述面部图像中所述用户的人物属性。
220.结合本申请任一实施方式,所述至少一个美妆模板均包含人脸图像区域;
221.所述装置还包括:第一处理单元15,用于在所述将所述第一待处理美妆模板的妆容迁移到所述面部图像,得到第一虚拟美妆后的图像之前,在所述至少一个美妆模板的数量超过1的情况下,将最高美妆模板作为所述第一待处理美妆模板;所述最高美妆模板为所述至少一个美妆模板中与所述面部图像之间的人脸相似度最高的美妆模板。
222.结合本申请任一实施方式,所述装置还包括:显示单元16,用于在所述将所述第一待处理美妆模板的妆容迁移到所述用户的面部图像,得到第一虚拟美妆后的图像之前,显示所述第一待处理美妆模板;
223.所述迁移单元14,用于在接收到选择使用所述第一待处理美妆模板的指令的情况下,执行所述将所述第一待处理美妆模板的妆容迁移到所述用户的面部图像,得到第一虚拟美妆后的图像的步骤;
224.所述装置还包括:第二处理单元17,用于在接收到针对所述第一待处理美妆模板不满意的指令的情况下,将所述至少一个美妆模板中与所述面部图像之间的人脸相似度次高的美妆模板作为所述第一待处理美妆模板,或,进入自主美妆的模式。
225.结合本申请任一实施方式,所述装置还包括:显示单元16,用于显示所述第一虚拟美妆后的图像;
226.所述输出单元11,还用于在接收到对所述第一虚拟美妆后的图像的美妆效果满意的指令的情况下,输出美妆辅助信息;所述美妆辅助信息用于指导使用者进行实际美妆以得到所述第一待处理美妆模板的美妆效果。
227.结合本申请任一实施方式,所述至少一个美妆模板还包括与所述第一待处理美妆模板不同的第二待处理美妆模板,所述迁移单元14,还用于:
228.在接收到针对所述第一虚拟美妆后的图像不满意的指令的情况下,将所述第二待处理美妆模板的妆容迁移到所述面部图像,得到第二虚拟美妆后的图像。
229.结合本申请任一实施方式,所述获取单元12,还用于;
230.获取实际美妆后的图像;所述实际美妆后的图像为根据所述美妆辅助信息对所述用户进行实际美妆得到的图像;
231.所述装置还包括:检测单元,用于将所述实际美妆后的图像和所述第一虚拟美妆后的图像进行匹配度检测,得到所述实际美妆后的图像和所述第一虚拟美妆后的图像的匹配度结果。
232.结合本申请任一实施方式,所述装置还包括:第三处理单元18,用于响应于接收到选择自主美妆的模式,不使用所述第一美妆模板库。
233.结合本申请任一实施方式,所述获取单元12,还用于:
234.获取样本美妆模板和第二美妆模板库;
235.所述装置还包括:更新单元19,用于使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库。
236.结合本申请任一实施方式,所述装置还包括:比对单元20,用于在所述使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库之前,将所述样本美妆模板与所述第二美妆模板库中的美妆模板进行比对,得到相似度集;
237.所述检索单元13,具体用于:
238.在所述相似度集中的最大值大于相似度阈值的情况下,使用所述样本美妆模板更新所述第二美妆模板库中的美妆模板,得到第一美妆模板库。
239.结合本申请任一实施方式,所述更新单元19,具体用于:
240.对所述样本美妆模板和第一美妆模板进行融合,得到第二美妆模板;所述第一美妆模板为所述第二美妆模板库中与所述相似度集中的最大值对应的美妆模板;
241.使用所述第二美妆模板替换所述第二美妆模板库中的所述第一美妆模板,得到所述第一美妆模板库。
242.在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
243.图5为本申请实施例提供的一种图像处理装置的硬件结构示意图。该图像处理装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
244.处理器21可以是一个或多个图形处理器(graphics processing unit,gpu),在处理器21是一个gpu的情况下,该gpu可以是单核gpu,也可以是多核gpu。可选的,处理器21可以是多个gpu构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
245.存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random access memory,ram)、只读存储器(read

only memory,rom)、可擦除可编程只读存储器(erasable programmable read only memory,eprom)、或便携式只读存储器(compact disc read

only memory,cd

rom),该存储器用于相关指令及数据。
246.输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输入装置23和输出装置24可以是独立的器件,也可以是一个整体的器件。
247.可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关数据,如该存储器22可用于存储通过输入装置23获取的用户属性和用户的面部图像,又或者该存储器22还可用于存储通过处理器21得到的第一虚拟美妆后的图像等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
248.可以理解的是,图5仅仅示出了图像处理装置的简化设计。在实际应用中,图像处理装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理
器、存储器等,而所有可以实现本申请实施例的图像处理装置都在本申请的保护范围之内。
249.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
250.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
251.在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
252.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
253.另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
254.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatile disc,dvd))、或者半导体介质(例如固态硬盘(solid state disk,ssd))等。
255.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read

only memory,rom)或随机存储存储器(random access memory,ram)、磁碟或者光盘
等各种可存储程序代码的介质。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1