人像处理方法和装置以及终端与流程

文档序号:21407338发布日期:2020-07-07 14:41阅读:来源:国知局

技术特征:

1.一种人像处理方法,其特征在于,包括:

终端获取用户的第一图像,所述第一图像包括所述用户的面部,且所述用户的面部的部分区域被虚拟现实vr装置遮挡,所述部分区域包括所述用户的双眼所在的区域;

所述终端将所述第一图像输入人像处理模型,得到第二图像,所述第二图像包括所述用户完整的面部,其中,所述人像处理模型是通过对样本训练数据集训练得到的,所述样本训练数据集包括多个原始图像和与所述多个原始图像对应的多个还原图像,其中,所述多个原始图像是对至少一个样本用户采集得到的,所述多个原始图像中的第一原始图像包括第一样本用户,且所述第一样本用户的面部的所述部分区域被vr装置遮挡,所述多个还原图像中第一还原图像包括所述第一样本用户完整的面部,所述至少一个样本用户包括所述第一样本用户;

所述终端向接收端发送所述第二图像。

2.根据权利要求1所述的方法,其特征在于,所述终端将所述第一图像输入人像处理模型,得到第二图像,包括:

所述终端将所述第一图像和特征参考信息输入所述人像处理模型,得到所述第二图像,其中,所述特征参考信息包括眼部特征参数和头部特征参数中的至少一项,所述眼部特征参数包括位置信息、尺寸信息、视角信息中的至少一项,所述位置信息用于指示所述用户的两只眼睛中每只眼睛的位置,所述尺寸信息用于指示所述每只眼睛的尺寸、所述视角信息用于指示所述每只眼睛的眼球注视角度,所述头部特征参数包括所述用户的头部的三轴姿态角和加速度。

3.根据权利要求2所述的方法,其特征在于,所述特征参考信息包括所述眼部特征参数,在所述终端将所述第一图像和特征参考信息输入所述人像处理模型,得到所述第二图像之前,所述方法还包括:

所述终端接收第一摄像装置拍摄的所述用户的第三图像,所述第三图像包括所述用户的所述两只眼睛,其中,所述第一摄像装置为所述vr装置内置的摄像装置;

所述终端从所述第二图像中提取所述眼部特征参数。

4.根据权利要求2所述的方法,其特征在于,所述特征参考信息包括所述头部特征参数,在所述终端将所述第一图像和特征参考信息输入所述人像处理模型,得到所述第二图像之前,所述方法还包括:

所述终端接收惯性测量装置测量的所述头部特征参数。

5.根据权利要求1至4中任一项所述的方法,其特征在于,所述终端获取用户的第一图像,包括:

所述终端通过第二摄像装置拍摄的所述第一图像。

6.根据权利要求1至4中任一项所述的方法,其特征在于,所述终端获取用户的第一图像,包括:

所述终端通过第二摄像装置拍摄第四图像,所述第四图像包括所述用户;

所述终端从所述第四图像中截取所述第一图像。

7.根据权利要求6所述的方法,其特征在于,所述终端向接收端发送所述第二图像,包括:

所述终端将所述第二图像和第五图像进行拼接,得到目标图像,其中,所述第五图像为从所述第四图像中截取所述第一图像后的图像;

所述终端向所述接收端发送所述目标图像。

8.根据权利要求6所述的方法,其特征在于,所述终端向接收端发送所述第二图像,包括:

所述终端将所述第二图像和所述第四图像进行合成,得到目标图像,其中,所述第二图像覆盖在所述第四图像中的所述第一图像的上层;

所述终端向所述接收端发送所述目标图像。

9.根据权利要求1至8中任一项所述的方法,其特征在于,所述方法还包括:

在所述第二图像中所述用户双眼所在的区域上叠加眼罩图层,所述眼罩图层经过第一透明度的透视化处理。

10.根据权利要求1至9中任一项所述的方法,其特征在于,所述人像处理模型是通过生成对抗网络模型对所述样本训练数据集训练得到的。

11.一种终端,其特征在于,包括:处理器和与所述处理器耦合的收发器,

所述处理器用于控制所述收发器获取用户的第一图像,所述第一图像包括所述用户的面部,且所述用户的面部的部分区域被虚拟现实vr装置遮挡;将所述第一图像输入人像处理模型,得到第二图像,所述第二图像包括所述用户完整的面部,其中,所述人像处理模型是通过对样本训练数据集训练得到的,所述样本训练数据集包括多个原始图像和与所述多个原始图像对应的多个还原图像,其中,所述多个原始图像是对至少一个样本用户采集得到的,所述多个原始图像中的第一原始图像包括第一样本用户,且所述第一样本用户的面部的所述部分区域被vr装置遮挡,所述多个还原图像中第一还原图像包括所述第一样本用户完整的面部,所述至少一个样本用户包括所述第一样本用户;并控制所述收发器向接收端发送所述第二图像。

12.根据权利要求11所述的终端,其特征在于,所述处理器具体用于:

将所述第一图像和特征参考信息输入所述人像处理模型,得到所述第二图像,其中,所述特征参考信息包括眼部特征参数和头部特征参数中的至少一项,所述眼部特征参数包括位置信息、尺寸信息、视角信息中的至少一项,所述位置信息用于指示所述用户的两只眼睛中每只眼睛的位置,所述尺寸信息用于指示所述每只眼睛的尺寸、所述视角信息用于指示所述每只眼睛的眼球注视角度,所述头部特征参数包括所述用户的头部的三轴姿态角和加速度。

13.根据权利要求12所述的终端,其特征在于,所述特征参考信息包括所述眼部特征参数,

所述处理器还用于在所述将所述第一图像和特征参考信息输入所述人像处理模型,得到所述第二图像之前,控制所述收发器接收第一摄像装置拍摄的所述用户的第三图像,所述第三图像包括所述用户的所述两只眼睛,其中,所述第一摄像头为所述vr装置的内置摄像装置;

所述处理器用于从所述第二图像中提取所述眼部特征参数。

14.根据权利要求12所述的终端,其特征在于,所述特征参考信息包括所述头部特征参数,

所述处理器还用于在所述将所述第一图像和特征参考信息输入所述人像处理模型,得到所述第二图像之前,控制所述收发器接收惯性测量装置测量的所述头部特征参数。

15.根据权利要求11至14中任一项所述的终端,其特征在于,所述处理器具体用于控制所述收发器接收第二摄像头拍摄的所述第一图像。

16.根据权利要求11至14中任一项所述的终端,其特征在于,所述处理器具体用于:

控制所述收发器接收第二摄像头拍摄的第三图像,所述第三图像包括所述用户;

从所述第三图像中截取所述第一图像。

17.根据权利要求16所述的终端,其特征在于,所述处理器还用于:

将所述第二图像和第四图像进行拼接,得到目标图像,其中,所述第四图像为从所述第三图像中截取所述第一图像后的图像;

控制所述收发器向所述接收端发送所述目标图像。

18.根据权利要求16所述的终端,其特征在于,所述处理器还用于:

将所述第二图像和所述第三图像进行合成,得到目标图像,其中,所述第二图像覆盖在所述第三图像中的所述第一图像的上层;

控制所述收发器向所述接收端发送所述目标图像。

19.根据权利要求11至18中任一项所述的终端,其特征在于,所述处理器还用于在所述第二图像中所述用户双眼所在的区域上叠加眼罩图层,所述眼罩图层经过第一透明度的透视化处理。

20.根据权利要求11至19中任一项所述的终端,其特征在于,所述人像处理模型是通过生成对抗网络模型对所述样本训练数据集训练得到的。

21.一种人像处理装置,其特征在于,所述装置包括用于实现上述权利要求1至10中任一项所述的方法的单元。

22.一种芯片装置,包括:通信接口和处理器,所述通信接口和所述处理器之间通过内部连接通路互相通信,其特征在于,所述处理器用于实现上述权利要求1至10中任一项所述的方法。

23.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序包括用于实现上述权利要求1至10中任一项所述的方法的指令。

24.一种计算机程序产品,所述计算机程序产品中包含指令,其特征在于,当所述指令在计算机上运行时,使得计算机实现上述权利要求1至10中任一项所述的方法。


技术总结
本申请提供了人像处理方法和装置以及终端,能够还原用户被虚拟现实设备遮挡的面部特征,从而提高接收端的用户体验。该方法包括:终端获取用户的第一图像,该第一图像包括该用户的面部,且该用户的面部的部分区域被虚拟现实VR装置遮挡,该部分区域包括该用户的双眼所在的区域;该终端将该第一图像输入人像处理模型,得到第二图像,该第二图像包括该用户完整的面部;该终端向接收端发送该第二图像。

技术研发人员:田春长;汪亮
受保护的技术使用者:华为技术有限公司
技术研发日:2020.02.18
技术公布日:2020.07.07
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1