一种结合3D脸部结构先验的人脸超分辨方法与流程

文档序号:25648373发布日期:2021-06-25 18:05阅读:来源:国知局

技术特征:
1.一种结合3d脸部结构先验的人脸超分辨方法,其特征在于,包括以下步骤:(1)输入低分辨率图像,和对应的高分辨率图像作为真实值;(2)用步骤(1)输入的低分辨率图像与真实值来训练上半分支的resnet

50网络;resnet

50网络输出的是从低分辨率图像中学习的3d脸部信息,再重建成一个脸部渲染结构;通过损失函数迭代训练resnet

50网络;(3)将步骤(2)得到的3d脸部信息及脸部渲染结构作为3d脸部结构先验;(4)用步骤(1)输入的低分辨率图像与真实值来训练下半分支网络,包括空间注意力机制网络和残差通道注意力机制网络;空间注意力机制网络的输入为低分辨率图像,输出的特征向量为残差通道注意力机制网络的输入;下半分支网络先用空间注意力机制结合3d脸部结构先验与特征向量,再使用残差通道注意力机制来在特征通道中挖掘最有用的信息;通过损失函数迭代训练下半分支网络;(5)将待恢复的低分辨率图像输入步骤(2)~(4)训练好的人脸超分辨模型中,得到对应的高分辨率图像。2.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,所述3d脸部信息包括身份、表情、纹理、亮度和脸部姿态特征。3.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,步骤(2)中,所述3d脸部信息参照morphable模型重建成脸部渲染结构。4.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,步骤(2)中的损失函数l
r
如下:其中,l为输入低分辨率图像的数量,j为低分辨率图像的索引;m表示脸部区域,i为像素点索引;a是基于肤色的注意力掩膜,a
i
代表注意力掩膜中的像素点i;i为真实值,i
ji
代表第j个低分辨率图像中像素点i的真实值;x代表输入的低分辨率图像,b(x)代表将x对应的3d脸部信息,r代表脸部渲染结构,r
ji
(b(x))代表第j个低分辨率图像生成的脸部渲染结构的像素点i。5.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,注意力掩膜a通过训练一个贝叶斯分类器得到。6.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,步骤(4)中,3d脸部结构先验输入空间注意力机制网络的空域特征转换层,学习得到一对调制参数,用于在空间上对空间注意力机制网络中的中间特征进行精细变换。7.如权利要求6所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,调制参数用于在空间上对空域特征转换层前一层的输出f进行如下精细变换:其中,sft为空域特征转换层对应的函数,代表逐元素相乘。8.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,步骤(4)中
的损失函数为均方差损失。9.如权利要求1所述结合3d脸部结构先验的人脸超分辨方法,其特征在于,步骤(3)具体为:将3d脸部信息通过特征转换生成与输入低分辨率图像一样大小的矩阵,并与脸部渲染结构级联连接后,再经过多个卷积层得到3d脸部结构先验。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1