虚拟图像生成方法、装置、设备和介质与流程

本申请涉及图像处理，例如涉及一种虚拟图像生成方法、装置、设备和介质。

背景技术：

1、在远程视频会议中，摄像头位置一般都在屏幕的上方(或其它位置)而不是屏幕中央，导致人物通过屏幕交互时，摄像头拍到的待处理图像中的人物处于俯视姿态、仰视姿态、向左偏离姿态、向右偏离姿态、顺时针偏离姿态和/或逆时针偏离姿态，上述姿态会给远程视频会议中的另一方带来很不好的体验，无法对着屏幕进行面对面的眼神互动交流。目前解决待处理图像中的人物的头部姿态不标准的方法是从待处理图像中获取参数，在三维人脸模型中使用参数进行校正后再对校正后的三维人脸模型进行渲染生成虚拟图像。但是，上述方法对校正后的三维人脸模型进行渲染，会占用较多的运算资源，运算速度较慢。

技术实现思路

1、本申请目的在于：提供一种虚拟图像生成方法、装置、设备和介质，其能够解决现有技术对校正后的三维人脸模型进行渲染，会占用较多的运算资源，运算速度较慢的问题。

2、为达到上述目的，第一方面，本申请提供了一种虚拟图像生成方法，包括：

3、获取待处理图像，所述待处理图像为二维图像；

4、提取所述待处理图像的头部姿态角度和表情基系数，所述头部姿态角度为欧拉角；

5、对所述头部姿态角度进行调整，得到调整后头部姿态角度；

6、根据调整后头部姿态角度和所述表情基系数生成虚拟图像。

7、优选地，所述对所述头部姿态角度进行调整，得到调整后头部姿态角度，包括：

8、获取标准待处理图像；

9、对所述标准待处理图像进行标定，得到三维视角偏差；

10、根据所述三维视角偏差调整所述头部姿态角度，得到所述调整后头部姿态角度。

11、优选地，所述根据调整后头部姿态角度和所述表情基系数生成虚拟图像，包括：

12、将所述调整后头部姿态角度和所述表情基系数输入已训练卷积神经网络，生成所述虚拟图像；所述已训练卷积神经网络由对待训练卷积神经网络进行训练得到。

13、优选地，所述提取所述待处理图像的头部姿态角度和表情基系数，包括：

14、对所述待处理图像进行图像分割，得到人脸区域；

15、对所述人脸区域使用面部动作捕捉方法提取所述头部姿态角度和所述表情基系数。

16、优选地，所述对待训练卷积神经网络进行训练，包括：

17、获取待处理训练图像集；

18、生成与所述待处理训练图像集中每一张所述待处理图像对应的所述虚拟图像；

19、根据所述待处理图像与所述虚拟图像计算第一损失函数值；

20、根据所述待处理图像的图像细节与所述虚拟图像的图像细节计算第二损失函数值；

21、根据所述待处理图像的图像特征和所述虚拟图像的图像特征计算第三损失函数值；

22、根据所述待处理图像的高维特征图和所述虚拟图像的高维特征图计算第四损失函数值；

23、根据所述第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值计算最终损失函数值；

24、根据所述最终损失函数值进行反向传播，更新所述待训练卷积神经网络的网络参数。

25、优选地，所述根据所述待处理图像的高维特征图和所述虚拟图像的高维特征图计算第四损失函数值，包括：

26、提取所述待处理图像的高维特征图；

27、提取所述虚拟图像的高维特征图；

28、计算所述虚拟图像的高维特征图中的每一个虚拟特征向量与所述待处理图像的高维特征图中的所有特征向量的余弦距离；

29、从所有所述余弦距离中筛选出最大余弦距离，所述最大余弦距离对应所述虚拟图像的高维特征图中的一个所述虚拟特征向量；

30、计算所有所述最大余弦距离的平均值，得到平均余弦距离；

31、根据所述平均余弦距离计算所述第四损失函数值。

32、优选地，所述根据所述第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值计算最终损失函数值，包括：

33、通过以下公式计算所述最终损失函数值：

34、loss＝loss1+λ1loss2+λ2loss3+λ3loss4；

35、其中，loss为所述最终损失函数值，loss1为所述第一损失函数值，loss2为所述第二损失函数值，loss3为所述第三损失函数值，loss4为所述第四损失函数值，λ1为第一调节参数，λ2为第二调节参数，λ3为第三调节参数。

36、第二方面，本申请提供了一种虚拟图像生成装置，包括：

37、待处理图像获取模块，用于获取待处理图像，所述待处理图像为二维图像；

38、待处理图像提取模块，用于提取所述待处理图像的头部姿态角度和表情基系数，所述头部姿态角度为欧拉角；

39、头部姿态角度调整模块，用于对所述头部姿态角度进行调整，得到调整后头部姿态角度；

40、虚拟图像生成模块，用于根据调整后头部姿态角度和所述表情基系数生成虚拟图像。

41、本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的一种虚拟图像生成方法和/或上述任一项所述的虚拟图像生成方法的步骤。

42、本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种虚拟图像生成方法和/或上述任一项所述的虚拟图像生成方法的步骤。

43、本申请的一种虚拟图像生成方法，获取二维的待处理图像，提取待处理图像的头部姿态角度和表情基系数，头部姿态角度为欧拉角，头部姿态角度能够从三维空间的三个方向表征待处理图像中的人物的头部姿态。对头部姿态角度进行调整，能够消除头部姿态在三维空间的三个方向上的偏差角度。根据调整后头部姿态角度和表情基系数生成二维的虚拟图像，虚拟图像中的头部姿势为消除摄像头导致的视角误差的姿势。通过调整后头部姿态角度和表情基系数直接生成虚拟图像，不需要使用头部姿态角度和表情基系数对三维人脸模型进行调整，也不需要对调整后的三维人脸模型进行渲染，从而节省了运算资源，提高了运算速度。

技术特征：

1.一种虚拟图像生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的虚拟图像生成方法，其特征在于，所述对所述头部姿态角度进行调整，得到调整后头部姿态角度，包括：

3.根据权利要求1所述的虚拟图像生成方法，其特征在于，所述根据调整后头部姿态角度和所述表情基系数生成虚拟图像，包括：

4.根据权利要求1所述的虚拟图像生成方法，其特征在于，所述提取所述待处理图像的头部姿态角度和表情基系数，包括：

5.根据权利要求3所述的虚拟图像生成方法，其特征在于，所述对待训练卷积神经网络进行训练，包括：

6.根据权利要求5所述的虚拟图像生成方法，其特征在于，所述根据所述待处理图像的高维特征图和所述虚拟图像的高维特征图计算第四损失函数值，包括：

7.根据权利要求5所述的虚拟图像生成方法，其特征在于，所述根据所述第一损失函数值、第二损失函数值、第三损失函数值和第四损失函数值计算最终损失函数值，包括：

8.一种虚拟图像生成装置，其特征在于，包括：

9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的虚拟图像生成方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的虚拟图像生成方法的步骤。

技术总结
本申请的虚拟图像生成方法、装置、设备和介质，其中方法包括：获取待处理图像，所述待处理图像为二维图像；提取所述待处理图像的头部姿态角度和表情基系数，所述头部姿态角度为欧拉角；对所述头部姿态角度进行调整，得到调整后头部姿态角度；根据调整后头部姿态角度和所述表情基系数生成虚拟图像。通过调整后头部姿态角度和表情基系数直接生成虚拟图像，不需要使用头部姿态角度和表情基系数对三维人脸模型进行调整，也不需要对调整后的三维人脸模型进行渲染，从而节省了运算资源，提高了运算速度。

技术研发人员：张玉兵,马雪浩
受保护的技术使用者：广州视源电子科技股份有限公司
技术研发日：
技术公布日：2024/5/19