三维人脸重建方法、装置、电子设备及存储介质与流程

本公开涉及视觉，尤其涉及一种三维人脸重建方法、装置、电子设备及存储介质。

背景技术：

1、目前基于单图的人脸重建有着非常丰富的应用场景，但是却面临非常多的挑战。由于人脸的高度先验性，现有技术往往用低维嵌入的3dmm(3d morphable face model，三维可变形人脸模型)基来拟合人脸形状，来实现三维人脸重建，这对于大角度侧脸的三维重建效果较差，计算量也较大，导致三维重建效果与鲁棒性均受限。

技术实现思路

1、本公开提供一种三维人脸重建方法、装置、电子设备及存储介质，能够提升三维人脸重建的效果和鲁棒性。本公开的技术方案如下：

2、根据本公开实施例的第一方面，提供一种三维人脸重建方法，包括：

3、获取待处理图像以及三维人脸模型信息；所述待处理图像中包括目标人脸，所述三维人脸模型信息包括预设三维人脸模型中多个预设人脸区域各自的第一关键点；

4、从所述待处理图像中提取出所述目标人脸的所述多个预设人脸区域各自的第二关键点；

5、将第一关键点投影至所述待处理图像的坐标系中，得到所述多个预设人脸区域各自的投影关键点；所述第一关键点是与所述第一关键点对应的关键点；

6、对所述第二关键点和所述投影关键点进行非刚性配准处理，得到所述目标人脸的三维人脸重建结果。

7、在一种可能的实现方式中，所述对所述第二关键点和所述投影关键点进行非刚性配准处理，得到所述目标人脸的三维人脸重建结果，包括：

8、根据所述第二关键点和所述投影关键点，确定目标损失信息；所述损失信息表征所述第二关键点与所述投影关键点的对齐程度；

9、基于所述损失信息调整所述预设三维人脸模型，直至满足预设条件，得到所述目标人脸的三维人脸重建结果。

10、在一种可能的实现方式中，所述根据所述第二关键点和所述投影关键点，确定目标损失信息，包括：

11、从目标人脸区域的第二关键点中确定与目标投影关键点匹配的两个第一关联关键点；所述目标投影关键点为所述目标人脸区域对应的任一投影关键点；所述目标人脸区域为任一所述预设人脸区域；

12、将目标投影关键点向所述两个第一关联关键点所形成的第一线段上投影，得到目标投影点；

13、根据所述目标投影点和所述目标投影关键点，确定所述目标损失信息。

14、在一种可能的实现方式中，所述根据所述目标投影点和所述目标投影关键点，确定所述目标损失信息，包括：

15、确定所述目标投影点的法向量，以及所述目标投影关键点指向所述目标投影点的目标向量；

16、根据所述法向量和所述目标向量的内积，确定第一损失信息；

17、基于所述第一损失信息，确定所述目标损失信息。

18、在一种可能的实现方式中，所述根据所述法向量和所述目标向量的内积，确定第一损失信息，包括：

19、将所述内积与零中的较大者，作为所述目标投影关键点对应的第一差值信息；

20、将所述第一差值信息的和，作为所述第一损失信息。

21、在一种可能的实现方式中，在所述基于所述第一损失信息，得到所述目标损失信息之前，所述方法还包括：

22、从所述目标人脸区域的投影关键点中确定与目标监督关键点匹配的两个第二关联关键点；所述目标监督关键点为所述目标人脸区域对应的任一第二关键点；

23、获取目标监督关键点至第二线段的目标距离；所述第二线段为所述两个第二关联关键点所形成的线段；

24、根据所述目标距离，确定第二损失信息；

25、所述基于所述第一损失信息，得到所述目标损失信息，包括：

26、基于所述第一损失信息和/或所述第二损失信息，确定所述目标损失信息。

27、在一种可能的实现方式中，所述方法还包括：

28、获取偏移调整信息对应的第三损失信息；

29、所述基于所述第一损失信息和/或所述第二损失信息，确定所述目标损失信息，包括：

30、基于所述第一损失信息、所述第二损失信息以及所述第三损失信息中的至少一种，确定所述目标损失信息。

31、在一种可能的实现方式中，所述根据所述第二关键点和所述投影关键点，确定目标损失信息，包括：

32、根据所述投影关键点确定第一轮廓信息，以及根据所述第二关键点确定第二轮廓信息；

33、基于所述第一轮廓信息和所述第二轮廓信息，确定轮廓间距离；

34、根据所述轮廓间距离，确定所述目标损失信息。

35、在一种可能的实现方式中，所述基于所述损失信息进行所述进行非刚性配准处理，得到所述目标人脸的三维人脸重建结果，包括：

36、获取所述预设三维人脸模型的预设调整参数，所述预设调整参数表征身份参数、表情参数、姿态参数以及偏移参数；

37、基于所述损失信息调整所述预设调整参数，直至满足所述预设条件，得到所述目标人脸的三维人脸重建结果。

38、根据本公开实施例的第二方面，提供一种三维人脸重建装置，包括：

39、获取模块，被配置为执行获取待处理图像以及三维人脸模型信息；所述待处理图像中包括目标人脸，所述三维人脸模型信息包括预设三维人脸模型中多个预设人脸区域各自的第一关键点；

40、提取模块，被配置为执行从所述待处理图像中提取出所述目标人脸中所述多个预设人脸区域各自的第二关键点；

41、投影模块，被配置为执行将所述第一关键点投影至所述待处理图像中，得到所述多个预设人脸区域各自的投影关键点；

42、三维重建模块，被配置为执行对所述第二关键点和所述投影关键点进行非刚性配准处理，得到所述目标人脸的三维人脸重建结果。

43、在一种可能的实现方式中，所述三维重建模块包括：

44、损失确定单元，被配置为执行根据所述第二关键点和所述投影关键点，确定目标损失信息；所述损失信息表征所述第二关键点与所述投影关键点的对齐程度；

45、三维重建单元，被配置为执行基于所述损失信息进行所述非刚性配准处理，得到所述目标人脸的三维人脸重建结果。

46、在一种可能的实现方式中，所述损失确定单元包括：

47、第一关联点确定单元，被配置为执行从目标人脸区域的第二关键点中确定与目标投影关键点匹配的两个第一关联关键点；所述目标投影关键点为所述目标人脸区域对应的任一投影关键点；所述目标人脸区域为任一所述预设人脸区域；

48、投影单元，被配置为执行将目标投影关键点向所述两个第一关联关键点所形成的第一线段上投影，得到目标投影点；

49、损失信息确定单元，被配置为执行根据所述目标投影点和所述目标投影关键点，确定所述目标损失信息。

50、在一种可能的实现方式中，所述损失信息确定单元包括：

51、向量确定单元，被配置为执行确定所述目标投影点的法向量，以及所述目标投影关键点指向所述目标投影点的目标向量；

52、第一损失确定单元，被配置为执行根据所述法向量和所述目标向量的内积，确定第一损失信息；

53、目标损失确定单元，被配置为执行基于所述第一损失信息，确定所述目标损失信息。

54、在一种可能的实现方式中，所述第一损失确定单元包括：

55、第一差值信息确定子单元，被配置为执行将所述内积与零中的较大者，作为所述目标投影关键点对应的第一差值信息；

56、第一损失确定子单元，被配置为执行将所述第一差值信息的和，作为所述第一损失信息。

57、在一种可能的实现方式中，所述损失确定单元还包括：

58、第二关联点确定单元，被配置为执行从所述目标人脸区域的投影关键点中确定与目标监督关键点匹配的两个第二关联关键点；所述目标监督关键点为所述目标人脸区域对应的任一第二关键点；

59、目标距离获取单元，被配置为执行获取目标监督关键点至第二线段的目标距离；所述第二线段为所述两个第二关联关键点所形成的线段；

60、第二损失确定单元，被配置为执行根据所述目标距离，确定第二损失信息；

61、所述目标损失确定单元，还被配置为执行基于所述第一损失信息和/或所述第二损失信息，确定所述目标损失信息。

62、在一种可能的实现方式中，所述损失确定单元还包括：

63、第三损失确定单元，被配置为执行获取偏移调整信息对应的第三损失信息；

64、所述目标损失确定单元，还被配置为执行基于所述第一损失信息、所述第二损失信息以及所述第三损失信息中的至少一种，确定所述目标损失信息。

65、在一种可能的实现方式中，所述损失确定单元包括：

66、轮廓信息确定单元，被配置为执行根据所述投影关键点确定第一轮廓信息，以及根据所述第二关键点确定第二轮廓信息；

67、轮廓间距离确定单元，被配置为执行基于所述第一轮廓信息和所述第二轮廓信息，确定轮廓间距离；

68、目标损失信息确定单元，被配置为执行根据所述轮廓间距离，确定所述目标损失信息。

69、在一种可能的实现方式中，所述三维重建单元包括：

70、预设调整参数获取单元，被配置为执行获取所述预设三维人脸模型的预设调整参数，所述预设调整参数表征身份参数、表情参数、姿态参数以及偏移参数；

71、三维人脸重建结果获取单元，被配置为执行基于所述损失信息调整所述预设调整参数，直至满足所述预设条件，得到所述目标人脸的三维人脸重建结果。

72、根据本公开实施例的第三方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面中任一项所述的方法。

73、根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述的方法。

74、根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时，使得计算机执行本公开实施例的第一方面中任一项所述的方法。

75、本公开的实施例提供的技术方案至少带来以下有益效果：

76、通过从待处理图像中提取出所述目标人脸中多个预设人脸区域各自的第二关键点，以及将预设三维人脸模型中多个预设人脸区域各自的第一关键点投影至待处理图像的坐标系中，得到多个预设人脸区域各自的投影关键点，使得目标人脸的三维人脸重建处理转换为第二关键点和投影关键点进行非刚性配准的处理，可以有效适用大角度侧脸的三维人脸重建，提升三维人脸重建的精准度和鲁棒性；并且这样的三维人脸重建处理也可以降低处理资源。

77、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。