三维人体重建方法、装置、电子设备及存储介质与流程

本技术涉及三维模型处理，具体涉及三维人体重建方法、装置、电子设备及存储介质。

背景技术：

1、目前，三维人体重建技术的应用越来越广泛，可以根据参数化人体模型进行三维人体重建，但重建获得的三维人体模型只能在身体姿态上获得较好的重建效果，对于脸部无法获得较好的重建效果。

2、相关技术中，为了在脸部获得较好的重建效果，通常将参数化人体模型与专门的头部模型结合以进行三维人体重建。相关技术的问题在于，需要结合多个模型，处理的数据更复杂，影响三维人体重建的效率。

技术实现思路

1、本技术实施例提供一种三维人体重建方法、装置、电子设备及存储介质，在进行三维人体重建时，先根据二维人体图像和参考人体模型获得第一模型参数和第一人体模型，根据二维人体图像中脸部关键点的坐标和第一人体模型中目标网格顶点的坐标，对第一模型参数进行优化调整，实现对脸部重建效果的优化，无需结合多个模型，有利于提升脸部重建效果且降低对三维人体重建效率的影响。

2、本技术实施例第一方面提供一种三维人体重建方法，上述方法包括：

3、根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建，获得与上述目标对象匹配的第一模型参数和坐标转换信息，其中，上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系；

4、根据上述第一模型参数调整上述参考人体模型的网格顶点的位置，获得与上述目标对象匹配的第一人体模型；

5、获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标；

6、确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点，并获取上述目标网格顶点的三维坐标；

7、根据上述坐标转换信息，将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系，获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离；

8、根据上述目标距离调整上述第一模型参数获得第二模型参数，并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置，获得第二人体模型。

9、本技术实施例第二方面提供一种三维人体重建装置，上述装置包括：

10、第一模型参数获取模块，用于根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建，获得与上述目标对象匹配的第一模型参数和坐标转换信息，其中，上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系；

11、第一模型重建模块，用于根据上述第一模型参数调整上述参考人体模型的网格顶点的位置，获得与上述目标对象匹配的第一人体模型；

12、脸部关键点检测模块，用于获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标；

13、目标网格顶点匹配模块，用于确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点，并获取上述目标网格顶点的三维坐标；

14、目标距离计算模块，用于根据上述坐标转换信息，将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系，获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离；

15、第二模型重建模块，用于根据上述目标距离调整上述第一模型参数获得第二模型参数，并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置，获得第二人体模型。

16、在一些可选的实施例中，上述第一模型参数获取模块具体用于：

17、针对上述二维人体图像进行三维人体重建，获得与上述目标对象匹配的第三模型参数，其中，上述第三模型参数包括上述目标对象的姿态信息和形状信息；

18、根据上述第三模型参数中的形状信息、预设的形状调整参数以及上述参考人体模型的模型参数，获取调整后的形状信息；

19、根据上述第三模型参数中的姿态信息和上述调整后的形状信息构建上述第一模型参数；

20、获取上述二维人体图像与上述参考人体模型之间的坐标转换信息。

21、在一些可选的实施例中，上述第一模型参数获取模块还具体用于：

22、对上述二维人体图像进行人体检测获得上述目标对象的人体检测框；

23、根据上述二维人体图像中上述人体检测框内的图像内容进行三维人体重建，获得与上述目标对象匹配的第三模型参数。

24、在一些可选的实施例中，上述脸部关键点检测模块具体用于：

25、对上述二维人体图像进行脸部检测获得上述目标对象的脸部检测框；

26、对上述二维人体图像中上述脸部检测框内的图像内容进行脸部关键点识别，获得上述二维人体图像中上述目标对象的脸部关键点；

27、获取上述脸部关键点在上述二维人体图像所在的二维坐标系中的二维坐标。

28、在一些可选的实施例中，上述目标网格顶点匹配模块具体用于：

29、根据预设的关键点索引值关联数据，获取上述脸部关键点在上述参考人体模型中关联的网格顶点的顶点索引值；

30、根据上述第一人体模型和上述顶点索引值，确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点；

31、获取上述目标网格顶点在上述第一人体模型所在的三维坐标系中的三维坐标。

32、在一些可选的实施例中，上述目标距离计算模块具体用于：

33、根据上述坐标转换信息将上述目标网格顶点的三维坐标转换到上述二维人体图像所在的二维坐标系中，获得上述目标网格顶点的目标二维坐标，其中，上述第一人体模型与上述参考人体模型处于同一三维坐标系；

34、根据上述脸部关键点的二维坐标，以及与上述脸部关键点对应的目标网格顶点的目标二维坐标，获取相对应的脸部关键点和目标网格顶点之间的目标距离。

35、在一些可选的实施例中，上述第一模型参数中包括多个关节点网格顶点的姿态信息和形状信息，上述关节点网格顶点为上述目标对象的关节点所对应的网格顶点；

36、上述第二模型重建模块具体用于：根据上述目标距离对上述第一模型参数中头部关节点网格顶点和颈部关节点网格顶点对应的姿态信息进行调整，直到得到满足预设的迭代终止条件的第二模型参数。

37、本技术实施例第三方面提供一种电子设备，包括存储器和处理器，上述存储器存储有多条指令；上述处理器从上述存储器中加载指令，以执行本技术实施例第一方面提供的三维人体重建方法中的步骤。

38、本技术实施例第四方面提供一种计算机可读存储介质，上述计算机可读存储介质存储有多条指令，上述指令适于处理器进行加载，以执行本技术实施例第一方面提供的三维人体重建方法中的步骤。

39、采用本技术实施例的方案，可以根据目标对象的二维人体图像和预设的参考人体模型进行三维模型重建，获得与上述目标对象匹配的第一模型参数和坐标转换信息，其中，上述坐标转换信息用于表征上述参考人体模型的三维坐标系和上述二维人体图像的二维坐标系之间的转换关系；根据上述第一模型参数调整上述参考人体模型的网格顶点的位置，获得与上述目标对象匹配的第一人体模型；获取上述二维人体图像中上述目标对象的脸部关键点的二维坐标；确定上述第一人体模型中与上述脸部关键点对应的目标网格顶点，并获取上述目标网格顶点的三维坐标；根据上述坐标转换信息，将上述脸部关键点的二维坐标和上述目标网格顶点的三维坐标转换到同一坐标系，获取上述同一坐标系下相对应的脸部关键点和目标网格顶点之间的目标距离；根据上述目标距离调整上述第一模型参数获得第二模型参数，并根据上述第二模型参数调整上述第一人体模型的网格顶点的位置，获得第二人体模型。

40、如此，在进行三维人体重建时，先根据二维人体图像和参考人体模型获得第一模型参数和第一人体模型，然后针对二维人体图像中脸部关键点的二维坐标和/或第一人体模型中目标网格顶点的三维坐标进行坐标转换，转换到相同坐标系中以确定对应的目标距离，从而根据目标距离对第一模型参数进行优化调整，实现对脸部重建效果的优化，无需结合多个模型，避免结合多种模型的三维人体重建方案对三维人体重建效率的较大影响，有利于提升脸部重建效果且降低对三维人体重建效率的影响。与相关技术中结合多种模型进行三维人体重建的方案相比，本技术实施例方案在提升脸部重建效果的基础上，能够提高三维人体重建的效率。