单目视频中的服装重建方法、装置、电子设备及存储介质与流程

本公开涉及人工智能，尤其涉及一种单目视频中的服装重建方法、装置、电子设备及存储介质。

背景技术：

1、三维服装的动态重建在虚拟购物、电影、游戏等各种与人类相关的视觉应用中发挥着至关重要的作用。在我们的日常生活中，人类总是处于一种处于移动的状态，驱使着自己的衣服一起移动。要实现以上的常见场景中衣服的重建，就必须构建动态的服装。由于移动设备在数码相机、处理器和存储方面的快速发展，单目视频的拍摄和存储变得十分容易。因此，由单目视频构建得到动态的三维服装的需求也越来越高。目前，构建三维服装的方法主要包括神经渲染方法和衣服的重建方法；其中，第一种神经渲染方法为，通过用一个隐式函数来代表身体的表面，然后是用基于蒙皮的形变去模拟动作，所以可以通过这种方法重建穿着衣服的人，然后将衣服从人身上分离出来，但是，分离的任务需要花费专业模型师很大的精力进行处理；第二种重建方法是，直接利用每个单视角的图片重建出每个视角图片中的服装，但是，当输入变成单目视频后，以上方法很难重建出时间一致性的表面。

技术实现思路

1、有鉴于上述存在的技术问题，本公开提出了一种单目视频中的服装重建方法、装置、电子设备及存储介质。

2、根据本公开实施例的一方面，提供一种单目视频中的服装重建方法，包括：

3、获取目标单目视频中待重建服装对应的第一三维边缘信息，以及所述待重建服装对应的第一三维表面信息；所述第一三维边缘信息表征所述待重建服装在标准空间下初始的三维服装边缘信息；所述第一三维表面信息表征所述待重建服装在所述标准空间下初始的三维隐式表面信息；

4、从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧；

5、基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息；

6、基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型；

7、基于所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，重复所述从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧，至所述基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件；

8、基于满足所述预设更新收敛条件时得到的所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，生成所述待重建服装对应的三维服装动态信息。

9、根据本公开实施例的另一方面，提供一种单目视频中的服装重建装置，包括：

10、信息获取模块，用于获取目标单目视频中待重建服装对应的第一三维边缘信息，以及所述待重建服装对应的第一三维表面信息；所述第一三维边缘信息表征所述待重建服装在标准空间下初始的三维服装边缘信息；所述第一三维表面信息表征所述待重建服装在所述标准空间下初始的三维隐式表面信息；

11、当前视频帧确定模块，用于从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧；

12、边缘分析更新模块，用于基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息；

13、颜色分析更新模块，用于基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型；

14、执行模块，用于基于所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，重复所述从所述目标单目视频的多个目标视频帧中，确定当前目标视频帧，至所述基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件；

15、动态信息生成模块，用于基于满足所述预设更新收敛条件时得到的所述更新三维边缘信息、所述更新三维表面信息和所述更新后的更新形变模型，生成所述待重建服装对应的三维服装动态信息。

16、根据本公开实施例的另一方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述单目视频中的服装重建方法。

17、根据本公开实施例的另一方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行上述单目视频中的服装重建方法。

18、根据本公开实施例的另一方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述单目视频中的服装重建方法。

19、本公开的实施例提供的技术方案至少带来以下有益效果：

20、通过获取目标单目视频中待重建服装对应的第一三维边缘信息，以及待重建服装对应的第一三维表面信息，其中，第一三维边缘信息表征待重建服装在标准空间下初始的三维服装边缘信息，第一三维表面信息表征待重建服装在标准空间下初始的三维隐式表面信息，从目标单目视频的多个目标视频帧中，确定当前目标视频帧，再基于当前目标视频帧，对第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及待重建服装对应的更新三维边缘信息，可以实现从边缘一致性角度对预设形变模型和第一三维边缘信息的更新，进而可以更好的学习到目标单目视频中的服装边缘，接着，结合当前目标视频帧，对第一三维表面信息和更新形变模型进行颜色分析更新，得到待重建服装对应的更新三维表面信息和更新后的更新形变模型，可以实现从图像一致性角度对预设形变模型和第一三维表面信息的更新，进而可以更好的学习到目标单目视频中的服装表面，然后，结合更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，重复从目标单目视频的多个目标视频帧中，确定当前目标视频帧，至基于当前目标视频帧，对第一三维表面信息和更新形变模型进行颜色分析更新，得到待重建服装对应的更新三维表面信息和更新后的更新形变模型的更新步骤，直至满足预设更新收敛条件，可以实现第一三维边缘信息、第一三维表面信息和预设形变模型的多次更新优化，最后，基于满足预设更新收敛条件时得到的更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，生成待重建服装对应的三维服装动态信息，可以实现目标单目视频中服装的时间一致性表面的动态重建，减少人工成本，另外，通过学习目标单目视频中的服装表面和边缘，可以提高目标单目视频中服装重建的准确性。

21、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

技术特征：

1.一种单目视频中的服装重建方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前目标视频帧，对所述第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及所述待重建服装对应的更新三维边缘信息，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述第二三维边缘信息和所述当前目标视频帧，进行边缘损失分析，得到所述当前目标视频帧对应的第一边缘损失信息，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述第二三维边缘信息包括第二三维边缘曲线中多个第二边缘特征点各自对应的第二三维位置信息；所述基于所述第二三维表面信息，对所述第二三维边缘信息进行投影分析，得到所述二维可见边缘信息，包括：

7.根据权利要求6所述的方法，其特征在于，所述基于所述第二三维表面信息和每个第二边缘特征点对应的第二三维位置信息，对所述每个第二边缘特征点进行可见性分析，得到所述每个第二边缘特征点对应的可见指示信息，包括：

8.根据权利要求2所述的方法，其特征在于，所述第一三维边缘信息包括第一三维边缘曲线中多个第一边缘特征点各自对应的第一三维位置信息和预设学习参数；所述基于所述第一边缘损失信息，对所述预设形变模型和所述第一三维边缘信息进行更新，得到所述更新形变模型以及所述更新三维边缘信息，包括：

9.根据权利要求8所述的方法，其特征在于，所述预设形变模型包括目标非刚性形变模型和预设蒙皮变换模型；所述基于所述第一边缘损失信息，更新所述预设形变模型，得到所述更新形变模型，包括：

10.根据权利要求1所述的方法，其特征在于，所述基于所述当前目标视频帧，对所述第一三维表面信息和所述更新形变模型进行颜色分析更新，得到所述待重建服装对应的更新三维表面信息和更新后的更新形变模型，包括：

11.根据权利要求10所述的方法，其特征在于，所述基于所述第二三维表面信息和所述当前目标视频帧，进行颜色损失分析，得到所述当前目标视频帧对应的颜色损失信息，包括：

12.根据权利要求1-11任一所述的方法，其特征在于，所述第一三维表面信息包括以下方式获取：

13.根据权利要求1-11任一所述的方法，其特征在于，所述预设形变模型包括目标非刚性形变模型和预设蒙皮变换模型；所述第一三维边缘信息和所述目标非刚性形变模型包括以下方式获取：

14.一种单目视频中的服装重建装置，其特征在于，所述装置包括：

15.一种电子设备，其特征在于，包括：

技术总结
本公开关于单目视频中的服装重建方法、装置、电子设备及存储介质，涉及人工智能技术领域，包括：获取待重建服装的第一三维边缘信息以及第一三维表面信息；从多个目标视频帧中确定当前目标视频帧；基于当前目标视频帧，对第一三维边缘信息和预设形变模型进行边缘分析更新，得到更新形变模型以及更新三维边缘信息；基于当前目标视频帧，对第一三维表面信息和更新形变模型进行颜色分析更新，得到更新三维表面信息和更新后的更新形变模型；基于更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，重复更新步骤直至满足预设更新收敛条件；基于满足条件时的更新三维边缘信息、更新三维表面信息和更新后的更新形变模型，生成三维服装动态信息。

技术研发人员：邱陵腾,周佳鹏,陈冠英,许牧天,王君乐,韩晓光,荆彦青,王巨宏
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15