使用集成的照片-视频体积捕获系统和网格跟踪的用于动态数字人体模型创建的人类面部表情和全身姿势的自动混合的制作方法

本发明涉及用于娱乐业的三维计算机视觉和图形。更具体地，本发明涉及获取和处理用于电影、tv、音乐和游戏内容创建的三维计算机视觉和图形。

背景技术：

1、虚拟人体创建是高度手动、耗时且昂贵的。最近的趋势是通过多视图相机3d/4d扫描仪高效地创建逼真的数字人体模型，而不是从头开始手工制作计算机图形(cg)艺术作品。世界各地存在各种3d扫描仪工作室(3lateral、avatta、ten24、pixel light effect、eisko)和4d扫描仪工作室(4dviews、microsoft、8i、dgene)，用于进行基于相机捕获的人体数字化。

2、基于照片的3d扫描仪工作室包括高分辨率摄影相机的多个阵列。3d扫描的现有技术通常用于创建装配建模，并且需要手工制作动画，因为它不捕获变形。基于视频的4d扫描仪(4d＝3d+时间)工作室包括高帧率机器视觉相机的多个阵列。它捕获自然的表面动态，但由于固定的视频和动作，它无法创建新颖的面部表情或身体动作。虚设演员需要执行许多动作序列，这意味着演员的巨大工作量。

技术实现思路

1、用于3d/4d扫描的集成的照片-视频体积捕获(volumetric capture)系统通过同时获取图像和视频来获取3d扫描和4d扫描。使用用于高质量4d扫描和网格跟踪的体积捕获系统来跨4d扫描的网格序列建立拓扑对应关系，以生成将用于形状插值和骨架驱动变形的校正形状。体积捕获系统有助于网格跟踪以维持网格配准(registration)(拓扑一致性)以及便于极端姿势(extreme pose)建模。能够识别主要的上半身和下半身关节，这些关节对于生成变形和使用跨所有关节类别的所有移动类型的宽范围的运动来捕获同一变形来说很重要。通过使用体积捕获系统和网格跟踪来跟踪拓扑变化。所捕获的每个姿势将具有相同的拓扑结构，这使得多个姿势之间的混合更容易和更准确。

2、在一个方面，一种在设备的非暂态存储器中编程的方法包括使用被配置用于3d扫描和4d扫描的包括同时捕获照片和视频的体积捕获系统，其中3d扫描和4d扫描包括检测演员的肌肉变形，以及基于3d扫描和4d扫描来实现网格生成。3d扫描和4d扫描包括：要用于生成自动高保真度极端姿势的3d扫描和包括使得网格跟踪能够自动配准极端姿势网格以用于混合的高时间分辨率的4d扫描。生成自动高保真度极端姿势包括使用演员的3d扫描和演员的肌肉变形来生成自动高保真度极端姿势。使用4d扫描和网格跟踪来跨4d扫描的网格序列建立拓扑对应关系，以生成用于形状插值和骨架驱动变形的校正形状。所述方法还包括由用于3d扫描和4d扫描的体积捕获系统来识别演员的关节和肌肉并将演员的关节和肌肉作为目标。网格生成包括基于3d扫描和4d扫描以及机器学习的肌肉估计或投影。实现网格生成包括使用3d扫描和4d扫描来生成包括肌肉变形的极端姿势下的网格。所述方法还包括实现用于跟踪拓扑变化的网格跟踪以使得所捕获的每个姿势能够具有相同的拓扑结构以用于姿势之间的混合。

3、在另一个方面，一种装置包括用于存储应用的非暂态的存储器，该应用用于：使用被配置用于3d扫描和4d扫描的包括同时捕获照片和视频的体积捕获系统，其中3d扫描和4d扫描包括检测演员的肌肉变形，以及基于3d扫描和4d扫描来实现网格生成，以及耦合到所述存储器的处理器，该处理器被配置为处理该应用。3d扫描和4d扫描包括：要用于生成自动高保真度极端姿势的3d扫描和包括使得网格跟踪能够自动配准极端姿势网格以用于混合的高时间分辨率的4d扫描。生成自动高保真度极端姿势包括使用演员的3d扫描和演员的肌肉变形来生成自动高保真度极端姿势。使用4d扫描和网格跟踪来跨4d扫描的网格序列建立拓扑对应关系，以生成用于形状插值和骨架驱动变形的校正形状。该应用还被配置为由用于3d扫描和4d扫描的体积捕获系统来识别演员的关节和肌肉并将演员的关节和肌肉作为目标。网格生成包括基于3d扫描和4d扫描以及机器学习的肌肉估计或投影。实现网格生成包括使用3d扫描和4d扫描来生成包括肌肉变形的极端姿势下的网格。该应用还被配置为实现用于跟踪拓扑变化的网格跟踪以使得所捕获的每个姿势能够具有相同的拓扑结构以用于姿势之间的混合。

4、在另一个方面，一种系统包括用于3d扫描和4d扫描的包括同时捕获照片和视频的体积捕获系统，其中3d扫描和4d扫描包括检测演员的肌肉变形，以及计算设备，该计算设备被配置为：从体积捕获系统接收所捕获的照片和视频，以及基于3d扫描和4d扫描来实现网格生成。3d扫描和4d扫描包括：要用于生成自动高保真度极端姿势的3d扫描和包括使得网格跟踪能够自动配准极端姿势网格以用于混合的高时间分辨率的4d扫描。生成自动高保真度极端姿势包括使用演员的3d扫描和演员的肌肉变形来生成自动高保真度极端姿势。使用4d扫描和网格跟踪来跨4d扫描的网格序列建立拓扑对应关系，以生成用于形状插值和骨架驱动变形的校正形状。体积捕获系统还被配置为由用于3d扫描和4d扫描的体积捕获系统来识别演员的关节和肌肉并将演员的关节和肌肉作为目标。网格生成包括基于3d扫描和4d扫描以及机器学习的肌肉估计或投影。实现网格生成包括使用3d扫描和4d扫描来生成包括肌肉变形的极端姿势下的网格。体积捕获系统还被配置为实现用于跟踪拓扑变化的网格跟踪以使得所捕获的每个姿势能够具有相同的拓扑结构以用于姿势之间的混合。

技术特征：

1.一种在设备的非暂态存储器中编程的方法，包括：

2.根据权利要求1所述的方法，其中3d扫描和4d扫描包括：

3.根据权利要求2所述的方法，其中生成自动高保真度极端姿势包括使用演员的3d扫描和演员的肌肉变形来生成自动高保真度极端姿势。

4.根据权利要求2所述的方法，其中使用4d扫描和网格跟踪来跨4d扫描的网格序列建立拓扑对应关系，以生成用于形状插值和骨架驱动变形的校正形状。

5.根据权利要求1所述的方法，还包括由用于3d扫描和4d扫描的体积捕获系统来识别演员的关节和肌肉并将演员的关节和肌肉作为目标。

6.根据权利要求1所述的方法，其中网格生成包括基于3d扫描和4d扫描以及机器学习的肌肉估计或投影。

7.根据权利要求1所述的方法，其中实现网格生成包括使用3d扫描和4d扫描来生成包括肌肉变形的极端姿势下的网格。

8.根据权利要求1所述的方法，还包括实现用于跟踪拓扑变化的网格跟踪以使得所捕获的每个姿势能够具有相同的拓扑结构以用于姿势之间的混合。

9.一种装置，包括：

10.根据权利要求9所述的装置，其中3d扫描和4d扫描包括：

11.根据权利要求10所述的装置，其中生成自动高保真度极端姿势包括使用演员的3d扫描和演员的肌肉变形来生成自动高保真度极端姿势。

12.根据权利要求10所述的装置，其中使用4d扫描和网格跟踪来跨4d扫描的网格序列建立拓扑对应关系，以生成用于形状插值和骨架驱动变形的校正形状。

13.根据权利要求9所述的装置，其中所述应用还被配置为由用于3d扫描和4d扫描的体积捕获系统来识别演员的关节和肌肉并将演员的关节和肌肉作为目标。

14.根据权利要求9所述的装置，其中网格生成包括基于3d扫描和4d扫描以及机器学习的肌肉估计或投影。

15.根据权利要求9所述的装置，其中实现网格生成包括使用3d扫描和4d扫描来生成包括肌肉变形的极端姿势下的网格。

16.根据权利要求9所述的装置，其中所述应用还被配置为实现用于跟踪拓扑变化的网格跟踪以使得所捕获的每个姿势能够具有相同的拓扑结构以用于姿势之间的混合。

17.一种系统，包括：

18.根据权利要求17所述的系统，其中3d扫描和4d扫描包括：

19.根据权利要求18所述的系统，其中生成自动高保真度极端姿势包括使用演员的3d扫描和演员的肌肉变形来生成自动高保真度极端姿势。

20.根据权利要求18所述的系统，其中使用4d扫描和网格跟踪来跨4d扫描的网格序列建立拓扑对应关系，以生成用于形状插值和骨架驱动变形的校正形状。

21.根据权利要求17所述的系统，其中体积捕获系统还被配置为由用于3d扫描和4d扫描的体积捕获系统来识别演员的关节和肌肉并将演员的关节和肌肉作为目标。

22.根据权利要求17所述的系统，其中网格生成包括基于3d扫描和4d扫描以及机器学习的肌肉估计或投影。

23.根据权利要求17所述的系统，其中实现网格生成包括使用3d扫描和4d扫描来生成包括肌肉变形的极端姿势下的网格。

24.根据权利要求17所述的系统，其中体积捕获系统还被配置为实现用于跟踪拓扑变化的网格跟踪以使得所捕获的每个姿势能够具有相同的拓扑结构以用于姿势之间的混合。

技术总结
用于3D/4D扫描的集成的照片‑视频体积捕获系统通过同时获取图像和视频来获取3D扫描和4D扫描。使用用于高质量4D扫描和网格跟踪的体积捕获系统来跨4D扫描的网格序列建立拓扑对应关系，以生成将用于形状插值和骨架驱动变形的校正形状。体积捕获系统有助于网格跟踪以维持网格配准(拓扑一致性)以及便于极端姿势建模。能够识别主要的上半身和下半身关节，这些关节对于生成变形和使用跨所有关节类别的所有移动类型的宽范围的运动来捕获同一变形来说很重要。通过使用体积捕获系统和网格跟踪来跟踪拓扑变化。所捕获的每个姿势将具有相同的拓扑结构，这使得多个姿势之间的混合更容易和更准确。

技术研发人员：S·D·拉贾瑟卡兰,武田浩行,田代健治
受保护的技术使用者：索尼集团公司
技术研发日：
技术公布日：2024/1/14