1.一种计算机系统,包括:
输入模块,其被配置为:
接收几何结构信息,所述几何结构信息指示对象的几何结构在一时间段内的变化,所述时间段包括多个时刻;和
在所述多个时刻的每个时刻接收所述对象的多个图像,每个图像与所述对象的相应视点相关联,并且每个图像包括所述对象的视图相关纹理图,所述视图相关纹理图取决于所述对象的相应视点;
自动编码器,其被配置为:
联合编码纹理信息和所述几何结构信息以提供潜在向量;和
使用所述潜在向量推断:
相对于预测的视点的所述对象的推断的几何结构;和
相对于所述预测的视点的所述对象的推断的视图相关纹理;和
渲染模块,其被配置为使用所述推断的几何结构和所述推断的视图相关纹理来针对所述预测的视点渲染所述对象的重建图像。
2.根据权利要求1所述的计算机系统,其中,对于所述多个时刻的每个时刻,所述自动编码器被配置为对与所述多个图像相关联的相应视图相关纹理图进行平均。
3.根据权利要求1所述的计算机系统,其中,所述自动编码器是条件自动编码器,所述条件自动编码器被配置为对与每个图像相关联的至少一个变量进行调节,并且所述潜在向量不包含关于所述至少一个变量的任何信息。
4.根据权利要求3所述的计算机系统,其中,所述至少一个变量包括与每个图像相关联的相应视点,并且所述潜在向量不包含任何视点信息。
5.根据权利要求4所述的计算机系统,其中,所述自动编码器被配置为通过使用所述潜在向量以及对于所述预测的视点的所述对象的视图向量来推断所述推断的几何结构和所述推断的视图相关纹理。
6.根据权利要求1所述的计算机系统,其中,所述潜在向量包括所述对象的面部表情的表示。
7.根据权利要求1所述的计算机系统,其中,所述几何结构信息包括在所述时间段内跟踪的所述对象的三维网格。
8.根据权利要求7所述的计算机系统,其中,对于每个图像:
所述图像具有多个像素,每个像素具有相关联的颜色;和
所述计算机系统被配置为通过将光线投射穿过每个像素并且将相交的纹理坐标分配给每个相应像素的相关联的颜色来展开所述视图相关纹理图。
9.根据权利要求1所述的计算机系统,其中:
所述计算机系统被配置为实时推断所述推断的几何结构和所述推断的视图相关纹理,并实时渲染所述对象的一系列动画化的重建图像;和
所述一系列动画化的重建图像包括用于在虚拟现实(vr)或增强现实(ar)头戴式装置上显示的vr或ar呈现。
10.一种计算机实现的方法,包括:
接收几何结构信息,所述几何结构信息指示对象的几何结构在一时间段内的变化,所述时间段包括多个时刻;
在所述多个时刻的每个时刻接收所述对象的多个图像,每个图像与所述对象的相应视点相关联,并且每个图像包括所述对象的视图相关纹理图,所述视图相关纹理图取决于所述对象的相应视点;
由自动编码器联合编码纹理信息和所述几何结构信息,以提供潜在向量;和
使用所述潜在向量推断:
相对于预测的视点的所述对象的推断的几何结构;和
相对于所述预测的视点的所述对象的推断的视图相关纹理;和
使用所述推断的几何结构和所述推断的视图相关纹理来针对所述预测的视点渲染所述对象的重建图像。
11.根据权利要求10所述的计算机实现的方法,还包括调节与每个图像相关联的相应视点,其中,所述潜在向量不包含任何视点信息。
12.根据权利要求10所述的计算机实现的方法,其中,所述潜在向量包括所述对象的面部表情的表示。
13.根据权利要求10所述的计算机实现的方法,其中,所述几何结构信息包括在所述时间段内跟踪的所述对象的三维网格。
14.根据权利要求10所述的计算机实现的方法,包括:
实时推断所述推断的几何结构和所述推断的视图相关纹理;和
实时渲染所述对象的一系列动画化的重建图像,其中,所渲染的一系列动画化的重建图像包括用于在虚拟现实(vr)或增强现实(ar)头戴式装置上显示的vr或ar呈现。
15.一种计算机系统,包括:
多相机装置,其包括靠近对象布置的多个相机,每个相机被配置为捕获对象的图像,所捕获的图像与所述对象的相应视点相关联;
输入模块,其被配置为:
接收几何结构信息,所述几何结构信息指示所述对象的几何结构在一时间段内的变化,所述时间段包括多个时刻;和
在所述多个时刻的每个时刻从所述多个相机接收所述对象的多个图像,每个图像与所述对象的相应视点相关联,并且每个图像包括所述对象的视图相关纹理图,所述视图相关纹理图取决于所述对象的相应视点;
自动编码器,其被配置为:
联合编码纹理信息和所述几何结构信息以提供第一潜在向量;和
使用所述第一潜在向量推断:
相对于预测的视点的所述对象的推断的几何结构;和
相对于所述预测的视点的所述对象的推断的视图相关纹理;和
渲染模块,其被配置为使用所述推断的几何结构和所述推断的视图相关纹理来针对所述预测的视点渲染所述对象的重建图像。
16.根据权利要求15所述的计算机系统,其中,所述计算机系统被配置为实时推断所述推断的几何结构和所述推断的视图相关纹理,并实时渲染所述对象的一系列动画化的重建图像。
17.根据权利要求16所述的计算机系统,其中:
所渲染的一系列动画化的重建图像包括用于在虚拟现实(vr)或增强现实(ar)头戴式装置上显示的vr或ar呈现;和
所述计算机系统被配置为学习来自所述多相机装置的所述多个图像和来自安装在所述vr或ar头戴式装置上的相机的图像之间的对应关系。
18.根据权利要求15所述的计算机系统,其中,所述计算机系统还被配置为:
使用所述重建图像来重新渲染所述对象的多个模拟头戴式装置图像,每个模拟头戴式装置图像与多个模拟vr或ar头戴式装置相机的视点相关联;
从多个vr或ar头戴式装置相机接收所述对象的多个接收的头戴式装置图像;和
联合编码所述多个模拟头戴式装置图像和所述多个接收的头戴式装置图像,以提供第二潜在向量。
19.根据权利要求18所述的计算机系统,其中,所述计算机系统被配置为调节所述多个模拟头戴式装置图像和所述多个接收的头戴式装置图像,使得所述第二潜在向量不包含指示接收到的头戴式装置图像是模拟头戴式装置图像还是接收的头戴式装置图像的信息。
20.根据权利要求15所述的计算机系统,其中,所述第一潜在向量包括所述对象的面部表情的表示。
21.一种计算机系统,包括:
输入模块,其被配置为:
接收几何结构信息,所述几何结构信息指示对象的几何结构在一时间段内的变化,所述时间段包括多个时刻;和
在所述多个时刻的每个时刻接收所述对象的多个图像,每个图像与所述对象的相应视点相关联,并且每个图像包括所述对象的视图相关纹理图,所述视图相关纹理图取决于所述对象的相应视点;
自动编码器,其被配置为:
联合编码纹理信息和所述几何结构信息以提供潜在向量;和
使用所述潜在向量推断:
相对于预测的视点的所述对象的推断的几何结构;和
相对于所述预测的视点的所述对象的推断的视图相关纹理;和
渲染模块,其被配置为使用所述推断的几何结构和所述推断的视图相关纹理来针对所述预测的视点渲染所述对象的重建图像。
22.根据权利要求21所述的计算机系统,其中,对于所述多个时刻的每个时刻,所述自动编码器被配置为对与所述多个图像相关联的相应视图相关纹理图进行平均。
23.根据权利要求21或22所述的计算机系统,其中,所述自动编码器是条件自动编码器,所述条件自动编码器被配置为调节与每个图像相关联的至少一个变量,并且所述潜在向量不包含关于所述至少一个变量的任何信息;
可选地,其中,所述至少一个变量包括与每个图像相关联的相应视点,并且所述潜在向量不包含任何视点信息;
可选地,其中,所述自动编码器被配置为通过使用所述潜在向量以及针对所述预测的视点的所述对象的视图向量来推断所述推断的几何结构和所述推断的视图相关纹理。
24.根据权利要求21至23中的任一项所述的计算机系统,其中,所述潜在向量包括所述对象的面部表情的表示。
25.根据权利要求21至24中的任一项所述的计算机系统,其中,所述几何结构信息包括在所述时间段内跟踪的所述对象的三维网格;
可选地,其中,对于每个图像:
所述图像具有多个像素,每个像素具有相关联的颜色;和
所述计算机系统被配置为通过将光线投射穿过每个像素并且将相交的纹理坐标分配给每个相应像素的相关联的颜色来展开所述视图相关纹理图。
26.根据权利要求21到25中的任一项所述的计算机系统,其中:
所述计算机系统被配置为实时推断所述推断的几何结构和所述推断的视图相关纹理,并实时呈现所述对象的一系列动画化的重建图像;和
所述一系列动画化的重建图像包括用于在虚拟现实(vr)或增强现实(ar)头戴式装置上显示的vr或ar呈现。
27.一种计算机实现的方法,包括:
接收几何结构信息,所述几何结构信息指示对象的几何结构在一时间段内的变化,所述时间段包括多个时刻;
在所述多个时刻的每个时刻接收所述对象的多个图像,每个图像与所述对象的相应视点相关联,并且每个图像包括所述对象的视图相关纹理图,所述视图相关纹理图取决于所述对象的相应视点;
由自动编码器联合编码纹理信息和所述几何结构信息,以提供潜在向量;和
使用所述潜在向量推断:
相对于预测的视点的所述对象的推断的几何结构;和
相对于所述预测的视点的所述对象的推断的视图相关纹理;和
使用所述推断的几何结构和所述推断的视图相关纹理来针对所述预测的视点渲染所述对象的重建图像。
28.根据权利要求27所述的计算机实现的方法,还包括调节与每个图像相关联的相应视点,其中,所述潜在向量不包含任何视点信息。
29.根据权利要求27或28所述的计算机实现的方法,其中,所述潜在向量包括所述对象的面部表情的表示。
30.根据权利要求27至29中的任一项所述的计算机实现的方法,其中,所述几何结构信息包括在所述时间段内跟踪的所述对象的三维网格。
31.根据权利要求27至30中的任一项所述的计算机实现的方法,包括:
实时推断所述推断的几何结构和所述推断的视图相关纹理;和
实时渲染所述对象的一系列动画化的重建图像,其中,所渲染的一系列动画化的重建图像包括用于在虚拟现实(vr)或增强现实(ar)头戴式装置上显示的vr或ar呈现。
32.一种计算机系统,包括:
多相机装置,其包括靠近对象布置的多个相机,每个相机被配置为捕获所述对象的图像,所捕获的图像与所述对象的相应视点相关联;
输入模块,其被配置为:
接收几何结构信息,所述几何结构信息指示所述对象的几何结构在一时间段内的变化,所述时间段包括多个时刻;和
在所述多个时刻的每个时刻从所述多个相机接收所述对象的多个图像,每个图像与所述对象的相应视点相关联,并且每个图像包括所述对象的视图相关纹理图,所述视图相关纹理图取决于所述对象的相应视点;
自动编码器,其被配置为:
联合编码纹理信息和所述几何结构信息以提供第一潜在向量;和
使用所述第一潜在向量推断:
相对于预测的视点的所述对象的推断的几何结构;和
相对于所述预测的视点的所述对象的推断的视图相关纹理;和
渲染模块,其被配置为使用所述推断的几何结构和所述推断的视图相关纹理来针对所述预测的视点渲染所述对象的重建图像。
33.根据权利要求32所述的计算机系统,其中,所述计算机系统被配置为实时推断所述推断的几何结构和所述推断的视图相关纹理,并实时渲染所述对象的一系列动画化的重建图像;
可选地,其中:
所渲染的一系列动画化的重建图像包括用于在虚拟现实(vr)或增强现实(ar)头戴式装置上显示的vr或ar呈现;和
所述计算机系统被配置为学习来自所述多相机装置的所述多个图像和来自安装在所述vr或ar头戴式装置上的相机的图像之间的对应关系。
34.根据权利要求32或33所述的计算机系统,其中,所述计算机系统还被配置为:
使用所述重建图像来重新渲染所述对象的多个模拟头戴式装置图像,每个模拟头戴式装置图像与多个模拟vr或ar头戴式装置相机的视点相关联;
从多个vr或ar头戴式装置相机接收所述对象的多个接收的头戴式装置图像;和
联合编码所述多个模拟头戴式装置图像和所述多个接收的头戴式装置图像以提供第二潜在向量;
可选地,其中,所述计算机系统被配置为调节所述多个模拟头戴式装置图像和所述多个接收的头戴式装置图像,使得所述第二潜在向量不包含指示接收到的头戴式装置图像是模拟头戴式装置图像还是接收的头戴式装置图像的信息。
35.根据权利要求32至34中的任一项所述的计算机系统,其中,所述第一潜在向量包括所述对象的面部表情的表示。