技术特征：
1.一种系统，包括：包含指令的一个或更多个非暂时性计算机可读存储介质；一个或更多个处理器，其耦合到所述存储介质，并且能够操作来执行所述指令以：访问在第一光谱域中捕捉的用户的多个第一捕捉图像；使用第一机器学习模型，基于所述第一捕捉图像生成多个第一域转移图像，其中所述第一域转移图像在第二光谱域中；基于第一虚拟形象，渲染包括所述第一虚拟形象的视图的多个第一渲染图像，所述第一虚拟形象是所述用户的虚拟表示；和基于所述第一域转移图像与所述第一渲染图像之间的比较来更新所述第一机器学习模型，其中更新后的第一机器学习模型被配置成将所述第一光谱域中的图像转译至所述第二光谱域。2.根据权利要求1所述的系统，其中，所述处理器还能够操作来执行所述指令以：使用第二机器学习模型，基于所述第一捕捉图像生成所述第一虚拟形象。3.根据权利要求1或权利要求2所述的系统，其中，使用参数面部模型基于多个虚拟形象参数来渲染所述第一虚拟形象；优选地，其中所述虚拟形象参数在所述第一域转移图像中的分布对应于所述虚拟形象参数在所述第一渲染图像中的分布。4.根据任一前述权利要求所述的系统，其中，基于每个第一域转移图像与每个对应的第一渲染图像之间的差异，使用损失函数来更新所述第一机器学习模型。5.根据任一前述权利要求所述的系统，其中，所述损失函数还基于捕捉图像的相机之间的一个或更多个空间关系。6.根据任一前述权利要求所述的系统，其中，所述处理器还能够操作来执行所述指令以：访问在所述第一光谱域中捕捉的多个第二捕捉图像；使用更新后的第一机器学习模型，基于所述第二捕捉图像生成多个第二域转移图像，其中所述第二域转移图像在所述第二光谱域中；使用第二机器学习模型，基于所述第二捕捉图像生成第二虚拟形象；基于所述第二虚拟形象，渲染包括所述第二虚拟形象的视图的多个第二渲染图像；和基于所述第二域转移图像与所述第二渲染图像之间的比较来更新所述第二机器学习模型，其中所述第二机器学习模型被配置成基于一个或更多个第一输入图像来生成一个或更多个虚拟形象参数，用于渲染对应于所述第一输入图像的虚拟形象；优选地，其中更新后的第二机器学习模型还被配置成基于所述一个或更多个第一输入图像生成表示所述虚拟形象的空间方位的姿态信息；优选地，其中所述第一捕捉图像和所述第二捕捉图像由与训练头戴式装置相关联的相机捕捉。7.根据权利要求6所述的系统，其中，所述处理器还能够操作来执行所述指令以：访问多个第三捕捉图像，其中所述第三捕捉图像来自所述第二捕捉图像的子集；使用更新后的第二机器学习模型生成对应于所述第三捕捉图像的虚拟形象参数；和基于所述第三捕捉图像和对应的虚拟形象参数之间的对应关系，训练第三机器学习模
型，以基于一个或更多个第二输入图像生成对应于所述第二输入图像的一个或更多个虚拟形象参数。8.根据权利要求7所述的系统，其中，所述第三机器学习模型实时生成输出虚拟形象参数。9.根据权利要求7或权利要求8所述的系统，其中，所述第三捕捉图像由与训练头戴式装置相关联的多个训练相机捕捉，并且所述第二输入图像由与非侵入式头戴式装置相关联的多个非侵入式相机捕捉；优选地，其中所述非侵入式头戴式装置上的所述非侵入式相机的位置对应于所述训练头戴式装置上所述训练相机的子集的位置。10.根据权利要求7至9中任一项所述的系统，其中，所述第三机器学习模型包括：多个卷积神经网络分支，其生成一维向量，其中每个分支对应于一个相机并且将在所述第一光谱域中由对应相机捕捉的接收图像转换成所述一维向量中对应的一个一维向量；和多层感知器，其将所述向量转换成虚拟形象参数。11.根据权利要求7至10中任一项所述的系统，其中，所述处理器还能够操作来执行所述指令以：访问在所述第一光谱域中捕捉的多个第三图像，其中所述第三图像由非侵入式相机捕捉，所述第二图像由侵入式相机捕捉，并且所述非侵入式相机在数量上少于所述侵入式相机；使用所述第三机器学习模型，基于所述第三图像生成虚拟形象参数；基于所述虚拟形象参数，渲染包括第三虚拟形象的视图的多个第三渲染图像；和向用户呈现所述第三渲染图像。12.根据权利要求7至11中任一项所述的系统，其中，所述系统还包括第一图形处理单元gpu和第二gpu，并且所述处理器还能够操作来执行所述指令以：访问在所述第一光谱域中捕捉的第一用户的多个图像；通过在所述第一gpu上执行所述第三机器学习模型，基于所述第一用户的图像生成第一虚拟形象参数；和经由通信网络向第二用户的计算设备发送所述第一虚拟形象参数；优选地，其中，所述处理器还能够操作来执行所述指令以：经由所述通信网络从所述第二用户的计算设备接收第二虚拟形象参数；使用所述第二gpu并基于所述第二虚拟形象参数，渲染包括所述第二用户的虚拟形象的视图的多个第三渲染图像；和向所述第一用户呈现所述第三渲染图像。13.根据前述权利要求中任一项所述的系统，其中，所述第一光谱域是红外光，并且所述第二光谱域是可见光。14.一个或更多个计算机可读非暂时性存储介质，其包含软件，所述软件在被执行时能够操作来：访问在第一光谱域中捕捉的用户的多个第一捕捉图像；使用第一机器学习模型，基于所述第一捕捉图像生成多个第一域转移图像，其中所述
第一域转移图像在第二光谱域中；基于第一虚拟形象，渲染包括所述第一虚拟形象的视图的多个第一渲染图像，所述第一虚拟形象是所述用户的虚拟表示；和基于所述第一域转移图像与所述第一渲染图像之间的比较来更新所述第一机器学习模型，其中更新后的第一机器学习模型被配置成将所述第一光谱域中的图像转译至所述第二光谱域。15.一种方法，包括：由计算设备访问在第一光谱域中捕捉的用户的多个第一捕捉图像；由所述计算设备使用第一机器学习模型基于所述第一捕捉图像生成多个第一域转移图像，其中所述第一域转移图像在第二光谱域中；由所述计算设备基于第一虚拟形象来渲染包括所述第一虚拟形象的视图的多个第一渲染图像，所述第一虚拟形象是所述用户的虚拟表示；和由所述计算设备基于所述第一域转移图像与所述第一渲染图像之间的比较来更新所述第一机器学习模型，其中更新后的第一机器学习模型被配置成将所述第一光谱域中的图像转译至所述第二光谱域。
技术总结
在一个实施例中，计算机系统可以访问在第一光谱域中捕捉的多个第一捕捉图像；使用第一机器学习模型基于第一捕捉图像生成多个第一域转移图像，其中第一域转移图像在第二光谱域中；基于第一虚拟形象渲染包括第一虚拟形象的视图的多个第一渲染图像；以及基于第一域转移图像与第一渲染图像之间的比较来更新第一机器学习模型，其中第一机器学习模型被配置成将第一光谱域中的图像转译至第二光谱域。该系统还可以使用第二机器学习模型基于第一捕捉图像生成第一虚拟形象。可以使用基于多个虚拟形象参数的参数面部模型来渲染第一虚拟形象。象参数的参数面部模型来渲染第一虚拟形象。象参数的参数面部模型来渲染第一虚拟形象。
技术研发人员：詹森
受保护的技术使用者：脸谱科技有限责任公司
技术研发日：2020.06.05
技术公布日：2022/2/18