视频生成方法、装置、计算机设备以及全息录播系统与流程

本申请涉及增强现实领域，更具体地，涉及一种视频生成方法、装置、计算机设备以及全息录播系统。

背景技术：

1、近年来，随着混合现实技术的逐渐发展，全息视频因其独特的用户体验，逐渐被应用于更多的技术领域。例如在远程教学领域，通常情况下，教师会预先通过图像采集装置录制三维立体的教学视频，学生通过终端头显装置观看教学视频，能够看到三维立体的教师形象，但这种教学方式中，学生与教师之间的互动性不强，学生的观看视角仍然是受到限制的，容易影响学生学习的积极性。

技术实现思路

1、鉴于上述问题，本申请提出了一种视频生成方法、装置、计算机设备以及全息录播系统，可以得到具有6自由度的全息视频数据，提升用户的视频观看体验。

2、第一方面，本申请实施例提供了一种视频生成方法，所述方法包括：通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。

3、第二方面，本申请实施例提供了一种视频生成装置，所述装置包括：数据获取模块、模型生成模块、视频获取模块以及数据叠加模块，其中，数据获取模块用于获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的姿态数据；模型生成模块用于基于所述多帧图像数据以及与每帧所述图像数据对应的姿态数据，生成所述目标现实环境对应的三维立体模型；视频获取模块用于获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；数据叠加模块用于在所述三维立体模型中叠加所述三维视频数据，得到全息视频。

4、第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述第一方面提供的视频生成方法。

5、第四方面，本申请实施例提供了一种全息录播系统，所述全息录播系统包括视频编辑装置以及视频播放装置，所述视频编辑装置用于执行上述第一方面提供的视频生成方法，所述视频播放装置用于播放所述视频编辑装置生成的全息视频。

6、第五方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的视频生成方法。

7、本申请提供的方案，通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，提升用户的视频观看体验。

技术特征：

1.一种视频生成方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，每帧所述图像数据包括第一深度数据以及第一像素数据，所述位姿数据为所述第一图像采集装置采集每帧所述图像数据时对应的位姿数据，所述基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型，包括：

3.根据权利要求1所述的方法，其特征在于，所述深度图像数据包括第二图像采集装置在不同视角下对所述目标用户的身体采集得到的第二深度数据以及第二像素数据，所述基于所述深度图像数据生成所述目标用户对应的三维视频数据，包括：

4.根据权利要求3所述的方法，其特征在于，在所述基于所述深度图像数据生成所述目标用户对应的三维视频数据之前，所述方法还包括：

5.根据权利要求1所述的方法，其特征在于，所述获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于所述第三深度数据以及所述第三像素数据，生成所述目标用户在所述目标视角下对应的三维视频数据，包括：

7.根据权利要求1-6任一项所述的方法，其特征在于，所述在所述三维立体模型中叠加所述三维视频数据，得到全息视频，包括：

8.根据权利要求1-6任一项所述的方法，其特征在于，在所述获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据之后，所述方法还包括：

9.根据权利要求1-6任一项所述的方法，其特征在于，所述目标用户包括至少两个用户，所述获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据，包括：

10.根据权利要求1-6任一项所述的方法，其特征在于，在所述三维立体模型中叠加所述三维视频数据，得到全息视频之后，所述方法还包括：

11.一种视频生成装置，其特征在于，所述装置包括：

12.一种计算机设备，其特征在于，包括：

13.一种全息录播系统，其特征在于，包括：

技术总结
本申请公开了一种视频生成方法、装置、计算机设备以及存储介质。该方法通过获取第一图像采集装置在不同位姿下对目标现实环境进行图像采集得到的多帧图像数据以及与每帧所述图像数据对应的位姿数据；基于所述多帧图像数据以及与每帧所述图像数据对应的位姿数据，生成所述目标现实环境对应的三维立体模型；获取目标用户的深度图像数据，并基于所述深度图像数据生成所述目标用户对应的三维视频数据；在所述三维立体模型中叠加所述三维视频数据，得到全息视频。通过目标现实环境对应的多帧图像数据，得到目标现实环境对应的三维立体模型，进而将目标用户的三维视频数据叠加至三维立体模型中，得到具有6自由度的全息视频，提升用户的视频观看体验。

技术研发人员：浦钰婷,胡永涛,贺杰,戴景文
受保护的技术使用者：广东虚拟现实科技有限公司
技术研发日：
技术公布日：2024/1/13