一种通用的元宇宙空间体积视频编码方法与流程

本发明涉及元宇宙视频编码，具体为一种通用的元宇宙空间体积视频编码方法。

背景技术：

1、一个虚拟时空间的集合，由一系列的增强现实、虚拟现实和互联网所组成。表示“超越宇宙”的概念：一个平行于现实世界运行的虚拟空间，在元宇宙空间及虚拟化身等场景中，用户在空间中的场景环境、交互活动、语音音效等内容可以形成有价值、可回放的体积视频内容文件，以便支持内容的6dof观看以及存储和传输。

2、但是当前并不存在通用的元宇宙空间体积视频编码方法，以至于体积视频的应用及普及存在困难，为此会需要使用一种通用的元宇宙空间体积视频编码方法。

技术实现思路

1、针对现有技术的不足，本发明提供了一种通用的元宇宙空间体积视频编码方法，解决了元宇宙中物体、动画、时间、渲染方法等进行规范及可扩展编码，以便于解码器进行解码及体积视频的播放。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种通用的元宇宙空间体积视频编码方法，包括以下步骤：

3、步骤1：通过文件头编码标记文件类型及涉及到的文件关键信息，文件头编码包括文件魔数、版本号、文件头长度、帧率标识、向前参考帧个数、使用的资源格式清单长度和使用的资源格式清单；

4、步骤2：通过文件头编码后进行资源编码，资源编码包括资源编码长度和资源清单；

5、步骤3：资源编码后进行关键帧解码，关键帧解码包括帧标识、帧长度和帧数据；

6、步骤4：关键帧解码后进行向前参考帧编码，参考帧编码包括帧标识、帧长度和帧数据；

7、步骤5：依据文件头中前向参考帧个数，一个关键帧后编码指定个数的前向参考帧；依据文件头中帧率标识及要记录的视频长度编码多个关键帧加前向参考帧的数据；

8、步骤6：当向前参考帧编码完成后，会进行输出文件，在编码完成后输入到物理文件中。

9、优选的，所述步骤1中包括的使用的资源格式清单，是由一个个的资源格式组成，总长度为帧率标识的字节数，每个资源格式占8字节，尾部留空，文件格式及对应版本信息，主要包括模型、音频、视频等，文件格式的编码方式为light、camera、fbx、glb、pcm、mp3、wav和mp4。

10、优选的，所述步骤2中包括的资源清单由资源格式、资源长度、资源对象清单长度、资源对象清单和资源内容，其中资源内容又分为光源资源、相机资源、模型资源、视频资源和音频资源。

11、优选的，所述光源资源包括光源类型、光源颜色、光源位置、光源朝向、光源强度和光照形状。

12、优选的，所述相机资源包括相机类型、相机优先级、相机远平面、相机近平面、视场角/大小。

13、优选的，所述步骤3中的帧数据包括对象id、对象长度和对象数据值。

14、优选的，所述对象数据值包括光源类型对象、摄像机类型对象、模型类型对象、音频类型对象和视频类型对象。

15、优选的，所述光源类型对象包括光源颜色、光源位置、光源朝向、光源强度和光照形状；所述摄像机类型对象包括相机方位数值、相机远平面、相机近平面和视场角/大小。

16、优选的，所述模型类型对象包括数据类型、数据长度和数据值，所述数据值包括模型方位数值、骨骼方位、bs动画值和渲染参数值。

17、优选的，所述音频类型对象包括数据类型、数据长度和数据值，所述数据值包括音频方位数值、音频索引值和音频帧数据；所述视频类型对象包括数据类型、数据长度和数据值，所述数据值包括视频方位数值、视频索引值和视频帧数据。

18、本发明提供了一种通用的元宇宙空间体积视频编码方法。具备以下有益效果：

19、1、本发明定义了通用的元宇宙空间体积视频的编码方法，能完整的将元宇宙空间中的一切事物按照时间线记录保存下来，便于存储及6dof方式观看。

20、2、本发明编码格式采用模块化的方式，可以不断支持新扩展能力，以保证编码格式的稳定性及适应不断更新迭代的扩展需求。

技术特征：

1.一种通用的元宇宙空间体积视频编码方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述步骤1中包括的使用的资源格式清单，是由一个个的资源格式组成，总长度为帧率标识的字节数，每个资源格式占8字节，尾部留空，文件格式及对应版本信息，主要包括模型、音频，文件格式的编码方式为light、camera、fbx、glb、pcm、mp3、wav和mp4。

3.根据权利要求1所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述步骤2中包括的资源清单由资源格式、资源长度、资源对象清单长度、资源对象清单和资源内容，其中资源内容又分为光源资源、相机资源、模型资源、视频资源和音频资源。

4.根据权利要求3所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述光源资源包括光源类型、光源颜色、光源位置、光源朝向、光源强度和光照形状。

5.根据权利要求3所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述相机资源包括相机类型、相机优先级、相机远平面、相机近平面、视场角/大小。

6.根据权利要求1所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述步骤3中的帧数据包括对象id、对象长度和对象数据值。

7.根据权利要求6所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述对象数据值包括光源类型对象、摄像机类型对象、模型类型对象、音频类型对象和视频类型对象。

8.根据权利要求7所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述光源类型对象包括光源颜色、光源位置、光源朝向、光源强度和光照形状；所述摄像机类型对象包括相机方位数值、相机远平面、相机近平面和视场角/大小。

9.根据权利要求7所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述模型类型对象包括数据类型、数据长度和数据值，所述数据值包括模型方位数值、骨骼方位、bs动画值和渲染参数值。

10.根据权利要求7所述的一种通用的元宇宙空间体积视频编码方法，其特征在于：所述音频类型对象包括数据类型、数据长度和数据值，所述数据值包括音频方位数值、音频索引值和音频帧数据；所述视频类型对象包括数据类型、数据长度和数据值，所述数据值包括视频方位数值、视频索引值和视频帧数据。

技术总结
本发明涉及元宇宙视频编码领域，公开了一种通用的元宇宙空间体积视频编码方法，包括步骤1：通过文件头编码标记文件类型及涉及到的文件关键信息；步骤2：通过文件头编码后进行资源编码；步骤3：资源编码后进行关键帧解码；步骤4：关键帧解码后进行向前参考帧编码；步骤5：依据文件头中前向参考帧个数，一个关键帧后编码指定个数的前向参考帧；依据文件头中帧率标识及要记录的视频长度编码多个关键帧加前向参考帧的数据；步骤6：当向前参考帧编码完成后，会进行输出文件，在编码完成后输入到物理文件中。定义了通用的元宇宙空间体积视频的编码方法，能完整的将元宇宙空间中的一切事物按照时间线记录保存下来，便于存储及6Dof方式观看。

技术研发人员：吴幼敏
受保护的技术使用者：厦门数字逍遥科技有限公司
技术研发日：
技术公布日：2024/4/17