一种沉浸媒体的数据处理方法、装置、设备及存储介质与流程

本技术涉及计算机，尤其涉及一种沉浸媒体的数据处理方法、装置、设备及存储介质。

背景技术：

1、沉浸媒体是指能为业务对象带来沉浸式体验的媒体内容，点云媒体即一种典型的沉浸媒体。现有技术中，点云媒体对应的点云码流中的每个点云帧均包含相应的头信息，因此每解码一个点云帧就需要解码其所包含的头信息，当不同点云帧中存在相同的头信息时，必然会导致重复解码相同的头信息，以至于造成了解码资源的浪费。

技术实现思路

1、本技术实施例提供了一种沉浸媒体的数据处理方法、装置、设备及存储介质，可以避免重复解码相同的头信息，节省解码资源。

2、本技术实施例一方面提供了一种沉浸媒体的数据处理方法，包括：

3、对点云数据进行编码，得到包含复用指示信息的点云码流；复用指示信息是基于头信息集合的复用状态所确定的，头信息集合是在对点云数据进行编码的过程中所生成的；

4、根据复用状态生成针对点云码流的解码器配置记录信息；

5、将点云码流和解码器配置记录信息封装为沉浸媒体的媒体文件；复用指示信息和解码器配置记录信息为点云码流提供解码所需的头信息集合以及头信息集合的复用状态。

6、本技术实施例一方面提供了一种沉浸媒体的数据处理方法，包括：

7、获取沉浸媒体的媒体文件，对媒体文件进行解封装，得到媒体文件中的点云码流以及与点云码流相关联的解码器配置记录信息；解码器配置记录信息是根据头信息集合的复用状态所生成的，头信息集合是在对点云数据进行编码的过程中所生成的，点云码流包含复用指示信息，复用指示信息是基于复用状态所确定的；复用指示信息和解码器配置记录信息为点云码流提供解码所需的头信息集合以及头信息集合的复用状态；

8、基于解码器配置记录信息对点云码流进行解码。

9、本技术实施例一方面提供了一种沉浸媒体的数据处理装置，包括：

10、编码模块，用于对点云数据进行编码，得到包含复用指示信息的点云码流；复用指示信息是基于头信息集合的复用状态所确定的，头信息集合是在对点云数据进行编码的过程中所生成的；

11、生成模块，用于根据复用状态生成针对点云码流的解码器配置记录信息；

12、封装模块，用于将点云码流和解码器配置记录信息封装为沉浸媒体的媒体文件；复用指示信息和解码器配置记录信息为点云码流提供解码所需的头信息集合以及头信息集合的复用状态。

13、其中，复用指示信息用于添加至点云码流对应的序列头信息；复用指示信息包括第一参数复用状态字段，第一参数复用状态字段用于指示头信息集合的复用状态。

14、其中，头信息集合包括几何头信息；第一参数复用状态字段包括第一几何头复用状态字段，第一几何头复用状态字段用于指示点云码流中的几何头信息的复用状态；当第一几何头复用状态字段的字段值为第一状态值时，表示点云码流中存在可复用的几何头信息；当第一几何头复用状态字段的字段值为第二状态值时，表示点云码流中不存在可复用的几何头信息。

15、其中，当第一几何头复用状态字段的字段值为第一状态值时，表示点云码流中的每个点云帧均不包含几何头信息，复用指示信息还包括几何头数量字段和几何头指示信息；几何头数量字段用于指示点云码流中可复用的几何头信息的数量，几何头数量字段的字段值为m，m为正整数；几何头指示信息包括m个可复用的几何头信息；具有第一状态值的第一几何头复用状态字段还用于指示客户端在对点云码流中的每个点云帧进行解码时，分别参考m个可复用的几何头信息中的一个几何头信息。

16、其中，当第一几何头复用状态字段的字段值为第二状态值时，表示点云码流中的每个点云帧均包含一个几何头信息；具有第二状态值的第一几何头复用状态字段还用于指示客户端在对点云码流中的每个点云帧进行解码时，分别参考每个点云帧所包含的几何头信息。

17、其中，头信息集合包括属性头信息；第一参数复用状态字段包括第一属性头复用状态字段，第一属性头复用状态字段用于指示点云码流中的属性头信息的复用状态；当第一属性头复用状态字段的字段值为第三状态值时，表示点云码流中存在可复用的属性头信息；当第一属性头复用状态字段的字段值为第四状态值时，表示点云码流中不存在可复用的属性头信息。

18、其中，当第一属性头复用状态字段的字段值为第三状态值时，表示点云码流中的每个点云帧均不包含属性头信息，复用指示信息还包括属性头数量字段和属性头指示信息；属性头数量字段用于指示点云码流中可复用的属性头信息的数量，属性头数量字段的字段值为n，n为正整数；属性头指示信息包括n个可复用的属性头信息；具有第三状态值的第一属性头复用状态字段还用于指示客户端在对点云码流中的每个点云帧进行解码时，分别参考n个可复用的属性头信息中的一个或多个属性头信息。

19、其中，当第一属性头复用状态字段的字段值为第四状态值时，表示点云码流中的每个点云帧均包含一个或多个属性头信息；具有第四状态值的第一属性头复用状态字段还用于指示客户端在对点云码流中的每个点云帧进行解码时，分别参考每个点云帧所包含的属性头信息。

20、其中，复用指示信息用于添加至点云码流所包含的点云帧；点云码流包括多个点云帧，多个点云帧包括目标点云帧；目标点云帧中的复用指示信息包括第二参数复用状态字段，第二参数复用状态字段用于指示解码目标点云帧所参考的头信息集合的复用状态。

21、其中，多个点云帧还包括第一历史点云帧，第一历史点云帧的生成时间戳早于目标点云帧的生成时间戳；第一历史点云帧为目标点云帧的上一帧；头信息集合包括几何头信息；第二参数复用状态字段包括第二几何头复用状态字段，第二几何头复用状态字段用于指示解码目标点云帧所参考的几何头信息的复用状态；当第二几何头复用状态字段的字段值为第五状态值时，表示解码目标点云帧时重复使用第一历史点云帧所参考的几何头信息。

22、其中，多个点云帧还包括第二历史点云帧，第二历史点云帧的生成时间戳早于目标点云帧的生成时间戳；头信息集合包括几何头信息；第二参数复用状态字段包括第二几何头复用状态字段，第二几何头复用状态字段用于指示解码目标点云帧所参考的几何头信息的复用状态；当第二几何头复用状态字段的字段值为第五状态值时，目标点云帧中的复用指示信息还包括复用几何头标识字段，具有第五状态值的第二几何头复用状态字段用于指示解码目标点云帧时参考复用几何头标识字段所指示的几何头信息；复用几何头标识字段所指示的几何头信息为第二历史点云帧所参考的几何头信息。

23、其中，当第二几何头复用状态字段的字段值为第六状态值时，表示目标点云帧包含几何头信息，具有第六状态值的第二几何头复用状态字段还用于指示客户端在对目标点云帧进行解码时，参考目标点云帧所包含的几何头信息。

24、其中，多个点云帧还包括第三历史点云帧，第三历史点云帧的生成时间戳早于目标点云帧的生成时间戳；第三历史点云帧为目标点云帧的上一帧；头信息集合包括属性头信息；第二参数复用状态字段包括第二属性头复用状态字段，第二属性头复用状态字段用于指示解码目标点云帧所参考的属性头信息的复用状态；当第二属性头复用状态字段的字段值为第七状态值时，表示解码目标点云帧时重复使用第三历史点云帧所参考的属性头信息。

25、其中，多个点云帧还包括第四历史点云帧，第四历史点云帧的生成时间戳早于目标点云帧的生成时间戳；头信息集合包括属性头信息；第二参数复用状态字段包括第二属性头复用状态字段，第二属性头复用状态字段用于指示解码目标点云帧所参考的属性头信息的复用状态；当第二属性头复用状态字段的字段值为第七状态值时，目标点云帧中的复用指示信息还包括复用属性头标识字段，具有第七状态值的第二属性头复用状态字段用于指示解码目标点云帧时参考复用属性头标识字段所指示的属性头信息；复用属性头标识字段所指示的属性头信息为第四历史点云帧所参考的属性头信息。

26、其中，当第二属性头复用状态字段的字段值为第八状态值时，表示目标点云帧包含属性头信息；具有第八状态值的第二属性头复用状态字段还用于指示客户端在对目标点云帧进行解码时，参考目标点云帧所包含的属性头信息。

27、其中，上述生成模块，具体用于基于复用状态确定头信息数量和头指示信息，生成包含头信息数量字段和头指示信息的解码器配置记录信息；头信息数量字段用于指示解码点云码流所参考的头信息的数量；头信息数量字段的字段值为k，k为正整数；头指示信息包括k个头基础信息。

28、其中，每个头基础信息中均包含头信息类型字段、头信息标识字段、头信息长度字段以及头信息描述字段；头信息类型字段用于指示k个头信息中的第i个头信息的类型，i为小于或者等于k的正整数；头信息标识字段用于指示第i个头信息的标识符；头信息长度字段用于指示第i个头信息的长度；头信息描述字段用于指示第i个头信息。

29、其中，当头信息类型字段的字段值为第一类型字段值时，表示第i个头信息为序列头信息；当头信息类型字段的字段值为第二类型字段值时，表示第i个头信息为几何头信息；当头信息类型字段的字段值为第三类型字段值时，表示第i个头信息为属性头信息。

30、其中，每个头基础信息还包括最小点云帧索引字段和最大点云帧索引字段；最小样本索引字段用于指示参考第i个头信息的点云帧索引号范围的最小值；最大样本索引字段用于指示参考第i个头信息的点云帧索引号范围的最大值；处于点云帧索引号范围内的点云帧均参考第i个头信息，处于点云帧索引号范围内的点云帧属于点云码流。

31、其中，上述封装模块，包括：

32、分组单元，用于当点云码流中存在可复用的头信息时，基于点云码流中的点云帧与可复用的头信息之间的对应关系，对点云码流中的点云帧进行分组，得到一个或多个参数集合索引样本群组；每个参数集合索引样本群组对应一个参考头信息标识字段，参考头信息标识字段用于指示解码一个参数集合索引样本群组中的点云帧时所参考的头信息的标识符；

33、封装单元，用于将一个或多个参数集合索引样本群组和解码器配置记录信息封装为沉浸媒体的媒体文件。

34、其中，该装置还包括：

35、传输模块，用于对媒体文件进行切片，得到初始化片段和媒体片段；初始化片段包含解码器配置记录信息；通过流化传输方式将初始化片段和媒体片段传输至客户端。

36、本技术实施例一方面提供了一种沉浸媒体的数据处理装置，包括：

37、解封装模块，用于获取沉浸媒体的媒体文件，对媒体文件进行解封装，得到媒体文件中的点云码流以及与点云码流相关联的解码器配置记录信息；解码器配置记录信息是根据头信息集合的复用状态所生成的，头信息集合是在对点云数据进行编码的过程中所生成的，点云码流包含复用指示信息，复用指示信息是基于复用状态所确定的；复用指示信息和解码器配置记录信息为点云码流提供解码所需的头信息集合以及头信息集合的复用状态；

38、解码模块，用于基于解码器配置记录信息对点云码流进行解码。

39、其中，上述解码模块，包括：

40、第一确定单元，用于基于解码器配置记录信息所包含的头数量信息字段和头指示信息，确定头信息集合的复用状态；

41、第一解码单元，用于当复用状态指示点云码流中存在可复用的头信息时，从点云码流对应的序列头信息中获取复用指示信息，基于复用指示信息所指示的头信息对点云码流进行解码；

42、第二解码单元，用于当复用状态指示点云码流中不存在可复用的头信息时，基于点云码流中的点云帧所包含的头信息对点云帧进行解码。

43、其中，上述第一解码单元，具体用于若在对点云码流中的点云帧进行解码之前，复用指示信息所指示的头信息已经解码，则获取已解码的头信息，使用已解码的头信息对点云帧进行解码。

44、其中，上述第二解码单元，具体用于对点云码流中的点云帧所包含的头信息进行解码，得到已解码的头信息，使用已解码的头信息对点云帧进行解码。

45、其中，上述解码模块，包括：

46、第二确定单元，用于基于解码器配置记录信息所包含的头数量信息字段和头指示信息，确定头信息集合的复用状态；

47、第三解码单元，用于当复用状态指示点云码流中存在可复用的头信息时，从点云码流所包含的点云帧中获取复用指示信息，基于复用指示信息所指示的头信息对点云帧进行解码；

48、第四解码单元，用于当复用状态指示点云码流中不存在可复用的头信息时，基于点云帧所包含的头信息对点云帧进行解码。

49、本技术实施例一方面提供了一种计算机设备，包括：处理器和存储器；

50、处理器与存储器相连，其中，存储器用于存储计算机程序，计算机程序被处理器执行时，使得该计算机设备执行本技术实施例提供的方法。

51、本技术实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本技术实施例提供的方法。

52、本技术实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本技术实施例提供的方法。

53、本技术实施例可以通过对点云数据进行编码，以得到包含复用指示信息的点云码流，这里的复用指示信息是基于头信息集合的复用状态所确定的，该头信息集合是在对点云数据进行编码的过程中所生成的。进一步，可以根据该复用状态生成针对点云码流的解码器配置记录信息，进而可以将得到的点云码流和解码器配置记录信息封装为沉浸媒体的媒体文件，其中，复用指示信息和解码器配置记录信息为点云码流提供解码所需的头信息集合以及头信息集合的复用状态。由此可见，本技术实施例可以通过复用指示信息和解码器配置记录信息来指示点云码流中是否存在可复用的头信息，从而可以避免重复解码相同的头信息，进而节省解码资源。