点云数据发送设备和方法以及点云数据接收设备和方法与流程

实施方式提供了一种提供点云内容以向用户提供诸如虚拟现实(vr)、增强现实(ar)、混合现实(mr)和自主驾驶服务之类的各种服务的方法。

背景技术：

1、点云是三维(3d)空间中的点集合。因为3d空间中的点的数量大，所以难以生成点云数据。

2、需要大吞吐量以发送和接收点云的数据。

技术实现思路

1、技术问题

2、本公开的一个目的在于提供一种用于高效地发送和接收点云的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。

3、本公开的另一目的在于提供一种用于解决延迟和编码/解码复杂度的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。

4、本公开的另一目的在于提供一种用于通过发信号通知点云数据的视口相关信令来向用户提供优化的点云内容的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。

5、本公开的另一目的在于提供一种用于通过允许在比特流中发送用于v-pcc比特流中的数据处理和渲染的视口信息、推荐视口信息和初始观看取向(即，视点)来向用户提供优化的点云内容的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。

6、本公开的另一目的在于提供一种用于通过以文件格式级别发信号通知点云数据的视口相关信息来向用户提供优化的点云数据的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。

7、本公开的另一目的在于提供一种用于发信号通知在轨道或项目中是静态的或随时间改变的用户视口相关信息来有效地向用户提供点云数据的点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法。

8、本公开的附加优点、目的和特征将在以下描述中部分地阐述，并且对于本领域普通技术人员而言在考察以下内容后将部分地变得显而易见或者可从本公开的实践学习。本公开的目的和其它优点可通过所撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得。

9、技术方案

10、为了实现这些目的和其它优点并且根据本公开的目的，如本文所实施和广泛描述的，一种发送点云数据的方法可以包括：对点云数据进行编码；将包括编码的点云数据的比特流封装到文件中；以及发送文件。

11、根据实施方式，比特流存储在文件的一个或更多个轨道中，文件还包括信令数据，信令数据包括至少一个参数集和视口相关信息，并且视口相关信息至少包括第一视口信息或第二视口信息。

12、根据实施方式，点云数据包括几何数据、属性数据和占用图数据，它们通过基于视频的点云压缩(v-pcc)方案进行编码。

13、根据实施方式，第一视口信息包括用于标识与视口相机相关的视口相机参数的标识信息和用于指示视口相机的投影类型的类型信息。

14、根据实施方式，第二视口信息包括用于标识视口的标识信息和视口的位置信息。

15、根据实施方式，第二视口信息还包括用于指示视口的位置是对应于视口的中心还是对应于视口的两个立体位置(stereo position)中的一个的信息。

16、根据实施方式，点云数据发送设备可以包括：编码器，其对点云数据进行编码；封装器，其将包括编码的点云数据的比特流封装到文件中；以及发送器，其发送文件。

17、根据实施方式，比特流存储在文件的一个或更多个轨道中，文件还包括信令数据，信令数据包括至少一个参数集和视口相关信息，并且其中，视口相关信息至少包括第一视口信息或第二视口信息。

18、根据实施方式，点云数据包括几何数据、属性数据和占用图数据，它们通过基于视频的点云压缩(v-pcc)方案进行编码。

19、根据实施方式，第一视口信息包括用于标识与视口相机相关的视口相机参数的标识信息和用于指示视口相机的投影类型的类型信息。

20、根据实施方式，第二视口信息包括用于标识视口的标识信息和视口的位置信息。

21、根据实施方式，第二视口信息还包括用于指示视口的位置是对应于视口的中心还是对应于视口的两个立体位置中的一个的信息。

22、根据实施方式，一种点云数据接收方法可以包括：接收文件；将文件解封装成包括点云数据的比特流，比特流存储在文件的一个或更多个轨道中并且文件还包括信令数据；基于信令数据对点云数据进行解码；以及基于信令数据对解码后的点云数据进行渲染。

23、根据实施方式，信令数据包括至少一个参数集和视口相关信息，并且视口相关信息至少包括第一视口信息或第二视口信息。

24、根据实施方式，点云数据包括几何数据、属性数据和占用图数据，它们通过基于视频的点云压缩(v-pcc)方案进行编码。

25、根据实施方式，第一视口信息包括用于标识与视口相机相关的视口相机参数的标识信息和用于指示视口相机的投影类型的类型信息。

26、根据实施方式，第二视口信息包括用于标识视口的标识信息和视口的位置信息。

27、根据实施方式，第二视口信息还包括用于指示视口的位置是对应于视口的中心还是对应于视口的两个立体位置中的一个的信息。

28、根据实施方式，点云数据接收设备可以包括：接收文件的接收器；将文件解封装成包括点云数据的比特流的解封装器，比特流存储在文件的一个或更多个轨道中，并且文件还包括信令数据；基于信令数据对点云数据进行解码的解码器；以及基于信令数据对解码后的点云数据进行渲染的渲染器。

29、根据实施方式，信令数据包括至少一个参数集和视口相关信息，并且视口相关信息至少包括第一视口信息或第二视口信息。

30、根据实施方式，点云数据包括几何数据、属性数据和占用图数据，它们通过基于视频的点云压缩(v-pcc)方案进行编码。

31、根据实施方式，第一视口信息包括用于标识与视口相机相关的视口相机参数的标识信息和用于指示视口相机的投影类型的类型信息。

32、根据实施方式，第二视口信息包括用于标识视口的标识信息和视口的位置信息。

33、根据实施方式，第二视口信息还包括用于指示视口的位置是对应于视口的中心还是对应于视口的两个立体位置中的一个的信息。

34、有利效果

35、根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置可以提供良好质量的点云服务。

36、根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置可以实现各种视频编解码方案。

37、根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置可以提供诸如自驾驶服务之类的通用点云内容。

38、根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置可以通过配置v-pcc比特流并允许文件被发送、接收和存储来提供最佳的点云内容服务。

39、利用根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置，可以通过在v-pcc单元的基础上复用v-pcc比特流来高效地访问v-pcc比特流。另外，v-pcc比特流的阿特拉斯流可以有效地存储在文件中的轨道中，从而被发送和接收。

40、利用根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置，可以将v-pcc比特流划分并存储在文件中的一个或多个轨道中，可以发信号通知指示存储v-pcc比特流的多个轨道之间的关系的信令信息。此外，可以提供针对存储在文件中的另选v-pcc轨道的指示。因此，点云比特流的文件可以被高效地存储和发送。

41、利用根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置，用于v-pcc比特流中的数据处理和渲染的元数据可以包括在v-pcc中比特流从而被发送和接收。因此，可以提供最佳的点云内容服务。

42、利用根据实施方式的点云数据发送方法、发送设备、点云数据接收方法和接收装置，可以通过文件格式级别的轨道发送和接收用于v-pcc比特流中的数据处理和渲染的视口相关信息。因此，可以提供最佳的点云内容服务。

43、根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置可以使得播放器等能够基于视口相关信息执行对点云对象/内容进行空间或部分访问。因此，可以根据用户视口高效地访问和处理点云比特流。

44、利用根据实施方式的点云数据发送方法、发送装置、点云数据接收方法和接收装置，可以基于视口相关信息来选择文件中包含点云数据的轨道或项目，或者轨道或项目中的部分数据可以被解析和解码或渲染。此外，可以减少不必要的数据，即对与用户视口无关的点云数据的不必要操作。由此，可以有效地执行文件中的点云数据的解析和点云数据的解码/渲染。