点云视窗的呈现方法、装置、计算机可读介质及电子设备与流程

1.本技术涉及计算机及通信技术领域，具体而言，涉及一种点云视窗的呈现方法、装置、计算机可读介质及电子设备。


背景技术：

2.对于点云媒体而言，相关技术中仅涉及到点云视窗的基本空间位置信息，满足了点云视窗区域渲染的基本需求。但是对于点云媒体丰富的应用场景而言，相关技术中的方案难以实现多样化的呈现形式，不能满足不同应用场景的业务需求。


技术实现要素：

3.本技术的实施例提供了一种点云视窗的呈现方法、装置、计算机可读介质及电子设备，进而至少在一定程度上可以在点云视窗呈现时提供更多样的呈现形式，满足了不同应用场景的业务需求。
4.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
5.根据本技术实施例的一个方面，提供了一种点云视窗的呈现方法，包括：获取点云文件，所述点云文件中包含有点云视窗的信息，以及所述点云视窗关联的附属信息，所述附属信息与所述点云视窗的类型相对应；解析所述点云文件，得到所述点云视窗的信息和所述附属信息；根据所述点云视窗的信息呈现所述点云视窗，并根据所述附属信息在所述点云视窗中呈现相应的描述内容。
6.根据本技术实施例的一个方面，提供了一种点云视窗的呈现装置，包括：获取单元，配置为获取点云文件，所述点云文件中包含有点云视窗的信息，以及所述点云视窗关联的附属信息，所述附属信息与所述点云视窗的类型相对应；解析单元，配置为解析所述点云文件，得到所述点云视窗的信息和所述附属信息；处理单元，配置为根据所述点云视窗的信息呈现所述点云视窗，并根据所述附属信息在所述点云视窗中呈现相应的描述内容。
7.在本技术的一些实施例中，基于前述方案，所述点云文件中包含有第一字段，所述第一字段的值用于指示与所述点云视窗关联的附属信息的数量。
8.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第二字段，所述第二字段用于指示所述点云视窗所关联的附属信息的类型，所述第二字段的不同取值对应于不同的附属信息类型。
9.在本技术的一些实施例中，基于前述方案，所述第二字段的值为第一值时，指示所述点云视窗所关联的附属信息为字幕类型；所述第二字段的值为第二值时，指示所述点云视窗所关联的附属信息为标记类型；所述第二字段的值为第三值时，指示所述点云视窗所关联的附属信息为注释类型。
10.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第三字段，所述第三字段用于指示所述附属信息的标识符，所述标识符用于对所述附属信息进行唯一标
识。
11.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第四字段，所述第四字段用于指示所述附属信息的描述内容。
12.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第五字段，所述第五字段用于指示所述附属信息所关联的点云视窗的区域；
13.其中，所述第五字段的值为第一值时，指示所述附属信息关联到点云视窗的全部区域；所述第五字段的值为第二值时，指示所述附属信息关联到点云视窗的部分区域。
14.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第六字段，所述第六字段用于指示所述附属信息所关联的平面区域与点云视窗中心位置之间的距离，所述平面区域用于显示所述附属信息的描述内容。
15.在本技术的一些实施例中，基于前述方案，所述平面区域的属性信息与所述点云视窗的属性信息相匹配，所述属性信息包括位置信息、旋转信息、平面类型信息。
16.在本技术的一些实施例中，基于前述方案，所述点云文件中包含有第七字段，所述第七字段用于指示关联有附属信息的点云视窗的个数。
17.在本技术的一些实施例中，基于前述方案，所述点云文件中包含有第八字段，所述第八字段用于指示关联有附属信息的点云视窗的标识符，所述标识符用于唯一标识所述点云视窗。
18.在本技术的一些实施例中，基于前述方案，所述处理单元配置为：根据所述附属信息中所包含的字段值，获取用于显示在所述点云视窗中的描述内容，并确定所述描述内容的呈现位置；在所述点云视窗的所述呈现位置上显示所述描述内容。
19.根据本技术实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的点云视窗的呈现方法。
20.根据本技术实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的点云视窗的呈现方法。
21.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的点云视窗的呈现方法。
22.在本技术的一些实施例所提供的技术方案中，点云文件中包含有点云视窗的信息及点云视窗关联的附属信息，而该附属信息与点云视窗的类型相对应，通过解析点云文件得到点云视窗的信息和该附属信息，以根据点云视窗的信息呈现点云视窗，并根据该附属信息在点云视窗中呈现相应的描述内容，使得能够根据不同类型的点云视窗呈现相应的描述内容，而不同类型的点云视窗又与点云媒体的应用场景相对应，因此本技术实施例的技术方案可以在点云视窗呈现时提供更多样的呈现形式，满足了不同应用场景的业务需求。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
25.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图；
26.图2示出视频编码装置和视频解码装置在流式传输系统中的放置方式示意图；
27.图3示出了根据本技术的一个实施例的点云视窗的呈现方法的流程图；
28.图4示出了根据本技术的一个实施例的点云视窗的呈现方法的流程图；
29.图5示出了根据本技术的一个实施例的点云视窗的呈现装置的框图；
30.图6示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
具体实施方式
31.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
32.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
33.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
34.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
35.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
36.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图。
37.如图1所示，系统架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，系统架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。
38.举例来说，第一终端装置110可对点云视频数据(例如由终端装置110采集的点云视频流)进行编码以通过网络150传输到第二终端装置120，已编码的点云视频数据以一个或多个已编码视频码流形式传输，第二终端装置120可从网络150接收已编码的点云视频数据，对已编码的点云视频数据进行解码以恢复点云视频数据，并根据恢复的点云视频数据显示视频图片。
39.在本技术的一个实施例中，系统架构100可以包括执行已编码点云视频数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频通信期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对点云视频数据(例如由终端装置采集的点云视频图片流)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码点云视频数据，且可对已编码点云视频数据进行解码以恢复点云视频数据，并可根据恢复的点云视频数据在可访问的显示装置上显示点云视频图片。
40.在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、个人计算机和智能电话，但本技术公开的原理可不限于此。本技术公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码点云视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本技术的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本技术公开的操作来说可能是无关紧要的。
41.在本技术的一个实施例中，图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式。本技术所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字tv(television，电视机)、在包括cd、dvd、存储棒等的数字介质上存储压缩视频等等。
42.流式传输系统可包括采集子系统213，采集子系统213可包括数码相机、点云媒体生成设备等视频源201，视频源创建未压缩的视频图片流202。在实施例中，视频图片流202包括由数码相机拍摄的样本，或者由点云媒体拍摄的或者生成的样本。相较于已编码的视频数据204(或已编码的视频码流204)，视频图片流202被描绘为粗线以强调高数据量的视频图片流，视频图片流202可由电子装置220处理，电子装置220包括耦接到视频源201的视频编码装置203。视频编码装置203可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流202，已编码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的视频数据204(或已编码的视频码流204)，其可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端子系统，例如图2中的客户端子系统206和客户端子系统208，可访问流式传输服务器205以检索已编码的视频数据204的副本207和副本209。客户端子系统206可包括例如电子装置230中的视频解码装置210。视频解码装置210对已编码的视频数据的传入副本207进行解码，且产生可在显示器212(例如显示屏)或另一呈现装置上呈现的输出视频图片流211。在一些流式传输系统中，可根据某些视频编码/压缩标准对已编码的视频数据204、视频数据207和视频数据209(例如视频码流)进行编码。该些标准的实施例包括itu-t h.265。
43.应注意，电子装置220和电子装置230可包括图中未示出的其它组件。举例来说，电子装置220可包括视频文件解码装置，且电子装置230还可包括视频文件编码装置。
44.在本技术的一个实施例中，上述实施例中的视频数据可以是点云媒体数据。点云是空间中一组无规则分布的、表达三维物体或场景的空间结构及表面属性的离散点集。点
云中的每个点至少具有三维位置信息，根据应用场景的不同，还可能具有色彩、材质或其它信息。通常，点云中的每个点都具有相同数量的附加属性。点云媒体从编码方式上又可以分为vpcc(video-based point cloud compression，基于视频的点云压缩)方式压缩的点云媒体，以及gpcc(geometry-based point cloud compression，基于几何特征的点云压缩)方式压缩的点云媒体。在点云媒体的文件封装中，三维位置信息通常称为点云文件的几何分量(geometry component)，属性信息称为点云文件的属性分量(attribute component)，一个点云文件仅有一个几何分量，但可以存在一个或多个属性分量。
45.点云可以灵活方便地表达三维物体或场景的空间结构及表面属性，因而应用广泛，其主要应用场景可以归为两大类别：机器感知点云和人眼感知点云。机器感知点云例如自主导航系统、实时巡检系统、地理信息系统、视觉分拣机器人、抢险救灾机器人等；人眼感知点云例如数字文化遗产、自由视点广播、三维沉浸通信、三维沉浸交互等点云应用场景。
46.点云的获取主要有以下途径：计算机生成、3d激光扫描、3d摄影测量等。计算机可以生成虚拟三维物体及场景的点云；3d扫描可以获得静态现实世界三维物体或场景的点云，每秒可以获取百万级点云；3d摄像可以获得动态现实世界三维物体或场景的点云，每秒可以获取千万级点云。此外，在医学领域，由mri(magnetic resonance imaging，磁共振成像)、ct(computed tomography，电子计算机断层扫描)、电磁定位信息，可以获得生物组织器官的点云。这些技术降低了点云数据获取成本和时间周期，提高了数据的精度，点云数据获取方式的变革，使大量点云数据的获取成为可能。伴随着大规模的点云数据不断积累，点云数据的高效存储、传输、发布、共享和标准化，成为点云应用的关键。
47.在对点云媒体进行编码后，需要对编码后的数据流进行封装并传输给客户端。相对应的，在点云媒体播放器端，需要先对获取到的点云文件进行解封装，然后再进行解码，最后呈现解码后的数据流。
48.在本技术的一个实施例中，以vpcc方式压缩的点云媒体为例，点云文件中包含的各字段所表示的意义如下：
49.viewport_type：指示点云视窗类型，取值含义如下表1所示：
50.取值描述0根据内容制作者的拍摄意图获得的推荐视窗1根据用户观看统计数据获得的推荐视窗2其他用户制作的推荐视窗3推荐的初始视窗4-239保留字段240-255未定义字段(可由应用或其他标准自定义)
51.表1
52.num_viewports：指示点云视窗的个数。
53.viewport_description：指示点云视窗的描述信息，其是以空字节结尾的字符串。
54.int_camera_flag和camera_intrinsic_flag：指示点云视窗是否包含摄像机的内参。
55.ext_camera_flag和camera_extrinsic_flag：指示点云视窗是否包含摄像机的外参。
56.intcamerainfostruct：用于指示摄像机的内参，包括相机id、相机映射类型、相机映射相关参数以及构成视窗的近平面与远平面的深度等。
57.extcamerainfostruct：用于指示摄像机的外参，包括视窗id、视窗位置、旋转角度等。
58.上述实施例的技术方案指示了点云视窗的基本空间位置信息，满足了点云视窗区域渲染的基本需求。但考虑到点云丰富的应用场景，比如高精地图、视频通信等，需要在点云视窗区域中附带一定的附属信息，以支持多样化地呈现形式。因此，本技术实施例的技术方案针对点云媒体的渲染呈现提出了一种点云视窗区域附属信息的指示方案，详细介绍如下：
59.图3示出了根据本技术的一个实施例的点云视窗的呈现方法的流程图，该点云视窗的呈现方法可以由点云媒体的播放设备来执行，该播放设备可以是智能手机、平板电脑等。参照图3所示，该点云视窗的呈现方法至少包括步骤s310至步骤s330，详细介绍如下：
60.在步骤s310中，获取点云文件，该点云文件中包含有点云视窗的信息，以及点云视窗关联的附属信息，该附属信息与点云视窗的类型相对应。
61.在本技术的一个实施例中，点云文件可以是计算机生成的，或者可以是3d激光扫描得到的，还可以是3d摄影测量得到的。获取点云文件的方式可以是接收发送端(发送端比如可以是服务端)传送过来的点云文件，其中发送端可以针对点云视窗的类型添加相应的附属信息，然后进行封装得到点云文件。
62.可选地，点云视窗的类型是与点云文件的类型相对应的，比如点云文件的类型可以是电影、高精度地图、视频通信等，那么点云视窗的类型即是对应于电影、高精度地图、视频通信等的点云视窗。
63.此外，一个点云文件中可以包含一个或多个点云视窗，一个点云视窗也可以关联有一个或多个附属信息。
64.在本技术的一个实施例中，点云文件中可以包含有第一字段，该第一字段的值用于指示与点云视窗关联的附属信息的数量。可选地，比如该第一字段可以为num_associated_info，其用于表示与点云视窗相关联的附属信息的数量。
65.在本技术的一个实施例中，该附属信息中可以包含有第二字段，该第二字段用于指示点云视窗所关联的附属信息的类型，第二字段的不同取值对应于不同的附属信息类型。可选地，比如该第二字段可以为associated_info_type。
66.在本技术的一个实施例中，该第二字段的值为第一值时，指示点云视窗所关联的附属信息为字幕类型；第二字段的值为第二值时，指示点云视窗所关联的附属信息为标记类型；第二字段的值为第三值时，指示点云视窗所关联的附属信息为注释类型。可选地，该第一值比如可以是0、该第二值比如可以是1、该第三值比如可以是2。当然，第二字段也可以是其它值，比如可以是3-255中的值，其用于表示由应用或其它标准自定义的附属信息类型。
67.在本技术的一个实施例中，该附属信息中可以包含有第三字段，该第三字段用于指示附属信息的标识符，该标识符用于对附属信息进行唯一标识。可选地，该第三字段比如可以是associated_info_id。
68.在本技术的一个实施例中，该附属信息中可以包含有第四字段，该第四字段用于
指示附属信息的描述内容。可选地，该第四字段比如可以是associated_info_description，其可以是以空字符结尾的字符串，用来指示附属信息的描述内容，该描述内容是用于呈现在点云视窗中的内容。
69.在本技术的一个实施例中，该附属信息中可以包含有第五字段，该第五字段用于指示附属信息所关联的点云视窗的区域；其中，第五字段的值为第一值时，指示附属信息关联到点云视窗的全部区域；第五字段的值为第二值时，指示附属信息关联到点云视窗的部分区域。可选地，该第五字段比如可以是vp_relative_pos_flag，该第一值比如可以是0，第二值比如可以是1，其中的具体数值仅为示例，在本技术的其它实施例中，该第一值比如可以是1，该第二值比如可以是0。
70.在本技术的一个实施例中，该附属信息中可以包含有第六字段，该第六字段用于指示附属信息所关联的平面区域与点云视窗中心位置之间的距离，该平面区域用于显示附属信息的描述内容。可选地，该第六字段比如可以是clipping_associated_plane。其中，该平面区域的属性信息与点云视窗的属性信息相匹配，该属性信息比如可以包括位置信息、旋转信息、平面类型信息等。
71.在本技术的一个实施例中，点云文件中可以包含有第七字段，该第七字段用于指示关联有附属信息的点云视窗的个数。可选地，该第七字段比如可以是num_associated_viewports。
72.在本技术的一个实施例中，点云文件中可以包含有第八字段，该第八字段用于指示关联有附属信息的点云视窗的标识符，该标识符用于唯一标识点云视窗。可选地，该第八字段比如可以是viewport_id。
73.需要说明的是：点云文件中可以包含有上述第一字段至第八字段中的任意一个字段或者多个字段。
74.继续参照图3所示，在步骤s320中，解析点云文件，得到点云视窗的信息和附属信息。
75.在本技术的一个实施例中，点云视窗的信息比如可以是前述实施例中与点云视窗相关的各个字段所指示的信息，具体比如可以是以下字段中的一个或多个字段所指示的信息：viewport_type、num_viewports、viewport_description、int_camera_flag、camera_intrinsic_flag、ext_camera_flag、camera_extrinsic_flag、intcamerainfostruct、extcamerainfostruct等。
76.在本技术的一个实施例中，附属信息比如可以是前述实施例中所述的第一字段至第八字段中的任意一个字段或者多个字段所指示的信息。
77.在步骤s330中，根据点云视窗的信息呈现点云视窗，并根据附属信息在点云视窗中呈现相应的描述内容。
78.在本技术的一个实施例中，根据点云视窗的信息呈现点云视窗具体比如可以是：根据viewport_type指示的点云视窗类型呈现相应类型的点云视窗；根据num_viewports指示的点云视窗的个数呈现相应数量的点云视窗；根据viewport_description指示的点云视窗的描述信息显示相应的信息。此外，还可以根据int_camera_flag和/或camera_intrinsic_flag确定点云视窗是否包含摄像机的内参；根据ext_camera_flag和/或camera_extrinsic_flag确定点云视窗是否包含摄像机的外参；根据intcamerainfostruct
确定点云视窗包含的摄像机的内参；根据extcamerainfostruct确定点云视窗包含的摄像机的外参。然后根据摄像机的内参和/外参呈现相应的信息。
79.在本技术的一个实施例中，根据附属信息在点云视窗中呈现相应的描述内容，包括：根据附属信息中所包含的字段值，获取用于显示在点云视窗中的描述内容，并确定描述内容的呈现位置，然后在点云视窗的呈现位置上显示描述内容。比如可以根据上述第四字段的值来确定显示在点云视窗中的描述内容，并根据上述第六字段的值来确定描述内容的呈现位置。
80.当然还可以根据上述第一字段的值确定附属信息的数量，并基于该附属信息的数量在点云视窗上显示相应数量的附属信息；根据上述第二字段的值，确定附属信息的类型，然后根据附属信息的类型在点云视窗上显示对应的附属内容；根据上述第三字段确定附属信息的标识符；根据上述第五字段确定点云视窗所关联的区域，然后在所关联的区域上显示描述内容；同时也可以根据上述第七字段确定关联有附属信息的点云视窗的个数；根据上述第八字段确定关联有附属信息的点云视窗的标识符。
81.结合上述的实施例，如图4所示，以服务端生成点云文件、客户端消费点云文件为例进行说明，具体可以包括如下步骤：
82.步骤s401，服务端封装生成点云文件。
83.在本技术的一个实施例中，服务端可以根据点云的应用场景(如电影场景、高精度地图场景、视频通信场景等)，在服务器端针对相应类型的点云视窗添加对应的附属信息，然后封装生成点云文件。
84.步骤s402，客户端向服务端请求点云文件。
85.步骤s403，服务端向客户端传输点云文件。
86.步骤s404，客户端解封装点云文件，呈现点云视窗。
87.在本技术的一个实施例中，客户端在接收到点云文件之后，可以通过解封装获得不同点云视窗的附属信息，然后在呈现对应的点云视窗时，根据对应的附属信息提供相应的呈现内容。
88.为了实现图4所示实施例的技术方案，本技术的实施例添加了一些字段信息。以下以扩展isobmff数据盒的形式举例，定义了点云视窗区域附属信息，这些附属信息不仅适用于vpcc封装技术，而且适用于gpcc封装技术。其中，扩展的各个字段如下：
89.num_associated_info：指示与当前viewport(点云视窗)关联的附属信息的数目。
90.associated_info_type：指示关联的附属信息的类型，取值如下表2所示：
91.取值描述0字幕1标记2注释3-255由应用或其它标准自定义的信息
92.表2
93.associated_info_id：指示当前附属信息的标识符。
94.associated_info_description：指示附属信息的描述内容，是以空字符结尾的字符串。
95.vp_relative_pos_flag：指示当前附属信息所关联视窗区域。取值为0表示当前附属信息关联到整个点云视窗区域；取值为1表示当前附属信息关联到点云视窗中的某一个平面区域。
96.clipping_associated_plane：指示附属信息关联的平面区域与点云视窗中心位置之间的距离。其中，该平面区域的位置、旋转信息、平面类型等信息与点云视窗的对应信息相同。
97.num_associated_viewports：指示关联有附属信息的视窗的个数。
98.viewport_id：指示包含附属信息的视窗的标识符。
99.在本技术的一个具体应用场景中，比如服务器端存在3个点云文件f1～f3，分别对应于电影、高精度地图、视频通信。服务器端分别封装的附属信息如下：
100.点云文件f1：由于字幕信息是随时间变化的，因此点云文件f1的附属信息可以在viewportassociatedinfosample中给出。
101.viewportassociatedinfosample中的各参数示例如下：{num_associated_viewports＝1；viewport_id＝001；num_associated_info＝1；associated_info_type＝0；associated_info_id＝001；associated_info_description＝
“”
；vp_relative_pos_flag＝1；clipping_associated_plane＝2.0}
102.点云文件f2：由于高精度地图的附属信息也是随时间变化的，因此点云文件f2的附属信息也可以在viewportassociatedinfosample中给出。
103.viewportassociatedinfosample中的各参数示例如下：{num_associated_viewports＝1；viewport_id＝001；num_associated_info＝1；associated_info_type＝1；associated_info_id＝001；associated_info_description＝“traffic jam”；vp_relative_pos_flag＝0}
104.点云文件f3：视频通信的附属信息不随时间变化，因此点云文件f3的附属信息可以在viewportassociatedinfosampleentry中给出，具体如下：
105.{num_associated_viewports＝1；viewport_id＝001；num_associated_info＝1；associated_info_type＝2；associated_info_id＝001；associated_info_description＝“userid:01”；vp_relative_pos_flag＝1；clipping_associated_plane＝2.0}
106.对于上述的点云文件f1、点云文件f2和点云文件f3，客户端u1、客户端u2和客户端u3分别向服务端请求点云文件f1～f3，然后服务端将点云文件传输给对应的客户端。客户端在接收到点云文件之后，通过解封装获得不同点云视窗的附属信息，然后在呈现对应的点云视窗时，根据附属信息提供对应的呈现内容。
107.具体而言，客户端u1收到点云文件f1后，在观看对应的点云视窗时，根据点云视窗的附属信息中的associated_info_id，在字幕轨道中对应寻找到相应的字幕信息，并根据clipping_associated_plane的信息，在视窗空间的对应位置渲染呈现字幕信息。
108.客户端u2收到点云文件f2后，在使用高精度地图时，解析对应视窗时，根据associated_info_description中的信息以及vp_relative_pos_flag标志，可以知道当前视窗区域(即高精地图的某一路段)的标记为交通拥堵，进而不仅可以在当前点云视窗上显示交通拥堵信息，而且还可以将该交通拥堵信息作为输入信息提供给自动驾驶系统进行决策。
109.客户端u3收到点云文件f3后，解析附属信息可知，当前视频通信的某一固定视窗区域中包含相应的注释信息。解析注释信息可以获得用户id，再根据clipping_associated_plane的信息，即可在对应区域呈现相关用户的个人名片信息。
110.本技术上述实施例的技术方案可以在点云媒体渲染呈现时根据不同的应用场景增加特定的附属信息，并将附属信息与视窗区域关联，在用户消费特定视窗区域时获取附属信息，从而使点云的呈现与消费支持更加多样的应用形式。
111.以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的点云视窗的呈现方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的点云视窗的呈现方法的实施例。
112.图5示出了根据本技术的一个实施例的点云视窗的呈现装置的框图，该点云视窗的呈现装置可以设置在点云媒体的播放设备内，该播放设备可以是智能手机、平板电脑等。
113.参照图5所示，根据本技术的一个实施例的点云视窗的呈现装置500，包括：获取单元502、解析单元504和处理单元506。
114.其中，获取单元502配置为获取点云文件，所述点云文件中包含有点云视窗的信息，以及所述点云视窗关联的附属信息，所述附属信息与所述点云视窗的类型相对应；解析单元504配置为解析所述点云文件，得到所述点云视窗的信息和所述附属信息；处理单元506配置为根据所述点云视窗的信息呈现所述点云视窗，并根据所述附属信息在所述点云视窗中呈现相应的描述内容。
115.在本技术的一些实施例中，基于前述方案，所述点云文件中包含有第一字段，所述第一字段的值用于指示与所述点云视窗关联的附属信息的数量。
116.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第二字段，所述第二字段用于指示所述点云视窗所关联的附属信息的类型，所述第二字段的不同取值对应于不同的附属信息类型。
117.在本技术的一些实施例中，基于前述方案，所述第二字段的值为第一值时，指示所述点云视窗所关联的附属信息为字幕类型；所述第二字段的值为第二值时，指示所述点云视窗所关联的附属信息为标记类型；所述第二字段的值为第三值时，指示所述点云视窗所关联的附属信息为注释类型。
118.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第三字段，所述第三字段用于指示所述附属信息的标识符，所述标识符用于对所述附属信息进行唯一标识。
119.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第四字段，所述第四字段用于指示所述附属信息的描述内容。
120.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第五字段，所述第五字段用于指示所述附属信息所关联的点云视窗的区域；
121.其中，所述第五字段的值为第一值时，指示所述附属信息关联到点云视窗的全部区域；所述第五字段的值为第二值时，指示所述附属信息关联到点云视窗的部分区域。
122.在本技术的一些实施例中，基于前述方案，所述附属信息中包含有第六字段，所述第六字段用于指示所述附属信息所关联的平面区域与点云视窗中心位置之间的距离，所述平面区域用于显示所述附属信息的描述内容。
123.在本技术的一些实施例中，基于前述方案，所述平面区域的属性信息与所述点云视窗的属性信息相匹配，所述属性信息包括位置信息、旋转信息、平面类型信息。
124.在本技术的一些实施例中，基于前述方案，所述点云文件中包含有第七字段，所述第七字段用于指示关联有附属信息的点云视窗的个数。
125.在本技术的一些实施例中，基于前述方案，所述点云文件中包含有第八字段，所述第八字段用于指示关联有附属信息的点云视窗的标识符，所述标识符用于唯一标识所述点云视窗。
126.在本技术的一些实施例中，基于前述方案，处理单元506配置为：根据所述附属信息中所包含的字段值，获取用于显示在所述点云视窗中的描述内容，并确定所述描述内容的呈现位置；在所述点云视窗的所述呈现位置上显示所述描述内容。
127.图6示出了适于用来实现本技术实施例的电子设备的计算机系统的结构示意图。
128.需要说明的是，图6示出的电子设备的计算机系统600仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
129.如图6所示，计算机系统600包括中央处理单元(central processing unit，cpu)601，其可以根据存储在只读存储器(read-only memory，rom)602中的程序或者从存储部分608加载到随机访问存储器(random access memory，ram)603中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在ram 603中，还存储有系统操作所需的各种程序和数据。cpu 601、rom 602以及ram 603通过总线604彼此相连。输入/输出(input/output，i/o)接口605也连接至总线604。
130.以下部件连接至i/o接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如lan(local area network，局域网)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
131.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(cpu)601执行时，执行本技术的系统中限定的各种功能。
132.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或
者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
133.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
134.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
135.作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
136.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
137.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
138.本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
139.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。