数据处理方法、装置、通信节点和存储介质与流程

本申请涉及通信，具体涉及一种数据处理方法、装置、通信节点和存储介质。

背景技术：

随着三维扫描技术和系统日趋成熟，3d扫描仪仪器制造成本降低，精度提高，基于实际物体表面的三维坐标信息的点云(pointcloud)数据可以快速并精确的获取并存储，这也使得点云数据逐渐在各种图像处理领域中得到广泛应用。

点云数据是物体三维扫描后获得的三维坐标数据信息，同时，还可能记录对应点上的颜色、反射率等属性信息(attribute)。随着三维扫描系统精度和速度的提升，扫描得到的点云数据的数据量将达到几百万甚至更大的数量级，目前，海量点云数据为计算机存储、处理和传输带来了沉重的负担。

点云的压缩算法已经有了较为系统的研究，可以分为基于视频的点云编码(video-basedpointcloudcoding，v-pcc)和基于几何的点云编码(geometry-basedpointcloudcoding，g-pcc)。其中，g-pcc的压缩方法是将点云数据转化为几何信息和属性信息等组成部分，再分别将几何信息和属性信息编码为点云数据码流，其中几何信息是点的位置信息，使用八叉树(octree)形式描述并编码，属性信息是点的颜色和反射率等多个不同的种类。因为在一定时间内时域相邻的点云图像的八叉树描述可能保持不变，也就是说，这几帧点云图像可以共用一个相同的八叉树描述，所以，为了提高压缩效率，可以将这一时间内的不同点云图像在八叉树中相同位置叶子(leafnode)节点上的点进行合并，并且分别给这些点标记为不同的帧编号(frameindex)以示区别，其中帧编号是一种属性信息，这样就可以将多帧点云数据进行融合编码(combineframecoding)，得到融合点云数据。

由于融合点云数据中包含的点云帧数和内容具有很大的不确定性，用户可能对拆分后的多帧点云数据和融合后的单帧点云数据都有消费需求。同时，由于网络条件、硬件设备的情况不同，其它非帧编号的属性信息(比如，颜色、反射率等)的传输和消费也可以进行灵活的动态调整。而目前的点云数据封装、传输和消费方法未考虑融合点云数据所对应码流的不同消费需求。因此，如果所有融合后的点云数据按照相同的策略进行传输，未被优先使用的信息占用了大量网络或解码资源，不利于高效的传输，也是不利于用户灵活使用。

技术实现要素：

本申请实施例提供一种数据处理方法、装置、通信节点和存储介质，提高了融合点云数据的传输效率，从而便于用户灵活使用。

本申请实施例提供一种数据处理方法，包括：

确定多帧融合点云信息；

将所述多帧融合点云信息写入融合点云数据的媒体码流；

按照所述多帧融合点云信息分别将所述融合点云数据的媒体码流发送至接收端。

本申请实施例提供一种数据处理方法，包括：

解析融合点云数据的媒体码流，得到多帧融合点云信息；

根据所述多帧融合点云信息分别对所述融合点云数据进行处理。

本申请实施例提供一种数据处理装置，包括：

确定模块，设置为确定多帧融合点云信息；

写入器，设置为将所述多帧融合点云信息写入融合点云数据的媒体码流；

发送器，设置为按照所述多帧融合点云信息分别将所述融合点云数据的媒体码流发送至接收端。

本申请实施例提供一种数据处理装置，包括：

解析器，设置融合点云数据的媒体码流，得到多帧融合点云信息；

处理器，设置为根据所述多帧融合点云信息分别对所述融合点云数据进行处理。

本申请实施例提供一种设备，包括：通信模块，存储器，以及一个或多个处理器；

所述通信模块，配置为在两个通信节点之间进行通信交互；

所述存储器，配置为存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一实施例所述的方法。

本申请实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的方法。

附图说明

图1是本申请实施例提供的一种数据处理方法的流程图；

图2是本申请实施例提供的一种对融合点云数据进行解码呈现的示意图；

图3是本申请实施例提供的另一种对融合点云数据进行解码呈现的示意图；

图4是本申请实施例提供的又一种对融合点云数据进行解码呈现的示意图；

图5是本申请实施例提供的再一种对融合点云数据进行解码呈现的示意图；

图6是本申请实施例提供的另一种数据处理方法的流程图；

图7是本申请实施例提供的一种数据处理装置的结构框图；

图8是本申请实施例提供的另一种数据处理装置的结构框图；

图9是本申请实施例提供的一种通信节点的结构示意图。

具体实施方式

下文中将结合附图对本申请的实施例进行说明。以下结合实施例附图对本申请进行描述，所举实例仅用于解释本申请，并非用于限定本申请的范围。

以自动驾驶场景为例，在5g时代，随着数据传输速度不断加快，一种更可靠的自动驾驶方案可能会涉及到多方互联协作，动态行驶的车辆不断感知周围环境形成点云，点云数据发送到云端，云端根据已有的点云数据信息，对当前时刻所有车辆发送的数据进行比对分析后，更新点云数据，再将不同车辆需要的点云数据编码后发送给车辆。在此过程中，如果车辆使用多帧点云融合编码方式，可以将一定时间间隔内的点云一次性的传输云端，同样的，云端也可以使用多帧点云融合编码方法将一定时间间隔内的点云一次性的传输给车辆，这样有利于提高编码和传输效率。云端在接收到点云数据后，可以优先解码几何信息和帧编号信息，以便获得拆分后的几何信息，再仅对几何信息进行分析处理后即可发送回给车辆。同理，车辆行驶过程中，可以优先将几何信息快速传回云端进行标记处理，提高处理效率。

在一实施例中，图1是本申请实施例提供的一种数据处理方法的流程图。本实施例可以由发送端执行。其中，发送端用于发送消息和/或码流。同时，发送端可以为客户端，也可以为服务器端。其中，客户端可以为终端侧(比如，用户设备)，也可以为网络侧(比如，基站)。如图1所示，本实施例包括：s110-s130。

s110、确定多帧融合点云信息。

在实施例中，多帧融合点云信息用于表征原始的点云数据是否使用了多帧融合编码方式，以及在使用了多帧融合编码方式之后，融合点云数据是否采用了不同的传输方式和/或消费方式。其中，融合点云数据指的是对多帧图像所对应原始的点云数据进行融合编码之后得到的数据。在实施例中，消费指的是对点云码流的使用、处理、解码或解码后渲染呈现的操作。

在一实施例中，融合点云数据的组成部分包括：融合之后的几何信息和融合之后的属性信息；融合之后的属性信息包括：帧编号信息和融合之后的非帧编号属性信息。在一实施例中，融合点云数据中的组成部分可以包括：融合之后的几何信息和融合之后的帧编码信息，即不包括融合之后的非帧编号属性信息和其它信息。其中，几何信息是描述点云中每个点的空间位置的信息；属性信息是描述点云中每个点的附带信息，根据代表的信息内容可分成不同的种类，比如点的颜色、反射率、帧编号(frameindex)等；其它信息可以是辅助性的信息，比如用户自定义的信息等。在实施例中，融合之后的几何信息指的是对点云数据中的几何信息进行融合编码之后得到的信息；融合之后的属性信息指的是对点云数据中的属性信息进行融合编码之后得到的信息。

在一实施例中，多帧融合点云信息包括下述参数之一：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。在实施例中，多帧融合编码方式标志用于表征是否使用了多帧融合编码方式，比如，在多帧融合编码方式标志为0时，表示原始的点云数据未使用多帧融合编码方式；在多帧融合编码方式标志为1时，表示原始的点云数据使用了多帧融合编码方式。融合点云数据的传输方式用于表征融合点云数据中每个组成部分的传输优先级；融合点云数据的消费方式用于表征融合点云数据中每个组成部分的处理优先级。在实施例中，融合之后的属性信息可以按照信息内容进行分类，然后不同种类的属性信息可以作为一个整体进行传输和/或消费，也可以每个种类独立进行传输和/或消费。

在一实施例中，在一实施例中，确定多帧融合点云信息，包括下述之一：

根据预设配置信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据接收端请求信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据当前信道信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据接收端属性信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据当前信道信息和接收端属性信息确定多帧融合点云信息。

在实施例中，多帧融合点云信息可以是发送端从外部设备获取；也可以是发送端根据自身预先配置的预设配置信息直接进行设定；也可以是发送端根据接收端请求信息中携带的预设配置信息进行设定；还可以是发送端通过所获取的当前信道信息和/或接收端属性信息进行设定。在实施例中，根据预设配置信息确定多帧融合点云信息包括两种情况：其一，在发送端与当前信道和/或接收端建立连接初始化的情况下，根据预设配置信息确定多帧融合点云信息；在发送端未与当前信道和/或接收端建立连接初始化的情况下，根据预设配置信息确定多帧融合点云信息，其中，在发送端与当前信道和/或接收端建立连接初始化的情况，指的是发送端与接收端进行媒体通信的情况；在发送端未与当前信道和/或接收端建立连接初始化的情况，指的是发送端未与接收端进行媒体通信的情况。

在一实施例中，在发送端根据预设配置信息直接设定多帧融合点云信息的情况下，多帧融合点云信息可以是对原始的点云数据不使用多帧融合编码方式，也可以是使用多帧融合编码方式。同时，融合之后得到的融合点云数据可以采用相同的传输方式和/或消费方式；也可以是使用多帧融合编码方式之后得到的融合点云数据采用不同的传输方式和/或消费方式。在实施例中，预设配置信息可以包括发送端自身的设备条件、网络条件等参数，即发送端根据自身的设备参数配置多帧融合点云信息。

在一实施例中，在发送端根据接收端请求信息设定多帧融合点云信息的情况下，多帧融合点云信息可以是不使用多帧融合编码方式；也可以是使用多帧融合编码方式。在使用多帧融合编码方式的情况下，融合之后得到的融合点云数据可以采用相同的传输方式和/或消费方式；也可以是使用多帧融合编码方式的情况下，融合之后的融合点云数据可以采用不同的传输方式和/或消费方式。

在实施例中，发送端可以是在与当前信道和/或者接收端建立连接初始化时静态设定多帧融合点云信息；也可以是在建立连接后，根据接收端请求信息动态设定；也可以是在建立连接后，根据当前信道信息和/或接收端属性信息动态设定多帧融合点云信息。其中，当前信道信息和/或接收端属性信息包括但不限于网络条件、用户需求、设备性能等。

s120、将多帧融合点云信息写入融合点云数据的媒体码流。

在实施例中，多帧融合点云信息可以写在媒体码流的不同部分，比如，媒体码流中点云信源数据部分，媒体码流中系统层数据部分等。

多帧融合点云信息中的不同参数可以以整体的形式写在媒体码流的同一部分，也可以各自独立的写在媒体码流的不同部分，也可以将几个参数进行组合，分别写在不同部分。

s130、按照多帧融合点云信息分别将融合点云数据的媒体码流发送至接收端。

在实施例中，将含有多帧融合点云信息的媒体码流发送至接收端。在实际通信过程中，可以根据多帧融合点云信息分别对融合点云数据的媒体码流进行发送。比如，先发送高优先级的信息，也可以采用更可靠的信道传输高优先级的信息。

在一实施例中，应用于发送端的数据处理方法，还包括：按照多帧融合点云信息分别将融合点云数据存储为媒体文件。

在实施例中，媒体码流可以根据多帧融合点云信息将融合点云数据存储为媒体文件，比如，将几何信息、帧编号信息和非帧编号属性信息独立放置于媒体文件的不同位置，以达到可以独立消费几何信息和帧编号信息的目的。

在一实施例中，融合点云数据的传输方式包括下述之一：优先传输融合之后的几何信息，再传输融合之后的属性信息；同时传输融合之后的几何信息和融合之后的属性信息；优先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息；优先传输融合之后的几何信息和融合之后非帧编号属性信息，再传输帧编号信息；依次传输融合之后的几何信息，融合之后的非帧编号属性信息，和帧编号信息。

在一实施例中，融合点云数据的消费方式包括下述之一：优先消费融合之后的几何信息；优先消费融合之后的非帧编号属性信息；优先消费融合之后的几何信息和融合之后的非帧编号属性信息；优先消费帧编号信息和融合之后的几何信息；优先消费帧编号信息。

在一实施例中，对多帧融合编码方式标志、融合点云数据的传输方式和消费方式之间的组合方式进行说明，示例性地，可以包括下述组合方式：

方式一：发送端采用多帧融合编码方式，并且优先传输融合之后的几何信息，再传输融合之后的属性信息，其中，融合之后的属性信息包括帧编号信息。

方式二：发送端采用多帧融合编码方式，并设定优先消费融合之后的几何信息，则设定优先消费融合之后的几何信息的标记。融合之后的几何信息的传输方式包括：融合之后的几何信息和融合之后的属性信息可以同时传输；也可以优先传输融合之后的几何信息，再传输融合之后的属性信息；也可以优先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息。

方式三：接收端向发送端发送先消费融合之后的几何信息的请求，比如，接收端需要优先显示融合之后的几何信息，发送端根据接收端的请求，采用多帧融合编码方式，并且设定优先消费融合之后的几何信息的标记。融合之后的几何信息的传输方式包括：发送端可以同时传输融合之后的几何信息和融合之后的属性信息；也可以先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息。

方式四：在网络条件稳定，比如传输速率高，无误码和丢包的情况下，发送端可以不使用多帧融合编码方式，直接将原始的点云数据发送至接收端；也可以在采用多帧融合编码方式的情况下，将融合之后的几何信息和融合之后的属性信息一起发送至接收端。

在网络条件不稳定，比如传输速率不稳定，有误码和丢包的情况下，发送端可以使用多帧融合编码方式，并且采用优先传输融合之后的几何信息，再传输融合之后的属性信息的方式；或者将融合之后的几何信息使用可靠性高的信道传输，融合之后的属性信息采用可靠性低的信道传输。

方式五：采用多帧融合编码方式的多帧点云数据中，帧编号信息是融合之后的属性信息的一种，在将融合点云数据拆分为原始的多帧点云数据中使用。因此，帧编号信息是在融合之后的几何信息和/或融合之后的非帧编号属性信息之后消费，也就是说优先传输融合之后的几何信息和/或融合之后的非帧编号属性信息，再传输帧编号信息；也可以优先传输融合之后的几何信息，再传输融合之后的非帧编号属性信息，最后传输帧编号信息；也可以先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息。

方式六：发送端可以根据预设配置信息、用户需求、信道条件或者接收端信息，对不同的属性信息采用不同的传输优先级，或者对不同的属性信息采用不同的信道传输。

方式七：发送端可以根据预设配置信息、用户需求、信道条件或者接收端信息，选择发送或者不发送其它信息。

在一实施例中，多帧融合点云信息和融合点云数据之间的对应关系包括下述之一：

多帧融合点云信息与一个融合点云数据对应；

多帧融合点云信息分别与融合点云数据中的每个组成部分对应；

多帧融合点云信息中的至少一个参数与一个融合点云数据对应，以及多帧融合点云信息中的至少一个参数分别与融合点云数据中的每个组成部分对应。

在一实施例中，本实施例是对上述实施例中多帧融合点云信息的实现方式进行说明。其中，多帧融合点云信息包括下述参数：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。在实施例中，对多帧融合点云信息和融合点云数据之间的对应关系为多帧融合点云信息与一个融合点云数据对应说明，即多帧融合点云信息针对一个融合点云数据进行设置。示例性地，多帧融合点云信息的实现方式如下：

其中，combine_frame_coding_enabled_flag用于表示多帧融合编码方式标志,比如，1表示使用了多帧融合编码方式，0表示不使用多帧融合方式。

combine_frame_decoding_order用于表示融合点云数据(即融合后的几何信息、属性信息和其它信息)所采用的消费方式，比如解码呈现的顺序。示例性地，combine_frame_decoding_order等于0表示在接收帧编号信息和融合之后的几何信息之后，立即进行解码呈现，呈现的是拆分后的多帧点云数据，支持拆分后的几何信息优先消费，即呈现的是解码且拆分后的几何信息；combine_frame_decoding_order等于1表示接收到融合之后的几何信息后，应立即进行解码呈现，即呈现的是解码后的融合的几何信息；combine_frame_decoding_order等于2表示接收到所有信息后再进行解码呈现，呈现的是多帧的带有属性信息的点云数据，即呈现的是解码后且拆分的几何信息和非帧编号属性信息；combine_frame_decoding_order等于3表示接收到融合之后的几何信息和融合之后的非帧编号属性信息后立即进行解码呈现，即呈现的是解码后融合的几何信息和非帧编号属性信息的单帧点云数据。

在一实施例中，图2是本申请实施例提供的一种对融合点云数据进行解码呈现的示意图。本实施例中是对combine_frame_decoding_order等于0的情况进行描述。如图2所示，对携带融合点云数据的码流(即多帧融合编码码流)进行解码，优先对融合之后的几何信息所对应的码流(即几何码流)和帧编号信息所对应的码流(即帧编号码流)进行解码，然后根据帧编号信息将融合之后的几何信息拆分成多帧的点云数据的几何信息，并呈现解码拆分后得到的几何信息。

在一实施例中，图3是本申请实施例提供的另一种对融合点云数据进行解码呈现的示意图。本实施例中是对combine_frame_decoding_order等于1的情况进行描述。如图3所示，对携带融合点云数据的码流进行解码，优先对融合之后的几何信息所对应的码流进行解码，呈现出解码后的融合的几何信息。

在一实施例中，图4是本申请实施例提供的又一种对融合点云数据进行解码呈现的示意图。本实施例中是对combine_frame_decoding_order等于2的情况进行描述。如图4所示，对携带融合点云数据的码流进行解码，且在接收到所有信息后再进行解码，呈现出解码并拆分后的几何信息和非帧编号属性信息。

在一实施例中，图5是本申请实施例提供的再一种对融合点云数据进行解码呈现的示意图。本实施例中是对combine_frame_decoding_order等于3的情况进行描述。如图5所示，对携带融合点云数据的码流进行解码，且接收到融合之后的几何信息和融合之后的非帧编号属性信息后立即进行解码呈现，呈现的是解码后的融合的几何信息和非帧编号属性信息的单帧点云数据。

在实施例中，可以将非帧编号属性信息不作为一个整体，而是根据非帧编号属性信息的种类拆分成独立的信息，针对它们设置不同的解码呈现方式。比如，可以让颜色属性信息与几何信息一起优先解码呈现。

combine_frame_transfer_priority是融合点云数据所采用的传输顺序，即在使用不同的取值表示不同的传输顺序。表1是本申请实施例提供的一种融合点云数据的传输方式的示意表。如表1所示。在combine_frame_transfer_priority等于0的情况下，依次传输融合之后的几何信息、帧编号信息和融合之后的属性信息；在combine_frame_transfer_priority等于1的情况下，依次传输融合之后的几何信息、融合之后的属性信息和帧编号信息。

表1一种融合点云数据的传输方式的示意表

在实施例中，可以将非帧编号属性信息不作为一个整体，而是根据属性种类拆分成独立的信息，针对它们设置不同的传输顺序。比如，可以让颜色属性信息优先单独传输。

在一实施例中，本实施例是对上述实施例中多帧融合点云信息的实现方式进行说明。其中，多帧融合点云信息包括下述参数：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。在实施例中，对多帧融合点云信息和融合点云数据之间的对应关系为多帧融合点云信息分别与所述融合点云数据中的每个组成部分对应进行说明，即融合点云数据中的不同组成部分都有各自对应的多帧融合点云信息。示例性地，多帧融合点云信息的实现方式如下：

其中，combine_frame_coding_enabled_flag表示多帧融合编码方式标志,比如，1表示使用了多帧融合编码方式，0表示不使用多帧融合编码方式。

combine_frame_sample_decoding_order是表示融合点云数据(即融合后的几何信息、属性信息和其它信息)所采用的消费方式，比如解码呈现的顺序。示例性地，combine_frame_sample_decoding_order为0时，表示最先解码呈现，即接收后应立即进行解码呈现，数值越高代表解码呈现顺序越靠后，不同的信息可以采用不同的解码呈现顺序，也可以采用相同的解码顺序。比如，帧编号信息和融合之后的几何信息最先解码呈现，那么帧编号信息和融合之后的几何信息的combine_frame_sample_decoding_order均设置为0，融合之后的非帧编号属性信息的combine_frame_sample_decoding_order均设置为1，如图2所示。

combine_frame_sample_transfer_priority是融合后点云数据的信息采用传输顺序，使用不同的取值表示不同的传输顺序。combine_frame_sample_transfer_priority为0时，表示传输优先级最高，数值越高表示优先级越低。比如，融合之后的几何信息的combine_frame_sample_transfer_priority设置为0，帧编号信息的combine_frame_sample_transfer_priority设置为1，融合之后的非帧编号属性信息的combine_frame_sample_transfer_priority均设置为2。也可以将融合之后的非帧编号属性信息根据种类类型独立设置，比如颜色信息的combine_frame_sample_transfer_priority设为3。

在一实施例中，本实施例是对上述实施例中多帧融合点云信息的实现方式进行说明。其中，多帧融合点云信息包括下述参数：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。在实施例中，对多帧融合点云信息和融合点云数据之间的对应关系为多帧融合点云信息中的至少一个参数与一个融合点云数据对应，以及多帧融合点云信息中的至少一个参数分别与融合点云数据中的每个组成部分对应进行说明，即多帧融合点云信息可以一部分针对一个多帧融合点云数据整体设置，一部分针对融合点云数据中的不同组成部分设定。示例性地，多帧融合点云信息的实现方式如下：

其中，combine_frame_coding_enabled_flag用于表示多帧融合编码方式标志,比如，1表示使用了多帧融合编码方式，0表示不使用多帧融合方式。

combine_frame_decoding_order用于表示融合点云数据(即融合后的几何信息、属性信息和其它信息)所采用的消费方式，比如解码呈现的顺序。示例性地，combine_frame_decoding_order等于0表示在接收到帧编号信息和融合之后的几何信息后应立即进行解码呈现，呈现的是拆分后的多帧点云数据，支持几何信息优先消费；combine_frame_decoding_order等于1表示接收到融合之后的几何信息后，应立即进行解码呈现，呈现的是解码后的融合的几何信息；combine_frame_decoding_order等于2表示接收到所有信息后再进行解码呈现，呈现的是多帧的带有属性信息的点云数据；combine_frame_decoding_order等于3表示接收到融合后的几何信息和融合之后的非帧编号属性信息后立即进行解码呈现，呈现的是解码后融合的具有属性信息的单帧点云数据。

其中，可以将融合之后的非帧编号属性信息不作为一个整体，而是拆分成不同种类的独立的信息，分别对它们设置不同的解码呈现方式。比如，可以将颜色信息与几何信息一起优先解码呈现。

其中，combine_frame_sample_transfer_priority用于表示融合点云数据所采用的传输顺序，使用不同的取值表示不同的传输顺序。示例性地，combine_frame_sample_transfer_priority为0时，表示传输优先级最高，数值越高表示优先级越低。比如，融合之后的几何信息的combine_frame_sample_transfer_priority设置为0，帧编号信息的combine_frame_sample_transfer_priority设置为1，融合之后的非帧编号属性信息的combine_frame_sample_transfer_priority均设置为2。当然，也可以将融合之后的非帧编号属性信息进行独立设置，示例性地，将融合之后的颜色信息的combine_frame_sample_transfer_priority设为3。

在一实施例中，将多帧融合点云信息写入媒体码流，包括下述之一：

将多帧融合点云信息写入媒体文件中的轨道信息；

将多帧融合点云信息写入融合点云数据的补充增强信息；

将多帧融合点云信息写入融合点云数据的视频应用信息。

在一实施例中，本实施例根据需要消费和/或传输融合点云数据的不同需求，将多帧融合点云信息写入媒体封装文件中。示例性地，本实施例采用iso/iec14496-12isobmff对融合点云数据进行封装，是多帧点云融合信息的一种实现方式，但不限于此种封装方式。

在实施例中，多帧融合点云信息包括下述参数之一：多帧融合编码方式标志，融合点云数据的传输方式，融合点云数据的消费方式。

在实施例中，融合点云数据中融合之后的几何信息和融合之后的属性信息分别存放在不同的媒体轨道中，通过定义不同类型(比如，采用四字代码标识)的样本入口(sampleentry)识别轨道中存放融合点云数据的数据类型，比如，融合之后的几何信息、帧编号信息。并且，在样本入口中给出指示信息用于表征融合点云数据(即融合编码之后的几何信息、属性信息和其它信息)所采用的传输方式和/消费方式。具体的，融合点云数据存放在该媒体轨道的样本中。示例性地，媒体轨道中的指示信息实现方式如下：

其中，decoding_order_flag用于指示该媒体轨道中样本的解码呈现顺序的标志，比如，1表示按顺序解码呈现，0表示按缺省方式进行解码呈现；

sample_decoding_order用于表示该媒体轨道中样本的解码呈现的顺序。示例性地，0表示最先解码呈现，即接收后应立即进行解码呈现，数值越高代表解码呈现顺序越靠后，不同类型的信息可以采用不同的解码呈现顺序，也可以采用相同的解码呈现顺序。比如，帧编号信息和融合之后的几何信息最先解码呈现，那么帧编号信息和融合之后的几何信息的sample_decoding_order均设置为0，融合之后的非帧编号属性信息的sample_decoding_order均设置为1，如图2所示。

transfer_priority_flag用于指示该媒体轨道中样本的传输顺序的标志，比如，1表示按顺序传输样本，0表示按缺省方式传输样本；

sample_transfer_priority用于表示该媒体轨道中样本的传输顺序，使用不同的取值表示不同的传输顺序。示例性，0表示传输优先级最高，数值越高表示优先级越低。比如，几何信息的sample_transfer_priority设置为0，帧编号信息的sample_transfer_priority设置为1，融合之后的非帧编号属性信息的sample_transfer_priority均设置为2。当然，也可以将不同类型的融合之后的非帧编号属性信息独立设置，比如给颜色信息的sample_transfer_priority设为3。

在实施例中，点云数据采用多帧融合的编码方式，则融合点云数据的媒体文件需要给出指示信息，以指示该媒体文件中点云数据采用多帧融合方式进行编码。示例性地，该多帧点云数据的融合编码的指示信息具体表示如下：

combine_frame_coding_enabled_flag，表示多帧融合编码方式标志,比如，1表示使用了多帧融合编码方式，0表示不使用多帧融合方式。

在一实施例中，该多帧点云数据的融合编码的指示信息可以在文件层级中指示，比如，在媒体信息数据盒(mediainformationbox)下相关的媒体头数据盒(mediaheaderbox)中指示，或者文件层级的其他数据盒(box)中指示。

在一实施例中，该多帧点云数据的融合编码的指示信息也可以在媒体轨道层级中指示，比如，在相应的样本入口(sampleentry)中指示。

在实施例中，融合点云数据中的几何信息和不同类型的属性信息可存放在一个或多个不同的媒体，比如，两种不同类型的属性信息存放在同一个媒体轨道中，则该媒体轨道中的融合点云数据使用相同的传输方式和/或消费方式。

融合点云数据的消费方式和/或传输方式可以根据不同的场景或需求发生变化，则可以采用动态定时元数据轨道对一个或多个媒体轨道中的融合点云数据的消费方式和/或传输方式进行动态的设置。通过‘dydt’识别描述动态的融合点云数据的消费方式和/或传输方式的动态定时元数据轨道，具体实施方式如下：

在实施例中，通过dynamicdecodingandtransfersample()指示该动态定时元数据轨道引用到的存放融合点云数据的媒体轨道中每一个sample的消费方式和/或传输方式，具体的实施方式如下：

其中，dynamic_order_flag指示样本的消费方式动态变化，0表示消费方式不发生变化，1表示该消费方式发生变化；

sample_transfer_priority指示样本的传输方式动态变化，0表示传输方式不发生变化，1表示该传输方式发生变化。

在一实施例中，本实施例对将多帧融合点云信息写入媒体码流进行说明。在实施例中，将多帧融合点云信息写入媒体码流，包括：将多帧融合点云信息写入融合点云数据的补充增强信息(supplementalenhancementinformation，sei)。示例性地，将多帧融合点云信息写入融合点云数据的sei中的实现方式包括：

在实施例中，combine_frame_coding_info()的实现方式，可以如下所示:

在实施例中，combine_frame_coding_info()的实现方式可以为上述任一实施例中的任一形式或者组合形式，在此不再赘述。

在一实施例中，本实施例对将多帧融合点云信息写入媒体码流进行说明。在实施例中，将多帧融合点云信息写入媒体码流，包括：将多帧融合点云信息写入融合点云数据的视频应用信息(videousabilityinformation，vui)。示例性地，将多帧融合点云信息写入融合点云数据的vui中的实现方式包括：

在实施例中，combine_frame_coding_info_flag取值等于1时，表示后续有多帧融合点云信息；combine_frame_coding_info()可以是上述实施例的任意形式或组合形式。

在一实施例中，图6是本申请实施例提供的另一种数据处理方法的流程图。本实施例可以由接收端执行。其中，接收端用于接收消息和/或码流。同时，接收端可以为客户端，也可以为服务器端。其中，客户端可以为终端侧(比如，用户设备)，也可以为网络侧(比如，基站)。如图6所示，本实施例包括：s210-s220。

s210、解析融合点云数据的媒体码流，得到多帧融合点云信息。

在实施例中，对融合点云数据和多帧融合点云信息的解释，见上述实施例中的描述，在此不再赘述。

在实施例中，接收端在获取到融合点云数据的媒体码流之后，对媒体码流进行解析，以获取到多帧融合点云信息。在实施例中，若在媒体码流中存在多帧融合点云信息，则可以从媒体码流中提取出多帧融合点云信息。在一实施例中，多帧融合点云信息包括下述参数之一：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。其中，多帧融合编码方式标志用于表征原始的点云数据是否使用了多帧融合编码方式，若使用了多帧融合编码方式，融合点云数据(即融合编码之后的几何信息、属性信息和其它信息)是否采用了不同的传输方式和/或消费方式。

在实施例中，多帧融合点云信息中的所有参数可以分别存储在媒体码流或媒体文件的不同位置，也可以存储在媒体数据或媒体文件的相同位置。

在实施例中，多帧融合点云信息的实现方式，可参见上述实施例中的描述，在此不再赘述。

s220、根据多帧融合点云信息分别对融合点云数据进行处理。

在实施例中，对媒体码流的处理是先判断是否使用了多帧融合编码方式，如果使用了多帧融合编码方式，再根据多帧融合点云信息中融合之后的几何信息、属性信息和其它信息所采用的传输方式和/或消费方式对媒体数据进行处理。比如，多帧融合点云信息中指示几何信息优先解码呈现，可以先从媒体码流或媒体文件中获取并解析几何信息；如果帧编号信息没有指示优先解码呈现的话，那么融合点云数据中的几何信息解码后直接呈现；如果帧编号信息也被指示优先解码呈现，那么获取并解析帧编号信息，根据帧编号信息对多帧融合后的几何信息进行解码并拆分，呈现拆分后的几何信息。

其中，可以忽略多帧融合点云信息对媒体码流进行常规处理，即获取所有融合点云数据，分别解析出几何信息、帧编号信息、非帧编号属性信息和其它信息，根据帧编号信息对几何信息和非帧编号属性信息和其它信息进行拆分，将拆分后的点云信息分别呈现。

在一实施例中，在解析融合点云数据的媒体码流，得到多帧融合点云信息之前，还包括：接收发送端发送的融合点云数据的媒体码流。

在一实施例中，在解析融合点云数据的媒体码流，得到多帧融合点云信息之前，还包括：读取本地预先存储的融合点云数据的媒体文件。在实施例中，在接收端直接通过读取媒体文件来获取融合点云数据的情况下，解析融合点云数据的媒体码流的过程，指的是对存储有融合点云数据的媒体文件进行解析的过程。

在一实施例中，融合点云数据的组成部分包括：融合之后的几何信息和融合之后的属性信息；融合之后的属性信息包括：帧编号信息和融合之后的非帧编号属性信息。

在一实施例中，融合点云数据的传输方式包括下述之一：优先传输融合之后的几何信息，再传输融合之后的属性信息；同时传输融合之后的几何信息和融合之后的属性信息；优先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息；优先传输融合之后的几何信息和融合之后的非帧编号属性信息，再传输帧编号信息；依次传输融合之后的几何信息，融合之后的非帧编号属性信息，和帧编号信息。

在一实施例中，融合点云数据的消费方式包括下述之一：优先消费融合之后的几何信息；优先消费融合之后的非帧编号属性信息；优先消费融合之后的几何信息和融合之后的非帧编号属性信息；优先消费帧编号信息和融合之后的几何信息；优先消费帧编号信息。

在一实施例中，多帧融合点云信息和融合点云数据之间的对应关系包括下述之一：

多帧融合点云信息与一个融合点云数据对应；

多帧融合点云信息分别与融合点云数据中的每个组成部分对应；

多帧融合点云信息中的至少一个参数与一个融合点云数据对应，以及多帧融合点云信息中的至少一个参数分别与融合点云数据中的每个组成部分对应。

在一实施例中，图7是本申请实施例提供的一种数据处理装置的结构框图。本实施例由发送端执行。如图7所示，本实施例中的数据处理装置包括：确定模块310、写入器320和发送器330。

其中，确定模块310，设置为确定多帧融合点云信息；

写入器320，设置为将多帧融合点云信息写入融合点云数据的媒体码流；

发送器330，设置为按照多帧融合点云信息分别将融合点云数据的媒体码流发送至接收端。

在一实施例中，应用于发送端的数据处理装置，还包括：存储器，设置为按照多帧融合点云信息分别将融合点云数据存储为媒体文件。

在一实施例中，多帧融合点云信息包括下述参数之一：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。

在一实施例中，确定模块310，包括下述之一：

根据预设配置信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据接收端请求信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据当前信道信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据接收端属性信息确定多帧融合点云信息；

在与当前信道和/或接收端建立连接之后，根据当前信道信息和接收端属性信息确定多帧融合点云信息。

在一实施例中，融合点云数据的组成部分包括：融合之后的几何信息和融合之后的属性信息；融合之后的属性信息包括：帧编号信息和融合之后的非帧编号属性信息。

在一实施例中，融合点云数据的传输方式包括下述之一：优先传输融合之后的几何信息，再传输融合之后的属性信息；同时传输融合之后的几何信息和融合之后的属性信息；优先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息；优先传输融合之后的几何信息和融合之后的非帧编号属性信息，再传输帧编号信息；依次传输融合之后的几何信息，融合之后的非帧编号属性信息，和帧编号信息。

在一实施例中，融合点云数据的消费方式包括下述之一：优先消费融合之后的几何信息；优先消费融合之后的非帧编号属性信息；优先消费融合之后的几何信息和融合之后的非帧编号属性信息；优先消费帧编号信息和融合之后的几何信息；优先消费帧编号信息。

在一实施例中，多帧融合点云信息和融合点云数据之间的对应关系包括下述之一：

多帧融合点云信息与一个融合点云数据对应；

多帧融合点云信息分别与融合点云数据中的每个组成部分对应；

多帧融合点云信息中的至少一个参数与一个融合点云数据对应，以及多帧融合点云信息中的至少一个参数分别与融合点云数据中的每个组成部分对应。

在一实施例中，将多帧融合点云信息写入媒体码流，包括下述之一：

将多帧融合点云信息写入媒体文件中的轨道信息；

将多帧融合点云信息写入融合点云数据的补充增强信息；

将多帧融合点云信息写入融合点云数据的视频应用信息。

本实施例提供的数据处理装置设置为实现图1所示实施例的数据处理方法，本实施例提供的数据处理装置实现原理和技术效果类似，此处不再赘述。

在一实施例中，在一实施例中，图8是本申请实施例提供的另一种数据处理装置的结构框图。本实施例由接收端执行。如图8所示，本实施例中的数据处理装置包括：解析器410和处理器420。

其中，解析器410，设置融合点云数据的媒体码流，得到多帧融合点云信息；

处理器420，设置为根据多帧融合点云信息分别对融合点云数据进行处理。

在一实施例中，应用于接收端的数据处理装置，还包括：接收器，设置为在解析融合点云数据的媒体码流，得到多帧融合点云信息之前，接收发送端发送的融合点云数据的媒体码流。

在一实施例中，应用于接收端的数据处理装置，还包括：读取器，设置为在解析融合点云数据的媒体码流，得到多帧融合点云信息之前，读取本地预先存储的融合点云数据的媒体文件。

在一实施例中，多帧融合点云信息包括下述参数之一：多帧融合编码方式标志；融合点云数据的传输方式；融合点云数据的消费方式。

在一实施例中，融合点云数据的组成部分包括：融合之后的几何信息和融合之后的属性信息；融合之后的属性信息包括：帧编号信息和融合之后的非帧编号属性信息。

在一实施例中，融合点云数据的传输方式包括下述之一：优先传输融合之后的几何信息，再传输融合之后的属性信息；同时传输融合之后的几何信息和融合之后的属性信息；优先传输帧编号信息和融合之后的几何信息，再传输融合之后的非帧编号属性信息；优先传输融合之后的几何信息和融合之后的非帧编号属性信息，再传输帧编号信息；依次传输融合之后的几何信息，融合之后的非帧编号属性信息，和帧编号信息。

在一实施例中，融合点云数据的消费方式包括下述之一：优先消费融合之后的几何信息；优先消费融合之后的非帧编号属性信息；优先消费融合之后的几何信息和融合之后的非帧编号属性信息；优先消费帧编号信息和融合之后的几何信息；优先消费帧编号信息。

在一实施例中，多帧融合点云信息和融合点云数据之间的对应关系包括下述之一：

多帧融合点云信息与一个融合点云数据对应；

多帧融合点云信息分别与融合点云数据中的每个组成部分对应；

多帧融合点云信息中的至少一个参数与一个融合点云数据对应，以及多帧融合点云信息中的至少一个参数分别与融合点云数据中的每个组成部分对应。

本实施例提供的数据处理装置设置为实现图6所示实施例的数据处理方法，本实施例提供的数据处理装置实现原理和技术效果类似，此处不再赘述。

图9是本申请实施例提供的一种通信节点的结构示意图。如图9所示，本申请提供的通信节点，包括：处理器510、存储器520和通信模块530。该通信节点中处理器510的数量可以是一个或者多个，图9中以一个处理器510为例。该通信节点中存储器520的数量可以是一个或者多个，图9中以一个存储器520为例。该通信节点的处理器510、存储器520和通信模块530可以通过总线或者其他方式连接，图9中以通过总线连接为例。在该实施例中，该通信节点为发送端，其中，发送端可以为客户端，也可以为服务器端。其中，客户端可以为终端侧(比如，用户设备)，也可以为网络侧(比如，基站)。在实施例中，通信节点也可以是视频应用中设备，例如，手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机，电视广播系统设备等。

存储器520作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请任意实施例的通信节点对应的程序指令/模块(例如，数据处理装置中的确定模块310、写入器320和发送器330)。存储器520可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据通信节点的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至通信节点。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信模块530，配置为在两个通信节点之间进行通信交互。

上述提供的通信节点可设置为执行上述任意实施例提供的应用于发送端的数据处理方法，具备相应的功能和效果。

在一实施例中，在通信节点为接收端的情况下，上述提供的通信节点可设置为执行上述任意实施例提供的应用于接收端的数据处理方法，具备相应的功能和效果。

本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行应用于发送端的一种数据处理方法，该方法包括：确定多帧融合点云信息；将多帧融合点云信息写入融合点云数据的媒体码流；按照多帧融合点云信息分别将融合点云数据的媒体码流发送至接收端。

本申请实施例还提供一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行应用于接收端的一种数据处理方法，该方法包括：解析融合点云数据的媒体码流，得到多帧融合点云信息；根据多帧融合点云信息分别对融合点云数据进行处理。

本领域内的技术人员应明白，术语用户设备涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理装置、便携网络浏览器或车载移动台。

一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。

本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(instructionsetarchitecture，isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。

本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(read-onlymemory，rom)、随机访问存储器(randomaccessmemory，ram)、光存储器装置和系统(数码多功能光碟(digitalvideodisc，dvd)或光盘(compactdisk，cd))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、可编程逻辑器件(field-programmablegatearray，fgpa)以及基于多核处理器架构的处理器。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。