信息处理装置和信息处理方法与流程
本公开内容涉及信息处理装置和方法，并且更具体地涉及可以抑制编码和解码3d数据的负荷的增加的信息处理装置和方法。
背景技术：
通常，已经研究了利用二维图像的现有的编解码器对由点云位置信息或属性信息等表示三维结构的点云数据进行编码和解码的方法(例如，参见非专利文献1)。
引用列表
非专利文献
非专利文献1：三星研究美国，“omaf：点云视频轨道”，国际标准化组织国际标准化组织iso/iecjtc1/sc29/wg11运动图片和音频的编码，iso/iecjtc1/sc29/wg11mpeg2017/m41206，2017年7月，意大利，都灵
技术实现要素：
本发明要解决的技术问题
然而，通常，与表示诸如图像数据的二维结构的2d数据相比，诸如点云数据的3d数据具有大的数据量。为此，与2d数据的情况相比，点云数据的编码和解码很可能增加负荷。因此，难以使用诸如联合图像专家组(jpeg)和高效视频编码(hevc)的现有标准的二维图像的编解码器来实现点云数据编码和解码。
本公开内容是考虑到这样的情况而做出的，并且旨在允许抑制用于编码和解码3d数据的负荷的增加。
技术问题的解决方案
根据本技术的一方面的信息处理装置是一种包括编码单元的信息处理装置，所述编码单元将表示三维结构的3d数据划分为多个片段，对3d数据的多个划分的片段进行编码、复用获得的多个划分的比特流，并且生成包括指示划分的比特流之间的接合点的位置的分隔符的一个比特流。
根据本技术的一方面的信息处理方法是一种信息处理方法，包括：将表示三维结构的3d数据划分为多个片段；编码3d数据的多个划分的片段；复用所获得的多个划分的比特流；以及生成包括指示划分的比特流之间的接合点的位置的分隔符的一个比特流。
根据本技术的另一方面的信息处理装置是一种信息处理装置，包括：分析单元，其分析指示通过将表示三维结构的3d数据划分为多个片段并编码3d数据的多个划分的片段而获得的划分的比特流之间的接合点的位置的分隔符，所述分隔符被包括在通过复用多个划分的比特流而获得的比特流中；以及解码单元，其基于由分析单元分析的在分隔符中包括的信息将比特流划分为每个划分的比特流以解码每个划分的比特流。
根据本技术的另一方面的信息处理方法是一种信息处理方法，包括：分析指示通过将表示三维结构的3d数据划分为多个片段并编码3d数据的多个划分的片段而获得的划分的比特流之间的接合点的位置的分隔符，所述分隔符被包括在通过复用多个划分的比特流而获得的比特流中；以及基于在经分析的分隔符中包括的信息将比特流划分为每个划分的比特流以对每个划分的比特流进行解码。
在根据本技术的一方面的信息处理装置和方法中，表示三维结构的3d数据被划分为多个片段并被编码，所获得的多个划分的比特流被复用，并且生成包括指示划分的比特流之间的接合点的位置的分隔符的一个比特流。
在根据本技术的另一方面的信息处理装置和方法中，分析指示通过将表示三维结构的3d数据划分为多个片段并编码3d数据的多个划分的片段而获得的划分的比特流之间的接和点的位置的分隔符，所述分隔符被包括在通过复用多个划分的比特流而获得的比特流中；以及基于在经分析的分隔符中包括的信息将比特流划分为每个划分的比特流并且被解码。
本发明的有益效果
根据本公开内容，可以处理信息。特别地，可以抑制用于编码和解码3d数据的负荷的增加。
附图说明
图1是用于说明点云的示例的图。
图2是用于说明传统编码和解码的示例的图。
图3是示出比特流的主要配置示例的图。
图4是示出写入分隔符中的内容的示例的图。
图5是示出划分的方式的示例的图。
图6是示出编码装置的主要配置示例的框图。
图7是用于示出编码的概要的示例的图。
图8是示出编码单元的主要配置示例的框图。
图9是用于说明编码处理的流程的示例的流程图。
图10是用于说明信号序列编码处理的流程的示例的流程图。
图11是示出解码装置的主要配置示例的框图。
图12是示出解码单元的主要配置示例的框图。
图13是用于说明解码处理的流程的示例的流程图。
图14是用于说明比特流解码处理的流程的示例的流程图。
图15是示出编码单元的主要配置示例的框图。
图16是用于说明信号序列编码处理的流程的示例的流程图。
图17是示出解码单元的主要配置示例的框图。
图18是用于说明比特流解码处理的流程的示例的流程图。
图19是示出编码单元的主要配置示例的框图。
图20是用于说明信号序列编码处理的流程的示例的流程图。
图21是示出解码单元的主要配置示例的框图。
图22是用于说明比特流解码处理的流程的示例的流程图。
图23是示出编码单元的主要配置示例的框图。
图24是用于说明信号序列编码处理的流程的示例的流程图。
图25是示出解码单元的主要配置示例的框图。
图26是用于说明比特流解码处理的流程的示例的流程图。
图27是示出编码单元的主要配置示例的框图。
图28是用于说明信号序列编码处理的流程的示例的流程图。
图29是用于说明信号序列编码处理的流程的示例的图28后续的流程图。
图30是示出解码单元的主要配置示例的框图。
图31是用于说明比特流解码处理的流程的示例的流程图。
图32是说明比特流解码处理的流程的示例的图31后续的流程图。
图33是示出编码单元的主要配置示例的框图。
图34是用于说明信号序列编码处理的流程的示例的流程图。
图35是示出解码单元的主要配置示例的框图。
图36是用于说明比特流解码处理的流程的示例的流程图。
图37是示出编码单元的主要配置示例的框图。
图38是用于说明纹理数据的划分的示例的图。
图39是用于说明信号序列编码处理的流程的示例的流程图。
图40是示出解码单元的主要配置示例的框图。
图41是用于说明比特流解码处理的流程的示例的流程图。
图42是示出计算机的主要配置示例的框图。
具体实施方式
下面将描述用于执行本公开内容的方式(在下文中称为实施方式)。注意，按如下顺序给出描述。
1.3d数据编码和解码
2.第一实施方式(空间区域的划分)
3.第二实施方式(属性信息的划分)
4.第三实施方式(分辨率的划分)
5.第四实施方式(按时间方向划分)
6.第五实施方式(网格数据的划分)
7.其他
<1.3d数据编码和解码>
<点云>
传统上，存在诸如通过点云位置信息或属性信息等表示三维结构的点云、以及由顶点、边和面构成并使用多边形表示来定义三维形状的网格的数据。
例如，在点云的情况下，如图1的a中所示的立体结构被表示为如图1的b中所示的大量点(点数据的片段)的集合(点云)。即，点云的数据(也称为点云数据)由该点云中的每个点的位置信息和属性信息(例如，颜色等)构成。因此，数据结构相对简单，并且可以通过使用足够大量的点来以足够的精度表示任意的立体结构。
<点云编码和解码>
然而，由于这样的点云和网格和其他数据的数据量相对大，因此需要通过编码等来压缩数据量。例如，在非专利文献1中，已经研究了利用二维图像的现有的编解码器对点云数据进行编码和解码的方法。
例如，在图2的a中所示的编码装置10的情况下，输入作为表示三维结构的3d数据的点云数据的信号序列。点云数据是例如由坐标(x，y，z)和颜色信息(r，g，b)表示的点的集合。2d映射单元11将该点云数据的每个点映射到二维空间上，并且生成作为表示二维结构的2d数据的2d图像数据。在2d图像数据中，针对每个像素指示颜色信息(r，g，b)。
颜色格式转换单元12将2d图像数据的颜色格式从rgb格式转换为具有4：2：0的颜色采样类型的yuv格式。即，在格式转换之后的2d图像数据中，针对每个像素指示颜色信息(y，u，v)。
2d图像编码单元13利用诸如联合图像专家组(jpeg)或高效视频编码(hevc)的现有标准的编码技术对该转换后0的2d图像数据进行编码，并且生成比特流。
例如，在图2的b中所示的解码装置20的情况下，输入该生成的比特流。2d图像解码单元21通过与2d图像编码单元13的编码技术对应的解码技术，即，通过诸如jpeg或hevc的现有标准的解码技术来对该输入比特流进行解码，并且生成2d图像数据。在该2d图像数据中，针对每个像素指示颜色信息(y，u，v)。
颜色格式逆转换单元22将所生成的2d图像数据的颜色格式从yuv格式转换为rgb格式。即，在格式转换后的2d图像数据中，针对每个像素指示颜色信息(r，g，b)。
3d映射单元23将该2d图像数据的各个像素映射到三维空间上，并且生成点云数据的信号序列。即，在该点云数据中，针对每个点指示坐标(x，y，z)和颜色信息(r，g，b)。
如上所述，通过二维地映射点云的每个点，在理论上可以使用二维图像的现有编解码器进行编码和解码。通过利用二维图像的现有编解码器，促进了开发并且可以抑制成本的增加。
然而，通常，由于尺寸的增加而导致3d数据与2d数据相比具有大量的数据。为此，与2d数据的情况相比，3d数据的编码和解码很可能增加负载，并且实际上，难以使用二维图像的现有的编解码器来实现编码和解码。
例如，当由100m(百万)个点构成的点云数据被映射到二维空间上时，在该情况下的像素数目是4k图像的10倍或更多倍(大约8m(百万)个像素)。
如果要处理的数据量以该方式增加，则存在违反编解码器标准的约束的可能性。例如，存在图像帧(图像尺寸)超过标准的图像帧设置的上限的可能性。如果如上所述违反标准的约束，则不能执行编码和解码并且不允许生成比特流。
此外，即使通过忽略标准的约束来允许执行编码和解码，负荷也随着要处理的数据量的增加而增加，并且因此难以以实际的处理量来执行编码和解码。
此外，即使开发了3d数据的编解码器而不使用二维图像的现有编解码器，并且使用所开发的编解码器来执行编码和解码，负载仍然随着要处理的数据量的增加而增加。
即，为了实现3d数据的编码和解码，需要抑制用于编码和解码的负荷的增加。
<包括分隔符的比特流>
鉴于此，在编码中，表示三维结构的3d数据被划分为多个片段并被编码，所获得的多个划分的比特流被复用，并且生成包括指示所复用的划分的比特流之间的接合点的位置的分隔符的一个比特流。
例如，信息处理装置包括编码单元，所述编码单元将表示三维结构的3d数据划分为多个片段以编码3d数据的多个划分的片段、复用获得的多个划分的比特流，并且生成包括指示划分的比特流之间的接合点的位置的分隔符的一个比特流。
通过以该方式将3d数据划分为多个片段来编码3d数据，可以抑制编码负荷的增加并且将处理量抑制到实际水平。因此，可以实现使用二维图像的现有编解码器进行的编码。这还可以促进对3d数据编码的装置和系统的开发。
此外，通过使用分隔符，可以在解码时更容易地掌握划分的比特流之间的接合点的位置。即，可以更容易地实现将比特流划分为每个划分的比特流。因此，可以更容易地实现使用二维图像的现有编解码器进行的解码。
此外，在解码中，分析指示通过将表示三维结构的3d数据划分为多个片段并编码3d数据的多个划分的片段而获得的划分的比特流之间的接合点的位置的分隔符，该分隔符被包括在通过复用多个划分的比特流而获得的比特流中，并且基于在分析的分隔符中包括的信息将比特流划分为每个划分的比特流并且被解码。
例如，信息处理装置包括：分析单元，其分析指示通过将表示三维结构的3d数据划分为多个片段并编码3d数据的多个划分的片段而获得的划分的比特流之间的接合点的位置的分隔符，该分隔符被包括在通过复用多个划分的比特流而获得的比特流中；以及解码单元，其基于由分析单元分析的在分隔符中包括的信息将比特流划分为每个划分的比特流以解码每个划分的比特流。
通过以该方式将3d数据的比特流划分为多个片段来解码3d数据，可以抑制用于解码的负荷的增加并且将处理量抑制到实际水平。因此，可以实现使用二维图像的现有编解码器进行的解码。这还可以促进对3d数据的比特流进行解码的装置和系统的开发。
此外，通过分析分隔符，可以在解码时更容易地根据所分析的分隔符中的信息来掌握划分的比特流之间的接合点的位置。即，可以更容易地实现将比特流划分为每个划分的比特流。因此，可以更容易地实现使用二维图像的现有编解码器进行的解码。
此外，如上所述，通过采用允许将比特流划分为多个划分的比特流的配置，可以通过控制所划分的比特流的数据大小来将比特流划分为任意数据大小。因此，例如，也可以根据最大传输单元(mtu)大小来划分具有数据大小的比特流。通过以该方式划分比特流，可以更容易地执行网络传输和速率控制。
此外，如上所述，由于当编码时划分3d数据并且当解码时划分所获得的比特流，因此可以容易地实现用于解码比特流的一部分的部分解码。此外，由于可以针对每个划分的比特流控制参数，因此可以针对期望的参数实现可伸缩的解码。例如，通过改变每个划分的比特流的分辨率(划分每个分辨率的比特流)，可以基于哪个划分的比特流将被解码来控制解码结果的分辨率。即，可以实现关于分辨率的可伸缩解码。
注意，分隔符可以包括关于与该特定分隔符对应的划分的比特流的信息。通过以该方式配置，可以在解码时容易地掌握在划分的比特流中包括的信息、每个划分的比特流的处理方法等。因此，由于可以通过在该分隔符中包括的信息掌握哪个划分的比特流应当被解码，因此可以在上述部分解码和可伸缩解码中容易地选择并解码适当划分的比特流。即，可以更容易地实现上述部分解码和可伸缩解码。
此外，通过对每个划分的比特流进行解码而获得的数据可以通过在分隔符中包括的信息更容易地被正确地合成。因此，抑制了对每个划分的比特流的传输顺序或解码顺序的约束，并且可以以更自由的顺序执行传输和解码。例如，可以更容易地实现这些处理的并行化。
<分隔符>
该分隔符可以包括任何信息，并且特别地可以具有例如唯一的比特模式。通过提供唯一的比特模式，在解码时还促进在比特流中包括的分隔符的检测。
此外，可以通过分隔符本身的位置来指示划分的比特流之间的接合点的位置。即，在编码时，通过串联连接多个划分的比特流中的各个比特流，可以在各个划分的比特流之间的接合点处布置分隔符使得分隔符被夹在中间。通过以该方式配置，可以在解码时更容易地掌握比特流被划分的位置。
在不同的方面，在解码时，比特流可以在由分隔符指示的位置处被划分。更具体地，例如，分隔符可以通过分隔符本身的位置指示比特流被划分的位置使得在解码时，检测在比特流中包括的分隔符，并且在检测到的分隔符的位置处划分比特流。通过以该方式配置，可以仅通过检测分隔符来更容易地掌握划分的比特流之间的接合点的位置，即，比特流被划分的位置。即，比特流可以被划分为每个划分的比特流并且更容易被解码。
注意，如前所述，该分隔符可以具有唯一的比特模式。通过如上所述的配置，还可以促进在解码时分隔符的检测。
<分隔符布置>
图3是示出具有上述分隔符的比特流的主要配置示例的图。例如，如图3的最上一行所示，比特流100由报头101和与该报头101对应的数据102构成。
例如，针对每个分辨率对该数据102进行划分和编码。即，如图3的从顶部起的第二行所示，数据102由彼此串联连接的报头111、分隔符112、数据(分辨率1)113、分隔符114、数据(分辨率2)115、分隔符116和数据(分辨率3)117构成。
分隔符112对应于数据(分辨率1)113并且连接在数据(分辨率1)113的前方(图中的左侧)。即，报头111和数据(分辨率1)113串联连接以便将分隔符112夹在中间。分隔符114对应于数据(分辨率2)115并且被布置在数据(分辨率1)113与数据(分辨率2)115之间(其间的接合点处)。即，数据(分辨率1)113和数据(分辨率2)115串联连接以便将分隔符114夹在中间。分隔符116对应于数据(分辨率3)117并且被布置在数据(分辨率2)115与数据(分辨率3)117之间(其间的接合点处)。即，数据(分辨率2)115和数据(分辨率3)117串联连接以便将分隔符116夹在中间。
即，数据102(比特流)被划分为用于每个分辨率的数据(分辨率1)113、数据(分辨率2)115和数据(分辨率3)117(即，三个划分的比特流)，并且分隔符被布置(嵌入)在数据的各个片段之间。
因此，通过在解码时检测数据102中的这些分隔符并且在分隔符的位置处划分数据102，可以更容易地将比特流划分成每个划分流。
注意，尽管图3示出了基于分辨率来划分数据102的示例，但是可以基于任意参数来划分数据102。此外，所划分的数目是任意的并且可以不同于图3中所示的三个划分。
此外，这样的划分的结构可以是分层的。例如，如图3的从顶部起的第三行所示，数据(分辨率1)113由彼此串联连接的报头121、分隔符122、数据(部分区域1)123、分隔符124、数据(部分区域2)125、分隔符126和数据(部分区域3)127构成。
分隔符122对应于数据(部分区域1)123并且连接在数据(部分区域1)123的前方(图中的左侧)。即，报头121和数据(部分区域1)123串联连接以便将分隔符122夹在中间。分隔符124对应于数据(部分区域2)125并且被布置在数据(部分区域1)123与数据(部分区域2)125之间(其间的接合点处)。即，数据(部分区域1)123和数据(部分区域2)125串联连接以便将分隔符124夹在中间。分隔符126对应于数据(部分区域3)127并且被布置在数据(部分区域2)125与数据(部分区域3)127之间(其间的接合点处)。即，数据(部分区域2)125和数据(部分区域3)127串联连接以便将分隔符126夹在中间。
即，数据(分辨率1)113(比特流)被划分为用于每个部分区域的数据(部分区域1)123、数据(部分区域2)125和数据(部分区域3)127(即，三个划分的比特流)，并且分隔符被布置(嵌入)在数据的各个片段之间。
因此，同样在数据(分辨率1)113中，通过在解码时检测这些分隔符并且在分隔符的位置处划分数据(分辨率1)113，可以更容易地将比特流划分为每个划分流。即，可以将比特流划分为多个层级。即，可以基于更多不同的参数来划分比特流。此外，可以更容易地将比特流划分为任意数据大小。
注意，尽管图3示出了基于部分区域来划分数据(分辨率1)113的示例，但是可以基于任意参数来划分数据(分辨率1)113。此外，划分的数目是任意的，并且可以不同于图3中所示的三个划分。例如四个划分或更多和两个划分或更少。此外，在上文中，已经描述了其中分隔符被布置在两层层级结构中的每个层级中的示例；然而，嵌入在比特流中的分隔符的层级的数目是任意的，并且不限于图3中的示例。即，还可以划分第二行中的数据(部分区域1)123、数据(部分区域2)125和数据(部分区域3)127)中的每个片段。
注意，如图3的从顶部起的第四行所示，未划分数据(部分区域1)123由报头131和数据132构成。即，不存在分隔符。数据(部分区域2)125和数据(部分区域3)127也具有与数据(部分区域1)123在不划分数据时的配置类似的配置。
<写入分隔符中的信息>
可以在该分隔符中保存任意信息。例如，如图4中所示的表的从顶部起的第二行中所示，比特流中唯一的比特模式(例如，起始码)可以被包括在分隔符中。注意，当然，该唯一比特模式的比特长度是任意的。
此外，例如，关于与分隔符对应的划分的比特流的信息可以被包括在该特定分隔符中。关于划分的比特流的该信息是任意的。例如，可以将图4所示的表中描述的各种类型的信息写入到分隔符中作为关于划分的比特流的该信息。
例如，关于划分的比特流的该信息可以包括指示与划分的比特流对应的3d数据的三维结构的一部分的位置的位置信息。例如，该位置信息可以包括指示与划分的比特流对应的3d数据的三维结构的一部分的起始位置的信息。此外，例如，该位置信息还可以包括指示与划分的比特流对应的3d数据的三维结构的一部分的范围的信息。即，例如，可以将指示原始点云与划分的比特流之间的对应关系的位置信息包括在分隔符中作为关于划分的比特流的信息。
此外，例如，关于划分的比特流的该信息可以包括关于该特定划分的比特流的内容的信息。即，例如，如图4的从顶部起的第五行中所示，关于分隔符所对应的划分的比特流的属性信息可以被包括在该特定分隔符中。此外，例如，关于划分的比特流的该信息可以包括关于该特定划分的比特流中包括的信息的类型的信息。
此外，例如，关于划分的比特流的该信息可以包括关于与该特定划分的比特流对应的帧的时间(例如，图像顺序计数(poc))的信息。即，例如，如图4的从顶部起的第六行中所示，关于与分隔符所对应的划分的比特流对应的帧的时间的信息可以被包括在该特定分隔符中。
此外，例如，如图4的从顶部起的第七行中所示，关于划分的比特流的该信息可以包括关于该特定划分的比特流的数据大小(比特流大小)的信息。
此外，例如，如图4的从顶部起的第八行中所示，关于划分的比特流的该信息可以包括关于用于编码以生成该特定划分的比特流的编码方法的信息。同样地，此外，关于划分的比特流的该信息可以包括关于该特定划分的比特流的解码方法的信息。
此外，例如，如图4的从顶部起的第九行中所示，关于划分的比特流的该信息可以包括关于在进行编码以生成该特定划分的比特流中应用的预测方法的信息。同样地，例如，关于划分的比特流的该信息可以包括关于该特定划分的比特流的解码中应用的预测方法的信息。
此外，例如，如图4的从顶部起的第十行中所示，关于划分的比特流的该信息可以包括指示在进行编码以生成该特定划分的比特流中的预测的参考目的地的信息。同样地，例如，关于划分的比特流的该信息可以包括指示在该特定划分的比特流的解码中执行的预测的参考目的地的信息。
此外，例如，如图4的从顶部起的第十一行中所示，关于划分的比特流的该信息可以包括序列级别信息。
此外，例如，如图4的从顶部起的第十二行中所示，关于划分的比特流的该信息可以包括关于与该特定划分的比特流对应的分辨率的信息。同样地，例如，关于划分的比特流的该信息可以包括指示在该特定划分的比特流的解码中执行的预测的参考目的地的信息。
此外，例如，如图4的从顶部起的第十三行中所示，关于划分的比特流的该信息可以包括指示由对该特定划分的比特流进行解码而获得的数据的颜色采样的类型(例如，4：4：4，4：2：2或者4：2：0)的信息。同样地，例如，关于划分的比特流的该信息可以包括指示通过对该特定划分的比特流进行解码而获得的数据的颜色采样的类型的信息。
此外，例如，如图4中的最下面的行所示，关于划分的比特流的该信息可以包括指示通过对该特定的划分的比特流进行解码而获得的数据的比特宽度的信息。
<划分方式>
如何划分比特流是任意的。例如，如图5所示的表的最上一行(不包括项目名称行)中的“划分的视角”的列中所示(最左列中具有“1”的行)，可以划分并编码3d数据使得空间区域被划分。
在那种情况下，如“插入分隔符的位置”列中所示，可以在二维空间中划分该区域，或者可以在三维空间中划分该区域。通过对每个划分区域的数据进行编码来生成划分的比特流。即，分隔符被布置在与各个划分的区域对应的划分的比特流(也称为子比特流)之间。
例如，如“划分示例”的列所示，在划分为三个区域(a，b，c)的情况下，针对作为关于点的位置信息的几何数据(g)，将分隔符(|)布置在通过对区域a的几何数据进行编码而获得的划分的比特流(g_a)、通过对区域b的几何数据进行编码而获得的划分的比特流(g_b)以及通过对区域c的几何数据进行编码而获得的划分的比特流(g_c)中的各个划分比特流之间(g_a|g_b|g_c)。类似地，对于作为关于点的属性信息的属性数据(a)，分隔符(|)被布置在通过对区域a的属性数据进行编码而获得的划分比特流(a_a)、以及通过对区域b的属性数据进行编码而获得的划分比特流(a_b)以及通过对区域c的属性数据进行编码而获得的划分比特流(a_c)中的各个比特流之间(a_a|a_b|a_c)。
通过以该方式配置比特流，可以仅对划分的比特流的区域的一部分进行解码。即，可以实现部分解码。
此外，例如，如图5所示的表的从顶部起的第二行(不包括项目名称)中的“划分的视角”的列(最左列中具有“2”的行)中所示，可以划分并编码3d数据使得位置信息和属性信息(即，几何数据和属性数据)被划分。此外，还可以针对诸如颜色信息、法线信息和透明度的每个属性划分和编码属性数据。
在那种情况下，如“插入分隔符的位置”列中所示，几何数据和属性数据被划分。此外，可以针对诸如颜色、法线和透明度的每个属性来划分属性数据。通过对用于每个划分的属性的数据进行编码来生成划分的比特流。即，分隔符被布置在与(用于每种类型的信息的)划分的各个属性对应的划分的比特流之间。
例如，如“划分示例”的列中所示，在几何数据和属性数据被划分时，分隔符(|)被配置在通过对几何数据进行编码而得到的划分的比特流(g)与通过对属性数据进行编码而得到的划分的比特流(a)之间(g|a)。此外，当还针对诸如颜色信息、法线信息和透明度的每个属性划分属性数据时，分隔符(|)被布置在通过对几何数据进行编码而获得的划分比特流(g)、通过对属性数据中的颜色信息进行编码而获得的划分比特流(c)、通过对属性数据中的法线信息进行编码而获得的划分的比特流(n)与通过对属性数据中的透明度进行编码而获得的划分比特流(α)中的各个比特流之间(g|c|n|α)。
通过以该方式配置比特流，可以并行地解码属性信息。
例如，如图5所示的表的从顶部起的第三行(不包括项目名称行)中的“划分的视角”的列(最左列中具有“3”的行)中所示，可以划分并编码3d数据使得空间区域(层级)被划分。
在那种情况下，如“插入分隔符的位置”列中所示，针对每个层级执行划分和编码。例如，在八叉树的情况下，可以采用八叉树的每个级别(lod)的划分，例如lod0、lod1、……，或者在一般表示的情况下，可以采用每个层的划分，例如层0、层1、……。注意，可以预先将3d数据分层，或者可以将单层级3d数据分层，并且然后对每个层进行划分和编码。
通过对每个划分的层级的数据进行编码来生成划分的比特流。也就是说，分隔符被布置在与各个划分的层级对应的划分的比特流(也称为子比特流)之间。
例如，如“划分示例”的列中所示，在划分为两个层级(l0，l1)的情况下，分隔符(|)分别被布置在通过对层级l0的几何数据进行编码而获得的划分的比特流(g_l0)与通过对层级l1的几何数据进行编码而获得的划分的比特流(g_l1)之间、通过对层级l0的属性数据进行编码而获得的划分的比特流(a_l0)与通过对层级l1的属性数据进行编码而获得的划分比特流(a_l1)之间、以及在几何数据与属性数据之间((g_l0|g_l1)|(a_l0|a_l1)|)。
通过以该方式配置比特流，可以仅对划分的比特流的区域的一部分进行解码。即，可以实现可伸缩解码。
注意，上述各个划分示例可以适当地组合。例如，如图5所示的表的从顶部起第四行(不包括项目名称行)中的“划分的角度”的列(最左列中具有“4”的行)中所示，可以组合使用空间区域的划分和空间分辨率的划分。
在那种情况下，如“插入分隔符的位置”的列中所示，分隔符既针对每个区域又针对每个层级来布置。
例如，如“划分示例”的列中所示，假设几何数据和属性数据分别被划分为两个区域(a，b)和三个层级(0，1，2)。在那种情况下，分隔符(|)被布置在通过对层级l0和区域a的几何数据进行编码而获得的划分的比特流(g0_a)与通过对层级l0和区域a的属性数据进行编码而获得的划分的比特流(a0_a)之间(g0_a|a0_a)。类似地，分隔符(|)还被布置在通过对层级l0和区域b的几何数据进行编码而获得的划分的比特流(g0_b)与通过对层级l0和区域b的属性数据进行编码而获得的划分的比特流(a0_b)之间(g0_b|a0_b)。此外，类似地，分隔符(|)还被布置在通过对层级l1和区域a的几何数据进行编码而获得的划分的比特流(g1_a)与通过对层级l1和区域a的属性数据进行编码而获得的划分的比特流(a1_a)之间(g1_a|a1_a)。此外，类似地，分隔符(|)也被布置在通过对层级l2和区域a的几何数据进行编码而获得的划分的比特流(g2_a)与通过对层级l2和区域a的属性数据进行编码而获得的划分的比特流(a2_a)之间(g2_a|a2_a)。
此外，分隔符也被布置在区域a的划分的比特流与区域b的划分的比特流之间((g0_a|a0_a)|(g0_b|a0_b))。类似地，分隔符也被布置在层级l0的划分的比特流、层级l1的划分的比特流与层级l2的划分的比特流之间((g0_a|a0_a)|(g0_b|a0_b)|(g1_a|a1_a)|(g2_a|a2_a))。
利用这样的配置，可以实现部分解码和可伸缩解码。因此，可以更自由地执行解码。例如，也可以仅对高分辨率数据的关注区域进行早期解码。
此外，例如，如图5所示的表的从顶部起的第五行(不包括项目名称行)中的“划分的视角”的列(最左列中具有“5”的行)中所示，可以划分并编码3d数据使得在时间方向上被划分。例如，可以针对每个帧划分并编码3d数据。
在那种情况下，如“插入分隔符的位置”的列中所示，针对每个帧生成划分的比特流。然后，分隔符被布置在与各个帧对应的划分的比特流之间。
例如，如“划分示例”的列中所示，分隔符(|)被布置在与各个帧(帧0|帧1|……)对应的划分的比特流之间。
通过以该方式配置比特流，例如，还可以对运动图像的点云数据进行解码。
注意，这样的编码和解码可以应用于不同于点云数据的3d数据。例如，如图5所示的表的最下面行中的“划分的角度”的列(最左列中具有“6”的行)所示，网格数据可以被划分并编码。
在那种情况下，如“插入分隔符的位置”的列中所示，针对每种类型的信息生成划分的比特流。例如，网格数据被划分为顶点数据(顶点)、连接数据(面部)和纹理数据(纹理)，并且被编码。然后，分隔符被布置在这些数据片段的划分的比特流之间。
例如，如“划分示例”的列中所示，分隔符(|)被布置在与顶点数据对应的划分的比特流(v)、与连接数据对应的划分的比特流(f)和与纹理数据对应的划分的比特流(t)中的各个划分的比特流之间(v|f|t)。此外，还可以针对二维空间中布置的每个部分(分量)划分纹理数据(t)并编码。在那种情况下，分隔符(|)被附加地布置在纹理数据(t)的各个分量之间(t_a|t_b|t_c)。
通过以该方式配置比特流，还可以解码网格数据。
<2.第一实施方式>
<2-1.2d部分区域的划分>
接下来，将更详细地描述参照图5中的表描述的每个变型。首先，在执行图5所示的表的最上面行(不包括项目名称行)(最左列中具有“1”的行)中指示的“空间区域的划分”的情况中，将描述“2d空间中的区域的划分”的情况。
<编码装置>
图6是作为应用本技术的信息处理装置的实施方式的编码装置的主要配置示例的框图。图6所示的编码装置200使用立体像素对作为编码目标输入的点云的数据进行编码，并且输出所获得的编码数据等。此时，编码装置200通过使用如上所述应用本技术的方法来执行该编码。
如图6所示，编码装置200包括控制单元201、预处理单元211、边界框设置单元212、立体像素设置单元213、信号序列生成单元214和编码单元215。
控制单元201执行与编码装置200中的各个处理单元的控制有关的处理。例如，控制单元201控制由每个处理单元的处理的执行或跳过(省略)。例如，控制单元201基于预定的控制信息执行这样的控制。通过以该方式执行控制，控制单元201可以抑制不必要的处理的执行，并且可以抑制负荷的增加。
控制单元201可以具有任何配置；例如，控制单元201可以包括中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行处理。
预处理单元211由控制单元201控制，并且对输入到编码装置200的点云数据(编码目标)进行作为预处理的预定处理以将处理之后的数据提供给边界框设置单元212。注意，作为编码目标的点云可以是运动图像或静止图像。
例如，控制单元201根据允许或禁止执行预处理的控制信息使预处理单元211在允许(不禁止)执行预处理时执行预处理。此外，例如，控制单元201根据指示允许或禁止执行预处理的编码目标的范围的控制信息使预处理单元211对允许(不禁止)执行预处理的编码目标执行预处理。此外，例如，控制单元201根据指定允许或禁止执行的处理内容的控制信息使预处理单元211执行允许(不禁止)执行的处理。通过以该方式执行控制，可以抑制不必要的预处理的执行，并且可以抑制负荷的增加。
注意，预处理的内容是任意的。例如，预处理单元211可以进行降低噪声的处理，或者可以执行改变分辨率(点数)的处理作为预处理。此外，例如，可以更新每个点的布置使得点云的密度被均衡或给出期望的偏差。此外，例如，诸如具有深度信息的图像信息的非点云数据可以被输入到编码装置200使得预处理单元211将输入数据转换为点云的数据作为预处理。
预处理单元211可以具有任何配置；例如，预处理单元211可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行预处理。
边界框设置单元212由控制单元201控制，并且执行与边界框的设置有关的处理以用于标准化关于编码目标的位置信息。
例如，控制单元201根据允许或禁止边界框的设置的控制信息使边界框设置单元212在允许(不禁止)执行边界框的设置时设置边界框。此外，例如，控制单元201根据指示允许或禁止边界框的设置的范围的控制信息使边界框设置单元212对允许(不禁止)边界框的设置的编码目标上设置边界框。此外，例如，控制单元201根据关于允许或禁止用于设置边界框的参数的控制信息使边界框设置单元212使用允许(不禁止)使用的参数来设置边界框。通过以该方式执行设置，可以抑制不必要的边界框的设置和不必要的参数的使用，并且可以抑制负荷的增加。
例如，边界框设置单元212针对编码目标的每个对象设置边界框。例如，如图7的a所示，当对象231和对象232由点云的数据表示时，边界框设置单元212设置边界框241和边界框242使得如图7的b所示边界框241和边界框242分别包含对象231和对象232。返回至图6，一旦设置了边界框，边界框设置单元212将关于所设置的边界框的信息提供给立体像素设置单元213。
注意，边界框设置单元212可以具有任何配置；例如，边界框设置单元212可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与边界框的设置有关的处理。
立体像素设置单元213由控制单元201控制，并且执行与立体像素的设置有关的处理以用于量化关于编码目标的位置信息。
例如，控制单元201根据允许或禁止立体像素的设置的控制信息使立体像素设置单元213在允许(不禁止)执行立体像素的设置时设置立体像素。此外，例如，控制单元201根据指示允许或禁止立体像素的设置的编码目标的范围的控制信息使立体像素设置单元213在允许(不禁止)立体像素的设置的编码目标上设置立体像素。此外，例如，控制单元201根据关于允许或禁止用于设置立体像素的参数的控制信息使立体像素设置单元213使用允许(不禁止)使用的参数来设置立体像素。通过以该方式执行设置，可以抑制不必要的立体像素的设置和不必要的参数的使用，并且可以抑制负荷的增加。
例如，立体像素设置单元213在由边界框设置单元212设置的边界框中设置立体像素。例如，如图7的c所示，立体像素设置单元213通过划分边界框241来设置立体像素251。即，立体像素设置单元213利用立体像素量化边界框中的点云数据(即，立体像素化)。注意，当存在多个边界框时，立体像素设置单元213针对每个边界框对点云数据进行立体像素化。即，在图7的b的示例的情况下，立体像素设置单元213还对边界框242执行类似的处理。返回至图6，一旦如上所述设置了立体像素，立体像素设置单元213将立体像素化的点云数据(也称为立体像素数据)(关于用于量化位置信息的数据结构的信息)、属性信息等提供给信号序列生成单元214。
注意，立体像素设置单元213可以具有任何配置；例如，立体像素设置单元213可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与立体像素的设置有关的处理。
信号序列生成单元214由控制单元201控制，并且执行与信号序列的生成有关的处理。
例如，控制单元201根据允许或禁止信号序列的生成的控制信息使信号序列生成单元214在允许(不禁止)执行信号序列的生成时生成信号序列。此外，例如，控制单元201根据指示允许或禁止信号序列的生成的编码目标的范围的控制信息使信号序列生成单元214生成允许(不禁止)信号序列的生成的编码目标的信号序列。通过以该方式执行控制，可以抑制不必要的信号序列的生成，并且可以抑制负荷的增加。
信号序列生成单元214例如通过由诸如八叉树或kd树的任意方法对点云数据(例如，图7的c所示的立体像素设置单元213生成的立体像素数据)进行量化而获得的立体像素数据进行编码以生成信号序列。例如，信号序列生成单元214通过对作为由立体像素数据表示的空间的部分区域的每个块的立体像素数据进行编码来生成相关信息。信号序列生成单元214将所生成的相关信息和其他信息变换成信号序列，并且将变换后的信号序列提供给编码单元215。
注意，信号序列生成单元214可以具有任何配置；例如，信号序列生成单元214可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与信号序列的生成有关的处理。
编码单元215由控制单元201控制，并且执行与所提供的信号序列的编码有关的处理。
例如，控制单元201根据允许或禁止信号序列的编码的控制信息使编码单元215在允许(不禁止)执行信号序列的编码时对信号序列进行编码。此外，例如，控制单元201根据指示允许或禁止信号序列的编码的编码目标的范围的控制信息使编码单元215对允许(不禁止)信号序列的编码的编码目标的信号序列进行编码。通过以该方式执行控制，可以抑制不必要的信号序列的编码，并且可以抑制负荷的增加。
例如，编码单元215对所提供的信号序列进行编码以生成编码数据(比特流)。此时，编码单元215将表示三维结构的3d数据划分为多个片段以对3d数据的多个划分的片段进行编码、对所获得的多个划分的比特流进行复用，并且生成包括指示划分的比特流之间的接合点的位置的分隔符的一个比特流。
编码单元215将通过这样的编码而获得的编码数据(比特流)输出至编码装置200的外部。从编码装置200输出的该数据(编码数据和控制信息)可以由例如随后阶段的处理单元(未示出)解码以恢复点云的数据，或者可以由通信单元(未示出)发送以经由预定传输路径被传输至诸如解码装置的另一装置，或者可以被记录在记录介质(未示出)中。
注意，编码单元215可以具有任何配置；例如，编码单元215可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与编码有关的处理。
<编码单元>
图8是示出编码单元215(图6)的主要配置示例的框图。在该情况下，编码单元215通过将3d数据转换为表示二维结构的2d数据，并且基于二维结构划分并编码转换后的2d数据来生成多个划分的比特流。如图8所示，编码单元215包括2d映射单元271、颜色格式转换单元272、空间区域划分单元273、2d图像编码单元274-1、2d图像编码单元274-2、分隔符生成单元275和复用器276。
2d映射单元271执行与将3d数据映射在二维空间上有关的处理。向2d映射单元271提供来自信号序列生成单元214的信号序列(例如，八叉树数据)。该信号序列是通过转换点云数据而获得的，并且是基本上等同于点云数据的表示三维结构的3d数据。因此，同样在该信号序列中，点云的每个点由坐标(x，y，z)和颜色信息(r，g，b)指示。
2d映射单元271将所提供的3d数据的信号序列映射到二维空间上，并且生成作为表示二维结构的2d数据的2d图像数据。在2d图像数据中，针对每个像素指示颜色信息(r，g，b)。2d映射单元271将所生成的2d图像数据提供给颜色格式转换单元272。
注意，2d映射单元271可以具有任何配置；例如，2d映射单元271可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与映射有关的处理。
颜色格式转换单元272将从2d映射单元271提供的2d图像数据的颜色格式从rgb格式转换为具有4：2：0的颜色采样类型的yuv格式。即，在格式转换之后的2d图像数据中，针对每个像素指示颜色信息(y，u，v)。注意，格式转换之后的2d图像数据的颜色采样的类型是任意的，并且可以不同于4：2：0。颜色格式转换单元272将通过转换颜色格式获得的2d图像数据提供给空间区域划分单元273。
注意，颜色格式转换单元272可以具有任何配置；例如，颜色格式转换单元272可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与颜色格式的转换有关的处理。
空间区域划分单元273执行与数据划分有关的处理。例如，空间区域划分单元273划分从颜色格式转换单元272提供的颜色格式转换之后的2d图像数据使得2d图像数据的二维结构被划分为多个部分区域。例如，在图8的情况下，空间区域划分单元273将所提供的2d图像数据划分为两部分以生成两个部分2d图像数据片段。
空间区域划分单元273将各个所生成的部分2d图像数据的片段提供给2d图像编码单元274-1和274-2。注意，在下文中，当为了说明而不必将2d图像编码单元274-1和274-2彼此区分开来时，2d图像编码单元274-1和274-2将被称为2d图像编码单元274。
此外，例如，空间区域划分单元273将关于2d图像数据的划分的信息，例如如何划分2d图像数据和在每个部分2d图像数据的片段中包括什么信息提供给分隔符生成单元275作为划分信息。
注意，空间区域划分单元273可以具有任何配置；例如，空间区域划分单元273可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与数据的划分有关的处理。
2d图像编码单元274执行与2d图像数据的编码有关的处理。例如，2d图像编码单元274对从空间区域划分单元273提供的部分2d图像数据进行编码以生成作为划分的比特流的子比特流。2d图像编码单元274将所生成的子比特流提供给复用器276。
注意，2d图像编码单元274可以具有任何配置；例如，2d图像编码单元274可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与2d图像数据的编码有关的处理。
分隔符生成单元275执行与分隔符的生成有关的处理。例如，分隔符生成单元275生成具有唯一比特模式的分隔符。此外，例如，分隔符生成单元275将从空间区域划分单元273提供的划分信息中包括的信息放入分隔符中。分隔符生成单元275将所生成的分隔符提供给复用器276。
注意，分隔符生成单元275可以具有任何配置；例如，分隔符生成单元275可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与分隔符的生成有关的处理。
复用器276执行与数据复用有关的处理。例如，复用器276复用从各个2d图像编码单元274提供的各个子比特流和从分隔符生成单元275提供的分隔符以生成一个比特流。此时，如参照图3所述，复用器276串联连接各个子比特流，并且将分隔符布置在子比特流之间的接合点的位置处。在不同方面，复用器276串联连接各个子比特流使得分隔符被夹在各个子比特流之间。
复用器276将所生成的比特流输出至编码单元215的外部(即，编码装置200的外部)。
注意，复用器276可以具有任何配置；例如，复用器276可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与复用有关的处理。
如上所述，在该情况下，空间区域划分单元273将通过将3d数据映射到二维空间上而获得的2d图像数据划分为多个片段。因此，2d图像编码单元274仅需要对已经被划分的部分2d图像数据进行编码。由于与划分之前的2d图像数据相比，部分2d图像数据的数据量减少，因此可以抑制用于3d数据的编码的负荷的增加，并且可以将处理量抑制到实际水平。
注意，该划分的数目(划分之后的部分2d图像数据片段的数目)是任意的。该划分的数目可以是可变的。即，空间区域划分单元273可以将2d图像数据划分为任意数目的部分2d图像数据片段。在不同的方面，空间区域划分单元273可以通过划分2d图像数据来控制每个部分2d图像数据片段的数据量。即，例如，部分2d图像数据的图像大小(分辨率)可以被限制为在用于2d图像编码的现有标准中规定的最大尺寸或更小。由于可以以该方式满足标准的约束，因此2d图像编码单元274可以利用符合现有2d图像编码标准(例如，jpeg、hevc等)的编码技术来执行编码。因此，与从头开始开发用于3d数据的新的编码单元的情况相比，可以容易地开发编码单元215。
注意，2d图像编码单元274的数目是任意的。2d图像编码单元274的数目可以是单个或三个或更多个。此外，该数目可以是可变的或固定的。2d图像编码单元274的数目可以大于或小于从空间区域划分单元273提供的部分2d图像数据片段的数目。当2d图像编码单元274的数目小于部分2d图像数据片段的数目时，可以允许由一个2d图像编码单元274使用例如时间划分技术等对多个部分2d图像数据片段进行编码。
注意，如上面参照图3和其他附图所述，分隔符生成单元275生成分隔符，并且复用器276将作为所生成的分隔符的分隔符布置在串联连接的子比特流之间的接合点的位置处。因此，通过在解码时检测分隔符，可以容易地指定子比特流(划分的比特流)之间的接合点的位置。因此，可以容易地做划分到每个子比特流(划分的比特流)。注意，由于分隔符包括如前所述的唯一的比特模式，因此可以容易地检测到分隔符。
此外，针对分隔符，分隔符生成单元275将关于划分信息中包括的2d图像数据的划分的信息，例如如何划分2d图像数据和在部分2d图像数据中包括什么信息放入分隔符中。通过以该方式配置，可以容易地在解码时掌握在划分的比特流中包括的信息、每个划分的比特流的处理方法等。
例如，分隔符生成单元275将指示与子比特流(划分比特流)对应的3d数据的三维结构的一部分的位置的位置信息写入与该子比特流对应的分隔符中。例如，分隔符生成单元275将指示与子比特流对应的3d数据的三维结构的一部分的开始位置的信息写入与该子比特流对应的分隔符中作为该位置信息。此外，例如，分隔符生成单元275同样也可以将指示与子比特流对应的3d数据的三维结构的一部分的范围的信息写入与该子比特流对应的分隔符中作为该位置信息。因此，在解码时，可以基于这些信息片段容易地指定3d数据的三维结构中的每个子比特流的位置，使得可以容易地以正确的配置合成每个子比特流(即，可以被合成以便具有划分之前的配置)。
<编码处理的流程>
将参照图9的流程图描述由具有如上所述的配置的编码装置200执行的编码处理的流程的示例。
当开始编码处理时，在步骤s101中预处理单元211执行预处理。
在步骤s102中，边界框设置单元212在预处理的数据上设置边界框。
在步骤s103中，立体像素设置单元213在步骤s102中设置的边界框上设置立体像素。
在步骤s104中，信号序列生成单元214基于数据结构生成信号序列。
在步骤s105中，编码单元215对通过步骤s104中的处理而生成的信号序列进行编码。
在步骤s106中，编码单元215将通过上述编码而获得的比特流输出至编码装置200的外部。该比特流被传输至例如解码侧(解码装置等)或被记录在记录介质中。
一旦步骤s106中的处理结束，编码处理结束。例如，当编码目标是运动图像时，针对每个帧执行该系列处理。
<信号序列编码处理的流程>
接下来，将参照图10的流程图来描述图9中的步骤s105中执行的信号序列编码处理的流程的示例。
当信号序列编码处理开始时，在步骤s121中，2d映射单元271将信号序列映射到二维空间上以生成2d图像数据。
在步骤s122中，颜色格式转换单元272将2d图像数据的颜色格式从rgb格式转换为4：2：0的yuv格式。
在步骤s123中，空间区域划分单元273划分2d图像数据以便在二维空间中分割区域，并且生成多个部分2d图像数据片段。
在步骤s124中，2d图像编码单元274对每个部分区域的2d图像数据进行编码。即，2d图像编码单元274对在步骤s123中划分的每个部分2d图像数据片段进行编码，并且生成子比特流。
在步骤s125中，分隔符生成单元275基于划分信息生成与每个子比特流对应的分隔符。
在步骤s126，复用器276复用在步骤s124中生成的各个子比特流和在步骤s125中生成的分隔符以生成一个比特流。
一旦步骤s126中的处理结束，信号序列编码处理结束，并且处理返回至图9。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
图11是作为应用本技术的信息处理装置的实施方式的解码装置的主要配置示例的框图。图11所示的解码装置300是与图6中的编码装置200对应的解码装置，并且例如，解码装置300对由该编码装置200生成的点云的编码数据进行解码，并且恢复点云的数据。
如图11所示，解码装置300包括解码单元301、立体像素数据生成单元302和点云处理单元303。
解码单元301执行与比特流的解码有关的处理。例如，解码单元301使用与编码单元215的编码方法对应的解码方法对比特流进行解码，并且获得信号序列(例如，八叉树数据)。解码单元301将所获得的信号序列提供给立体像素数据生成单元302。
注意，解码单元301可以具有任何配置；例如，解码单元301可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与解码有关的处理。
立体像素数据生成单元302执行与立体像素数据的生成有关的处理。例如，立体像素数据生成单元302生成与从解码单元301提供的信号序列对应的立体像素数据。例如，当从解码单元301提供八叉树数据的信号序列时，立体像素数据生成单元302对所提供的信号序列执行八叉树解码以生成立体像素数据。立体像素数据生成单元302将所生成的立体像素数据提供给点云处理单元303。
注意，立体像素数据生成单元302可以具有任何配置；例如，立体像素数据生成单元302可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与立体像素数据的生成有关的处理。
点云处理单元303执行与点云数据的恢复有关的处理。例如，点云处理单元303将所提供的立体像素数据转换为点云数据(生成解码的点云数据)。注意，点云处理单元303还可以将该解码点云数据转换为网格数据。
点云处理单元303将所生成的解码点云数据(或网格数据)输出至解码装置300的外部。该输出的解码点云数据(或网格数据)可以经受由例如随后阶段处的处理单元(未示出)进行的图像处理以作为图像信息显示在监视器等上，或者可以由通信单元(未示出)发送以经由预定传输路径被传输至另一装置，或者可以被记录在记录介质(未示出)中。
注意，点云处理单元303可以具有任何配置；例如，点云处理单元303可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与点云数据的恢复有关的处理。
<解码单元>
图12是示出解码单元301(图11)的主要配置示例的框图。在该情况下，解码单元301基于包括指示与二维结构中的子比特流对应的3d数据的三维结构的部分的位置的信息的位置信息合成表示通过解码多个子比特流中的每一个而获得的二维结构的多个划分的2d数据片段。如图12所示，解码单元301包括解复用器311、分隔符分析单元312、2d图像解码单元313-1、2d图像解码单元313-2、空间区域合成单元314和颜色格式逆转换单元315和3d映射单元316。
解复用器311执行与解复用有关的处理。例如，当获取输入至解码装置300的比特流时，解复用器311对所获取的比特流进行解复用以获得多个子比特流。解复用器311将所获得的多个子比特流提供给2d图像解码单元313-1和313-2。注意，在下文中，当为了说明而不必将2d图像解码单元313-1和313-2彼此区分开来时，2d图像解码单元313-1和313-2将被称为2d图像解码单元313。
注意，解复用器311可以具有任何配置；例如，解复用器311可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与解复用有关的处理。
分隔符分析单元312执行与分隔符的检测和分析有关的处理。例如，分隔符分析单元312在提供给解复用器311的比特流中检测分隔符，并且向解复用器311通知检测结果。此外，分隔符分析单元312分析在检测到的分隔符中包括的信息，并且将该分析的信息作为划分信息提供给空间区域合成单元314。
注意，分隔符分析单元312可以具有任何配置；例如，分隔符分析单元312可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与分隔符的检测和分析有关的处理。
2d图像解码单元313执行与比特流的解码有关的处理。例如，2d图像解码单元313对从解复用器311提供的子比特流进行解码，并且将所获得的部分2d图像数据提供给空间区域合成单元314。
注意，2d图像解码单元313可以具有任何配置；例如，2d图像解码单元313可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与解码有关的处理。
空间区域合成单元314执行与部分2d图像数据的合成有关的处理。例如，空间区域合成单元314合成从各个2d图像解码单元313提供的多个部分2d图像数据片段以生成一个2d图像数据片段。此时，空间区域合成单元314基于从分隔符分析单元312提供的划分信息(即，关于子比特流的信息)执行上述合成。空间区域合成单元314将所获得的2d图像数据提供给颜色格式逆转换单元315。
注意，空间区域合成单元314可以具有任何配置；例如，空间区域划分单元314可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与合成有关的处理。
颜色格式逆转换单元315执行与颜色格式逆转换有关的处理。逆转换是由颜色格式转换单元272(图8)执行的颜色格式转换的逆处理。例如，颜色格式逆转换单元315将所提供的2d图像数据的颜色格式从具有4：2：0的颜色采样类型的yuv格式转换为rgb格式。颜色格式逆转换单元315将逆转换处理之后的2d图像数据(r，g，b)提供给3d映射单元316。
注意，颜色格式转换单元315可以具有任何配置；例如，颜色格式逆转换单元315可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与颜色格式的逆转换有关的处理。
3d映射单元316执行与将2d数据映射在三维空间上有关的处理。例如，3d映射单元316将从颜色格式逆转换单元315提供的2d图像数据映射到三维空间上，并且生成信号序列(例如，八叉树数据)。3d映射单元316将所获得的信号序列(八叉树数据)提供给立体像素数据生成单元302(图11)。
注意，3d映射单元316可以具有任何配置；例如，3d映射单元316可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行与映射有关的处理。
在具有这样的配置的解码单元301中，解复用器311在由比特流中包括的分隔符指示的位置处划分比特流。由于分隔符指示比特流应当被划分的位置，因此解复用器311可以基于关于位置的信息在正确的位置处容易地划分该比特流。
此外，在比特流中，分隔符被布置在子比特流(划分的比特流)之间的接合点处。即，分隔符被布置在比特流应当被划分的位置处。在不同的方面，分隔符被布置在比特流应当被划分的位置(子比特流之间的接合点)处，并且指示布置的位置是比特流应当被划分的位置。分隔符分析单元312检测如上所述布置的分隔符，并且解复用器311在检测到的位置处划分比特流。通过以该方式划分比特流，解复用器311可以容易地将比特流划分为每个子比特流。
注意，该分隔符包括唯一的比特模式，并且分隔符分析单元312可以通过在比特流中检测分隔符的唯一比特模式来更容易地检测分隔符。
如上所述，解复用器311将比特流划分为每个子比特流(划分的比特流)。因此，2d图像解码单元313仅需要解码所划分的子比特流。由于与划分之前的比特流相比，子比特的数据量减少，因此可以抑制用于解码3d数据的负荷的增加，并且可以将处理量抑制到实际水平。
如关于编码装置200所述，可以在编码侧控制每个子比特流(与子比特流对应的一个部分2d图像数据片段)的数据量。即，由于子比特流可以满足现有2d图像编码标准的约束，因此2d图像解码单元313可以利用符合现有2d图像编码标准(例如，jpeg、hevc等)的解码技术来执行解码。因此，与从头开始开发用于3d数据的新的解码单元的情况相比，可以容易地开发解码单元301。
此外，分隔符还可以包括关于与该特定分隔符对应的子比特流(划分的比特流)的信息。分隔符分析单元312分析分隔符以获得该信息。2d图像解码单元313基于所获得的信息对子比特流进行解码。因此，2d图像解码单元313可以通过适当的方法对子比特流进行解码。
该信息可以是任何信息。例如，可以包括关于子比特流的数据大小的信息。此外，例如，可以包括关于子比特流的解码方法的信息。此外，例如，可以包括关于在子比特流的解码中应用的预测方法的信息。此外，例如，可以包括指示在子比特流的解码中执行的预测的参考目的地的信息。此外，例如，可以包括指示通过对子比特流进行解码而获得的数据的颜色采样的类型的信息。此外，例如，可以包括指示通过对子比特流进行解码而获得的数据的比特宽度的信息。这些信息项中的任何一个可以被包括在分隔符中，或者这些信息项中的多个可以被包括在分隔符中。通过使用这些信息项，2d图像解码单元313可以通过更适当的方法对子比特流进行解码。
此外，如上所述，空间区域合成单元314基于通过分隔符分析单元312分析分隔符而获得的关于子比特流的信息来合成多个部分2d图像数据片段。关于子比特流的该信息是任意的；例如，该信息可以包括指示与该特定子比特流对应的3d数据的三维结构的一部分的位置的位置信息。此外，例如，上述位置信息可以包括指示与子比特流对应的3d数据的三维结构的一部分的起始位置的信息。此外，例如，还可以包括指示与划分的比特流对应的3d数据的三维结构的一部分的范围的信息。
例如，这样的位置信息可以包括指示与二维结构中的子比特流对应的3d数据的三维结构的一部分的位置的信息使得空间区域合成单元314基于通过分隔符分析单元312分析分隔符而获得的位置信息合成通过2d图像解码单元313对多个子比特流中的每一个进行解码而获得表示二维结构的多个划分的2d数据片段。
通过以该方式使用这样的信息，空间区域合成单元314可以容易地在3d数据的三维结构中指定每个子比特流的位置使得每个子比特流可以容易地以正确的配置合成(即，可以被合成以具有划分之前的配置)。
<解码处理的流程>
将参照图13的流程图描述具有如上所述的配置的解码装置300执行的解码处理的流程的示例。
当解码处理开始时，在步骤s141中，解码单元301对所提供的比特流进行解码以生成信号序列。
在步骤s142中，立体像素数据生成单元302根据步骤s141中获得的信号序列生成立体像素数据。
在步骤s143中，点云处理单元303从步骤s142中获得的立体像素数据中恢复点云数据。
在步骤s144中，点云处理单元303将在步骤s143中恢复的点云数据(解码的点云数据)输出至解码装置300的外部。
一旦步骤s144中的处理结束，解码处理结束。
<比特流解码处理的流程>
接下来，将参照图14的流程图来描述图13中的步骤s141中执行的比特流解码处理的流程的示例。
当比特流解码处理开始时，在步骤s161中，分隔符分析单元312在比特流中检测分隔符。
在步骤s162中，分隔符分析单元312分析在步骤s161中检测到的分隔符以生成划分信息。
在步骤s163中，解复用器311基于分隔符将比特流划分为每个子比特流。
在步骤s164中，2d图像解码单元313解码每个子比特流。
在步骤s165中，空间区域合成单元314基于划分信息合成步骤s164中获得的部分2d图像数据以便合成在2d空间中的编码侧处划分的各个部分区域。通过该处理生成一个2d图像数据片段。
在步骤s166中，颜色格式逆转换单元315对通过步骤s165中的处理而获得的2d图像数据的颜色格式执行逆转换。
在步骤s167中，3d映射单元316将逆转换之后的2d图像数据映射到3d空间上以生成信号序列(3d数据)。
一旦步骤s167中的处理结束，比特流解码处理结束，并且处理返回至图13。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<2-2.3d部分区域的划分>
接下来，在执行图5所示的表的最上一行(不包括项目名称行)(最左列中具有“1”的行)中指示的“空间区域的划分”的情况中，将描述“3d空间中的区域的划分”的情况。
<编码装置>
同样在该情况下，由于编码装置的配置类似于<2-1.空间区域的划分>(图6)的情况下的配置，将省略对编码装置的描述。
<编码单元>
图15是示出在该情况下的编码单元215的主要配置示例的框图。在该情况下，编码单元215通过基于三维结构划分3d数据以将获得的多个划分的3d数据片段中的每一个转换为表示二维结构的划分的2d数据，并且对获得的多个划分的2d数据片段中的每一个进行编码来生成多个划分的比特流。如图15所示，在该情况下的编码单元215包括空间区域划分单元331、部分区域编码单元332-1、部分区域编码单元332-2、分隔符生成单元333和复用器334。
与空间区域划分单元273(图8)类似地，空间区域划分单元331划分数据以便将空间区域划分为部分区域。然而，与空间区域划分单元273的情况不同，空间区域划分单元331划分作为3d数据的信号序列(例如，八叉树数据)以便将信号序列的三维结构划分为多个部分区域。例如，在图15的情况下，空间区域划分单元331将所提供的信号序列划分为两部分以生成两个部分信号序列。这两个部分信号序列是对应于不同3d空间区域的3d数据。
空间区域划分单元331将所生成的各个部分信号序列提供给部分区域编码单元332-1和332-2。注意，在下文中，当为了说明而不必将部分区域编码单元332-1和332-2彼此区分开来时，部分区域编码单元332-1和332-2将被称为部分区域编码单元332。
此外，例如，空间区域划分单元331将关于信号序列(3d数据)的划分的信息，例如如何划分信号序列和在每个部分信号序列中包括什么信息作为划分信息提供给分隔符生成单元333。
部分区域编码单元332对所提供的部分信号序列进行编码。用于该编码的方法基本上类似于图8的情况。即，部分区域编码单元332-1包括2d映射单元341-1、颜色格式转换单元342-1和2d图像编码单元343-1。类似地，部分区域编码单元332-2包括2d映射单元341-2、颜色格式转换单元342-2和2d图像编码单元343-2。注意，在下文中，当为了说明而不必将2d映射单元341-1和341-2彼此区分开来时，2d映射单元341-1和341-2将被称为2d映射单元341。此外，当为了说明而不必将颜色格式转换单元342-1和342-2彼此区分开来时，颜色格式转换单元342-1和342-2将被称为颜色格式转换单元342。此外，当为了说明而不必将2d图像编码单元343-1和343-2彼此区分开来时，2d图像编码单元343-1和343-2将被称为2d图像编码单元343。
类似于2d映射单元271(图8)，2d映射单元341将3d数据映射到二维空间上，并且生成作为表示二维结构的2d数据的2d图像数据。然而，在2d映射单元341的情况下，划分的部分信号序列被映射到二维空间上。因此，获得了部分2d图像数据。2d映射单元341将所获得的部分2d图像数据提供给颜色格式转换单元342。
类似于颜色格式转换单元272(图8)，颜色格式转换单元342将2d图像数据的颜色格式从rgb格式转换为具有4：2：0的颜色采样类型的yuv格式。然而，在颜色格式转换单元342的情况下，对所划分的部分2d图像数据的颜色格式进行转换。颜色格式转换单元342将已经转换颜色格式的部分2d图像数据提供给2d图像编码单元343。
类似于2d图像编码单元274(图8)，2d图像编码单元343编码部分2d图像数据以生成作为划分的比特流的子比特流。2d图像编码单元343将所生成的子比特流提供给复用器334。
分隔符生成单元333是基本上类似于分隔符生成单元275(图8)的处理单元，并且具有类似的配置并且执行类似的处理。例如，分隔符生成单元333生成具有唯一比特模式的分隔符。此外，例如，分隔符生成单元333将从空间区域划分单元331提供的划分信息中包括的信息放入分隔符中。分隔符生成单元333将所生成的分隔符提供给复用器334。
复用器334是基本上类似于复用器276(图8)的处理单元，并且具有类似的配置并且执行类似的处理。例如，复用器334复用从各个2d图像编码单元343提供的各个子比特流和从分隔符生成单元333提供的分隔符以生成一个比特流。此时，如参照图3所述，复用器334串联连接各个子比特流，并且将分隔符布置在子比特流之间的接合点的位置处。在不同方面，复用器334串联连接各个子比特流使得分隔符被夹在各个子比特流之间。
注意，如上所述，在该情况下的每个子比特流是已经在三维空间中被划分和编码的数据。因此，该子比特流是与图8的情况下的在二维空间中划分的子比特流不同的数据。
复用器334将所生成的比特流输出至编码单元215的外部(即，编码装置200的外部)。
注意，这样的空间区域划分单元331至解复用器334(以及2d映射单元341至2d图像编码单元343)可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
同样在该情况下，由于空间区域划分单元331将3d数据划分为多个片段，因此仅需要部分区域编码单元332(2d图像编码单元343)对所划分的部分数据进行编码。因此，与图8的情况类似，可以抑制用于编码3d数据的负荷的增加并且可以将处理量抑制到实际水平。
注意，同样在该情况下，通过空间区域划分单元331的3d数据(信号序列)的划分数目(划分之后的部分3d数据(部分信号序列)的片段数目)是任意的。该划分的数目可以是可变的。即，例如，部分2d图像数据的图像大小(分辨率)可以被限制为在用于2d图像编码的现有标准中规定的最大尺寸或更小。由于可以以该方式满足标准的约束，因此2d图像编码单元343可以利用符合现有2d图像编码标准(例如，jpeg、hevc等)的编码技术来执行编码。因此，同样在该情况下，与从头开始开发用于3d数据的新的编码单元的情况相比，可以容易地开发编码单元215。
注意，部分区域编码单元332(2d映射单元341至2d图像编码单元343)的数目是任意的。部分区域编码单元332(2d映射单元341至2d图像编码单元343)的数目可以是单个或三个或更多个。此外，该数目可以是可变的或固定的。部分区域编码单元332(2d映射单元341至2d图像编码单元343)的数目可以大于或小于从空间区域划分单元331提供的部分信号序列的数目。当该数目较小时，如图8的情况下，该情况可以通过时间划分等来处理。
注意，同样在该情况下，由于复用器334将分隔符布置在串联连接的子比特流之间的接合点的位置处，因此可以通过在解码时检测所布置的分隔符来容易地指定子比特流(划分的比特流)之间的接合点的位置。因此，可以容易地做划分到每个子比特流(划分的比特流)。注意，由于分隔符包括如前所述的唯一的比特模式，因此可以容易地检测到分隔符。
此外，同样在该情况下，分隔符生成单元333将关于划分的信息放入分隔符中。通过以该方式配置，可以在解码时容易地掌握在划分的比特流中包括的信息、每个划分的比特流的处理方法等。
例如，如在分隔符生成单元275的情况下，分隔符生成单元333将指示与子比特流(划分的比特流)对应的3d数据的三维结构的一部分的位置(例如，开始位置、范围等)的位置信息写入与该子比特流对应的分隔符中。因此，在解码时，可以基于这些信息片段容易地指定3d数据的三维结构中的每个子比特流的位置，使得可以容易地以正确的配置合成每个子比特流(即，可以被合成以便具有划分之前的配置)。
<编码处理的流程>
同样在该情况下，基本上以与参照图9中的流程图描述的情况类似的流程执行编码处理。因此，将省略流程的描述。
<信号序列编码处理的流程>
接下来，将参照图16中的流程图来描述在图9中的步骤s105中执行的信号序列编码处理的流程的示例。
当信号序列编码处理开始时，在步骤s181中，空间区域划分单元331划分三维空间中的区域。
在步骤s182中，2d映射单元341将3d数据映射到在步骤s181中设置的每个部分区域的二维空间上以生成2d数据。
在步骤s183中，颜色格式转换单元342针对每个部分区域转换在步骤s182中生成的2d数据的颜色格式。
在步骤s184中，2d图像编码单元343针对每个部分区域对在步骤s183中已经转换颜色格式的2d数据进行编码。
在步骤s185中，分隔符生成单元333生成与每个子比特流对应的分隔符。
在步骤s186中，复用器334复用各个子比特流和分隔符。
一旦步骤s187中的处理结束，信号序列编码处理结束，并且处理返回至图9。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
由于在该情况下的解码装置与图11的情况类似，因此将省略对解码装置的描述。
<解码单元>
图17是示出在该情况下的解码单元301的主要配置示例的框图。在该情况下的解码单元301基于通过分析分隔符而获得的位置信息合成通过对多个划分的比特流中的每一个进行解码而获得的多个划分的3d数据片段，所述位置信息包括指示与该三维结构中的每个划分的比特流对应的3d数据的三维结构的一部分的位置的信息。如图17所示，在该情况下的解码单元301包括解复用器361、分隔符分析单元362、部分区域解码单元363-1、部分区域解码单元363-2和空间区域合成单元364。
解复用器361执行与解复用器311(图12)的处理类似的处理。例如，当获取输入至解码装置300的比特流时，解复用器361对所获取的比特流进行解复用以获得多个子比特流。解复用器361将所获得的多个子比特流提供给部分区域解码单元363-1和363-2。在下文中，当为了说明而不必将部分区域解码单元363-1和363-2彼此区分开来时，部分区域解码单元363-1和363-2将被称为部分区域解码单元363。
分隔符分析单元362执行与分隔符分析单元312的处理类似的处理。例如，分隔符分析单元362在提供给解复用器361的比特流中检测分隔符，并且向解复用器361通知检测结果。此外，分隔符分析单元362分析在检测到的分隔符中包括的信息，并且将该分析的信息作为划分信息提供给空间区域合成单元364。
部分区域解码单元363对所提供的子比特流进行解码。用于该解码的方法基本上类似于图12的情况。即，部分区域解码单元363-1包括2d图像解码单元371-1、颜色格式逆转换单元372-1和3d映射单元373-1。类似地，部分区域解码单元363-2包括2d图像解码单元371-2、颜色格式逆转换单元372-2和3d映射单元373-2。在下文中，当为了说明而不必将2d图像解码单元371-1和371-2彼此区分开来时，2d图像解码单元371-1和371-2将被称为2d图像解码单元371。此外，当为了说明而不必将颜色格式逆转换单元372-1和372-2彼此区分开来时，颜色格式逆转换单元372-1和372-2将被称为颜色格式逆转换单元372。此外，在下文中，当为了说明而不必将3d映射单元373-1和373-2彼此区分开来时，3d映射单元373-1和373-2将被称为3d映射单元373。
2d图像解码单元371对从解复用器361提供的子比特流进行解码，并且将所获得的部分2d图像数据提供给颜色格式转换单元372。
颜色格式逆转换单元372将所提供的部分2d图像数据的颜色格式从具有4：2：0的颜色采样类型的yuv格式转换为rgb格式。颜色格式逆转换单元372将逆转换处理之后的部分2d图像数据(r，g，b)提供给3d映射单元373。
3d映射单元373将从颜色格式逆转换单元372提供的部分2d图像数据映射到三维空间上，并且生成部分信号序列(例如，八叉树数据)。3d映射单元373将所获得的部分信号序列(八叉树数据)提供给空间区域合成单元364。
空间区域合成单元364合成从各个3d映射单元373提供的多个部分信号序列(部分3d数据)以生成一个信号序列(3d数据)。此时，空间区域合成单元364基于从分隔符分析单元362提供的划分信息执行上述合成。空间区域合成单元364将所获得的信号序列(例如，八叉树数据)提供给解码单元301的外部(例如，立体像素数据生成单元302等)。
注意，解复用器361至空间区域合成单元364以及2d图像解码单元371至3d映射单元373可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
同样在该情况下的解码单元301中，解复用器361在由比特流中包括的分隔符指示的位置处划分比特流。由于分隔符指示比特流应当被划分的位置，因此解复用器361可以基于关于位置的信息在正确的位置处容易地划分该比特流。
此外，在比特流中，分隔符被布置在子比特流(划分的比特流)之间的接合点处。即，分隔符被布置在比特流应当被划分的位置处。在不同的方面，分隔符被布置在比特流应当被划分的位置(子比特流之间的接合点)处，并且指示所布置的位置是比特流应当被划分的位置。分隔符分析单元362检测如上所述布置的分隔符，并且解复用器361在所检测的位置处划分比特流。通过以该方式划分比特流，解复用器361可以容易地将比特流划分为每个子比特流。
注意，该分隔符包括唯一的比特模式，并且分隔符分析单元362可以通过在比特流中检测分隔符的唯一比特模式来更容易地检测分隔符。
如上所述，解复用器361将比特流划分为每个子比特流(划分的比特流)。因此，2d图像解码单元371仅需要解码所划分的子比特流。由于与划分之前的比特流相比，子比特的数据量减少，因此可以抑制用于解码3d数据的负荷的增加，并且可以将处理量抑制到实际水平。
如关于编码装置200所述，可以在编码侧控制每个子比特流(与子比特流对应的一个部分2d图像数据片段)的数据量。即，由于子比特流可以满足现有2d图像编码标准的约束，因此2d图像解码单元371可以利用符合现有2d图像编码标准(例如，jpeg、hevc等)的解码技术来执行解码。因此，与从头开始开发用于3d数据的新的解码单元的情况相比，可以容易地开发解码单元301。
此外，分隔符还可以包括关于与该特定分隔符对应的子比特流(划分的比特流)的信息。分隔符分析单元312分析分隔符以获得该信息。2d图像解码单元313基于所获得的信息对子比特流进行解码。因此，2d图像解码单元313可以通过适当的方法对子比特流进行解码。
此外，同样在该情况下，空间区域合成单元364基于通过分隔符分析单元362分析分隔符而获得的关于子比特流的信息来合成多个部分2d图像数据片段。关于子比特流的该信息可以是任意的；例如，该信息可以包括指示与该特定子比特流对应的3d数据的三维结构的一部分的位置的位置信息。此外，例如，上述位置信息可以包括指示与子比特流对应的3d数据的三维结构的一部分的起始位置的信息。此外，例如，还可以包括指示与划分的比特流对应的3d数据的三维结构的一部分的范围的信息。
例如，这样的位置信息可以包括指示与三维结构中的子比特流对应的3d数据的三维结构的一部分的位置的信息使得空间区域合成单元364基于通过分隔符分析单元312分析分隔符而获得的位置信息合成由解码单元对多个划分的比特流中的每一个进行解码而获得的多个划分的3d数据片段。
通过以该方式使用这样的信息，空间区域合成单元364可以容易地指定3d数据的三维结构中的每个子比特流的位置，使得每个子比特流可以容易地以正确的配置合成(即，可以被合成以具有划分之前的配置)。
<解码处理的流程>
同样在该情况下，由于解码处理类似于参考图13中的流程图描述的情况，因此将省略解码处理的描述。
<比特流解码处理的流程>
接下来，将参照图18中的流程图来描述在图13的步骤s141中执行的比特流解码处理的流程的示例。
当比特流解码处理开始时，在步骤s201中，分隔符分析单元362在比特流中检测分隔符。
在步骤s202中，分隔符分析单元362分析在步骤s161中检测到的分隔符以生成划分信息。
在步骤s203中，解复用器361基于分隔符将比特流划分为每个子比特流。
在步骤s204中，2d图像解码单元371解码每个子比特流。
在步骤s205中，颜色格式逆转换单元372针对每个部分区域对通过步骤s204中的处理而获得的部分2d图像数据的颜色格式执行逆转换。
在步骤s206中，3d映射单元373将逆转换之后的部分2d图像数据映射到3d空间上以生成部分信号序列(3d数据)。
在步骤s207中，空间区域合成单元364基于划分信息合成在步骤s206中获得的部分信号序列以便合成在3d空间中的编码侧处划分的各个部分区域。通过该处理生成一个3d数据片段。
在步骤s166中，一旦步骤s167中的处理结束，比特流解码处理结束，并且处理返回至图13。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<3.第二实施方式>
<属性信息的划分>
接下来，将描述执行在图5所示的表的从顶部起第二行(不包括项目名称行)中指示的“属性数据划分”(在最左列中具有“2”的行)的情况。
<编码装置>
同样在该情况下，由于编码装置的配置类似于在<2.第一实施方式>(图6)的情况中的配置，因此将省略编码装置的描述。
<编码单元>
图19是示出在该情况下的编码单元215的主要配置示例的框图。在该情况下，编码单元215将3d数据划分为指示点云中的每个点的位置的几何数据和指示关于该点云中的每个点的属性信息的属性数据以对划分的数据进行编码，并且生成3d数据的多个划分的比特流。如图19所示，在该情况下的编码单元215包括信息划分单元391、几何编码单元392、属性编码单元393、分隔符生成单元394和复用器395。
信息划分单元391将作为3d数据的信号序列(例如，八叉树数据)划分为指示点云中的每个点的位置的几何数据和指示该点云中的每个点的属性信息的属性数据。
信息划分单元391将所划分的几何数据提供给几何编码单元392。此外，信息划分单元391将所划分的属性数据提供给属性编码单元393。
此外，例如，信息划分单元391将关于信号序列(3d数据)的划分的信息，例如如何划分信号序列和在每个部分信号序列中包括什么信息作为划分信息提供给分隔符生成单元394。
几何编码单元392对几何数据进行编码以生成几何比特流，并且将所生成的几何比特流提供给复用器395。类似地，属性编码单元393对属性数据进行编码以生成属性比特流，并且将所生成的属性比特流提供给复用器395。
注意，类似于第一实施方式的部分区域编码单元332，几何编码单元392和属性编码单元393分别将3d数据映射到二维空间上、变换颜色格式，并且利用2d数据的编码技术执行编码。
分隔符生成单元394是基本上类似于第一实施方式的分隔符生成单元275(图8)的处理单元，并且具有类似的配置并且执行类似的处理。例如，分隔符生成单元394生成具有唯一比特模式的分隔符。此外，例如，分隔符生成单元394将从信息划分单元391提供的划分信息中包括的信息放入分隔符中。分隔符生成单元394将所生成的分隔符提供给复用器395。
复用器395对从几何编码单元392提供的几何比特流、从属性编码单元393提供的属性比特流和从分隔符生成单元394提供的分隔符进行复用，并且生成一个比特流。此时，如参照图3所述，复用器395串联连接各个子比特流，并且将分隔符布置在子比特流之间的接合点的位置处。在不同方面，复用器395串联连接各个子比特流使得分隔符被夹在各个子比特流之间。
这样的信息划分单元391至复用器395可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，作为3d数据的信号序列被划分为多个片段并被编码。因此，类似于第一实施方式的情况，可以抑制用于编码3d数据的负荷的增加并且可以将处理量抑制到实际水平。即，由于可以以该方式满足标准的约束，因此几何编码单元392和属性编码单元393可以利用符合现有2d图像编码标准(例如，jpeg、hevc等)的编码技术来执行编码。因此，同样在该情况下，与从头开始开发用于3d数据的新的编码单元的情况相比，可以容易地开发编码单元215。
此外，同样在该情况下，如上所述，由于如在第一实施方式的情况下生成分隔符并将其嵌入比特流中，因此可以获得与第一实施方式的效果类似的效果。
注意，还可以针对每个属性划分并编码属性数据。例如，可以针对诸如颜色信息、法线信息和α通道(透明度)的每个属性划分属性数据，并且针对每个属性对属性数据进行编码。通过以该方式进行配置，可以提高编码中的并行度使得可以进一步抑制用于编码3d数据的负荷的增加。
<编码处理的流程>
同样在该情况下，基本上以与参照图9中的流程图描述的情况类似的流程执行编码处理。因此，将省略流程的描述。
<信号序列编码处理的流程>
接下来，将参照图20中的流程图来描述在图9中的步骤s105中执行的信号序列编码处理的流程的示例。
当信号序列编码处理开始时，在步骤s221中，信息划分单元391做划分到几何数据和属性数据。
在步骤s222中，几何编码单元392对所划分的几何数据进行编码。
在步骤s223中，属性编码单元393对所划分的属性数据进行编码。
在步骤s224中，分隔符生成单元394生成与步骤s222中生成的几何比特流对应的分隔符和与步骤s223中生成的属性比特流对应的分隔符。
在步骤s225中，复用器395对步骤s222中生成的几何比特流、步骤s223中生成的属性比特流和步骤s224中生成的分隔符进行复用以生成一个比特流。
一旦步骤s225中的处理结束，信号序列编码处理结束，并且处理返回至图9。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
由于在该情况下的解码装置与图11的情况类似，因此将省略对解码装置的描述。
<解码单元>
图21是示出在该情况下的解码单元301的主要配置示例的框图。在该情况下的解码单元301基于通过分析分隔符而获得的关于划分的比特流的属性的信息合成通过对多个划分的比特流中的每一个进行解码而获得指示点云中的每个点的位置的几何数据和指示关于该点云中的每个点的属性信息的属性数据。如图21所示，在该情况下的解码单元301包括解复用器411、分隔符分析单元412、几何解码单元413、属性解码单元414和信息合成单元415。
当获取输入至解码装置300的比特流时，解复用器411对所获取的比特流进行解复用以获得几何比特流和属性比特流。解复用器411将所获得的几何比特流提供给几何解码单元413。此外，解复用器411将所获得的属性比特流提供给属性解码单元414。
分隔符分析单元412执行与分隔符分析单元312的处理类似的处理。例如，分隔符分析单元412在提供给解复用器411的比特流中检测分隔符，并且向解复用器411通知检测结果。此外，分隔符分析单元412分析在检测到的分隔符中包括的信息，并且将该分析的信息作为划分信息提供给信息合成单元415。
几何解码单元413对所提供的几何比特流(划分的比特流)进行解码以生成几何数据，并且将所生成的几何数据提供给信息合成单元415。同时，属性解码单元414对所提供的属性比特流(划分的比特流)进行解码以生成属性数据，并且将所生成的属性数据提供给信息合成单元415。
注意，类似于第一实施方式的部分区域解码单元363，几何解码单元413和属性解码单元414中的每一个利用2d数据的解码技术对所划分的比特流进行解码、转换颜色格式，并且将2d数据映射到三维空间上。
信息合成单元415合成从几何解码单元413提供的几何数据和从属性解码单元414提供的属性数据以生成一个信号序列(3d数据，例如八叉树数据等)。此时，信息合成单元415基于从分隔符分析单元412提供的划分信息(即，关于划分的比特流的信息)执行上述合成。信息合成单元415将所生成的信号序列提供给解码单元301的外部(例如，立体像素数据生成部302等)。
注意，解复用器411至信息合成单元415可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，比特流被划分为多个片段并且被解码。因此，可以获得与第一实施方式的情况类似的效果。
此外，同样在该情况下，与第一实施方式的情况类似的分隔符被嵌入比特流中，并且解码单元301使用嵌入的分隔符执行解码处理。因此，可以获得与第一实施方式的效果类似的效果。
注意，还可以在编码侧处针对每个属性划分并编码属性数据。例如，可以针对诸如颜色信息、法线信息和α通道(透明度)的每个属性划分属性数据，并且针对每个属性对属性数据进行编码。
在那种情况下，解复用器411对比特流进行划分以将几何比特流提供给几何解码单元413并且将每个属性的属性比特流提供给属性解码单元414。几何解码单元413对几何比特流进行解码以生成几何数据，并且将所生成的几何数据提供给信息合成单元415。属性解码单元414针对每个属性对每个属性比特流进行解码以生成每个属性的属性数据，并且将所生成的属性数据提供给信息合成单元415。
信息合成单元415基于通过分隔符分析单元412分析分隔符而获得的关于属性的信息合成所提供的几何数据和每个属性的属性数据。通过以该方式进行配置，可以提高解码中的并行度使得可以进一步抑制用于解码3d数据的负荷的增加。
<解码处理的流程>
同样在该情况下，由于解码处理类似于参考图13中的流程图描述的情况，因此将省略解码处理的描述。
<比特流解码处理的流程>
接下来，将参照图22中的流程图来描述在图13中的步骤s141中执行的比特流解码处理的流程的示例。
当比特流解码处理开始时，在步骤s241中，分隔符分析单元362在比特流中检测分隔符。
在步骤s242中，分隔符分析单元412分析在步骤s241中检测到的分隔符以生成划分信息。
在步骤s243中，解复用器411基于分隔符将比特流划分为每个子比特流。即，做划分到几何比特流和属性比特流。
在步骤s244中，几何解码单元413对几何比特流进行解码。
在步骤s245中，属性解码单元414对属性比特流进行解码。
在步骤s246中，信息合成单元415基于划分信息合成几何数据和属性数据以生成信号序列。
一旦在步骤s246中的处理结束，比特流解码处理结束，并且处理返回至图13。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并且被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<4.第三实施方式>
<属性信息的划分>
接下来，将描述执行在图5中所示的表的从顶部起第三行(不包括项目名称行)中指示的“空间分辨率之间的划分”(在最左列中具有“3”的行)的情况。
<编码装置>
同样在该情况下，由于编码装置的配置类似于在<2.第一实施方式>(图6)的情况中的配置，因此将省略编码装置的描述。
<编码单元>
图23是示出在该情况下的编码单元215的主要配置示例的框图。在该情况下，编码单元215根据分辨率划分并编码3d数据，并且生成多个划分的比特流。此外，3d数据可以根据分辨率被分层使得编码单元215针对3d数据的每个层级划分并编码3d数据以生成3d数据的多个划分的比特流。此外，3d数据可以是例如具有八叉树结构的八叉树数据。
如图23所示，在该情况下的编码单元215包括层级划分单元431、lod2编码单元432、lod1编码单元433、lod0编码单元434、分隔符生成单元435和复用器436。
层级划分单元431针对3d数据的每个层级划分作为经分层的3d数据的信号序列(例如，八叉树数据)，并且生成每个层级的信号序列(信号序列(lod2)、信号序列(lod1)和信号序列(lod0))。层级划分单元431将所生成的信号序列(lod2)提供给lod2编码单元432，将所生成的信号序列(lod1)提供给lod1编码单元433，并且将所生成的信号序列(lod0)提供给lod0编码单元434。
此外，例如，层级划分单元431将关于信号序列(3d数据)的划分的信息，例如如何划分信号序列和在每个部分信号序列中包括什么信息作为划分信息提供给分隔符生成单元435。
lod2编码单元432在lod2处对信号序列(lod2)进行编码以生成作为划分的比特流的lod2比特流，并且将所生成的lod2比特流提供给复用器436。类似地，属性编码单元393对属性数据进行编码以生成属性比特流，并且将所生成的属性比特流提供给复用器395。注意，类似于第一实施方式的部分区域编码单元332，lod2编码单元432将3d数据(信号序列(lod2))映射到二维空间上、变换颜色格式，并且利用2d数据的编码技术执行编码。
lod1编码单元433和lod0编码单元434还分别对每个层级的信号序列执行与lod2编码单元432的处理类似的处理。
类似于第一实施方式的分隔符生成单元275(图8)等，分隔符生成单元435生成具有唯一比特模式的分隔符，以将从层级划分单元431提供的划分信息中包括的信息放入所生成的分隔符中，并且将具有信息的分隔符提供给复用器436。
复用器436对从lod2编码单元432提供的lod2比特流、从lod1编码单元433提供的lod1比特流、从lod0编码单元434提供的lod0比特流以及从分隔符生成单元435提供的分隔符进行复用，并且生成并输出一个比特流。此时，如参照图3所述，复用器436串联连接各个子比特流，并且将分隔符布置在子比特流之间的接合点的位置处。在不同方面，复用器436串联连接各个子比特流使得分隔符被夹在各个子比特流之间。
这样的层级划分单元431至复用器436可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，作为3d数据的信号序列被划分为多个片段并被编码。因此，在该情况下的编码单元215也可以获得与第一实施方式的情况类似的效果。
此外，同样在该情况下，如上所述，由于如第一实施方式的情况下生成分隔符并将其嵌入比特流中，因此可以获得与第一实施方式的效果类似的效果。
注意，在上文中，八叉树数据的层级的数目已经被描述为三(lod0至lod2)；然而，层级的数目是任意的，并且可以是两个或更少，或者四个或更多。此外，层级划分单元431可以将信号序列划分为任意数目。该划分数目可以与信号序列的层级数目相同，或者可以小于层级数目。此外，可以提供任意数目的编码单元，例如lod2编码单元432至lod0编码单元434。例如，编码单元的数目可以与信号序列的划分数目相同，或者可以大于或小于划分数目。当编码单元的数目小于划分的数目时，仅需要通过时间划分等在一个编码单元中处理多个信号序列。
此外，在上文中，所提供的信号序列(3d数据)已经被描述为具有层级化结构；然而，层级化不限于该示例，并且还可以提供转换信号序列的分辨率以分层信号序列的分辨率转换单元。即，可以提供不具有层级化结构的信号序列使得分辨率转换单元对所提供的信号序列的分辨率进行转换(例如，通过执行下采样等)以分层信号序列，并且编码单元215针对每个层级划分并且编码已经转换分辨率的经分层的信号序列，并且生成多个划分的比特流。
通过该方式进行配置，即使是非层级化信号序列，也可以如上所述执行处理。因此，可以获得与第一实施方式的效果类似的效果。
<编码处理的流程>
同样在该情况下，基本上以与参照图9中的流程图描述的情况类似的流程执行编码处理。因此，将省略流程的描述。
<信号序列编码处理的流程>
接下来，将参照图24的流程图描述在图9中的步骤s105中执行在该情况下的信号序列编码处理的流程的示例。
当信号序列编码处理开始时，在步骤s261中，层级划分单元431针对每个层级(针对每个分辨率)划分信号序列。
在步骤s262中，lod2编码单元432至lod0编码单元434对各个层级(各个分辨率)的信号序列进行编码。
在步骤s263中，分隔符生成单元435生成与每个层级(每个分辨率)的比特流对应的分隔符。
在步骤s264中，复用器436复用各个层级(各个分辨率)的比特流和分隔符。
一旦步骤s264中的处理结束，信号序列编码处理结束，并且处理返回至图9。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
由于在该情况下的解码装置与图11的情况类似，因此将省略对解码装置的描述。
<解码单元>
图25是示出在该情况下的解码单元301的主要配置示例的框图。在该情况下的解码单元301基于与通过分析分隔符而获得的划分比特流对应关于分辨率的信息合成通过对多个划分的比特流中的每一个进行解码而获得的多个划分的数据片段。如图25所示，在该情况下的解码单元301包括解复用器451、分隔符分析单元452、lod2解码单元453、lod1解码单元454、lod0解码单元455和层级合成单元456。
当获取输入至解码装置300的比特流时，解复用器451对所获取的比特流进行解复用以获得每个层级的比特流(lod2比特流、lod1比特流和lod0比特流)。解复用器451将所获得的每个层级的比特流提供给与每个层级对应的解码单元(lod2解码单元453至lod0解码单元455)。
分隔符分析单元452执行与分隔符分析单元312的处理类似的处理。例如，分隔符分析单元452在提供给解复用器451的比特流中检测分隔符，并且向解复用器451通知检测结果。此外，分隔符分析单元452分析在检测到的分隔符中包括的信息，并且将该分析的信息作为划分信息提供给信息合成单元456。
lod2解码单元453对所提供的lod2比特流(划分的比特流)进行解码以生成信号序列(lod2)，并且将所生成的信号序列提供给层级合成单元456。注意，类似于第一实施方式的部分区域解码单元363，lod2解码单元453利用2d数据的解码技术对划分的比特流进行解码，转换颜色格式，并且将2d数据映射到三维空间上。
lod1解码单元454和lod0解码单元455还分别对每个层级的比特流执行与lod2解码单元453的处理类似的处理。
层级合成单元456合成从lod2解码单元453提供的信号序列(lod2)、从lod1解码单元454提供的信号序列(lod1)和从lod0解码单元455提供的信号序列(lod0)，并且生成一个信号序列(3d数据，例如，八叉树数据等)。此时，层级合成单元456基于从分隔符分析单元452提供的划分信息(即，关于划分的比特流的信息)执行上述合成。层级合成单元456将所生成的信号序列提供给解码单元301的外部(例如，立体像素数据生成单元302等)。
注意，解复用器451至层级合成单元456可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，比特流被划分为多个片段并被解码。因此，可以获得与第一实施方式的情况类似的效果。
此外，同样在该情况下，与第一实施方式的情况类似的分隔符被嵌入比特流中，并且解码单元301使用嵌入的分隔符执行解码处理。因此，可以获得与第一实施方式的效果类似的效果。
注意，如针对编码侧所述，八叉树数据的层级数目是任意的。此外，通过解码器451进行的划分的数目(比特流的复用数目)也是任意的。此外，可以提供任意数目的解码单元，例如lod2解码单元453至lod0解码单元455。当解码单元的数目小于划分的数目时，仅需要通过时间划分等在一个解码单元中处理多个比特流。
<解码处理的流程>
同样在该情况下，由于解码处理类似于参照图13中的流程图描述的情况，因此将省略解码处理的描述。
<比特流解码处理的流程>
接下来，将参照图26中的流程图描述在图13中的步骤s141中执行的比特流解码处理的流程的示例。
当比特流解码处理开始时，在步骤s281中，分隔符分析单元452在比特流中检测分隔符。
在步骤s282中，分隔符分析单元452分析在步骤s281中检测到的分隔符以生成划分信息。
在步骤s283中，解复用器451基于分隔符将比特流划分为每个子比特流。即，做划分到每个层级(每个分辨率)的比特流。
在步骤s284中，lod2解码单元453至lod0解码单元455对各个层级(各个分辨率)的比特流进行解码以生成各个层级(各个分辨率)的信号序列。
在步骤s285中，层级合成单元456基于划分信息合成在步骤s284中生成的各个层级(各个分辨率)的信号序列以生成一个信号序列。
一旦步骤s285的处理结束，比特流解码处理结束，并且处理返回至图13。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<实施方式的组合>
在上述各个实施方式中描述的各个方法可以适当地彼此组合使用。组合这些方法的方式是任意的。
<编码单元>
图27是示出当组合上述“空间区域的划分”、“属性信息的划分”和“空间分辨率之间的划分”时编码单元215的主要配置示例的框图。在该情况下，编码单元215具有如图27所示的块。
输入信号序列由层级划分单元479针对每个层级来划分。通过空间区域划分单元476-1和空间区域划分单元476-2将每个层级的信号序列划分为两个相应区域的信号序列。此外，通过信息划分单元471-1至信息划分单元471-4将各个层级和各个区域的信号序列分别划分为几何数据和属性数据。
注意，在下文中，当为了说明而不必将空间区域划分单元476-1和476-2彼此区分开来时，空间区域划分单元476-1和476-2将被称为空间区域划分单元476。同样地，当为了说明而不必将信息划分单元471-1和471-4彼此区分开来时，信息划分单元471-1和471-4将被称为信息划分单元471。
几何编码单元472-1至几何编码单元472-4对几何数据进行编码以生成各个层级和部分区域的几何比特流。属性编码单元473-1至属性编码单元473-4对属性数据进行编码以生成用于各个层级和部分区域的属性比特流。
注意，在下文中，当为了说明而不必将几何编码单元472-1和472-4彼此区分开来时，几何编码单元472-1和472-4将被称为几何编码单元472。同样地，当为了说明而不必将属性编码单元473-1和473-4彼此区分开来时，属性编码单元473-1和473-4将被称为属性编码单元473。
此外，分隔符生成单元480从层级划分单元479获取划分信息，并且生成与每个层级的比特流对应的分隔符。此外，分隔符生成单元477-1和分隔符生成单元477-2生成与各个层级中的各个部分区域的比特流对应的分隔符。此外，分隔符生成单元474-1至分隔符生成单元474-4生成与几何比特流对应的分隔符和与各个层级和部分区域中的属性比特流对应的分隔符。
注意，在下文中，当为了说明而不必将分隔符生成单元474-1和474-4彼此区分开来时，分隔符生成单元474-1和474-4将被称为分隔符生成单元474。此外，当为了说明而不必将分隔符生成单元477-1和477-2彼此区分开来时，分隔符生成单元477-1和477-2将被称为分隔符生成单元477。
复用器475-1至复用器475-4分别对每个层级和部分区域中的几何比特流、属性比特流以及分隔符进行复用以生成一个比特流。复用器478-1和复用器478-2分别对各个层级的每个部分区域中的比特流和分隔符进行复用以生成一个比特流。复用器481对各个层级的比特流和分隔符进行复用以生成一个比特流。
注意，在下文中，当为了说明而不必将复用器475-1和475-4彼此区分开来时，复用器475-1和475-4将被称为复用器475。同样地，当为了说明而不必将复用器478-1和478-2彼此区分开来时，复用器478-1和478-2将被称为复用器478。
如上所述，通过以层级化方式组合每个层级的划分、每个部分区域的划分、每种类型的信息的划分，可以容易地增加划分数目，并且还可以抑制编码负荷的增加。
注意，组合的序列是任意的并且不限于上述示例。此外，组合的数目、每种方法中划分的数目等也是任意的。
<编码处理的流程>
同样在该情况下，基本上以与参照图9中的流程图描述的情况类似的流程执行编码处理。因此，将省略流程的描述。
<信号序列编码处理的流程>
接下来，将参照图28和图29中的流程图描述在图9中的步骤s105中执行的信号序列编码处理的流程的示例。
当信号序列编码处理开始时，在步骤s301中，层级划分单元479针对每个分辨率划分信号序列。
在步骤s302中，空间区域划分单元476选择层级作为处理目标。
在步骤s303中，空间区域划分单元476在处理目标层级中划分3d空间中的区域。
在步骤s304中，信息划分单元471选择部分区域作为处理目标。
在步骤s305中，信息划分单元471在处理对象层级和部分区域中将信号序列划分为几何数据和属性数据。
在步骤s306中，几何编码单元472对几何数据进行编码以生成几何比特流。
在步骤s307中，属性编码单元473对属性数据进行编码以生成属性比特流。
在步骤s308中，分隔符生成单元474生成与步骤s306中生成的几何比特流对应的信息分隔符和与步骤s307中生成的属性比特流对应的信息分隔符。
在步骤s309中，复用器475对步骤s306中生成的几何比特流、步骤s307中生成的属性比特流和步骤s308中生成的各个信息分隔符进行复用以生成一个比特流。
一旦步骤s309中的处理结束，则处理进行到图29中的步骤s311。
在图29中的步骤s311中，信息划分单元471确定是否已经处理所有部分区域。当确定存在未处理的部分区域时，处理返回至图28中的步骤s304。在步骤s304中，新的部分区域被选择为处理目标，并且执行随后的处理。即，针对每个部分区域执行步骤s304至步骤s311中的各个处理。
然后，当图29中的步骤s311中确定已经处理了所有部分区域时，处理进行到步骤s312。
在步骤s312中，分隔符生成单元477在处理目标层级中生成与图28中的步骤s309中生成的每个子比特流对应的区域分隔符。
在步骤s313中，复用器478对步骤s309中生成的各个子比特流和步骤s312中生成的各个区域分隔符进行复用以生成一个比特流。
在步骤s314中，空间区域划分单元476确定是否已经处理所有层级。当确定存在未处理的层级时，处理返回至图28中的步骤s302。在步骤s302中，新的层级被选择为处理目标，并且执行随后的处理。即，针对每个层级执行步骤s302至步骤s314中的各个处理。
然后，在图29中的步骤s314中确定已经处理所有层级时，处理进行到步骤s315。
在步骤s315中，分隔符生成单元480生成与步骤s313中生成的每个层级(每个分辨率)的比特流对应的层级分隔符。
在步骤s316中，复用器481对步骤s313中生成的各个层级(各个分辨率)的比特流和步骤s315中生成的各个层级分隔符进行复用以生成一个比特流。
一旦步骤s316中的处理结束，信号序列编码处理结束，并且处理返回至图9。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
由于在该情况下的解码装置与图11的情况类似，因此将省略对解码装置的描述。
<解码单元>
图30是示出当组合上述“空间区域的划分”、“属性信息的划分”和“空间分辨率之间的划分”时解码单元301的主要配置示例的框图。在该情况下，解码单元301具有如图30所示的块。
输入比特流被解复用器519解复用并被划分为各个层级的比特流。各个层级的比特流被解复用器516-1和解复用器516-2解复用并被划分为两个区域的比特流。此外，各个层级和各个区域的比特流分别被解复用器511-1至解复用器511-4划分为几何比特流和属性比特流。
注意，在下文中，当为了说明而不必将解复用器516-1和516-2彼此区分开来时，解复用器516-1和516-2将被称为解复用器516。同样地，当为了说明而不必将解复用器511-1至511-4彼此区分开来时，解复用器511-1至511-4将被称为解复用器511。
几何解码单元513-1至几何解码单元513-4对几何比特流进行解码，并且生成各个层级和部分区域的几何比特流。属性解码单元514-1至属性解码单元514-4对属性比特流进行解码，并且生成各个层级和部分区域的属性数据。
注意，在下文中，当为了说明而不必将几何解码单元513-1至513-4彼此区分开来时，几何解码单元513-1和513-4将被称为几何解码单元513。同样地，当为了说明而不必将属性解码单元514-1至514-4彼此区分开来时，属性解码单元514-1至514-4将被称为属性解码单元514。
此外，分隔符分析单元520从比特流中检测层级分隔符以分析检测到的层级分隔符，并且获得层级划分信息。此外，分隔符分析单元517-1和分隔符分析单元517-2从各个层级中的各个部分区域的比特流中检测区域分隔符以分析所检测到的区域分隔符，并且获得区域划分信息。此外，分隔符分析单元512-1至分隔符分析单元512-4从各个层级和部分区域的比特流中检测信息分隔符以分析所检测到的信息分隔符，并且获得信息划分信息。
注意，在下文中，当为了说明而不必将分隔符生成单元512-1至512-4彼此区分开来时，分隔符分析单元512-1至512-4将被称为分隔符分析单元512。同样地，当为了说明而不必将分隔符分析单元517-1和517-2彼此区分开来时，分隔符分析单元517-1和517-2将被称为分隔符分析单元517。
信息合成单元515-1至信息合成单元515-4分别基于每个层级和部分区域中的信息划分信息来合成几何数据和属性数据以生成一个信号序列。空间区域合成单元518-1和空间区域合成单元518-2分别基于每个层级中的区域划分信息来合成各个部分区域的信号序列以生成一个信号序列。层级合成单元521基于层级划分信息合成各个层级的信号序列以生成一个信号序列。
注意，在下文中，当为了说明而不必将信息合成单元515-1至515-4彼此区分开来时，信息合成单元515-1至515-4将被称为信息合成单元515。同样地，在下文中，当为了说明而不必将空间区域合成单元518-1和518-2彼此区分开来时，空间区域合成单元518-1和518-2将被称为空间区域合成单元518。
如上所述，通过以层级化方式组合每个层级的划分、每个部分区域的划分和每种类型的信息的划分，可以容易地增加划分数目，并且还可以抑制用于解码的负荷的增加。
注意，组合的序列是任意的并且不限于上述示例。此外，组合的数目、每种方法中划分的数目等也是任意的。
<解码处理的流程>
同样在该情况下，基本上以与参照图13中的流程图描述的情况类似的流程执行解码处理。因此，将省略流程的描述。
<比特流解码处理的流程>
接下来，将参照图31和图32的流程图来描述在图13中的步骤s141中执行的比特流解码处理的流程的示例。
当比特流解码处理开始时，在步骤s331中，分隔符分析单元520在输入比特流中检测分隔符。
在步骤s332中，分隔符分析单元520分析步骤s331中检测到的层级分隔符以生成层级划分信息。
在步骤s333中，解复用器519基于层级分隔符划分每个分辨率的比特流。
在步骤s334中，解复用器516选择层级作为处理目标。
在步骤s335中，分隔符分析单元517在处理目标层级的比特流中检测区域分隔符。
在步骤s336中，分隔符分析单元517生成通过分析检测到的区域分隔符而获得的区域划分信息。
在步骤s337中，解复用器516基于区域分隔符划分每个部分区域的比特流。
在步骤s338中，解复用器511选择部分区域作为处理目标。
在步骤s339中，分隔符分析单元512检测信息分隔符。
一旦步骤s339中的处理结束，处理进行到图32中的步骤s341。
在图32中的步骤s341中，分隔符分析单元512分析信息分隔符以生成信息划分信息。
在步骤s342中，解复用器511基于信息分隔符划分每种类型的信息的比特流。
在步骤s343中，几何解码单元513对每个层级和每个部分区域中的几何比特流进行解码以生成几何数据。
在步骤s344中，属性解码单元514对处理目标层级和部分区域中的属性比特流进行解码以生成属性数据。
在步骤s345中，信息合成单元515基于信息划分信息在处理目标层级和部分区域中合成几何数据和属性数据以生成处理目标部分区域的信号序列。
在步骤s346中，解复用器511确定是否已经处理所有部分区域。
当确定存在未处理的部分区域时，处理返回至图31中的步骤s338。在步骤s338中，新的部分区域被选择为处理目标，并且执行随后的处理。即，针对每个部分区域执行步骤s338至步骤s346中的各个处理。
然后，当在步骤s346中确定已经处理所有区域时，处理进行到步骤s347。
在步骤s347中，空间区域合成单元518基于区域划分信息合成各个部分区域的信号序列以生成处理目标层级的信号序列。
在步骤s348中，解复用器519确定是否已经处理所有层级。当确定存在未处理的层级时，处理返回至图31中的步骤s334。在步骤s334中，新的层级被选择为处理目标，并且执行随后的处理。即，针对每个部分区域执行步骤s334至步骤s348中的各个处理。
在步骤s349中，层级合成单元521基于层级划分信息合成各个层级的信号序列以生成信号序列。
一旦步骤s349的处理结束，比特流解码处理结束，并且处理返回至图13。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<5.第四实施方式>
<按时间方向划分>
接下来，将描述执行在图5中所示的表的从顶部起第四行(不包括项目名称行)中指示的“按时间方向划分”(在最左列中具有“4”的行)的情况。
<编码装置>
同样在该情况下，由于编码装置的配置类似于在<2.第一实施方式>(图6)的情况中的配置，因此将省略编码装置的描述。
<编码单元>
图33是示出在该情况下的编码单元215的主要配置示例的框图。在该情况下，编码单元215被配置成将由多个帧组成的3d数据划分为每个帧以对所划分的3d数据进行编码，并且生成多个划分的比特流。
如图33所示，在该情况下的编码单元215包括帧划分单元541、帧编码单元542-1、帧编码单元542-2、分隔符生成单元543和复用器544。
帧划分单元541将由多个帧构成的信号序列(例如，八叉树数据)(即，运动图像的信号序列)划分为每一个帧以生成帧单位信号序列。帧划分单元541将各个帧单元信号序列提供给帧编码单元542-1和542-2。当为了说明而不必将帧编码单元542-1和542-2彼此区分开来时，帧编码单元542-1和542-2将被称为帧编码单元542。
此外，例如，帧划分单元541将关于信号序列(3d数据)的划分的信息，例如如何划分信号序列和在每个部分信号序列中包括什么信息作为划分信息提供给分隔符生成单元543。
帧编码单元542对帧单位信号序列进行编码以生成子比特流(划分的比特流)，并且将所生成的子比特流提供给复用器544。与第一实施方式的部分区域编码单元332类似地，帧编码单元542将3d数据(帧单位信号序列)映射到二维空间上、转换颜色格式，并且利用2d数据的编码技术执行编码。注意，在图33中，示出了两个帧编码单元542，但是帧解码单元542的数目是任意的。
类似于第一实施方式的分隔符生成单元275(图8)等，分隔符生成单元543生成具有唯一比特模式的分隔符以将从帧划分单元541提供的划分信息中包括的信息放入所生成的分隔符中，并且将具有信息的分隔符提供给复用器544。
复用器544对从帧编码单元542提供的各个帧的子比特流和从分隔符生成单元543提供的各个帧的分隔符进行复用以生成并且输出一个比特流。此时，如参照图3所述，复用器544串联连接各个子比特流，并且将分隔符布置在子比特流之间的接合点的位置处。在不同方面，复用器544串联连接各个子比特流使得分隔符被夹在各个子比特流之间。
这样的帧划分单元541至复用器544可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，作为3d数据的信号序列被划分为每个帧并被编码。因此，在该情况下的编码单元215也可以获得与第一实施方式的情况类似的效果。
此外，同样在该情况下，如上所述，由于如第一实施方式的情况下生成分隔符并将其嵌入比特流中，因此可以获得与第一实施方式的效果类似的效果。
<编码处理的流程>
同样在该情况下，基本上以与参照图9中的流程图描述的情况类似的流程执行编码处理。因此，将省略流程的描述。
<信号序列编码处理的流程>
接下来，将参照图34中的流程图描述在图9中的步骤s105中执行的在该情况下的信号序列编码处理的流程的示例。
当信号序列编码处理开始时，在步骤s361中，帧划分单元541将信号序列划分为每个帧。
在步骤s362中，帧编码单元542对每个帧的信号序列进行编码。
在步骤s363，分隔符生成单元543生成与每个子比特流对应的分隔符。
在步骤s364中，复用器544对各个子比特流和分隔符进行复用。
一旦在步骤s364中的处理结束，信号序列编码处理结束，并且处理返回至图9。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
由于在该情况下的解码装置与图11的情况类似，因此将省略对解码装置的描述。
<解码单元>
图35是示出在该情况下的解码单元301的主要配置示例的框图。在该情况下的解码单元301基于与通过分析分隔符而获得的关于划分比特流对应的帧的时间的信息来合成通过对多个划分的比特流中的每一个进行解码而获得的多个划分的数据片段。如图35所示，在该情况下的解码单元301包括解复用器551、分隔符分析单元552、帧解码单元553-1、帧解码单元553-2和帧合成单元554。
当获取输入至解码装置300的比特流时，解复用器551对所获取的比特流进行解复用以获得每个帧的比特流(子比特流)。解复用器551将所获得的各个子比特流提供给帧解码单元553-1和553-2。当为了说明而不必将帧解码单元553-1和553-2彼此区分开来时，帧解码单元553-1和553-2将被称为帧解码单元553。
分隔符分析单元552执行与分隔符分析单元312的处理类似的处理。例如，分隔符分析单元552在提供给解复用器551的比特流中检测分隔符，并且向解复用器551通知检测结果。此外，分隔符分析单元552分析在检测到的分隔符中包括的信息，并且将该分析的信息作为划分信息提供给帧合成单元554。
帧解码单元553对所提供的子比特流(划分的比特流)进行解码以生成帧单位信号序列(例如，八叉树数据)，并且将所生成的帧单位信号序列提供给帧合成单元554。注意，类似于第一实施方式的部分区域解码单元363，帧解码单元553利用2d数据的解码技术对所划分的比特流进行解码，转换颜色格式，并且将2d数据映射到三维空间上。
在图35中，示出了两个帧解码单元553，但是帧解码单元553的数目是任意的。帧解码单元553的数目可以是单个或三个或更多个。
帧合成单元554合成从各个帧解码单元553提供的帧单位信号序列以生成一个信号序列(3d数据，例如八叉树数据等)。此时，帧合成单元554基于从分隔符分析单元552提供的划分信息(即，关于划分的比特流的信息)执行上述合成。帧合成单元554将所生成的信号序列提供给解码单元301的外部(例如，立体像素数据生成单元302)。
注意，解复用器551至帧合成单元554可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，比特流被划分为多个片段并被解码。因此，可以获得与第一实施方式的情况类似的效果。
此外，同样在该情况下，与第一实施方式的情况类似的分隔符被嵌入比特流中，并且解码单元301使用嵌入的分隔符执行解码处理。因此，可以获得与第一实施方式的效果类似的效果。
<解码处理的流程>
同样在该情况下，由于解码处理类似于参考图13中的流程图描述的情况，因此将省略解码处理的描述。
<比特流解码处理的流程>
接下来，将参照图35中的流程图来描述在图13中的步骤s141中执行的比特流解码处理的流程的示例。
当比特流解码处理开始时，在步骤s381中，分隔符分析单元552在比特流中检测分隔符。
在步骤s382中，分隔符分析单元552分析在步骤s381中检测到的分隔符以生成划分信息。
在步骤s383中，解复用器551基于分隔符将比特流划分为每个子比特流。即，做划分到每个帧的比特流。
在步骤s384中，帧解码单元553对每个帧的比特流进行解码以生成帧单位信号序列。
在步骤s385中，帧合成单元554基于划分信息按再现顺序合成在步骤s384中生成的帧单位信号序列以生成一个信号序列。
一旦步骤s385中的处理结束，比特流解码处理结束，并且处理返回至图13。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<6.第五实施方式>
<网格纹理>
在上文中，已经描述了将本技术应用于点云数据的处理的情况；然而，本技术可以应用于任意3d数据。例如，本技术可以应用于由顶点、边和面构成并且使用多边形表示来定义三维形状的网格数据的处理。
接下来，将描述执行在图5所示的表的从顶部起第六行(不包括项目名称行)中指示的“网格纹理数据”(在最左列中具有“6”的行)的情况。
<编码装置>
图37是作为应用本技术的信息处理装置的实施方式的编码装置的主要配置示例的框图。图37中示出的编码装置600对作为编码目标输入的网格数据进行编码，并且生成网格数据的比特流。此时，编码装置600通过如上所述应用本技术的方法来执行该编码。
编码装置600将3d数据划分为包括关于三维结构的顶点的信息的顶点数据、包括关于这些顶点的连接的信息的连接数据以及包括关于三维结构的纹理的信息的纹理数据以对所划分的3d数据进行编码，并且生成多个划分的比特流。如图6所示，编码装置600包括信息划分单元611、顶点数据编码单元612、连接数据编码单元613、纹理数据编码单元614、分隔符生成单元615和复用器616。
信息划分单元611针对关于网格数据的每种类型的信息划分所提供的网格数据以将数据划分为顶点数据(顶点数据)、连接数据(面数据)和纹理数据(纹理数据)。信息划分单元611将顶点数据提供给顶点数据编码单元612。此外，信息划分单元611将连接数据提供给连接数据编码单元613。此外，信息划分单元611将纹理数据提供给纹理数据编码单元614。
此外，例如，信息划分单元611将关于信号序列(3d数据)的划分的信息，例如如何划分信号序列和在每个部分信号序列中包括什么信息作为划分信息提供给分隔符生成单元615。
顶点数据编码单元612对顶点数据进行编码以生成顶点数据比特流(划分的比特流)，并且将所生成的顶点数据比特流提供给复用器616。类似于第一实施方式的部分区域编码单元332，顶点数据编码单元612将3d数据(帧单位信号序列)映射到二维空间上、转换颜色格式，并且利用2d数据的编码技术执行编码。
连接数据编码单元613和纹理数据编码单元614以与顶点数据编码单元612类似的方式对各个单位的数据(连接数据或纹理数据)执行处理。即，连接数据编码单元613编码连接数据并且将连接数据比特流提供给复用器616。此外，纹理数据编码单元614对纹理数据进行编码并且将纹理数据比特流提供给复用器616。
类似于第一实施方式的分隔符生成单元275(图8)等，分隔符生成单元615生成具有唯一比特模式的分隔符，以将从信息划分单元611提供的划分信息中包括的信息放入所生成的分隔符中，并且将具有信息的分隔符提供给复用器616。
复用器616对从顶点数据编码单元612提供的顶点数据比特流、从连接数据编码单元613提供的连接数据比特流、从纹理数据编码单元614提供的纹理数据比特流以及从分隔符生成单元615提供的分隔符进行复用，并且生成并输出一个比特流。此时，如参照图3所述，复用器616串联连接各个子比特流，并且将分隔符布置在子比特流之间的接合点的位置处。在不同方面，复用器616串联连接各个子比特流使得分隔符被夹在各个子比特流之间。
注意，纹理数据可以进一步被划分为每个分量并被编码。例如，当包括如图38的a中所示的纹理的3d数据被映射到二维空间上时，如图38的b中所示，针对纹理数据的每个分量展开纹理数据。因此，纹理数据可以进一步被划分并以纹理数据的分量为单位被编码。通过以该方式进行配置，编码和解码处理中的并行度提高，使得可以抑制用于编码和解码3d数据的负荷的增加。
<编码处理的流程>
将参照图39中的流程图来描述由编码装置600进行的解码处理的流程的示例。
当编码处理开始时，在步骤s401中，解复用器661将网格数据划分为顶点数据、连接数据和纹理数据。
在步骤s402中，顶点数据编码单元612对顶点数据进行编码。
在步骤s403中，连接数据编码单元613对连接数据进行编码。
在步骤s404中，纹理数据编码单元614对纹理数据进行编码。
在步骤s405中，分隔符生成单元615生成对应于顶点数据比特流的分隔符、对应于连接数据比特流的分隔符和对应于纹理数据比特流的分隔符。
在步骤s406中，复用器616对顶点数据比特流、连接数据比特流、纹理数据比特流和分隔符进行复用。
一旦步骤s406中的处理结束，编码处理结束。
通过执行如上所述的每个处理，3d数据可以被划分为多个片段并被编码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码装置>
图40是作为应用本技术的信息处理装置的实施方式的解码装置的主要配置示例的框图。图40中所示的解码装置650是与图37中的编码装置600对应的解码装置，并且例如，解码装置650对由该编码装置600生成的网格编码数据进行解码，并且恢复网格数据。
解码装置650基于通过分析分隔符而获得的关于信息类型的信息合成通过对多个划分的比特流中的每一个进行解码而获得的包括关于多个划分的比特流的三维结构的顶点的信息的顶点数据、包括关于这些顶点的连接的信息的连接数据和包括关于该三维结构的纹理的信息的纹理数据。如图40所示，在该情况下的解码装置650包括解复用器661、分隔符分析单元662、顶点数据解码单元663、连接数据解码单元664、纹理数据解码单元665和信息合成单元666。
当获取输入到解码装置650的比特流时，解复用器661解复用输入的比特流，并且将解复用的比特流划分为顶点数据比特流、连接数据比特流和纹理数据比特流以分别提供给顶点数据解码单元663、连接数据解码单元664和纹理数据解码单元665。
分隔符分析单元662在提供给解复用器661的比特流中检测分隔符，并且向解复用器661通知检测结果。此外，分隔符分析单元662分析在检测到的分隔符中包括的信息，并且将该分析的信息作为划分信息提供给信息合成单元666。
顶点数据解码单元663对所提供的顶点数据比特流(划分的比特流)进行解码以生成顶点数据，并且将所生成的顶点数据提供给信息合成单元666。注意，类似于第一实施方式的部分区域解码单元363，顶点数据解码单元663利用2d数据的解码技术对所划分的比特流进行解码、转换颜色格式，并且将2d数据映射到三维空间上。
连接数据解码单元664对所提供的连接数据比特流(划分的比特流)进行解码以生成连接数据，并且将所生成的连接数据提供给信息合成单元666。注意，类似于第一实施方式的部分区域解码单元363，连接数据解码单元664利用2d数据的解码技术对所划分的比特流进行解码、转换颜色格式，并且将2d数据映射到三维空间上。
纹理数据解码单元665对所提供的纹理数据比特流(划分的比特流)进行解码以生成纹理数据，并且将所生成的纹理数据提供给信息合成单元666。注意，类似于第一实施方式的部分区域解码单元363，纹理数据解码单元665利用2d数据的解码技术对所划分的比特流进行解码、转换颜色格式，并且将2d数据映射到三维空间上。
信息合成单元666合成从顶点数据解码单元663提供的顶点数据、从连接数据解码单元664提供的连接数据和从纹理数据解码单元665提供的纹理数据以生成一个信号序列(3d数据，例如网格数据等)。此时，信息合成单元666基于从分隔符分析单元662提供的划分信息(即，关于划分的比特流的信息)执行上述合成。信息合成单元666将所生成的信号序列提供给解码装置650的外部。
注意，解复用器661至信息合成单元666可以具有任何配置；例如，这些单元各自可以包括cpu、rom、ram等使得cpu通过将存储在rom等中的程序或数据加载到ram中并执行所加载的程序或数据来执行每个处理。
如上所述，同样在该情况下，比特流被划分为多个片段并被解码。因此，可以获得与第一实施方式的情况类似的效果。
此外，同样在该情况下，与第一实施方式的情况类似的分隔符被嵌入比特流中，并且解码装置650使用嵌入的分隔符执行解码处理。因此，可以获得与第一实施方式的效果类似的效果。
注意，解码装置650可以基于通过分析单元分析分隔符而获得的关于信息类型的信息合成通过对多个划分的比特流中的每一个进行解码而获得的每个分量的顶点数据、连接数据和纹理数据。通过以该方式进行配置，编码和解码处理中的并行度提高，使得可以抑制用于编码和解码3d数据的负荷的增加。
<解码处理的流程>
将参照图41的流程图描述在该情况下的解码处理的流程的示例。
当解码处理开始时，在步骤s421中，分隔符分析单元662在比特流中检测分隔符。
在步骤s422中，分隔符分析单元662分析在步骤s421中检测到的分隔符以生成划分信息。
在步骤s423中，解复用器661基于分隔符将比特流划分为每个子比特流。即，使划分成顶点数据比特流、连接数据比特流和纹理数据比特流。
在步骤s424中，顶点数据解码单元663对顶点数据比特流进行解码。
在步骤s425中，连接数据解码单元664对连接数据比特流进行解码。
在步骤s426中，纹理数据解码单元665对纹理数据比特流进行解码。
在步骤s427中，信息合成单元666基于划分信息合成顶点数据、连接数据和纹理数据以生成网格数据。
一旦步骤s427中的处理结束，解码处理结束。
通过执行如上所述的每个处理，通过将3d数据划分为多个片段并对3d数据的多个划分的片段进行编码而获得的比特流可以被划分为多个片段并被解码，使得可以抑制用于编码和解码3d数据的负荷的增加。
<7.其他>
<控制信息>
可以将与在上述实施方式中的每一个中描述的本技术有关的控制信息从编码侧传输至解码侧。例如，可以传输控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。此外，例如，可以传输指定允许(或禁止)应用上述本技术的范围(例如，块大小的上限或下限，或者上限和下限两者、片段、图片、序列、分量、视图、层等)的控制信息。
<软件>
上述一系列处理同样可以由硬件执行并且也可以由软件执行。此外，一部分处理也可以由硬件执行，而其他处理可以由软件执行。当一系列处理由软件执行时，构成软件的程序被安装在计算机中。此处，计算机包括被结合在专用硬件中的计算机，以及能够在安装有各种类型的程序时执行各种类型功能的计算机，例如，通用个人计算机等。
图42是示出使用程序执行上述一系列处理的计算机的硬件配置示例的框图。
在图42中所示的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902以及随机存取存储器(ram)903经由总线904互连。
此外，输入/输出接口910也连接至总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接至输入/输出接口910。
例如，输入单元911包括键盘、鼠标、麦克风、触摸板、输入端子等。例如，输出单元912包括显示器、扬声器、输出终端等。例如，存储单元913包括硬盘、ram盘、非易失性存储器等。例如，通信单元914包括网络接口。驱动器915驱动可移除介质921例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机中，例如，执行上述系列处理使得cpu901经由输入/输出接口910和总线904将存储在存储单元913中的程序加载到ram903中以用于执行。由cpu901在执行各种类型的处理时所需的数据等也被适当地存储在ram903中。
例如，可以通过将由计算机(cpu901)执行的程序记录在用作封装介质等的可移除介质921中来对其进行应用。在那种情况下，通过将可移除介质921安装在驱动器915中，可以经由输入/输出接口910将程序安装在存储单元913中。此外，该程序也可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供。在那种情况下，可以通过通信单元914来接收程序以将程序安装至存储单元913。作为替选方式，该程序也可以被预先安装在rom902或存储单元913中。
<补充>
根据本技术的实施方式不限于以上所述的实施方式，并且在不脱离本技术的范围的情况下可以进行各种改变。
例如，本技术也可以作为例如用作系统大规模集成(lsi)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、将其他功能添加到单元的集合等(即，装置中的一些部件)的构成装置或系统的任何配置来执行。
注意，在本说明书中，系统是指多个构成部件(例如，装置和模块(部件))的集合，并且不认为所有构成部件是否布置在同一机柜内是重要的。因此，容置在单独的机柜中以便经由网络彼此连接的多个装置和多个模块被容置在一个机柜中的一个装置两者都是系统。
此外，上面所述的处理单元可以由任何配置来实现，只要处理单元具有针对这些处理单元描述的功能即可。例如，处理单元可以由任意电路、lsi、系统lsi、处理器、模块、单元、集合、设备、装置、系统等构成。此外，可以组合多个上面提及的构件。例如，可以组合诸如多个电路或多个处理器的相同类型的配置，或者可以组合诸如电路和lsi的不同类型的配置。
此外，例如，被描述为一个装置(或处理单元)的配置可以被划分以便配置为多个装置(或处理单元)。相比之下，上文中被描述为多个装置(或处理单元)的配置可以被集成以便被配置为一个装置(或一个处理单元)。此外，当然，可以将不同于以上所述的那些配置之外的配置添加到各个装置(或各个处理单元)的配置。此外，特定装置(或特定处理单元)的一部分配置可以被包括在另一装置(或另一处理单元)的配置中，只要系统的配置和操作总的来说基本上保持不变即可。
同时，例如，本技术可以采取云计算配置，在该云计算配置中，一个功能被划分并且被分布到多个装置以便经由网络在所述多个装置中协调处理。
此外，例如，上述程序可以由任意装置执行。在那种情况下，那些装置仅需要具有必要的功能(功能块等)使得可以获得那些必要的信息。
此外，例如，前面提及的流程图中描述的各个步骤可以由各自共享其的多个装置执行，也可以由单个装置执行。此外，当在一个步骤中包括多个处理时，一个步骤中包括的多个处理可以由各自共享其的多个装置执行以及可以由单个装置执行。在不同方面，也可以执行一个步骤中包括的多个处理作为具有多个步骤的处理。相比之下，描述为多个步骤的处理也可以被集成到一个步骤中以被执行。
由计算机执行的程序可以被设计成使得描述程序的步骤的处理根据本说明书中描述的顺序沿着时间序列执行，或者并行地或者在必要的定时，例如当被调用时单独地执行。即，只要不存在矛盾，各个步骤的处理可以以与上述顺序不同的顺序执行。此外，描述该程序的步骤的这些处理可以与另一程序的处理并行执行，或者可以与另一程序的处理组合执行。
只要不存在不一致性，本说明书中描述的多个本技术中的每一个可以独立地单独执行。当然，也可以同时实施任意多个本技术。例如，任何实施方式中描述的本技术的一部分或全部可以与另一实施方式中描述的本技术的一部分或全部组合执行。此外，可以同时利用上文未提及的另一技术来执行上述本技术中的任意一个的一部分或全部。
注意，本技术也可以如下面所述进行配置。
(1)一种信息处理装置，包括：
编码单元，其将表示三维结构的3d数据划分为多个片段，对3d数据的多个划分的片段进行编码、对所获得的多个划分的比特流进行复用，以及生成包括指示划分的比特流之间的接合点的位置的分隔符的一个比特流。
(2)根据(1)所述的信息处理装置，其中，
所述分隔符具有唯一的比特模式，并且通过所述分隔符的位置指示所划分的比特流之间的接合点的位置，并且
所述编码单元被配置成通过以使得所述分隔符被所划分的比特流夹在中间的串联方式连接所述多个划分的比特流中的各个划分的比特流，将所述分隔符布置在所述各个划分的比特流之间的接合点处。
(3)根据(2)所述的信息处理装置，其中，
所述分隔符还包括关于与此特定分隔符对应的划分的比特流的信息。
(4)根据(3)所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示与所划分的比特流对应的3d数据的三维结构的部分的位置的位置信息。
(5)根据(4)所述的信息处理装置，其中，
所述位置信息包括指示与所划分的比特流对应的3d数据的三维结构的一部分的起始位置的信息。
(6)根据(5)所述的信息处理装置，其中，
所述位置信息还包括指示与所划分的比特流对应的所述3d数据的三维结构的一部分的范围的信息。
(7)根据(3)至(5)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于所划分的比特流的内容的信息。
(8)根据(3)至(7)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于与所划分的比特流对应的帧的时间的信息。
(9)根据(3)至(8)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于所划分的比特流的数据大小的信息。
(10)根据(3)至(9)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于用于进行编码以生成所划分的比特流的编码方法的信息。
(11)根据(3)至(10)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于在用于进行编码以生成所划分的比特流中应用的预测方法的信息。
(12)根据(11)所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示用于进行编码以生成所划分的比特流的预测的参考目的地的信息。
(13)根据(3)至(12)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于与所划分的比特流对应的分辨率的信息。
(14)根据(3)至(13)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示通过解码所划分的比特流而获得的数据的颜色采样的类型的信息。
(15)根据(3)至(14)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示通过解码所划分的比特流而获得的数据的比特宽度的信息。
(16)根据(2)至(15)中任一项所述的信息处理装置，还包括：
生成单元，其生成所述分隔符，其中
所述编码单元被配置成将由所述生成单元生成的分隔符布置在各个划分的比特流之间的接合点处。
(17)根据(1)至(16)中任一项所述的信息处理装置，其中，
所述编码单元通过将所述3d数据转换为表示二维结构的2d数据，并且基于所述二维结构划分并编码所述2d数据来生成所述多个划分的比特流。
(18)根据(1)至(17)中任一项所述的信息处理装置，其中，
所述编码单元通过基于所述三维结构划分3d数据以将所获得的多个划分的3d数据片段中的每一个转换为表示二维结构的划分的2d数据，并且对所获得的多个划分的2d数据片段中的每一个进行编码来生成所述多个划分的比特流。
(19)根据(1)至(18)中任一项所述的信息处理装置，其中，
所述编码单元将所述3d数据划分为指示点云中的每个点的位置的几何数据和指示关于所述点云中的每个点的属性信息的属性数据以对所划分的数据进行编码，并且生成所述多个划分的比特流。
(20)根据(19)所述的信息处理装置，其中，
所述编码单元还针对每个属性划分并编码所述属性数据。
(21)根据(1)至(20)中任一项所述的信息处理装置，其中，
所述编码单元根据分辨率划分并编码所述3d数据，并且生成所述多个划分的比特流。
(22)根据(21)所述的信息处理装置，其中，
所述3d数据根据分辨率被分层，并且
所述编码单元被配置成针对每个层级划分并编码所述3d数据，并且生成所述多个划分的比特流。
(23)根据(22)所述的信息处理装置，其中，
所述3d数据包括具有八叉树结构的八叉树数据。
(24)根据(22)或(23)所述的信息处理装置，还包括：
分辨率转换单元，其转换所述3d数据的分辨率以分层所述3d数据，其中
所述编码单元被配置成针对每个层级划分并编码已经被所述分辨率转换单元转换分辨率的经分层的3d数据，并且生成所述多个划分的比特流。
(25)根据(1)至(24)中任一项所述的信息处理装置，其中，
所述编码单元被配置成将由多个帧组成的3d数据划分为每个帧以对所划分的3d数据进行编码，并且生成所述多个划分的比特流。
(26)根据(1)至(25)中任一项所述的信息处理装置，其中，
所述编码单元将所述3d数据划分为包括关于所述三维结构的顶点的信息的顶点数据、包括关于所述顶点的连接的信息的连接数据以及包括关于所述三维结构的纹理的信息的纹理数据以对已经被划分的所述3d数据进行编码，并且生成所述多个划分的比特流。
(27)根据(26)所述的信息处理装置，其中，
所述编码单元还将所述纹理数据划分为每个分量，并且对所划分的纹理数据进行编码。
(28)一种信息处理方法，包括：
将表示三维结构的3d数据划分为多个片段，对所述3d数据的多个划分的片段进行编码、对所获得的多个划分的比特流进行复用，以及生成包括指示所划分的比特流之间的接合点的位置的分隔符的一个比特流。
(31)一种信息处理装置，包括：
分析单元，其分析指示通过将表示三维结构的3d数据划分为多个片段并编码所述3d数据的多个划分的片段而获得的划分的比特流之间的接合点的位置的分隔符，所述分隔符被包括在通过复用多个划分的比特流而获得的比特流中；以及
解码单元，其基于由所述分析单元分析的所述分隔符中包括的信息将所述比特流划分为每个划分的比特流以解码所述每个划分的比特流。
(32)根据(31)所述的信息处理装置，其中，
所述解码单元在由所述分隔符指示的位置处划分所述比特流。
(33)根据(32)所述的信息处理装置，其中，
所述分隔符具有唯一的比特模式，并且通过所述分隔符的位置来指示位置，
所述分析单元通过检测所述比特模式来检测所述分隔符，以及
所述解码单元被配置成在由所述分析单元检测到的分隔符的位置处划分所述比特流。
(34)根据(33)所述的信息处理装置，其中，
所述分隔符还包括关于与该特定分隔符对应的划分的比特流的信息，并且
所述分析单元被配置成分析所述分隔符以获得关于所划分的比特流的信息。
(35)根据(34)所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于所划分的比特流的数据大小的信息，并且
所述解码单元基于由所述分析单元分析所述分隔符而获得的关于数据大小的信息来解码所划分的比特流。
(36)根据(34)或(35)所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于所划分的解码方法的信息，并且
所述解码单元使用由所述分析单元分析所述分隔符而获得的关于解码方法的信息指示的所述解码方法对所划分的比特流进行解码。
(37)根据(34)至(36)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于在所划分的比特流的编码中应用的预测方法的信息，并且
所述解码单元使用由所述分析单元分析所述分隔符而获得的关于预测方法的信息指示的所述预测方法对所划分的比特流进行解码。
(38)根据(34)至(37)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示在所划分的比特流的解码中执行的预测的参考目的地的信息，并且
所述解码单元参考由指示由所述分析单元分析所述分隔符而获得参考目的地的信息指示的所述参考目的地执行预测，并且对所划分的比特流进行解码。
(39)根据(34)至(38)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示通过解码所划分的比特流而获得的数据的颜色采样的类型的信息，并且
所述解码单元对所划分的比特流进行解码以便获得由指示通过由所述分析单元分析所述分隔符而获得的颜色采样类型的信息指示的所述颜色采样类型的数据。
(40)根据(34)至(39)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示通过对所划分的比特流进行解码而获得的数据的比特宽度的信息，并且
所述解码单元对所划分的比特流进行解码以便获得具有由指示通过由所述分析单元分析所述分隔符而获得的比特宽度的信息指示的所述比特宽度的数据。
(41)根据(34)至(40)中任一项所述的信息处理装置，还包括：
合成单元，其基于由所述分析单元分析所述分隔符而获得的关于所划分的比特流的信息合成由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的多个划分的数据片段。
(42)根据(41)所述的信息处理装置，其中，
关于所划分的比特流的信息包括指示与所划分的比特流对应的所述3d数据的三维结构的一部分的位置的位置信息，并且
所述合成单元基于由所述分析单元分析所述分隔符而获得的位置信息来合成所述多个划分的数据片段。
(43)根据(42)所述的信息处理装置，其中，
所述位置信息包括指示与所划分的比特流对应的所述3d数据的三维结构的一部分的起始位置的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的指示所述起始位置的信息来合成所述多个划分的数据片段。
(44)根据(43)所述的信息处理装置，其中，
所述位置信息还包括指示与所划分的比特流对应的所述3d数据的三维结构的一部分的范围的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的指示所述起始位置的信息和指示所述范围的信息来合成多个划分的数据片段。
(45)根据(42)至(44)中任一项所述的信息处理装置，其中，
所述位置信息包括指示与二维结构中的所划分的比特流对应的所述3d数据的三维结构的一部分的位置的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的位置信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的表示二维结构的多个划分的2d数据片段。
(46)根据(42)至(45)中任一项所述的信息处理装置，其中，
所述位置信息包括指示与所述三维结构中的所划分的比特流对应的所述3d数据的三维结构的一部分的位置的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的位置信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的多个划分的3d数据片段。
(47)根据(41)至(46)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于所划分的比特流的属性的信息，并且
所述合成单元基于由所述分析单元分析所述分隔符而获得的关于属性的信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得指示点云中的每个点的位置的几何数据、指示关于所述点云中的每个点的属性信息的属性数据。
(48)根据(47)所述的信息处理装置，其中，
所述合成单元基于由所述分析单元分析所述分隔符而获得的关于属性的信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的每个属性的几何数据和属性数据。
(49)根据(41)至(48)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于与所划分的比特流对应的分辨率的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的关于所述分辨率的信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的多个划分的数据片段。
(50)根据(41)至(49)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于与所划分的比特流对应的帧的时间的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的关于所述帧的时间的信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的多个划分的数据片段。
(51)根据(41)至(50)中任一项所述的信息处理装置，其中，
关于所划分的比特流的信息包括关于在所划分的比特流中包括的信息类型的信息，并且
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的关于所述信息类型的信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码来获得的包括关于所述三维结构的顶点的信息的顶点数据、包括关于所述顶点的连接的信息的连接数据和包括关于所述三维结构的纹理的信息的纹理数据。
(52)根据(51)所述的信息处理装置，其中，
所述合成单元基于通过由所述分析单元分析所述分隔符而获得的关于所述信息类型的信息合成通过由所述解码单元对所述多个划分的比特流中的每一个进行解码而获得的每个分量的顶点数据、连接数据和属性数据。
(53)一种信息处理方法，包括：
分析指示通过将表示三维结构的3d数据划分为多个片段并对所述3d数据的多个划分的片段进行编码而获得的划分的比特流之间的接合点的位置的分隔符，所述分隔符被包括在通过对多个划分的比特流进行复用而获得的比特流中；以及
基于经分析的分隔符中包括的信息将所述比特流划分为每个划分的比特流以对所述每个划分的比特流进行解码。
参考标记列表
100比特流
101报头
102数据
111报头
112分隔符
113数据(分辨率1)
114分隔符
115数据(分辨率2)
116分隔符
117数据(分辨率3)
121报头
122分隔符
123数据(部分区域1)
124分隔符
125数据(部分区域2)
126分隔符
127数据(部分区域3)
131报头
132数据
200编码装置
201控制单元
211预处理单元
212边界框设置单元
213立体像素设置单元
214信号序列生成单元
215编码单元
2712d映射单元
272颜色格式转换单元
273空间区域划分单元
2742d图像编码单元
275分隔符生成单元
276复用器
300解码装置
301解码单元
302立体像素数据生成单元
303点云处理单元
311解复用器
312分隔符分析单元
3132d图像解码单元
314空间区域合成单元
315颜色格式逆转换单元
3163d映射单元
331空间区域划分单元
332部分区域编码单元
333分隔符生成单元
334复用器
3412d映射单元
342颜色格式转换单元
3432d图像编码单元
361解复用器
362分隔符分析单元
363部分区域解码单元
364空间区域合成单元
3712d图像解码单元
372颜色格式逆转换单元
3733d映射单元
391信息划分单元
392几何编码单元
393属性编码单元
394分隔符生成单元
395复用器
411解复用器
412分隔符分析单元
413几何解码单元
414属性解码单元
415信息合成单元
431层级划分单元
432lod2编码单元
433lod1编码单元
434lod0编码单元
435分隔符生成单元
436复用器
451解复用器
452分隔符分析单元
453lod2解码单元
454lod1解码单元
455lod0解码单元
456层级合成单元
471信息划分单元
472几何编码单元
473属性编码单元
474分隔符生成单元
475复用器
476空间区域划分单元
477分隔符生成单元
478复用器
479层级划分单元
480分隔符生成单元
481复用器
511解复用器
512分隔符分析单元
513几何解码单元
514属性解码单元
515信息合成单元
516解复用器
517分隔符分析单元
518空间区域合成单元
519解复用器
520分隔符分析单元
521层级合成单元
541帧划分单元
542帧编码单元
543分隔符生成单元
544复用器
551解复用器
552分隔符分析单元
553帧解码单元
554帧合成单元
600编码装置
611信息划分单元
612立体像素数据编码单元
613连接数据编码单元
614纹理数据编码单元
615分隔符生成单元
616复用器
650解码装置
661解复用器
662分隔符分析单元
663立体像素数据解码单元
664连接数据解码单元
665纹理数据解码单元
666信息合成单元
900计算机
- 还没有人留言评论。精彩留言会获得点赞！