三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置与流程

[0001]
本公开涉及三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置。


背景技术：

[0002]
在用于汽车或机器人自主地进行工作的计算机视觉、地图信息、监控、基础结构检查、或影像分发等较大的领域中，今后将会普及灵活运用了三维数据的装置或服务。三维数据通过测距仪等距离传感器、立体摄影机、或多个单眼相机的组合等各种方法来获得。
[0003]
作为三维数据的一个表现方法有被称作点云的表现方法，该方法通过三维空间内的点群来表现三维结构的形状。在点云中存放了点群的位置以及颜色。虽然预想点云作为三维数据的表现方法将成为主流，但是，点群的数据量非常大。因此，在三维数据的蓄积或传输中与二维的动态图像(作为一个例子，有以mpeg而被标准化后的mpeg-4 avc或hevc等)一样，需要通过编码来进行数据量的压缩。
[0004]
并且，关于点云的压缩，有一部分由进行点云关联的处理的公开的库(point cloud library：点云库)等支持。
[0005]
并且，有周知的利用三维的地图数据，检索在车辆周边的设施，并进行显示的技术(例如，参照专利文献1)。
[0006]
现有技术文献
[0007]
专利文献
[0008]
专利文献1国际公开第2014/020663号


技术实现要素：

[0009]
发明要解决的问题
[0010]
期望在三维数据的解码中能够正确地对属性信息进行解码。
[0011]
本公开的目的在于提供一种能够在三维数据的解码中正确地对属性信息进行解码的三维数据编码方法、三维数据解码方法、三维数据编码装置或者三维数据解码装置。
[0012]
用来解决课题的手段
[0013]
本公开的一个方式的三维数据编码方法是对多个三维点进行编码的三维数据编码方法，使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算所述第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式，计算所选择的所述预测模式的预测值，计算所述第1三维点的属性信息与计算出的所述预测值的差分即预测残差，生成包含所述预测模式和所述预测残差的比特流，在所述预测值的计算中，在不能对所选择的所述预测模式分配基于所述第2三维点的属性信息的预测值的情况下，分配规定的固定值作为该预测模式的预测值。
[0014]
本公开的一个方式的三维数据解码方法是对多个三维点进行解码的三维数据解
码方法，通过获得比特流来获得所述多个三维点中的第1三维点的预测模式以及预测残差，并计算所获得的预测模式的预测值，并将所述预测值与所述预测残差相加，从而计算出所述第1三维点的属性信息，在所述预测值的计算中，在不能对所获得的所述预测模式分配基于所述第1三维点的周围的第2三维点的属性信息的预测值的情况下，分配规定的固定值作为该预测模式的预测值。
[0015]
发明效果
[0016]
本公开能够提供能够在三维数据的解码中正确地对属性信息进行解码的三维数据编码方法、三维数据解码方法、三维数据编码装置或者三维数据解码装置。
附图说明
[0017]
图1示出了实施方式1的编码三维数据的构成。
[0018]
图2示出了属于实施方式1的gos的最下层的spc间的预测结构的一个例子。
[0019]
图3示出了实施方式1的层间的预测结构的一个例子。
[0020]
图4示出了实施方式1的gos的编码顺序的一个例子。
[0021]
图5示出了实施方式1的gos的编码顺序的一个例子。
[0022]
图6是实施方式1的三维数据编码装置的框图。
[0023]
图7是实施方式1的编码处理的流程图。
[0024]
图8是实施方式1的三维数据解码装置的框图。
[0025]
图9是实施方式1的解码处理的流程图。
[0026]
图10示出了实施方式1的元信息的一个例子。
[0027]
图11示出了实施方式2的swld的构成例。
[0028]
图12示出了实施方式2的服务器以及客户端的工作例。
[0029]
图13示出了实施方式2的服务器以及客户端的工作例。
[0030]
图14示出了实施方式2的服务器以及客户端的工作例。
[0031]
图15示出了实施方式2的服务器以及客户端的工作例。
[0032]
图16是实施方式2的三维数据编码装置的框图。
[0033]
图17是实施方式2的编码处理的流程图。
[0034]
图18是实施方式2的三维数据解码装置的框图。
[0035]
图19是实施方式2的解码处理的流程图。
[0036]
图20示出了实施方式2的wld的构成例。
[0037]
图21示出了实施方式2的wld的八叉树结构的例子。
[0038]
图22示出了实施方式2的swld的构成例。
[0039]
图23示出了实施方式2的swld的八叉树结构的例子。
[0040]
图24是实施方式3的三维数据制作装置的框图。
[0041]
图25是实施方式3的三维数据发送装置的框图。
[0042]
图26是实施方式4的三维信息处理装置的框图。
[0043]
图27是实施方式5的三维数据制作装置的框图。
[0044]
图28示出了实施方式6的系统的构成。
[0045]
图29是实施方式6的客户端装置的框图。
[0046]
图30是实施方式6的服务器的框图。
[0047]
图31是由实施方式6的客户端装置进行的三维数据制作处理的流程图。
[0048]
图32是由实施方式6的客户端装置进行的传感器信息发送处理的流程图。
[0049]
图33是由实施方式6的服务器进行的三维数据制作处理的流程图。
[0050]
图34是由实施方式6的服务器进行的三维地图发送处理的流程图。
[0051]
图35示出了实施方式6的系统的变形例的构成。
[0052]
图36示出了实施方式6的服务器以及客户端装置的构成。
[0053]
图37是实施方式7的三维数据编码装置的框图。
[0054]
图38示出了实施方式7的预测残差的例子。
[0055]
图39示出了实施方式7的体积的例子。
[0056]
图40示出了实施方式7的体积的八叉树表现的例子。
[0057]
图41示出了实施方式7的体积的比特串的例子。
[0058]
图42示出了实施方式7的体积的八叉树表现的例子。
[0059]
图43示出了实施方式7的体积的例子。
[0060]
图44是用于说明实施方式7的帧内预测处理的图。
[0061]
图45是用于说明实施方式7的旋转以及平移处理的图。
[0062]
图46示出了实施方式7的rt适用标志以及rt信息的语法的例子。
[0063]
图47是用于说明实施方式7的帧间预测处理的图。
[0064]
图48是实施方式7的三维数据解码装置的框图。
[0065]
图49是由实施方式7的三维数据编码装置进行的三维数据编码处理的流程图。
[0066]
图50是由实施方式7的三维数据解码装置进行的三维数据解码处理的流程图。
[0067]
图51是表示实施方式8的三维点的例子的图。
[0068]
图52是表示实施方式8的lod的设定例的图。
[0069]
图53是表示实施方式8的lod的设定中使用的阈值的例子的图。
[0070]
图54是表示实施方式8的预测值中使用的属性信息的例子的图。
[0071]
图55是表示实施方式8的指数哥伦布码的一例的图。
[0072]
图56是表示实施方式8的针对指数哥伦布码的处理的图。
[0073]
图57是表示实施方式8的属性头部的语法例的图。
[0074]
图58是表示实施方式8的属性数据的语法例的图。
[0075]
图59是实施方式8的三维数据编码处理的流程图。
[0076]
图60是实施方式8的属性信息编码处理的流程图。
[0077]
图61是表示实施方式8的针对指数哥伦布码的处理的图。
[0078]
图62是表示实施方式8的表示剩余编码与其值的关系的反推表的例子的图。
[0079]
图63是实施方式8的三维数据解码处理的流程图。
[0080]
图64是实施方式8的属性信息解码处理的流程图。
[0081]
图65是实施方式8的三维数据编码装置的框图。
[0082]
图66是实施方式8的三维数据解码装置的框图。
[0083]
图67是实施方式8的三维数据编码处理的流程图。
[0084]
图68是实施方式8的三维数据解码处理的流程图。
[0085]
图69是表示示出在实施方式9的各预测模式中计算出的预测值的表的第1例的图。
[0086]
图70是表示实施方式9的预测值中使用的属性信息的例子的图。
[0087]
图71是表示示出在实施方式9的各预测模式中计算出的预测值的表的第2例的图。
[0088]
图72是表示示出在实施方式9的各预测模式中计算出的预测值的表的第3例的图。
[0089]
图73是表示示出在实施方式9的各预测模式中计算出的预测值的表的第4例的图。
[0090]
图74是表示示出在实施方式9的各预测模式中计算出的预测值的表的第5例的图。
[0091]
图75是表示示出在实施方式9的各预测模式中计算出的预测值的表的第6例的图。
[0092]
图76是表示示出在实施方式9的各预测模式中计算出的预测值的表的第7例的图。
[0093]
图77是表示示出在实施方式9的各预测模式中计算出的预测值的表的第8例的图。
[0094]
图78是表示对实施方式9的预测模式值进行二值化并进行编码的情况下的二值化表的第1例的图。
[0095]
图79是表示对实施方式9的预测模式值进行二值化并进行编码的情况下的二值化表的第2例的图。
[0096]
图80是表示对实施方式9的预测模式值进行二值化并进行编码的情况下的二值化表的第3例的图。
[0097]
图81是用于说明对实施方式9的预测模式进行二值化并进行编码的情况下的对二值化表的二值数据进行编码的例子的图。
[0098]
图82是表示实施方式9的预测模式值的编码的一例的流程图。
[0099]
图83是表示实施方式9的预测模式值的解码的一例的流程图。
[0100]
图84是表示示出在实施方式9的各预测模式中计算出的预测值的表的另一例的图。
[0101]
图85是用于说明对实施方式9的预测模式进行二值化并进行编码的情况下的对二值化表的二值数据进行编码的例子的图。
[0102]
图86是表示实施方式9的预测模式值的编码的另一例的流程图。
[0103]
图87是表示实施方式9的预测模式值的解码的另一例的流程图。
[0104]
图88是表示实施方式9的在编码时根据条件a决定是否固定预测模式值的处理的一例的流程图。
[0105]
图89是表示实施方式9的在解码时根据条件a决定是将预测模式值设为固定的值还是解码的处理的一例的流程图。
[0106]
图90是用于说明实施方式9的最大绝对差分值maxdiff的图。
[0107]
图91是表示实施方式9的语法的例子的图。
[0108]
图92是表示实施方式9的语法的例子的图。
[0109]
图93是实施方式9的三维数据编码装置的三维数据编码处理的流程图。
[0110]
图94是实施方式9的属性信息编码处理的流程图。
[0111]
图95是实施方式9的三维数据编码装置中的预测值的计算处理的流程图。
[0112]
图96是实施方式9的预测模式的选择处理的流程图。
[0113]
图97是实施方式9的选择成本最小的预测模式的处理的流程图。
[0114]
图98是实施方式9的三维数据解码装置的三维数据解码处理的流程图。
[0115]
图99是实施方式9的属性信息解码处理的流程图。
[0116]
图100是实施方式9的三维数据解码装置中的预测值的计算处理的流程图。
[0117]
图101是实施方式9的预测模式的解码处理的流程图。
[0118]
图102是表示实施方式9的三维数据编码装置所具备的属性信息编码部的结构的框图。
[0119]
图103是表示实施方式9的三维数据解码装置所具备的属性信息解码部的结构的框图。
[0120]
图104是表示实施方式9的三维数据编码装置的结构的框图。
[0121]
图105是表示实施方式9的三维数据解码装置的结构的框图。
[0122]
图106是实施方式9的三维数据编码装置的处理的流程图。
[0123]
图107是实施方式9的三维数据解码装置的处理的流程图。
[0124]
图108是表示示出在实施方式10的各预测模式中由三维数据编码装置计算出的预测值的表的一例的图。
[0125]
图109是表示对实施方式10的预测模式值进行二值化并进行编码的情况下的二值化表的一例的图。
[0126]
图110是表示示出在实施方式10的各预测模式中由三维数据解码装置计算出的预测值的表的一例的图。
[0127]
图111是表示示出在实施方式10的各预测模式中由三维数据编码装置计算出的预测值的表的一例的图。
[0128]
图112是表示对实施方式10的预测模式值进行二值化并进行编码的情况下的二值化表的一例的图。
[0129]
图113是表示示出在实施方式10的各预测模式中由三维数据解码装置计算出的预测值的表的一例的图。
[0130]
图114表示在实施方式10的对预测模式分配预测值的处理中使用的初始表的例子。
[0131]
图115是表示使用实施方式10的初始表生成的、示出在各预测模式下由三维数据编码装置计算出的预测值的表的一例的图。
[0132]
图116是表示实施方式10的预测值的计算处理的一例的流程图。
[0133]
图117是实施方式10的预测模式的选择处理的流程图。
[0134]
图118是实施方式10的选择成本最小的预测模式的处理的流程图。
[0135]
图119是实施方式10的三维数据解码装置的三维数据解码处理的流程图。
[0136]
图120是实施方式10的属性信息解码处理的流程图。
[0137]
图121是实施方式10的预测值的计算处理的流程图。
[0138]
图122是表示实施方式10的预测值的计算处理的另一例的流程图。
[0139]
图123是实施方式10的预测模式的选择处理的流程图。
[0140]
图124是实施方式10的预测值的计算处理的流程图。
[0141]
图125是表示实施方式10的三维数据编码装置的结构的框图。
[0142]
图126是表示实施方式10的三维数据解码装置的结构的框图。
[0143]
图127是实施方式10的三维数据编码装置的处理的流程图。
[0144]
图128是实施方式10的三维数据解码装置的处理的流程图。
具体实施方式
[0145]
本公开的一个方式的三维数据编码方法是对多个三维点进行编码的三维数据编码方法，使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算所述第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式，计算所选择的所述预测模式的预测值，计算所述第1三维点的属性信息与计算出的所述预测值的差分即预测残差，生成包含所述预测模式和所述预测残差的比特流，在所述预测值的计算中，在不能对所选择的所述预测模式分配基于所述第2三维点的属性信息的预测值的情况下，分配规定的固定值作为该预测模式的预测值。
[0146]
由此，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式。因此，在所生成的比特流中，根据所选择的预测模式的预测值来计算预测残差，并包含预测模式和预测残差。因此，三维数据解码装置在从所获得的比特流中对处理对象的三维点的属性信息进行解码时，与三维数据编码方法同样地，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式，因此能够计算与编码时计算出的预测值一致的预测值。因此，三维数据解码装置能够正确地对处理对象的三维点的属性信息进行解码。
[0147]
另外，也可以是，在所述预测值的计算中，不能对所选择的所述预测模式分配基于所述第2三维点的属性信息的预测值的情况，是由于所述第2三维点的数量为规定数量以下而不能对该预测模式分配该预测值的情况。
[0148]
另外，也可以是，所述规定的固定值是初始值。
[0149]
另外，也可以是，所述规定的固定值是0。
[0150]
另外，也可以是，在所述预测值的计算中，在所述2个以上的预测模式中的第1预测模式中，计算所述1个以上的第2三维点的属性信息的平均作为所述预测值，在所述2个以上的预测模式中的第2预测模式中，计算所述第2三维点的属性信息作为所述预测值。
[0151]
另外，也可以是，所述2个以上的预测模式分别由不同的值的预测模式值表示，表示将所述平均作为预测值分配的预测模式的预测模式值小于表示将所述1个以上的第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[0152]
另外，也可以是，所述2个以上的预测模式分别由不同的值的预测模式值表示，表示将1个第2三维点的属性信息作为预测值分配的预测模式的预测模式值小于表示将位于距所述第1三维点的距离比所述1个第2三维点远的位置的其他第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[0153]
本公开的一个方式的三维数据解码方法是对多个三维点进行解码的三维数据解码方法，通过获得比特流来获得所述多个三维点中的第1三维点的预测模式以及预测残差，计算所获得的预测模式的预测值，并将所述预测值与所述预测残差相加，从而计算所述第1三维点的属性信息，在所述预测值的计算中，在不能对所获得的所述预测模式分配基于所述第1三维点的周围的第2三维点的属性信息的预测值的情况下，分配规定的固定值作为该预测模式的预测值。
[0154]
由此，在从所获得的比特流中对处理对象的三维点的属性信息进行解码时，与三维数据编码方法同样地，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式，因此能够计算与编码时计算出的预测值一致的预测值。因此，能够正确地对处理对象的三维点的属性信息进行解码。
[0155]
另外，也可以是，在所述预测值的计算中，不能对所选择的所述预测模式分配基于所述第2三维点的属性信息的预测值的情况，是由于所述第2三维点的数量为规定数量以下而不能对该预测模式分配该预测值的情况。
[0156]
另外，也可以是，所述规定的固定值是初始值。
[0157]
另外，也可以是，所述规定的固定值是0。
[0158]
另外，也可以是，在所述预测值的计算中，在2个以上的预测模式中的第1预测模式中，计算1个以上的所述第2三维点的属性信息的平均作为所述预测值，在所述2个以上的预测模式中的第2预测模式中，计算所述第2三维点的属性信息作为所述预测值。
[0159]
另外，也可以是，所述2个以上的预测模式分别由不同的值的预测模式值表示，表示将所述平均作为预测值分配的预测模式的预测模式值小于表示将所述1个以上的第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[0160]
另外，也可以是，2个以上的预测模式分别由不同的值的预测模式值表示，表示将1个第2三维点的属性信息作为预测值分配的预测模式的预测模式值小于表示将位于距所述第1三维点的距离比所述1个第2三维点远的位置的其他第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[0161]
另外，本公开的一个方式的三维数据编码装置是对多个三维点进行编码的三维数据编码装置，具备处理器和存储器，所述处理器使用所述存储器，使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算所述第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式，计算所选择的所述预测模式的预测值，计算所述第1三维点的属性信息与计算出的所述预测值的差分即预测残差，生成包含所述预测模式和所述预测残差的比特流，在所述预测值的计算中，在不能对所选择的所述预测模式分配基于所述第2三维点的属性信息的预测值的情况下，分配规定的固定值作为该预测模式的预测值。
[0162]
由此，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式。因此，在所生成的比特流中，根据所选择的预测模式的预测值来计算预测残差，并包含预测模式和预测残差。因此，三维数据解码装置在从所获得的比特流中对处理对象的三维点的属性信息进行解码时，与三维数据编码方法同样地，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式，因此能够计算与编码时计算出的预测值一致的预测值。因此，三维数据解码装置能够正确地对处理对象的三维点的属性信息进行解码。
[0163]
另外，本公开的一个方式的三维数据解码装置是对多个三维点进行解码的三维数据解码装置，具备处理器和存储器，所述处理器使用所述存储器，通过获得比特流，获得所述多个三维点中的第1三维点的预测模式和预测残差，计算所获得的预测模式的预测值，将所述预测值和所述预测残差相加，由此计算所述第1三维点的属性信息，在所述预测值的计算中，在不能对所获得的所述预测模式分配基于所述第1三维点的周围的第2三维点的属性信息的预测值的情况下，分配规定的固定值作为该预测模式的预测值。
[0164]
由此，在从所获得的比特流中对处理对象的三维点的属性信息进行解码时，与三维数据编码方法同样地，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式，因此能够计算出与编码时计算出的预测值一致的预测值。因此，能够正确地对处理对象的三维点的属性信息进行解码。
[0165]
另外，这些概括性的或具体的形态可以由系统、方法、集成电路、计算机程序或计
算机可读取的cd-rom等记录介质来实现，而且可以由系统、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
[0166]
以下参照附图对实施方式进行具体说明。另外，以下将要说明的实施方式均为示出本公开的一个具体例子。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等均为一个例子，其主旨并非是对本公开进行限定。并且，针对以下的实施方式的构成要素之中没有记载在示出最上位概念的技术方案中的构成要素，作为任意的构成要素来说明。
[0167]
(实施方式1)
[0168]
首先，对本实施方式所涉及的编码三维数据(以下也记作编码数据)的数据结构进行说明。图1示出了本实施方式所涉及的编码三维数据的构成。
[0169]
在本实施方式中，三维空间被分割为相当于动态图像的编码中的图片的空间(spc)，以空间为单位对三维数据进行编码。空间被进一步分割为相当于动态图像编码中的宏块等的体积(vlm)，以vlm为单位进行预测以及转换。体积包括与位置坐标相对应的最小单位即多个体素(vxl)。另外，预测是指，与二维图像中进行的预测相同，参照其他的处理单位，生成与处理对象的处理单位类似的预测三维数据，并对该预测三维数据与处理对象的处理单位的差异进行编码。并且，该预测不仅包括参照同一时刻的其他的预测单位的空间预测，而且包括参照不同时刻的预测单位的时间预测。
[0170]
例如，三维数据编码装置(以下也记作编码装置)在对由点云等的点群数据来表现的三维空间进行编码时，按照体素的大小，对点群的各个点或体素内所包含的多个点一并进行编码。若将体素细分，则能够对点群的三维形状进行高精确度的表现，若将体素的大小增大，则能够对点群的三维形状进行粗略的表现。
[0171]
另外，以下虽然以三维数据为点云的情况为例进行说明，但是，三维数据并非受点云所限，也可以是任意形式的三维数据。
[0172]
并且，可以利用阶层结构的体素。在这种情况下，在n次的阶层中，可以按顺序示出在n-1次以下的阶层(n次的阶层的下层)中是否存在采样点。例如，在仅对n次的阶层进行解码时，当在n-1次以下的阶层存在采样点的情况下，能够视为n次阶层的体素的中心存在采样点来进行解码。
[0173]
并且，编码装置通过距离传感器、立体摄影机、单眼相机、回转仪、或惯性传感器等来获得点群数据。
[0174]
关于空间，与动态图像的编码同样，至少被分类为以下3个预测结构的任一个，这3个预测结构为：能够单独解码的帧内空间(i-spc)、仅能单向参照的预测空间(p-spc)、以及能够双向参照的双向空间(b-spc)。并且，空间具有解码时刻和显示时刻这两种时刻信息。
[0175]
并且，如图1所示，作为包括多个空间的处理单位，有作为随机存取单位的gos(group of space：空间群)。而且，作为包括多个gos的处理单位，存在世界空间(wld)。
[0176]
世界空间所占的空间区域通过gps或纬度以及经度信息等，与地球上的绝对位置建立了对应。该位置信息作为元信息而被存放。另外，元信息可以包含在编码数据中，也可以与编码数据分开来传输。
[0177]
并且，在gos内，所有的spc可以是三维上的邻接，也可以存在与其他的spc不是三维上邻接的spc。
[0178]
另外，以下将与gos、spc或vlm等处理单位中包含的三维数据所对应的编码、解码或参照等处理，也简单地记作对处理单位进行编码、解码或参照等。并且，处理单位中所包含的三维数据例如包括三维坐标等空间位置与颜色信息等特性值的至少一个组。
[0179]
接着，对gos中的spc的预测结构进行说明。同一gos内的多个spc、或同一spc内的多个vlm虽然彼此占有不同的空间，却持有相同的时刻信息(解码时刻以及显示时刻)。
[0180]
并且，在gos内，在解码顺序上为开头的spc是i-spc。并且，gos中存在封闭式gos和开放式gos这两种。封闭式gos是从开头i-spc开始解码时，能够对gos内的所有的spc进行解码的gos。在开放式gos中，在gos内，比开头i-spc的显示时刻早的一部分spc参照不同的gos，只能在该gos进行解码。
[0181]
另外，在地图信息等的编码数据中，有从与编码顺序相反的方向对wld进行解码的情况，若在gos间存在依存性，则难以进行逆方向再生。因此，在这种情况下，基本上采用封闭式gos。
[0182]
并且，gos在高度方向上具有层结构，从底下的层的spc开始顺序进行编码或解码。
[0183]
图2示出了属于gos的最下层的层的spc间的预测结构的一个例子。图3示出了层间的预测结构的一个例子。
[0184]
在gos内中存在一个以上的i-spc。在三维空间内虽然存在人、动物、汽车、自行车、信号灯、或成为陆上标志的建筑物等对象，但是，尤其是将尺寸小的对象作为i-spc来编码时有效。例如，三维数据解码装置(以下也记作解码装置)在对gos以低处理量或高速进行解码时，仅对gos内的i-spc进行解码。
[0185]
并且，编码装置可以按照wld内的对象的疏密程度，对i-spc的编码间隔或出现频率进行切换。
[0186]
并且，在图3所示的构成中，编码装置或解码装置针对多个层从下层(层1)开始依次进行编码或解码。据此，例如针对自动行走的车辆等而言，能够提高信息量多的地面附近的数据的优先级。
[0187]
另外，在无人机(drone)等使用的编码数据中，在gos内，可以从高度方向的上方的层的spc开始依次进行编码或解码。
[0188]
并且，编码装置或解码装置也可以是以解码装置大致掌握gos并能够逐渐提高分辨率的方式，来对多个层进行编码或解码。例如，编码装置或解码装置可以按照层3、8、1、9
……
的顺序进行编码或解码。
[0189]
接着，对静态对象以及动态对象的对应方法进行说明。
[0190]
在三维空间中存在建筑物或道路等静态对象或场景(以后统一称为静态对象)、以及车辆或人等动态对象(以后称为动态对象)。对象的检测可以通过从点云的数据、或立体摄影机等拍摄影像等中提取特征点来另外执行。在此，对动态对象的编码方法的例子进行说明。
[0191]
第1方法是不区别静态对象与动态对象而进行编码的方法。第2方法是通过识别信息来区别静态对象与动态对象的方法。
[0192]
例如，gos被用作识别单位。在这种情况下，包括构成静态对象的spc的gos、与包括构成动态对象的spc的gos在编码数据内、或由与编码数据分开存放的识别信息来区別。
[0193]
或者，spc被用作识别单位。在这种情况下，仅包括构成静态对象的vlm的spc、与包
括构成动态对象的vlm的spc，由上述的识别信息来区別。
[0194]
或者，可以将vlm或vxl用作识别单位。在这种情况下，包括静态对象的vlm或vxl、与包括动态对象的vlm或vxl由上述的识别信息来区別。
[0195]
并且，编码装置可以将动态对象作为一个以上的vlm或spc来进行编码，将包括静态对象的vlm或spc、与包括动态对象的spc作为彼此不同的gos来进行编码。并且，编码装置在按照动态对象的大小而gos的大小成为可变的情况下，将gos的大小作为元信息来另外存放。
[0196]
并且，编码装置使静态对象与动态对象彼此独立地编码，针对由静态对象构成的世界空间，可以重叠动态对象。此时，动态对象由一个以上的spc构成，各spc与构成重叠了该spc的静态对象一个以上的spc对应。另外，动态对象可以不由spc来表现，可以由一个以上的vlm或vxl来表现。
[0197]
并且，编码装置可以将静态对象与动态对象作为彼此不同的流来编码。
[0198]
并且，编码装置也可以生成包括构成动态对象的一个以上的spc的gos。而且，编码装置可以将包括动态对象的gos(gos_m)、与和gos_m的空间区域对应的静态对象的gos设定为大小相同(占有相同的空间区域)。这样，能够以gos为单位来进行重叠处理。
[0199]
构成动态对象的p-spc或b-spc也可以参照编码完毕的不同的gos中包含的spc。动态对象的位置随着时间发生变化，同一动态对象作为不同时刻的gos而被编码的情况中，跨越gos的参照从压缩率的观点来看是有效的。
[0200]
并且，也可以按照编码数据的用途，来对上述的第1方法与第2方法进行切换。例如，在编码三维数据作为地图而被应用的情况下，由于希望与动态对象分离，因此，编码装置采用第2方法。另外，编码装置在对音乐会或体育等活动的三维数据进行编码的情况下，若无需对动态对象进行分离，则采用第1方法。
[0201]
并且，gos或spc的解码时刻与显示时刻能够存放在编码数据内、或作为元信息存放。并且，静态对象的时刻信息可以全部相同。此时，实际的解码时刻与显示时刻可以由解码装置来决定。或者，作为解码时刻，按照每个gos或spc来赋予不同的值，作为显示时刻，也可以全被赋予同一个值。而且，如hevc的hrd(hypothetical reference decoder)等动态图像编码中的解码器模式所示，解码器具有规定的大小的缓冲器，只要按照解码时刻，以规定的比特率读取比特流，就可以导入不会被破坏且保证能够解码的模型。
[0202]
接着，对世界空间内的gos的配置进行说明。世界空间中的三维空间的坐标由彼此正交的3个坐标轴(x轴、y轴、z轴)来表现。通过在gos的编码顺序中设定规定的规则，从而在空间上邻接的gos能够在编码数据内进行连续的编码。例如在图4所示的例子中，对xz平面内的gos进行连续的编码。在一个xz平面内的所有的gos的编码结束后，对y轴的值进行更新。即，随着不断地编码，世界空间向y轴方向延伸。并且，gos的索引编号被设定为编码顺序。
[0203]
在此，世界空间的三维空间与gps、或纬度以及经度等地理上的绝对坐标一一对应。或者，可以由相对于预先设定的基准位置的相对位置来表现三维空间。三维空间的x轴、y轴、z轴的方向作为基于纬度以及经度等而被决定的方向矢量来表现，该方向矢量作为元信息与编码数据一同存放。
[0204]
并且，gos的大小被设定为固定，编码装置将该大小作为元信息来存放。并且，gos
的大小例如可以根据是否为市内或者室内、室外等来进行切换。即，gos的大小可以按照具有作为信息的价值的对象的量或性质来进行切换。或者，编码装置可以在同一世界空间内，按照对象的密度等，对gos的大小、或gos内的i-spc的间隔进行恰当地切换。例如，编码装置在对象的密度越高的情况下，就越将gos的大小设定为小、将gos内的i-spc的间隔设定为短。
[0205]
在图5的例子中，在从第3至第10个gos的区域中，由于对象的密度高，因此，为了实现微小粒度的随机存取，则gos被细分。并且，从第7到第10个gos分别存在于第3至第6个gos的背面。
[0206]
接着，对本实施方式所涉及的三维数据编码装置的构成以及工作的流程进行说明。图6是本实施方式所涉及的三维数据编码装置100的方框图。图7是示出三维数据编码装置100的工作例子的流程图。
[0207]
图6所示的三维数据编码装置100通过对三维数据111进行编码，来生成编码三维数据112。该三维数据编码装置100具备：获得部101、编码区域决定部102、分割部103、以及编码部104。
[0208]
如图7所示，首先，获得部101获得作为点群数据的三维数据111(s101)。
[0209]
接着，编码区域决定部102从获得的点群数据所对应的空间区域中，决定编码对象的区域(s102)。例如，编码区域决定部102按照用户或车辆的位置，将该位置的周边的空间区域决定为编码对象的区域。
[0210]
接着，分割部103将编码对象的区域中包含的点群数据分割为各个处理单位。在此，处理单位是上述的gos以及spc等。并且，该编码对象的区域例如与上述的世界空间对应。具体而言，分割部103根据预先设定的gos的大小、动态对象的有无或大小，将点群数据分割为处理单位(s103)。并且，分割部103在各个gos中决定在编码顺序中成为开头的spc的开始位置。
[0211]
接着，编码部104通过对各个gos内的多个spc进行依次编码，来生成编码三维数据112(s104)。
[0212]
另外，在此，在将编码对象的区域分割为gos以及spc之后，虽然示出了对各个gos进行编码的例子，不过，处理的顺序并非受上述所限。例如，可以在决定了一个gos的构成之后，对该gos进行编码，在此之后决定gos的构成等顺序。
[0213]
这样，三维数据编码装置100通过对三维数据111进行编码，来生成编码三维数据112。具体而言，三维数据编码装置100将三维数据分割为随机存取单位，即分割为分别与三维坐标对应的第1处理单位(gos)，将第1处理单位(gos)分割为多个第2处理单位(spc)，将第2处理单位(spc)分割为多个第3处理单位(vlm)。并且，第3处理单位(vlm)包括一个以上的体素(vxl)，体素(vxl)是与位置信息对应的最小单位。
[0214]
接着，三维数据编码装置100通过对多个第1处理单位(gos)的每一个进行编码，来生成编码三维数据112。具体而言，三维数据编码装置100在各个第1处理单位(gos)，对多个第2处理单位(spc)的每一个进行编码。并且，三维数据编码装置100在各个第2处理单位(spc)，对多个第3处理单位(vlm)的每一个进行编码。
[0215]
例如，三维数据编码装置100在处理对象的第1处理单位(gos)为封闭式gos的情况下，针对处理对象的第1处理单位(gos)中包含的处理对象的第2处理单位(spc)，参照处理
对象的第1处理单位(gos)中包含的其他的第2处理单位(spc)进行编码。即，三维数据编码装置100不参照与处理对象的第1处理单位(gos)不同的第1处理单位(gos)中包含的第2处理单位(spc)。
[0216]
并且，在处理对象的第1处理单位(gos)为开放式gos的情况下，针对处理对象的第1处理单位(gos)中包含的处理对象的第2处理单位(spc)，参照处理对象的第1处理单位(gos)中包含的其他的第2处理单位(spc)、或与处理对象的第1处理单位(gos)不同的第1处理单位(gos)中包含的第2处理单位(spc)进行编码。
[0217]
并且，三维数据编码装置100，作为处理对象的第2处理单位(spc)的类型，从不参照其他的第2处理单位(spc)的第1类型(i-spc)、参照其他的一个第2处理单位(spc)的第2类型(p-spc)、以及参照其他的两个第2处理单位(spc)的第3类型中选择一个，并按照选择的类型，对处理对象的第2处理单位(spc)进行编码。
[0218]
接着，对本实施方式所涉及的三维数据解码装置的构成以及工作的流程进行说明。图8是本实施方式所涉及的三维数据解码装置200的方框图。图9是示出三维数据解码装置200的工作例子的流程图。
[0219]
图8所示的三维数据解码装置200通过对编码三维数据211进行解码，来生成解码三维数据212。在此，编码三维数据211例如是在三维数据编码装置100生成的编码三维数据112。该三维数据解码装置200具备：获得部201、解码开始gos决定部202、解码spc决定部203、以及解码部204。
[0220]
首先，获得部201获得编码三维数据211(s201)。接着，解码开始gos决定部202决定为解码对象的gos(s202)。具体而言，解码开始gos决定部202参照编码三维数据211内或与编码三维数据分别存放的元信息，将包括开始解码的空间位置、对象、或与时刻对应的spc的gos决定为解码对象的gos。
[0221]
接着，解码spc决定部203决定在gos内进行解码的spc的类型(i、p、b)(s203)。例如，解码spc决定部203对(1)是否仅解码i-spc、(2)是否解码i-spc以及p-spc、(3)是否解码所有的类型进行决定。另外，在解码所有的spc等预先规定了将要解码的spc的类型的情况下，也可以不进行本步骤。
[0222]
接着，解码部204获得在gos内的解码顺序(与编码顺序相同)中为开头的spc，在编码三维数据211内开始的地址位置，从该地址位置获得开头spc的编码数据，从该开头spc依次对各个spc进行解码(s204)。并且，上述地址位置被存放在元信息等中。
[0223]
这样，三维数据解码装置200对解码三维数据212进行解码。具体而言，三维数据解码装置200通过对分别与三维坐标对应的第1处理单位(gos)的编码三维数据211的每一个进行解码，来生成作为随机存取单位的第1处理单位(gos)的解码三维数据212。更具体而言，三维数据解码装置200在各个第1处理单位(gos)对多个第2处理单位(spc)的每一个进行解码。并且，三维数据解码装置200在各个第2处理单位(spc)对多个第3处理单位(vlm)的每一个进行解码。
[0224]
以下对随机存取用的元信息进行说明。该元信息由三维数据编码装置100生成，包含在编码三维数据112(211)中。
[0225]
在以往的二维的动态图像的随机存取中，解码是从指定的时刻的附近的随机存取单位的开头帧开始的。然而，在世界空间中，除了时刻以外还设想了针对(坐标或对象等)的
随机存取。
[0226]
因此，为了至少实现对坐标、对象、以及时刻这3个要素的随机存取，准备了对各个要素与gos的索引编号建立了对应的表。而且，将gos的索引编号与成为gos的开头的i-spc的地址建立对应。图10示出了元信息中包含的表的一个例子。另外，无需使用图10所示的所有的表，至少使用一个表即可。
[0227]
以下作为一个例子，对以坐标为起点的随机存取进行说明。在针对坐标(x2、y2、z2)进行存取时，首先参照坐标-gos表，可以知道坐标为(x2、y2、z2)的地点包含在第2个gos中。接着，参照gos地址表，由于可以知道第2个gos中开头的i-spc的地址为addr(2)，因此解码部204从该地址获得数据，并开始解码。
[0228]
另外，地址可以是逻辑格式中的地址，也可以是hdd或存储器的物理地址。并且，也可以取代地址而采用对文件段进行确定的信息。例如，文件段是对一个以上的gos等进行分段后的单位。
[0229]
并且，在对象为跨越多个gos的情况下，在对象gos表中也可以示出多个对象所属的gos。若该多个gos为封闭式gos，编码装置以及解码装置能够并行进行编码或解码。另外，若该多个gos为开放式gos，则通过多个gos彼此相互参照，从而能够进一步提高压缩效率。
[0230]
作为对象的例子有人、动物、汽车、自行车、信号灯、或成为陆上标志的建筑物等。例如，三维数据编码装置100在世界空间的编码时，从三维的点云等中提取对象所特有的特征点，根据该特征点来检测对象，并能够将检测的对象设定为随机存取点。
[0231]
这样，三维数据编码装置100生成第1信息，该第1信息示出多个第1处理单位(gos)、以及与多个第1处理单位(gos)的每一个对应的三维坐标。并且，编码三维数据112(211)包括该第1信息。并且，第1信息进一步示出与多个第1处理单位(gos)的每一个对应的对象、时刻以及数据存放目的地之中的至少一个。
[0232]
三维数据解码装置200从编码三维数据211中获得第1信息，利用第1信息来确定与被指定的三维坐标、对象或时刻对应的第1处理单位的编码三维数据211，并对该编码三维数据211进行解码。
[0233]
以下对其他的元信息的例子进行说明。除了随机存取用的元信息以外，三维数据编码装置100还可以生成并存放以下的元信息。并且，三维数据解码装置200也可以将该元信息在解码时利用。
[0234]
在将三维数据作为地图信息来利用的情况下等，按照用途来规定档次(profile)，示出该档次的信息可以包含在元信息内。例如规定了面向市区或郊外的档次、或者规定了面向飞行物的档次，并且分别定义了世界空间、spc或vlm的最大或最小的大小等。例如，在面向市区的档次中，需要比郊外更详细的信息，因此vlm的最小尺寸被设定得较小。
[0235]
元信息也可以包括示出对象的种类的标签值。该标签值与构成对象的vlm、spc、或gos对应。可以按照对象的种类等来设定标签值，例如标签值“0”表示“人”、标签值“1”表示“汽车”、标签值“2”表示“信号灯”。或者，在对象的种类难以判断或不需要判断的情况下，也可以使用表示大小、或是动态对象还是静态对象等性质的标签值。
[0236]
并且，元信息也可以包括示出世界空间所占的空间区域的范围的信息。
[0237]
并且，元信息也可以作为编码数据的流全体、或gos内的spc等多个spc所共用的头部信息，来存放spc或vxl的大小。
[0238]
并且，元信息也可以包括点云的生成中所使用的距离传感器或摄像机等识别信息，或者包括示出点云内的点群的位置精确度的信息。
[0239]
并且，元信息可以包括示出世界空间是仅由静态对象构成还是含有动态对象的信息。
[0240]
以下对本实施方式的变形例进行说明。
[0241]
编码装置或解码装置可以对彼此不同的两个以上的spc或gos并行进行编码或解码。并行进行编码或解码的gos能够根据示出gos的空间位置的元信息等来决定。
[0242]
在将三维数据作为车辆或飞行物体等移动时的空间地图来使用、或者生成这种空间地图的情况等中，编码装置或解码装置可以对基于gps、路径信息、或缩放倍率等而被确定的空间中包含的gos或spc进行编码或解码。
[0243]
并且，解码装置也可以从离自身位置或行走路径近的空间开始依次进行解码。编码装置或解码装置也可以使离自身位置或行走路径远的空间的优先级比近的空间的优先级低，来进行编码或解码。在此，使优先级降低是指，降低处理顺序、降低分辨率(筛选后处理)、或降低画质(提高编码效率。例如加大量化步长)等。
[0244]
并且，解码装置在对空间内被分阶层编码的编码数据进行解码时，也可以仅解码低阶层。
[0245]
并且，解码装置也可以按照地图的缩放倍率或用途，先从低阶层开始进行解码。
[0246]
并且，在汽车或机器人的自动走行时所进行的自身位置估计或物体识别等用途中，编码装置或解码装置也可以将距离路面规定高度以内的区域(进行识别的区域)之外的区域的分辨率降低来进行编码或解码。
[0247]
并且，编码装置也可以对表现室内和室外的空间形状的点云分别独立地进行编码。例如通过将表现室内的gos(室内gos)与表现室外的gos(室外gos)分开，从而解码装置在利用编码数据时，能够按照视点位置来选择将要解码的gos。
[0248]
并且，编码装置可以使坐标近的室内gos和室外gos在编码流中邻接，来进行编码。例如，编码装置将两者的标识符对应起来，对示出在编码流内、或另外存放的元信息内建立了对应的标识符的信息进行存放。据此，解码装置能够参照元信息内的信息，来识别坐标近的室内gos与室外gos。
[0249]
并且，编码装置也可以在室内gos与室外gos对gos或spc的大小进行切换。例如，编码装置在室内与室外相比，将gos的大小设定得较小。并且，编码装置也可以在室内gos和室外gos，对从点云提取特征点时的精确度或对象检测的精确度等进行变更。
[0250]
并且，编码装置可以将用于解码装置将动态对象与静态对象进行区分显示的信息附加到编码数据。据此，解码装置能够对动态对象与红色框或说明用的文字等进行组合来表示。另外，解码装置也可以取代动态对象而仅用红色框或说明用文字来表示。并且，解码装置可以表示更详细的对象类别。例如，汽车可以采用红色框，人可以采用黄色框。
[0251]
并且，编码装置或解码装置可以按照动态对象的出现频度、或静态对象与动态对象的比例等，将动态对象与静态对象作为不同的spc或gos，来决定是否进行编码或解码。例如，在动态对象的出现频度或比例超过阈值的情况下，动态对象与静态对象混在的spc或gos则被允许，在动态对象的出现频度或比例没有超过阈值的情况下，动态对象与静态对象混在的spc或gos则不会被允许。
[0252]
在动态对象不是从点云而是从摄像机的二维图像信息检测时，编码装置可以对用于识别检测结果的信息(框或文字等)与对象位置分别获得，将这些信息作为三维的编码数据的一部分来编码。在这种情况下，解码装置针对静态对象的解码结果，使表示动态对象的辅助信息(框或文字)重叠显示。
[0253]
并且，编码装置可以按照静态对象的形状的复杂程度等，对vxl或vlm的疏密程度进行变更。例如，编码装置在静态对象的形状越复杂的情况下，就越将vxl或vlm设定成密。而且，编码装置可以按照vxl或vlm的疏密程度，来决定在对空间位置或颜色信息进行量化时的量化步长等。例如，编码装置在vxl或vlm越密的情况下，就越将量化步长设定为小。
[0254]
如以上所示，本实施方式所涉及的编码装置或解码装置以具有坐标信息的空间单位，来进行空间的编码或解码。
[0255]
并且，编码装置以及解码装置在空间内以体积单位来进行编码或解码。体积包括与位置信息对应的最小单位即体素。
[0256]
并且，编码装置以及解码装置通过将包括坐标、对象、以及时间等的空间信息的各个要素与gop建立了对应的表、或在各个要素间对应的表，使任意的要素之间建立对应来进行编码或解码。并且，解码装置利用被选择的要素的值来判断坐标，并根据坐标来确定体积、体素或空间，对包括该体积或体素的空间、或被确定的空间进行解码。
[0257]
并且，编码装置通过特征点提取或对象识别，来判断能够由要素选择的体积、体素或空间，并作为能够随机存取的体积、体素或空间来编码。
[0258]
空间被分为三种类型，即：以该空间单体能够编码或解码的i-spc、参照任意的一个处理完毕的空间来编码或解码的p-spc、参照任意的两个处理完毕的空间来编码或解码的b-spc。
[0259]
一个以上的体积与静态对象或动态对象对应。包含静态对象的空间与包含动态对象的空间彼此作为不同的gos而被编码或解码。即，包含静态对象的spc与包含动态对象的spc被分配到不同的gos。
[0260]
动态对象按每个对象来编码或解码，与仅包含静态对象的一个以上的空间对应。即，多个动态对象被分别编码，得到的多个动态对象的编码数据与仅包含静态对象的spc对应。
[0261]
编码装置以及解码装置提高gos内的i-spc的优先级，来进行编码或解码。例如，编码装置以使i-spc的劣化减少的方式(解码后，原本的三维数据能够更忠实地被再现)来进行编码。并且，解码装置例如仅对i-spc进行解码。
[0262]
编码装置可以按照世界空间内的对象的疎密程度或数值(数量)，改变利用i-spc的频度，来进行编码。即，编码装置按照三维数据中包含的对象的数量或疏密程度，来变更对i-spc进行选择的频度。例如，编码装置在世界空间内的对象的密度越大的情况下，就越提高i空间的使用频度。
[0263]
并且，编码装置以gos为单位对随机存取点进行设定，将示出与gos对应的空间区域的信息存放到头部信息。
[0264]
编码装置例如采用默认值来作为gos的空间大小。另外，编码装置也可以按照对象或动态对象的数值(数量)或疏密程度来变更gos的大小。例如，编码装置在对象或动态对象越密或数量越多的情况下，就越将gos的空间大小设定为小。
[0265]
并且，空间或体积包括利用深度传感器、回转仪、或摄像机等传感器得到的信息而被导出的特征点群。特征点的坐标被设定为体素的中心位置。并且，通过体素的细分化，能够实现位置信息的高精确度化。
[0266]
特征点群利用多个图片而被导出。多个图片至少具有以下的两种时刻信息，即：实际的时刻信息、以及与空间对应的在多个图片中的同一个时刻信息(例如，用于速率控制等的编码时刻)。
[0267]
并且，以包括一个以上的空间的gos为单位来进行编码或解码。
[0268]
编码装置以及解码装置参照处理完毕的gos内的空间，对处理对象的gos内的p空间或b空间进行预测。
[0269]
或者，编码装置以及解码装置不参照不同的gos，利用处理对象的gos内的处理完毕的空间，对处理对象的gos内的p空间或b空间进行预测。
[0270]
并且，编码装置以及解码装置以包括一个以上的gos的世界空间为单位，来发送或接收编码流。
[0271]
并且，gos至少在世界空间内的一个方向上具有层结构，编码装置以及解码装置从下位层开始进行编码或解码。例如，能够随机存取的gos属于最下位层。属于上位层的gos仅参照属于同一层以下的层的gos。即，gos在预先规定的方向上被空间分割，包括分别具有一个以上的spc的多个层。编码装置以及解码装置针对各个spc，通过参照与该spc为同一层或比该spc下层的层中包含的spc来进行编码或解码。
[0272]
并且，编码装置以及解码装置在包括多个gos的世界空间单位内，连续地对gos进行编码或解码。编码装置以及解码装置将示出编码或解码的顺序(方向)的信息作为元数据进行写入或读取。即，编码数据包括示出多个gos的编码顺序的信息。
[0273]
并且，编码装置以及解码装置对彼此不同的两个以上的空间或gos并行进行编码或解码。
[0274]
并且，编码装置以及解码装置对空间或gos的空间信息(坐标、大小等)进行编码或解码。
[0275]
并且，编码装置以及解码装置对根据gps、路径信息或倍率等与自己的位置或/以及区域大小有关的外部信息，而被确定的特定空间中包含的空间或gos进行编码或解码。
[0276]
编码装置或解码装置使离自己的位置远的空间的优先级低于离自己近的空间，来进行编码或解码。
[0277]
编码装置按照倍率或用途，对世界空间中的一个方向进行设定，对在该方向上具有层结构的gos进行编码。并且，解码装置针对按照倍率或用途而被设定的在世界空间的一个方向具有层结构的gos，从下位层开始优先进行解码。
[0278]
编码装置使室内和室外的空间中所包含的特征点提取、对象识别的精确度、或空间区域大小等发生变化。但是，编码装置以及解码装置将坐标近的室内gos与室外gos在世界空间内相邻来进行编码或解码，将这些标识符也对应起来进行编码或解码。
[0279]
(实施方式2)
[0280]
在将点云的编码数据用于实际的装置或服务时，为了抑制网络带宽，而希望按照用途来对所需要的信息进行收发。然而，至今的三维数据的编码结构中不存在这样的功能，因此也没有与此相对的编码方法。
[0281]
在本实施方式中将要说明的是，用于提供在三维的点云的编码数据中，按照用途来对所需要的信息进行收发的功能的三维数据编码方法以及三维数据编码装置、还有对该编码数据进行解码的三维数据解码方法以及三维数据解码装置。
[0282]
将具有一定以上的特征量的体素(vxl)定义为特征体素(fvxl)，将以fvxl构成的世界空间(wld)定义为稀疏世界空间(swld)。图11示出了稀疏世界空间以及世界空间的构成例。在swld中包括：fgos，是以fvxl构成的gos；fspc，是以fvxl构成的spc；以及fvlm，是以fvxl构成的vlm。fgos、fspc以及fvlm的数据结构以及预测结构可以与gos、spc以及vlm相同。
[0283]
特征量是指，对vxl的三维位置信息、或vxl位置的可见光信息进行表现的特征量，尤其是立体物的角部以及边缘等能够检测到较多的特征量。具体而言，该特征量虽然是以下所述的三维特征量或可见光的特征量，除此之外，只要是表示vxl的位置、亮度、或颜色信息等的特征量，可以是任意的特征量。
[0284]
作为三维特征量，采用shot特征量(signature of histograms of orientations：方位直方图特征)、pfh特征量(point feature histograms：点特征直方图)、或ppf特征量(point pair feature：点对特征)。
[0285]
shot特征量通过对vxl周边进行分割，并对基准点与被分割的区域的法线向量的内积进行计算，进行直方图化而得到的。该shot特征量具有维数高、特征表现力高的特征。
[0286]
pfh特征量是通过在vxl附近选择多个2点组，根据这2点算出法线向量等，并进行直方图化而得到的。该pfh特征量由于是直方图特征，针对少量干扰具有橹棒性，而且具有特征表现力高的特征。
[0287]
ppf特征量是按照2点的vxl，利用法线向量等而算出的特征量。在该ppf特征量中，由于使用所有的vxl，因此针对遮蔽具有橹棒性。
[0288]
并且，作为可见光的特征量，能够使用采用了图像的亮度梯度信息等信息的sift(scale-invariant feature transform：尺度不变特征转换)、surf(speeded up robust features：加速稳健特征)、或hog(histogram of oriented gradients：方向梯度直方图)等。
[0289]
swld是通过从wld的各vxl算出上述特征量，并提取fvxl而生成的。在此，swld可以在wld每次被更新时来更新，也可以是与wld的更新定时无关，在一定时间经过后定期地进行更新。
[0290]
swld可以按照每个特征量来生成。例如基于shot特征量的swld1和基于sift特征量的swld2所示，可以按照每个特征量来分别生成swld，并按照用途来区分使用swld。并且，也可以将算出的各fvxl的特征量作为特征量信息来保持到各fvxl。
[0291]
接着，对稀疏世界空间(swld)的利用方法进行说明。由于swld仅包含特征体素(fvxl)，因此，与包括所有的vxl的wld相比，数据大小一般比较小。
[0292]
在利用特征量来实现某种目的的应用中，通过取代wld而利用swld的信息，能够抑制从硬盘的读出时间，并且能够抑制网络传输时的频带以及传输时间。例如，作为地图信息，事先将wld和swld保持到服务器，通过按照来自客户端的需求来将发送的地图信息切换为wld或swld，从而能够抑制网络带宽以及传输时间。以下示出具体的例子。
[0293]
图12以及图13示出了swld以及wld的利用例。如图12所示，在作为车载装置的客户
端1需要作为自身位置判断用途的地图信息的情况下，客户端1向服务器发送自身位置估计用的地图数据的获取需求(s301)。服务器按照该获取需求将swld发送给客户端1(s302)。客户端1利用接收的swld进行自身位置判断(s303)。此时，客户端1通过测距仪等距离传感器、立体摄像机、或多个单眼相机的组合等各种方法，来获取客户端1的周边的vxl信息，根据得到的vxl信息和swld来估计自身位置信息。在此，自身位置信息包括客户端1的三维位置信息以及朝向等。
[0294]
如图13所示，在作为车载装置的客户端2需要作为三维地图等地图描绘的用途的地图信息的情况下，客户端2将地图描绘用的地图数据的获取需求发送给服务器(s311)。服务器按照该获取需求，将wld发送给客户端2(s312)。客户端2利用接收的wld来进行地图描绘(s313)。此时，客户端2例如使用自己用可见光摄像机等拍摄的图像、以及从服务器获取的wld，来制成构思图像，将制成的图像描绘到汽车导航等画面。
[0295]
如以上所示，服务器在主要需要自身位置估计这种各vxl的特征量的用途中，将swld发送给客户端，像地图描绘那样，在需要详细的vxl信息的情况下，将wld发送给客户端。据此，能够高效地对地图数据进行收发。
[0296]
另外，客户端可以判断自己需要swld和wld的哪一个，并向服务器请求swld或wld的发送。并且，服务器可以根据客户端或网络的状况，来判断应该发送swld或wld的哪一个。
[0297]
接着，将要说明的是对稀疏世界空间(swld)与世界空间(wld)的收发进行切换的方法。
[0298]
可以按照网络带宽来对wld或swld的接收进行切换。图14示出了这种情况下的工作例。例如，在能够使用lte(long term evolution：长期演进)环境下等的网络带宽的低速网络被使用的情况下，客户端经由低速网络来向服务器进行存取时(s321)，从服务器获取作为地图信息的swld(s322)。另外在使用wifi环境下等网络带宽有富余的高速网络的情况下，客户端经由高速网络来向服务器进行存取(s323)，从服务器获取wld(s324)。据此，客户端能够按照该客户端的网络带宽来获取恰当的地图信息。
[0299]
具体而言，客户端在室外经由lte来接收swld，在进入到设施等室内的情况下，经由wifi来获取wld。据此，客户端能够获取室内的更加详细的地图信息。
[0300]
这样，客户端可以按照自身所使用的网络的频带，向服务器请求wld或swld。或者，客户端可以将示出自身所使用的网络的频带的信息发送给服务器，服务器按照该信息，向该客户端发送恰当的数据(wld或swld)。或者，服务器可以判别客户端的网络带宽，向该客户端发送恰当的数据(wld或swld)。
[0301]
并且，可以按照移动速度来对wld或swld的接收进行切换。图15示出了这种情况下的工作例。例如，在客户端高速移动的情况下(s331)，客户端从服务器接收swld(s332)。另外，在客户端低速移动的情况下(s333)，客户端从服务器接收wld(s334)。据此，客户端既能够抑制网络带宽，又能够按照速度来获得地图信息。具体而言，客户端在高速公路行驶中，通过接收数据量少的swld，从而大致能够以恰当的速度来更新地图信息。另外，在客户端在一般道路行驶时，通过接收wld，从而能够获取更加详细的地图信息。
[0302]
这样，客户端可以按照自身的移动速度向服务器请求wld或swld。或者，客户端可以将示出自身的移动速度的信息发送给服务器，服务器按照该信息，向该客户端发送恰当的数据(wld或swld)。或者，服务器可以判别客户端的移动速度，向该客户端发送恰当的数
据(wld或swld)。
[0303]
并且，也可以是，客户端先从服务器获取swld，而后获取其中的重要区域的wld。例如，客户端在获取地图数据时，首先以swld获取概略的地图信息，从中筛选建筑物、标识、或人物等的特征出现较多的区域，之后再获得筛选后的区域的wld。据此，客户端既能够抑制来自服务器的接收数据量，又能够获取所需要的区域的详细信息。
[0304]
并且，也可以是，服务器根据wld按照每个物体来分别制作swld，客户端按照用途来分别进行接收。据此，能够抑制网络带宽。例如，服务器从wld中预先识别人或车，制作出人的swld和车的swld。客户端在想获取周围的人的信息的情况下，接收人的swld，在想获取车的信息的情况下，接收车的swld。并且，这种swld的种类可以根据被附加在头等的信息(标志或类型等)来区別。
[0305]
接着，对本实施方式所涉及的三维数据编码装置(例如服务器)的构成以及工作的流程进行说明。图16是本实施方式所涉及的三维数据编码装置400的方框图。图17是由三维数据编码装置400进行三维数据编码处理的流程图。
[0306]
图16所示的三维数据编码装置400，通过对输入三维数据411进行编码，从而生成作为编码流的编码三维数据413以及414。在此，编码三维数据413是与wld对应的编码三维数据，编码三维数据414是与swld对应的编码三维数据。该三维数据编码装置400具备：获得部401、编码区域决定部402、swld提取部403、wld编码部404、以及swld编码部405。
[0307]
如图17所示，首先，获得部401获得作为三维空间内的点群数据的输入三维数据411(s401)。
[0308]
接着，编码区域决定部402根据点群数据所存在的空间区域，来决定编码对象的空间区域(s402)。
[0309]
接着，swld提取部403将编码对象的空间区域定义为wld，根据wld中包含的各vxl算出特征量。并且，swld提取部403提取特征量为预先规定的阈值以上的vxl，将提取的vxl定义为fvxl，通过将该fvxl追加到swld，从而生成提取三维数据412(s403)。即，从输入三维数据411提取特征量为阈值以上的提取三维数据412。
[0310]
接着，wld编码部404通过对与wld对应的输入三维数据411进行编码，从而生成与wld对应的编码三维数据413(s404)。此时，wld编码部404将用于区别该编码三维数据413是包含wld的流的信息附加到编码三维数据413的头。
[0311]
并且，swld编码部405通过对与swld对应的提取三维数据412进行编码，从而生成与swld对应的编码三维数据414(s405)。此时，swld编码部405将用于区别该编码三维数据414是包含swld的流的信息附加到编码三维数据414的头。
[0312]
并且，生成编码三维数据413的处理与生成编码三维数据414的处理的处理顺序也可以与上述相反。并且，上述的处理的一部分或全部也可以并行执行。
[0313]
作为被赋予到编码三维数据413以及414的头的信息例如被定义为“world_type”这种参数。在world_type＝0的情况下，表示流包含wld，在world_type＝1的情况下，表示流包含swld。在定义其他的更多的类别的情况下，可以如world_type＝2这样，增加分配的数值。并且，在编码三维数据413以及414的一方中可以包含特定的标志。例如，在编码三维数据414可以被赋予包括示出该流包含swld的标志。在这种情况下，解码装置可以根据标志的有无，来判别是包含wld的流、还是包含swld的流。
[0314]
并且，wld编码部404对wld进行编码时使用的编码方法可以与swld编码部405对swld进行编码时使用的编码方法不同。
[0315]
例如，由于在swld数据被抽选，这与wld相比，与周边的数据的相关有可能变低。因此，在用于swld的编码方法中，与用于wld的编码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
[0316]
并且，也可以是在用于swld的编码方法与用于wld的编码方法中，三维位置的表现手法不同。例如，可以是，在fwld由三维坐标来表现fvxl的三维位置，在wld通过后述的八叉树来表现三维位置，并且可以是相反的。
[0317]
并且，swld编码部405以swld的编码三维数据414的数据大小比wld的编码三维数据413的数据大小小的方式进行编码。例如以上所述，swld与wld相比，数据间的相关有可能降低。据此，编码効率降低，编码三维数据414的数据大小有可能比wld的编码三维数据413的数据大小大。因此，swld编码部405在得到的编码三维数据414的数据大小比wld的编码三维数据413的数据大小大的情况下，通过进行再编码，从而再次生成降低了数据大小的编码三维数据414。
[0318]
例如，swld提取部403再次生成提取的特征点的数量减少了的提取三维数据412，swld编码部405对该提取三维数据412进行编码。或者，可以将swld编码部405中的量化程度变得粗糙。例如，在后述的八叉树结构中，通过对最下层的数据进行舍入，从而能够使量化的程度变得粗糙。
[0319]
并且，swld编码部405在不能将swld的编码三维数据414的数据大小比wld的编码三维数据413的数据大小小的情况下，也可以不生成swld的编码三维数据414。或者，可以将wld的编码三维数据413复制到swld的编码三维数据414。即，作为swld的编码三维数据414，可以直接使用wld的编码三维数据413。
[0320]
接着，对本实施方式所涉及的三维数据解码装置(例如客户端)的构成以及工作的流程进行说明。图18是本实施方式所涉及的三维数据解码装置500的方框图。图19是三维数据解码装置500进行三维数据解码处理的流程图。
[0321]
图18所示的三维数据解码装置500通过对编码三维数据511进行解码，从而生成解码三维数据512或513。在此，编码三维数据511例如是在三维数据编码装置400生成的编码三维数据413或414。
[0322]
该三维数据解码装置500具备：获得部501、头解析部502、wld解码部503、以及swld解码部504。
[0323]
如图19所示，首先，获得部501获得编码三维数据511(s501)。接着，头解析部502对编码三维数据511的头进行解析，判别编码三维数据511是包含wld的流、还是包含swld的流(s502)。例如，参照上述的world_type的参数来进行判别。
[0324]
在编码三维数据511是包含wld的流的情况下(s503的“是”)，wld解码部503对编码三维数据511进行解码，从而生成wld的解码三维数据512(s504)。另外，在编码三维数据511是包含swld的流的情况下(s503的“否”)，swld解码部504对编码三维数据511进行解码，从而生成swld的解码三维数据513(s505)。
[0325]
并且，与编码装置同样，wld解码部503在对wld进行解码时使用的解码方法、与swld解码部504对swld进行解码时使用的解码方法可以不同。例如，在用于swld的解码方法
中，与用于wld的解码方法相比，可以使帧内预测以及帧间预测中的帧间预测优先。
[0326]
并且，在用于swld的解码方法与用于wld的解码方法中，三维位置的表现手法可以不同。例如，在swld可以通过三维坐标来表现fvxl的三维位置，在wld可以通过后述的八叉树来表现三维位置，并且也可以相反。
[0327]
接着，对作为三维位置的表现手法的八叉树表现进行说明。三维数据中包含的vxl数据被转换为八叉树结构后被编码。图20示出了wld的vxl的一个例子。图21示出了图20所示的wld的八叉树结构。在图20所示的例子中，存在作为包含点群的vxl(以下，有效vxl)的3个vxl1～3。如图21所示，八叉树结构由节点和叶节点构成。各节点最大具有8个节点或叶节点。各叶节点具有vxl信息。在此，图21所示的叶节点之中，叶节点1、2、3分别表示图20所示的vxl1、vxl2、vxl3。
[0328]
具体而言，各节点以及叶节点与三维位置对应。节点1与图20所示的所有的块对应。与节点1对应的块被分割为8个块，8个块之中，包括有效vxl的块被设定为节点，除此以外的块被设定为叶节点。与节点对应的块进一步被分割为8个节点或叶节点，这种处理被重复的次数与树状结构中的阶层数相同。并且，最下层的块全被设定为叶节点。
[0329]
并且，图22示出了从图20所示的wld生成的swld的例子。图20所示的vxl1以及vxl2的特征量提取的结果被判断为fvxl1以及fvxl2，被加入到swld。另外，vxl3没有被判断为fvxl，因此不包含在swld中。图23示出了图22所示的swld的八叉树结构。在图23所示的八叉树结构中，图21所示的、相当于vxl3的叶节点3被删除。据此，图21所示的节点3没有有效vxl，而被变更为叶节点。这样，一般而言，swld的叶节点数比wld的叶节点数少，swld的编码三维数据也比wld的编码三维数据小。
[0330]
以下对本实施方式的变形例进行说明。
[0331]
例如也可以是，在车载装置等客户端在进行自身位置估计时，从服务器接收swld，利用swld进行自身位置估计，并进行障碍物检测的情况下，利用测距仪等距离传感器、立体摄像机、或多个单眼相机的组合等各种方法，根据自身获得的周边的三维信息来执行障碍物检测。
[0332]
并且，一般而言，在swld中很难包含平坦区域的vxl数据。为此，服务器保持用于静止的障碍物的检测的对wld进行了下采样的下采样世界空间(subwld)，并可以将swld与subwld发送给客户端。据此，既能够抑制网络带宽，又能够在客户端侧进行自身位置估计以及障碍物检测。
[0333]
并且，在客户端快速描绘三维地图数据时，地图信息为网格结构则会有方便的情况。于是，服务器可以根据wld生成网格，作为网格世界空间(mwld)来事先保持。例如，在客户端需要进行粗糙的三维描绘时则接收mwld，在需要进行详细的三维描绘时则接收wld。据此，能够抑制网络带宽。
[0334]
并且，服务器虽然从各vxl中，将特征量为阈值以上的vxl设定为fvxl，不过也可以通过不同的方法来算出fvxl。例如，服务器将构成信号或交叉点等的vxl、vlm、spc、或gos判断为在自身位置估计、驾驶辅助、或自动驾驶等中需要，则可以作为fvxl、fvlm、fspc、fgos而包含在swld。并且，上述判断可以通过手动进行。另外，可以在基于特征量而设定的fvxl等中加入由上述方法得到的fvxl等。即，swld提取部403进一步可以从输入三维数据411，将与具有预先规定的属性的物体对应的数据作为提取三维数据412来提取。
[0335]
并且，可以针对需要用于这些用途的状况赋予与特征量不同的标签。服务器可以将信号或交叉点等自身位置估计、驾驶辅助、或自动驾驶等中所需要的fvxl，作为swld的上位层(例如车道(lane)世界空间)而另外保持。
[0336]
并且，服务器也可以按照随机存取单位或规定的单位，将属性附加到wld内的vxl。属性例如包括：示出自身位置估计中所需要的或不需要的信息、或示出作为信号或交叉点等交通信息是否重要等信息。并且，属性中也可以包括车道信息(gdf：geographic data files等)中的与feature(交叉点或道路等)的对应关系。
[0337]
并且，作为wld或swld的更新方法，可以采用如下的方法。
[0338]
示出人、施工、或街道树(面向轨迹)的变化等更新信息作为点群或元数据被加载到服务器。服务器根据该加载来更新wld，在此之后，利用更新的wld来更新swld。
[0339]
并且，在客户端对自身位置估计时自身所生成的三维信息与从服务器接收的三维信息的不匹配进行检测的情况下，可以将自身所生成的三维信息与更新通知一起发送到服务器。在这种情况下，服务器利用wld来更新swld。在swld没有被更新的情况下，服务器判断wld自身是旧的。
[0340]
并且，作为编码流的头部信息，虽然附加了用于区别是wld还是swld的信息，例如在网格世界空间或车道世界空间等存在多种世界空间的情况下，用于对他们进行区別的信息可以被附加到头部信息。并且，在特征量不同的swld存在多个的情况下，用于对他们分别进行区別的信息也可以被附加到头部信息。
[0341]
并且，swld虽然由fvxl来构成，不过也可以包括没有被判断为fvxl的vxl。例如，swld可以包括在算出fvxl的特征量时所使用的邻接vxl。据此，即使在swld的各fvxl没有附加特征量信息的情况下，客户端也能够在接收swld时来算出fvxl的特征量。另外，此时，swld可以包括用于区别各vxl是fvxl还是vxl的信息。
[0342]
如以上所述，三维数据编码装置400从输入三维数据411(第1三维数据)提取特征量为阈值以上的提取三维数据412(第2三维数据)，通过对提取三维数据412进行编码，来生成编码三维数据414(第1编码三维数据)。
[0343]
据此，三维数据编码装置400生成对特征量为阈值以上的数据进行编码而得到的编码三维数据414。这样，与直接对输入三维数据411进行编码的情况相比，能够减少数据量。因此，三维数据编码装置400能够减少传输时的数据量。
[0344]
并且，三维数据编码装置400进一步通过对输入三维数据411进行编码，来生成编码三维数据413(第2编码三维数据)。
[0345]
据此，三维数据编码装置400例如按照使用用途等，能够对编码三维数据413与编码三维数据414进行有选择地传输。
[0346]
并且，提取三维数据412由第1编码方法而被编码，输入三维数据411由与第1编码方法不同的第2编码方法而被编码。
[0347]
据此，三维数据编码装置400能够针对输入三维数据411与提取三维数据412分别采用恰当的编码方法。
[0348]
并且，在第1编码方法中，与第2编码方法相比，帧内预测以及帧间预测之中的帧间预测被优先。
[0349]
据此，三维数据编码装置400能够针对邻接的数据间的相关容易变低的提取三维
数据412，来提高帧间预测的优先级。
[0350]
并且，在第1编码方法与第2编码方法中，三维位置的表现手法不同。例如在第2编码方法中，由八叉树来表现三维位置，在第1编码方法中，由三维坐标来表现三维位置。
[0351]
据此，三维数据编码装置400针对数据数(vxl或fvxl的数量)不同的三维数据，能够采用更加恰当的三维位置的表现手法。
[0352]
并且，在编码三维数据413以及414的至少一方包括，示出该编码三维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411之中的一部分进行编码而得到的编码三维数据的标识符。即，该标识符示出编码三维数据是wld的编码三维数据413、还是swld的编码三维数据414。
[0353]
据此，解码装置能够容易地判断获取的编码三维数据是编码三维数据413还是编码三维数据414。
[0354]
并且，三维数据编码装置400以编码三维数据414的数据量比编码三维数据413的数据量少的方式，对提取三维数据412进行编码。
[0355]
据此，三维数据编码装置400能够使编码三维数据414的数据量比编码三维数据413的数据量少。
[0356]
并且，三维数据编码装置400进一步，从输入三维数据411将与具有预先规定的属性的物体对应的数据，作为提取三维数据412来提取。例如，具有预先规定的属性的物体是指，自身位置估计、驾驶辅助、或自动驾驶等中所需要的物体，是信号或交叉点等。
[0357]
据此，三维数据编码装置400能够生成包括解码装置所需要的数据的编码三维数据414。
[0358]
并且，三维数据编码装置400(服务器)进一步按照客户端的状态，将编码三维数据413以及414的一方发送到客户端。
[0359]
据此，三维数据编码装置400能够按照客户端的状态，来发送恰当的数据。
[0360]
并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速度。
[0361]
并且，三维数据编码装置400进一步按照客户端的请求，将编码三维数据413以及414的一方发送到客户端。
[0362]
据此，三维数据编码装置400能够按照客户端的请求，发送恰当的数据。
[0363]
并且，本实施方式所涉及的三维数据解码装置500对由上述三维数据编码装置400生成的编码三维数据413或414进行解码。
[0364]
即，三维数据解码装置500通过第1解码方法，对从输入三维数据411提取的特征量为阈值以上的提取三维数据412被编码而得到的编码三维数据414进行解码。并且，三维数据解码装置500对输入三维数据411被编码而得到的编码三维数据413，利用与第1解码方法不同的第2解码方法进行解码。
[0365]
据此，三维数据解码装置500针对特征量为阈值以上的数据被编码而得到的编码三维数据414与编码三维数据413，例如能够按照使用用途等来有选择地接收。据此，三维数据解码装置500能够减少传输时的数据量。而且，三维数据解码装置500能够针对输入三维数据411与提取三维数据412分别采用恰当的解码方法。
[0366]
并且，在第1解码方法中，与第2解码方法相比，帧内预测以及帧间预测之中的帧间
预测被优先。
[0367]
据此，三维数据解码装置500针对邻接的数据间的相关容易变低的提取三维数据，能够提高帧间预测的优先级。
[0368]
并且，在第1解码方法与第2解码方法中，三维位置的表现手法不同。例如在第2解码方法中通过八叉树来表现三维位置，在第1解码方法中通过三维坐标来表现三维位置。
[0369]
据此，三维数据解码装置500针对数据数(vxl或fvxl的数量)不同的三维数据，能够采用更恰当的三维位置的表现手法。
[0370]
并且，编码三维数据413以及414的至少一方包括标识符，该标识符示出该编码三维数据是通过对输入三维数据411进行编码而得到的编码三维数据、还是通过对输入三维数据411中的一部分进行编码而得到的编码三维数据。三维数据解码装置500参照该标识符，来识别编码三维数据413以及414。
[0371]
据此，三维数据解码装置500能够容易地判断获得的编码三维数据是编码三维数据413还是编码三维数据414。
[0372]
并且，三维数据解码装置500进一步将客户端(三维数据解码装置500)的状态通知给服务器。三维数据解码装置500按照客户端的状态，来接收从服务器发送的编码三维数据413以及414的一方。
[0373]
据此，三维数据解码装置500能够按照客户端的状态来接收恰当的数据。
[0374]
并且，客户端的状态包括客户端的通信状况(例如网络带宽)或客户端的移动速度。
[0375]
并且，三维数据解码装置500进一步向服务器请求编码三维数据413以及414的一方，并按照该请求，接收从服务器发送的编码三维数据413以及414的一方。
[0376]
据此，三维数据解码装置500能够接收与用途对应的恰当的数据。
[0377]
(实施方式3)
[0378]
在本实施方式中，对车辆间的三维数据的收发方法进行说明。例如进行自身车辆与周围车辆之间的三维数据的收发。
[0379]
图24是本实施方式所涉及的三维数据制作装置620的方框图。该三维数据制作装置620例如被包括在自身车辆，通过将接收的第2三维数据635与三维数据制作装置620所制作的第1三维数据632进行合成，从而制作更密的第3三维数据636。
[0380]
该三维数据制作装置620具备：三维数据制作部621、请求范围决定部622、搜索部623、接收部624、解码部625、以及合成部626。
[0381]
首先，三维数据制作部621利用由自身车辆具备的传感器检测的传感器信息631，制作第1三维数据632。接着，请求范围决定部622决定请求范围，该请求范围是指制作的第1三维数据632中的数据不够的三维空间范围。
[0382]
接着，搜索部623对持有请求范围的三维数据的周围车辆进行搜索，将示出请求范围的请求范围信息633，发送到通过搜索而确定的周围车辆。接着，接收部624从周围车辆接收作为请求范围的编码流的编码三维数据634(s624)。另外，搜索部623可以针对确定的范围中存在的所有的车辆无差别地发出请求，从有应答的对方接收编码三维数据634。并且，搜索部623并非受限于车辆，也可以向信号机或标识等物体发出请求，并从该物体接收编码三维数据634。
[0383]
接着，通过解码部625对接收的编码三维数据634进行解码，而获得第2三维数据635。接着，通过合成部626对第1三维数据632与第2三维数据635进行合成，来制作更密的第3三维数据636。
[0384]
接着，对本实施方式所涉及的三维数据发送装置640的构成以及工作进行说明。图25是三维数据发送装置640的方框图。
[0385]
三维数据发送装置640例如包括在上述的周围车辆中，将周围车辆制作的第5三维数据652加工为自身车辆所请求的第6三维数据654，并通过对第6三维数据654进行编码来生成编码三维数据634，将编码三维数据634发送到自身车辆。
[0386]
三维数据发送装置640具备：三维数据制作部641、接收部642、提取部643、编码部644、以及发送部645。
[0387]
首先，三维数据制作部641利用由周围车辆具备的传感器检测的传感器信息651，制作第5三维数据652。接着，接收部642接收从自身车辆发送的请求范围信息633。
[0388]
接着，通过提取部643从第5三维数据652提取由请求范围信息633表示的请求范围的三维数据，将第5三维数据652加工成第6三维数据654。接着，通过编码部644对第6三维数据654进行编码，从而生成作为编码流的编码三维数据634。于是，发送部645向自身车辆发送编码三维数据634。
[0389]
另外，在此，虽然对自身车辆具备三维数据制作装置620，周围车辆具备三维数据发送装置640的例子进行了说明，但是，各个车辆也可以具有三维数据制作装置620和三维数据发送装置640的功能。
[0390]
(实施方式4)
[0391]
在本实施方式中，对基于三维地图的自身位置估计中的有关异常状况的工作进行说明。
[0392]
使机动车的自动驾驶、机器人、或者无人机等飞行物体等移动体自律的移动等用途今后将会扩大。作为实现这种自律的移动的方法的一个例子有，移动体一边估计自己在三维地图内的位置(自身位置估计)，一边按照地图来行驶的方法。
[0393]
自身位置估计是通过对三维地图、与搭载于自身车辆的测距仪(lidar等)或立体相机等传感器所获得的自身车辆周边的三维信息(以后称为自身车辆检测三维数据)进行匹配，并对三维地图内的自身车辆位置进行估计而实现的。
[0394]
三维地图如here公司提出的hd地图等所示，不仅是三维的点云，而且可以包括道路以及交叉路口的形状信息等二维的地图数据、或堵塞以及事故等以实际时间发生变化的信息。由三维数据、二维数据、实际时间中发生变化的元数据等多个层次构成三维地图，装置可以仅获得需要的数据，或者也可以参照所需要的数据。
[0395]
点云的数据可以是上述的swld，也可以包括不是特征点的点群数据。并且，点云的数据的收发基本上以一个或多个随机存取单位来执行。
[0396]
作为三维地图与自身车辆检测三维数据的匹配方法，能够采用以下的方法。例如，装置对彼此的点云中的点群的形状进行比较，将特征点间的类似度高的部位决定为同一位置。并且，在三维地图由swld构成的情况下，装置对构成swld的特征点、与从自身车辆检测三维数据提取的三维特征点进行比较并进行匹配。
[0397]
在此，为了高精确度地进行自身位置估计，需要满足如下的(a)和(b)，(a)已经能
够获得三维地图和自身车辆检测三维数据，(b)他们的精确度满足预先决定的基准。但是，在以下的这种异常情况中，(a)或(b)不能满足。
[0398]
(1)通过通信路径不能获得三维地图。
[0399]
(2)不存在三维地图，或者获得的三维地图被损坏。
[0400]
(3)自身车辆的传感器出现故障，或者由于天气不好，自身车辆检测三维数据的生成精确度不够。
[0401]
以下对为了应对这些异常情况的工作进行说明。以下虽然以车辆为例对其工作进行说明，以下的方法也能够适用于机器人或无人机等进行自律移动的所有的运动物体。
[0402]
以下将要说明的是为了对应三维地图或自身车辆检测三维数据中的异常情况的本实施方式所涉及的三维信息处理装置的构成以及工作。图26是示出本实施方式所涉及的三维信息处理装置700的构成例的方框图。
[0403]
三维信息处理装置700例如被搭载于机动车等移动物体。如图26所示，三维信息处理装置700具备：三维地图获得部701、自身车辆检测数据获得部702、异常情况判断部703、应对工作决定部704、以及工作控制部705。
[0404]
另外，三维信息处理装置700也可以具备获得二维图像的相机，或者可以具备采用了超声波或激光的一维数据的传感器等用于检测自身车辆周边的结构物体或移动物体的未图示的二维或一维传感器。并且，三维信息处理装置700也可以具备通信部(未图示)，该通信部用于通过4g或5g等移动体通信网、或者车与车之间的通信、道路与车之间的通信，来获得三维地图。
[0405]
三维地图获得部701获得行驶路径附近的三维地图711。例如，三维地图获得部701通过移动体通信网、或车与车之间的通信、道路与车之间的通信获得三维地图711。
[0406]
接着，自身车辆检测数据获得部702根据传感器信息，获得自身车辆检测三维数据712。例如，自身车辆检测数据获得部702根据由自身车辆所具备的传感器获得的传感器信息，生成自身车辆检测三维数据712。
[0407]
接着，异常情况判断部703通过针对获得的三维地图711以及自身车辆检测三维数据712的至少一方执行预先决定的检查，来检测异常情况。即，异常情况判断部703对获得的三维地图711以及自身车辆检测三维数据712的至少一方判断是否为异常。
[0408]
在异常情况被检测出的情况下，应对工作决定部704决定针对异常情况的应对工作。接着，工作控制部705对三维地图获得部701等在应对工作的实施中所需要的各处理部的工作进行控制。
[0409]
另外，在没有检测出异常情况的情况下，三维信息处理装置700结束处理。
[0410]
并且，三维信息处理装置700利用三维地图711和自身车辆检测三维数据712，进行具有三维信息处理装置700的车辆的自身位置估计。接着，三维信息处理装置700利用自身位置估计的结果，使该车辆进行自动驾驶。
[0411]
据此，三维信息处理装置700经由信道，获得包括第1三维位置信息的地图数据(三维地图711)。例如，第1三维位置信息以具有三维的坐标信息的部分空间为单位而被编码，第1三维位置信息包括多个随机存取单位，多个随机存取单位的每一个为一个以上的部分空间的集合体，且能够被独立解码。例如，第1三维位置信息是三维的特征量成为规定的阈值以上的特征点被编码的数据(swld)。
[0412]
并且，三维信息处理装置700根据由传感器检测的信息，生成第2三维位置信息(自身车辆检测三维数据712)。接着，三维信息处理装置700通过针对第1三维位置信息或第2三维位置信息执行异常判断处理，来判断第1三维位置信息或所述第2三维位置信息是否为异常。
[0413]
三维信息处理装置700在判断第1三维位置信息或第2三维位置信息为异常的情况下，决定针对该异常的应对工作。接着，三维信息处理装置700执行在应对工作的实施时所需要的控制。
[0414]
据此，三维信息处理装置700能够检测第1三维位置信息或第2三维位置信息的异常，并能够进行应对工作。
[0415]
(实施方式5)
[0416]
在本实施方式中，对给后方车辆的三维数据发送方法等进行说明。
[0417]
图27是示出本实施方式所涉及的三维数据制作装置810的构成例的方框图。该三维数据制作装置810例如被搭载于车辆。三维数据制作装置810与外部的交通云监控、前方车辆或后方车辆进行三维数据的收发，同时对三维数据进行制作并蓄积。
[0418]
三维数据制作装置810具备：数据接收部811、通信部812、接收控制部813、格式转换部814、多个传感器815、三维数据制作部816、三维数据合成部817、三维数据蓄积部818、通信部819、发送控制部820、格式转换部821、以及数据发送部822。
[0419]
数据接收部811从交通云监控或前方车辆接收三维数据831。三维数据831例如包括含有自身车辆的传感器815不能检测的区域的信息的点云、可见光影像、深度信息、传感器位置信息、或速度信息等。
[0420]
通信部812与交通云监控或前方车辆进行通信，将数据发送请求等发送到交通云监控或前方车辆。
[0421]
接收控制部813经由通信部812，将对应的格式等信息与通信对方交换，确立与通信对方的通信。
[0422]
格式转换部814通过对数据接收部811接收的三维数据831进行格式转换等来生成三维数据832。并且，格式转换部814在三维数据831被压缩或编码的情况下，进行解压缩或解码处理。
[0423]
多个传感器815是lidar、可见光相机或红外线相机等获得车辆的外部的信息的传感器群，生成传感器信息833。例如，在传感器815为lidar等激光传感器的情况下，传感器信息833是点云(点群数据)等三维数据。另外，传感器815也可以不是多个。
[0424]
三维数据制作部816根据传感器信息833生成三维数据834。三维数据834例如包括点云、可见光影像、深度信息、传感器位置信息、或速度信息的信息。
[0425]
三维数据合成部817通过将交通云监控或前方车辆等制作的三维数据832，合成到根据自身车辆的传感器信息833而制作的三维数据834，从而能够构筑自身车辆的传感器815不能检测的前方车辆的前方的空间也包括在内的三维数据835。
[0426]
三维数据蓄积部818对生成的三维数据835等进行蓄积。
[0427]
通信部819与交通云监控或后方车辆进行通信，将数据发送请求等发送到交通云监控或后方车辆。
[0428]
发送控制部820经由通信部819，将对应的格式等信息与通信对方进行交换，确立
与通信对方的通信。并且，发送控制部820根据在三维数据合成部817生成的三维数据832的三维数据构筑信息、以及来自通信对方的数据发送请求，来决定作为发送对象的三维数据的空间的发送区域。
[0429]
具体而言，发送控制部820按照来自交通云监控或后方车辆的数据发送请求，来决定包括后方车辆的传感器不能检测的自身车辆的前方的空间的发送区域。并且，发送控制部820通过根据三维数据构筑信息来判断能够发送的空间或已发送空间的更新有无等，从而决定发送区域。例如，发送控制部820将既是由数据发送请求指定的区域、又是对应的三维数据835存在的区域决定为发送区域。并且，发送控制部820将通信对方所对应的格式、以及发送区域通知给格式转换部821。
[0430]
格式转换部821通过将被蓄积在三维数据蓄积部818的三维数据835中的发送区域的三维数据836，转换为与接收侧对应的格式，来生成三维数据837。另外，也可以通过格式转换部821对三维数据837进行压缩或编码，来减少数据量。
[0431]
数据发送部822将三维数据837发送到交通云监控或后方车辆。该三维数据837例如包括含有成为后方车辆的死角的区域的信息的自身车辆的前方的点云、可见光影像、深度信息、或传感器位置信息等。
[0432]
另外，在此虽然以格式转换部814以及821进行格式转换等为例进行了说明，但是也可以不进行格式转换。
[0433]
通过此构成，三维数据制作装置810从外部获得在自身车辆的传感器815不能检测的区域的三维数据831，并通过对三维数据831与基于自身车辆的传感器815检测到的传感器信息833的三维数据834进行合成，来生成三维数据835。据此，三维数据制作装置810能够生成自身车辆的传感器815不能检测的范围的三维数据。
[0434]
并且，三维数据制作装置810能够按照来自交通云监控或后方车辆的数据发送请求，将包括后方车辆的传感器不能检测的自身车辆的前方的空间的三维数据发送到交通云监控或后方车辆等。
[0435]
(实施方式6)
[0436]
在实施方式5将要说明的例子是，车辆等客户端装置将三维数据发送到其他的车辆或交通云监控等服务器。在本实施方式中，客户端装置向服务器或其他的客户端装置发送由传感器得到的传感器信息。
[0437]
首先，对本实施方式所涉及的系统的构成进行说明。图28示出了本实施方式所涉及的三维地图以及传感器信息的收发系统的构成。该系统包括服务器901、客户端装置902a以及902b。另外，在不对客户端装置902a以及902b进行特殊区分的情况下，也记作客户端装置902。
[0438]
客户端装置902例如是被搭载在车辆等移动体的车载设备。服务器901例如是交通云监控等，能够与多个客户端装置902进行通信。
[0439]
服务器901向客户端装置902发送由点云构成的三维地图。另外，三维地图的构成并非受点云所限，也可以通过网格结构等其他的三维数据来表现。
[0440]
客户端装置902向服务器901发送由客户端装置902获得的传感器信息。传感器信息例如至少包括lidar获得信息、可见光图像、红外图像、深度图像、传感器位置信息以及速度信息之中的一个。
[0441]
关于在服务器901与客户端装置902之间收发的数据，在想要减少数据的情况下可以被压缩，在想要维持数据的精确度的情况下可以不进行压缩。在对数据进行压缩的情况下，在点云中例如能够采用基于八叉树的三维压缩方式。并且，在可见光图像、红外图像、以及深度图像中可以采用二维的图像压缩方式。二维的图像压缩方式例如是以mpeg标准化的mpeg-4avc或hevc等。
[0442]
并且，服务器901按照来自客户端装置902的三维地图的发送请求，将在服务器901进行管理的三维地图发送到客户端装置902。另外，服务器901也可以不等待来自客户端装置902的三维地图的发送请求，就对三维地图进行发送。例如，服务器901也可以将三维地图广播到预先规定的空间中的一个以上的客户端装置902。并且，服务器901也可以向接受过一次发送请求的客户端装置902，每隔一定的时间发送适于客户端装置902的位置的三维地图。并且，服务器901也可以在每当服务器901所管理的三维地图被更新时，向客户端装置902发送三维地图。
[0443]
客户端装置902向服务器901发出三维地图的发送请求。例如，在客户端装置902在行驶时想要进行自身位置估计的情况下，客户端装置902将三维地图的发送请求发送到服务器901。
[0444]
另外，在以下的情况下，客户端装置902也可以向服务器901发出三维地图的发送请求。在客户端装置902所持有的三维地图比较旧的情况下，客户端装置902也可以向服务器901发出三维地图的发送请求。例如，在客户端装置902获得三维地图并经过了一定期间的情况下，客户端装置902也可以向服务器901发出三维地图的发送请求。
[0445]
也可以是，在客户端装置902将要从客户端装置902所保持的三维地图所示的空间出来的一定时刻之前，客户端装置902向服务器901发出三维地图的发送请求。例如也可以是，在客户端装置902存在于从客户端装置902所保持的三维地图所示的空间的边界预先规定的距离以内的情况下，客户端装置902向服务器901发出三维地图的发送请求。并且，在掌握到客户端装置902的移动路径以及移动速度的情况下，可以根据掌握到的移动路径和移动速度，来预测客户端装置902从客户端装置902所保持的三维地图示出的空间出来的时刻。
[0446]
在客户端装置902根据传感器信息制作的三维数据与三维地图的位置对照时的误差在一定范围以上时，客户端装置902可以向服务器901发出三维地图的发送请求。
[0447]
客户端装置902按照从服务器901发送来的传感器信息的发送请求，将传感器信息发送到服务器901。另外，客户端装置902也可以不等待来自服务器901的传感器信息的发送请求，就将传感器信息发送到服务器901。例如，客户端装置902在从服务器901得到过一次传感器信息的发送请求的情况下，可以在一定的期间之中，定期地将传感器信息发送到服务器901。并且也可以是，在客户端装置902根据传感器信息制作的三维数据、与从服务器901得到的三维地图的位置对照时的误差为一定范围以上的情况下，客户端装置902判断在客户端装置902的周边的三维地图有发生变化的可能性，并将这一判断结果和传感器信息一起发送到服务器901。
[0448]
服务器901向客户端装置902发出传感器信息的发送请求。例如，服务器901从客户端装置902接收gps等客户端装置902的位置信息。服务器901根据客户端装置902的位置信息，在判断为客户端装置902接近到服务器901所管理的三维地图中信息少的空间的情况
下，为了重新生成三维地图，而将传感器信息的发送请求发出到客户端装置902。并且也可以是，服务器901在想要更新三维地图的情况、在想要确认积雪时或灾害时等道路状况的情况、在想要确认堵塞状况或事件事故状况等情况下，也可以发出传感器信息的发送请求。
[0449]
并且也可以是，客户端装置902按照从服务器901接受的传感器信息的发送请求的接收时的通信状态或频带，来设定发送到服务器901的传感器信息的数据量。对发送到服务器901的传感器信息的数据量进行设定例如是指，对该数据本身进行增减、或者选择适宜的压缩方式。
[0450]
图29是示出客户端装置902的构成例的方框图。客户端装置902从服务器901接收以点云等构成的三维地图，根据基于客户端装置902的传感器信息而制作的三维数据，来估计客户端装置902的自身位置。并且，客户端装置902将获得的传感器信息发送到服务器901。
[0451]
客户端装置902具备：数据接收部1011、通信部1012、接收控制部1013、格式转换部1014、多个传感器1015、三维数据制作部1016、三维图像处理部1017、三维数据蓄积部1018、格式转换部1019、通信部1020、发送控制部1021、以及数据发送部1022。
[0452]
数据接收部1011从服务器901接收三维地图1031。三维地图1031是包括wld或swld等点云的数据。三维地图1031也可以包括压缩数据、以及非压缩数据的任一方。
[0453]
通信部1012与服务器901进行通信，将数据发送请求(例如，三维地图的发送请求)等发送到服务器901。
[0454]
接收控制部1013经由通信部1012，与通信对方交换对应格式等信息，确立与通信对方的通信。
[0455]
格式转换部1014通过对数据接收部1011所接收的三维地图1031进行格式转换等，来生成三维地图1032。并且，格式转换部1014在三维地图1031被压缩或编码的情况下，进行解压缩或解码处理。另外，格式转换部1014在三维地图1031为非压缩数据的情况下，不进行解压缩或解码处理。
[0456]
多个传感器1015是lidar、可见光相机、红外线相机、或深度传感器等客户端装置902所搭载的用于获得车辆的外部的信息的传感器群，生成传感器信息1033。例如，在传感器1015为lidar等激光传感器的情况下，传感器信息1033是点云(点群数据)等三维数据。另外，传感器1015也可以不是多个。
[0457]
三维数据制作部1016根据传感器信息1033，制作自身车辆的周边的三维数据1034。例如，三维数据制作部1016利用由lidar获得的信息、以及由可见光相机得到的可见光影像，来制作自身车辆的周边的具有颜色信息的点云数据。
[0458]
三维图像处理部1017利用接收的点云等三维地图1032、以及根据传感器信息1033生成的自身车辆的周边的三维数据1034，来进行自身车辆的自身位置估计处理等。另外，也可以是，三维图像处理部1017对三维地图1032与三维数据1034进行合成，来制作自身车辆的周边的三维数据1035，利用制作的三维数据1035，来进行自身位置估计处理。
[0459]
三维数据蓄积部1018对三维地图1032、三维数据1034以及三维数据1035等进行蓄积。
[0460]
格式转换部1019通过将传感器信息1033转换为接收侧所对应的格式，来生成传感器信息1037。另外，格式转换部1019可以通过对传感器信息1037进行压缩或编码来减少数
据量。并且，在不需要格式转换的情况下，格式转换部1019可以省略处理。并且，格式转换部1019可以对按照发送范围的指定来发送的数据量进行控制。
[0461]
通信部1020与服务器901进行通信，从服务器901接收数据发送请求(传感器信息的发送请求)等。
[0462]
发送控制部1021经由通信部1020，与通信对方交换对应格式等信息，从而确立通信。
[0463]
数据发送部1022将传感器信息1037发送到服务器901。传感器信息1037例如包括通过lidar获得的信息、通过可见光相机获得的亮度图像(可见光图像)、通过红外线相机获得的红外图像、通过深度传感器获得的深度图像、传感器位置信息、以及速度信息等由多个传感器1015获得的信息。
[0464]
接着，对服务器901的构成进行说明。图30是示出服务器901的构成例的方框图。服务器901接收从客户端装置902发送来的传感器信息，根据接收的传感器信息，来制作三维数据。服务器901利用制作的三维数据，对服务器901管理的三维地图进行更新。并且，服务器901按照来自客户端装置902的三维地图的发送请求，将更新的三维地图发送到客户端装置902。
[0465]
服务器901具备：数据接收部1111、通信部1112、接收控制部1113、格式转换部1114、三维数据制作部1116、三维数据合成部1117、三维数据蓄积部1118、格式转换部1119、通信部1120、发送控制部1121、以及数据发送部1122。
[0466]
数据接收部1111从客户端装置902接收传感器信息1037。传感器信息1037例如包括通过lidar获得的信息、通过可见光相机获得的亮度图像(可见光图像)、通过红外线相机获得的红外图像、通过深度传感器获得的深度图像、传感器位置信息、以及速度信息等。
[0467]
通信部1112与客户端装置902进行通信，将数据发送请求(例如，传感器信息的发送请求)等发送到客户端装置902。
[0468]
接收控制部1113经由通信部1112，与通信对方交换对应格式等信息，从而确立通信。
[0469]
格式转换部1114在接收的传感器信息1037被压缩或编码的情况下，通过进行解压缩或解码处理，来生成传感器信息1132。另外，在传感器信息1037是非压缩数据的情况下，格式转换部1114不进行解压缩或解码处理。
[0470]
三维数据制作部1116根据传感器信息1132，制作客户端装置902的周边的三维数据1134。例如，三维数据制作部1116利用通过lidar获得的信息、以及通过可见光相机得到的可见光影像，来制作客户端装置902的周边具有颜色信息的点云数据。
[0471]
三维数据合成部1117将基于传感器信息1132而制作的三维数据1134，与服务器901管理的三维地图1135进行合成，据此来更新三维地图1135。
[0472]
三维数据蓄积部1118对三维地图1135等进行蓄积。
[0473]
格式转换部1119通过将三维地图1135转换为接收侧对应的格式，来生成三维地图1031。另外，格式转换部1119也可以通过对三维地图1135进行压缩或编码，来减少数据量。并且，在不需要格式转换的情况下，格式转换部1119也可以省略处理。并且，格式转换部1119可以对按照发送范围的指定来发送的数据量进行控制。
[0474]
通信部1120与客户端装置902进行通信，从客户端装置902接收数据发送请求(三
维地图的发送请求)等。
[0475]
发送控制部1121经由通信部1120，与通信对方交换对应格式等信息，从而确立通信。
[0476]
数据发送部1122将三维地图1031发送到客户端装置902。三维地图1031是包括wld或swld等点云的数据。在三维地图1031中也可以包括压缩数据以及非压缩数据的任一方。
[0477]
接着，对客户端装置902的工作流程进行说明。图31是示出客户端装置902进行的三维地图获得时的工作的流程图。
[0478]
首先，客户端装置902向服务器901请求三维地图(点云等)的发送(s1001)。此时，客户端装置902也将通过gps等得到的客户端装置902的位置信息一起发送，据此，可以向服务器901请求与该位置信息相关的三维地图的发送。
[0479]
接着，客户端装置902从服务器901接收三维地图(s1002)。若接收的三维地图是压缩数据，客户端装置902对接收的三维地图进行解码，生成非压缩的三维地图(s1003)。
[0480]
接着，客户端装置902根据从多个传感器1015得到的传感器信息1033，来制作客户端装置902的周边的三维数据1034(s1004)。接着，客户端装置902利用从服务器901接收的三维地图1032、以及根据传感器信息1033制作的三维数据1034，来估计客户端装置902的自身位置(s1005)。
[0481]
图32是示出客户端装置902进行的传感器信息的发送时的工作的流程图。首先，客户端装置902从服务器901接收传感器信息的发送请求(s1011)。接收了发送请求的客户端装置902将传感器信息1037发送到服务器901(s1012)。另外，在传感器信息1033包括通过多个传感器1015得到的多个信息的情况下，客户端装置902针对各信息，以适于各信息的压缩方式来进行压缩，从而生成传感器信息1037。
[0482]
接着，对服务器901的工作流程进行说明。图33是示出服务器901进行传感器信息的获得时的工作的流程图。首先，服务器901向客户端装置902请求传感器信息的发送(s1021)。接着，服务器901接收按照该请求而从客户端装置902发送的传感器信息1037(s1022)。接着，服务器901利用接收的传感器信息1037，来制作三维数据1134(s1023)。接着，服务器901将制作的三维数据1134反映到三维地图1135(s1024)。
[0483]
图34是示出服务器901进行的三维地图的发送时的工作的流程图。首先，服务器901从客户端装置902接收三维地图的发送请求(s1031)。接收了三维地图的发送请求的服务器901向客户端装置902发送三维地图1031(s1032)。此时，服务器901可以与客户端装置902的位置信息相对应地提取其附近的三维地图，并发送提取的三维地图。并且可以是，服务器901针对由点云构成的三维地图，例如利用通过八叉树的压缩方式等来进行压缩，并发送压缩后的三维地图。
[0484]
以下，对本实施方式的变形例进行说明。
[0485]
服务器901利用从客户端装置902接收的传感器信息1037，来制作客户端装置902的位置附近的三维数据1134。接着，服务器901对制作的三维数据1134、与服务器901所管理的相同区域的三维地图1135进行匹配，算出三维数据1134与三维地图1135的差分。服务器901在差分为预先决定的阈值以上的情况下，判断在客户端装置902的周边发生了某种异常。例如，在因地震等自然灾害而发生了地表下沉等时，可以考虑到在服务器901所管理的三维地图1135、与基于传感器信息1037而制作的三维数据1134之间会产生较大的差。
[0486]
传感器信息1037也可以包括传感器的种类、传感器的性能、以及传感器的型号之中的至少一个。并且也可以是，传感器信息1037中被附加与传感器的性能相对应的类别id等。例如，在传感器信息1037是由lidar获得的信息的情况下，可以考虑到针对传感器的性能来分配标识符，例如，针对能够以几mm单位的精确度来获得信息的传感器分配类别1、针对能够以几cm单位的精确度来获得信息的传感器分配类别2、针对能够以几m单位的精确度来获得信息的传感器分配类别3。并且，服务器901也可以从客户端装置902的型号来估计传感器的性能信息等。例如，在客户端装置902搭载于车辆的情况下，服务器901可以根据该车辆的车型来判断传感器的规格信息。在这种情况下，服务器901可以事前获得车辆的车型的信息，也可以使该信息包括在传感器信息中。并且也可以是，服务器901利用获得的传感器信息1037，来切换针对利用传感器信息1037而制作的三维数据1134的校正的程度。例如，在传感器性能为高精确度(类别1)的情况下，服务器901不进行针对三维数据1134的校正。在传感器性能为低精确度(类别3)的情况下，服务器901将适于传感器的精确度的校正适用到三维数据1134。例如，服务器901在传感器的精确度越低的情况下就越增强校正的程度(强度)。
[0487]
服务器901也可以向存在于某个空间的多个客户端装置902同时发出传感器信息的发送请求。服务器901在从多个客户端装置902接收到多个传感器信息的情况下，没有必要将所有的传感器信息都利用到三维数据1134的制作，例如可以按照传感器的性能，来选择将要利用的传感器信息。例如，服务器901在对三维地图1135进行更新的情况下，可以从接收的多个传感器信息中选择高精确度的传感器信息(类别1)，利用选择的传感器信息来制作三维数据1134。
[0488]
服务器901并非受交通云监控等服务器所限，也可以是其他的客户端装置(车载)。图35示出了这种情况下的系统构成。
[0489]
例如，客户端装置902c向附近存在的客户端装置902a发出传感器信息的发送请求，并从客户端装置902a获得传感器信息。于是，客户端装置902c利用获得的客户端装置902a的传感器信息，来制作三维数据，并更新对客户端装置902c的三维地图进行更新。这样，客户端装置902c能够活用客户端装置902c的性能，来生成能够从客户端装置902a获得的空间的三维地图。例如，在客户端装置902c的性能高的情况下，可以考虑发生这种情况。
[0490]
并且，在这种情况下，提供了传感器信息的客户端装置902a被给予获得由客户端装置902c生成的高精确度的三维地图的权利。客户端装置902a按照该权利，从客户端装置902c接收高精确度的三维地图。
[0491]
并且也可以是，客户端装置902c向附近存在的多个客户端装置902(客户端装置902a以及客户端装置902b)发出传感器信息的发送请求。在客户端装置902a或客户端装置902b的传感器为高性能的情况下，客户端装置902c能够利用通过该高性能的传感器得到的传感器信息来制作三维数据。
[0492]
图36是示出服务器901以及客户端装置902的功能构成的方框图。服务器901例如具备：对三维地图进行压缩以及解码的三维地图压缩/解码处理部1201、对传感器信息进行压缩以及解码的传感器信息压缩/解码处理部1202。
[0493]
客户端装置902具备：三维地图解码处理部1211、以及传感器信息压缩处理部1212。三维地图解码处理部1211接收压缩后的三维地图的编码数据，对编码数据进行解码
并获得三维地图。传感器信息压缩处理部1212不对通过获得的传感器信息而制作的三维数据进行压缩，而是对传感器信息本身进行压缩，将压缩后的传感器信息的编码数据发送到服务器901。根据此构成，客户端装置902可以将用于对三维地图(点云等)进行解码处理的处理部(装置或lsi)保持在内部，而不必将用于对三维地图(点云等)的三维数据进行压缩处理的处理部保持在内部。这样，能够抑制客户端装置902的成本以及耗电量等。
[0494]
如以上所述，本实施方式所涉及的客户端装置902被搭载在移动体，根据通过被搭载在移动体的传感器1015得到的、示出移动体的周边状况的传感器信息1033，来制作移动体的周边的三维数据1034。客户端装置902利用制作的三维数据1034，来估计移动体的自身位置。客户端装置902将获得的传感器信息1033发送到服务器901或者其他的移动体902。
[0495]
据此，客户端装置902将传感器信息1033发送到服务器901等。这样，与发送三维数据的情况相比，将会有能够减少发送数据的数据量的可能性。并且，由于没有必要在客户端装置902执行三维数据的压缩或编码等处理，因此能够减少客户端装置902的处理的量。因此，客户端装置902能够实现传输的数据量的减少或装置的构成的简略化。
[0496]
并且，客户端装置902进一步向服务器901发送三维地图的发送请求，从服务器901接收三维地图1031。客户端装置902在自身位置的估计中，利用三维数据1034和三维地图1032，来对自身位置进行估计。
[0497]
并且，传感器信息1033至少包括通过激光传感器得到的信息、亮度图像(可见光图像)、红外图像、深度图像、传感器的位置信息、以及传感器的速度信息之中的一个。
[0498]
并且，传感器信息1033包括示出传感器的性能的信息。
[0499]
并且，客户端装置902对传感器信息1033进行编码或压缩，在传感器信息的发送中，将编码或压缩后的传感器信息1037发送到服务器901或者其他的移动体902。据此，客户端装置902能够减少传输的数据量。
[0500]
例如，客户端装置902具备处理器以及存储器，处理器利用存储器进行上述的处理。
[0501]
并且，本实施方式所涉及的服务器901能够与搭载在移动体的客户端装置902进行通信，从客户端装置902接收通过被搭载在移动体的传感器1015得到的、示出移动体的周边状况的传感器信息1037。服务器901根据接收的传感器信息1037，来制作移动体的周边的三维数据1134。
[0502]
据此，服务器901利用从客户端装置902发送来的传感器信息1037，来制作三维数据1134。这样，与客户端装置902发送三维数据的情况相比，将会有能够减少发送数据的数据量的可能性。并且，由于可以不必在客户端装置902进行三维数据的压缩或编码等处理，因此能够减少客户端装置902的处理量。这样，服务器901能够实现传输的数据量的减少、或装置的构成的简略化。
[0503]
并且，服务器901进一步向客户端装置902发送传感器信息的发送请求。
[0504]
并且，服务器901进一步利用制作的三维数据1134，来更新三维地图1135，按照来自客户端装置902的三维地图1135的发送请求，将三维地图1135发送到客户端装置902。
[0505]
并且，传感器信息1037至少包括通过激光传感器得到的信息、亮度图像(可见光图像)、红外图像、深度图像、传感器的位置信息、以及传感器的速度信息之中的一个。
[0506]
并且，传感器信息1037包括示出传感器的性能的信息。
[0507]
并且，服务器901进一步按照传感器的性能，对三维数据进行校正。据此，该三维数据制作方法能够提高三维数据的品质。
[0508]
并且，服务器901在传感器信息的接收中，从多个客户端装置902接收多个传感器信息1037，根据多个传感器信息1037中包括的示出传感器的性能的多个信息，来选择三维数据1134的制作中使用的传感器信息1037。据此，服务器901能够提高三维数据1134的品质。
[0509]
并且，服务器901对接收的传感器信息1037进行解码或解压缩，根据解码或解压缩后的传感器信息1132，制作三维数据1134。据此，服务器901能够减少传输的数据量。
[0510]
例如，服务器901具备处理器和存储器，处理器利用存储器进行上述的处理。
[0511]
(实施方式7)
[0512]
在本实施方式，对利用了帧间预测处理的三维数据的编码方法以及解码方法进行说明。
[0513]
图37是本实施方式所涉及的三维数据编码装置1300的方框图。该三维数据编码装置1300通过对三维数据进行编码，从而生成作为编码信号的编码比特流(以下也简单记作比特流)。如图37所示，三维数据编码装置1300具备：分割部1301、减法部1302、变换部1303、量化部1304、逆量化部1305、逆变换部1306、加法部1307、参照体积存储器1308、帧内预测部1309、参照空间存储器1310、帧间预测部1311、预测控制部1312、以及熵编码部1313。
[0514]
分割部1301将三维数据中包含的各空间(spc)分割为作为编码单位的多个体积(vlm)。并且，分割部1301对各体积内的体素进行八叉树表现(octree化)。另外，分割部1301也可以使空间与体积成为相同的大小，对空间进行八叉树表现。并且，分割部1301也可以将八叉树化所需要的信息(深度信息等)附加到比特流的头等。
[0515]
减法部1302算出从分割部1301输出的体积(编码对象体积)、与由后述的帧内预测或帧间预测生成的预测体积的差分，将算出的差分作为预测残差输出到变换部1303。图38示出了预测残差的算出例。另外，在此示出的编码对象体积以及预测体积的比特串例如是，示出体积中包含的三维点(例如点云)的位置的位置信息。
[0516]
以下，对八叉树表现与体素的扫描顺序进行说明。体积被变换为八叉树结构(八叉树化)后，被编码。八叉树结构由节点和叶节点(leaf node)构成。各节点具有8个节点或叶节点，各叶节点具有体素(vxl)信息。图39示出了包括多个体素的体积的构成例。图40示出了将图39所示的体积变换为八叉树结构的例子。在此，图40所示的叶节点之中的叶节点1、2、3，分别表示图39所示的体素vxl1、vxl2、vxl3，表现了包括点群的vxl(以下记作有效vxl)。
[0517]
八叉树例如以0、1的二值序列来表现。例如在将节点或有效vxl设为值1，除此以外的设为值0时，在各节点以及叶节点被分配图40所示的二值序列。于是，按照宽度优先或深度优先的扫描顺序，该二值序列被扫描。例如在以宽度优先进行了扫描的情况下，得到图41的a所示的二值序列。在以深度优先进行了扫描的情况下，得到图41的b所示的二值序列。通过该扫描得到的二值序列由熵编码来编码，从而信息量减少。
[0518]
接着，对八叉树表现中的深度信息进行说明。八叉树表现中的深度用于将体积内所包含的点云信息保持到哪一个粒度为止的控制中。若将深度设定得大，则能够以更加细小的级别来再现点云信息，但是用于表现节点以及叶节点的数据量就会增加。相反，若将深
度设定得小，虽然可以减少数据量，但是多个不同位置以及颜色不同的点云信息会被视为同一位置且同一颜色，因此会失去本来的点云信息所具有的信息。
[0519]
例如，图42示出了将图40所示的深度＝2的八叉树，以深度＝1的八叉树来表现的例子。图42所示的八叉树比图40所示的八叉树的数据量少。即，图42所示的八叉树与图42所示的八叉树相比，二值序列化后的比特数少。在此，图40所示的叶节点1和叶节点2成为，以图41所示的叶节点1来表现。即，失去了图40所示的叶节点1与叶节点2为不同的位置这一信息。
[0520]
图43示出了与图42所示的八叉树对应的体积。图39所示的vxl1和vxl2与图43所示的vxl12对应。在这种情况下,三维数据编码装置1300根据图39所示的vxl1和vxl2的颜色信息，生成图43所示的vxl12的颜色信息。例如，三维数据编码装置1300将vxl1和vxl2的颜色信息的平均值、中间值、或权重平均值等作为vxl12的颜色信息来算出。这样，三维数据编码装置1300通过改变八叉树的深度，从而能够对数据量的减少进行控制。
[0521]
三维数据编码装置1300也可以利用世界空间单位、空间单位、以及体积单位中的任一个单位来设定八叉树的深度信息。并且，此时，三维数据编码装置1300也可以将深度信息附加到世界空间的头部信息、空间的头部信息、或体积的头部信息。并且，也可以在时间不同的所有的世界空间、空间、以及体积中，作为深度信息而使用相同的值。在这种情况下，三维数据编码装置1300也可以将深度信息附加到对所有时间的世界空间进行管理的头部信息。
[0522]
在体素中包含颜色信息的情况下，变换部1303针对体积内的体素的颜色信息的预测残差，适用正交变换等频率变换。例如，变换部1303以某个扫描顺序对预测残差进行扫描，来制作一维排列。在此之后，变换部1303通过对制作的一维排列适用一维的正交变换，从而将一维排列变换为频域。据此，在体积内的预测残差的值近的情况下，低频带的频率成分的值变大，高频带的频率成分的值变小。因此，在量化部1304能够更有效地使编码量减少。
[0523]
并且，变换部1303也可以不利用一维的正交变换而可以利用二维以上的正交变换。例如，变换部1303以某个扫描顺序，将预测残差映射为二维排列，对得到的二维排列适用二维正交变换。并且，变换部1303也可以从多个正交变换方式中选择将要使用的正交变换方式。在这种情况下，三维数据编码装置1300将示出利用了哪一个正交变换方式的信息附加到比特流。并且可以是，变换部1303从维数不同的多个正交变换方式中选择将要使用的正交变换方式。在这种情况下，三维数据编码装置1300将示出利用了哪一个维数的正交变换方式的信息附加到比特流。
[0524]
例如，变换部1303将预测残差的扫描顺序与体积内的八叉树中的扫描顺序(宽度优先或深度优先等)吻合。据此，由于不必将示出预测残差的扫描顺序的信息附加到比特流，从而能够减少额外开销。并且，变换部1303也可以适用与八叉树的扫描顺序不同的扫描顺序。在这种情况下，三维数据编码装置1300将示出预测残差的扫描顺序的信息附加到比特流。据此，三维数据编码装置1300能够高效地对预测残差进行编码。并且也可以是，三维数据编码装置1300将示出是否适用八叉树的扫描顺序的信息(标志等)附加到比特流，在不适用八叉树的扫描顺序的情况下，将示出预测残差的扫描顺序的信息附加到比特流。
[0525]
变换部1303不仅是颜色信息的预测残差，也可以对体素所具有的其他的属性信息
进行变换。例如可以是，变换部1303对通过lidar等获得点云时得到的反射率等信息进行变换并编码。
[0526]
变换部1303在空间不具有颜色信息等的属性信息的情况下，可以跳过处理。并且，三维数据编码装置1300可以将是否跳过变换部1303的处理的信息(标志)附加到比特流。
[0527]
量化部1304针对在变换部1303生成的预测残差的频率成分，利用量化控制参数进行量化，从而生成量化系数。据此来减少信息量。生成的量化系数被输出到熵编码部1313。量化部1304可以按照世界空间单位、空间单位、或体积单位，对量化控制参数进行控制。此时，三维数据编码装置1300将量化控制参数附加到各自的头部信息等。并且，量化部1304也可以按照每个预测残差的频率成分，改变权重来进行量化控制。例如，量化部1304可以对低频率成分进行细致的量化，对高频率成分进行粗略的量化。在这种情况下，三维数据编码装置1300可以将表示各频率成分的权重的参数附加到头。
[0528]
量化部1304在空间不具有颜色信息等的属性信息的情况下，可以跳过处理。并且，三维数据编码装置1300也可以将示出是否跳过量化部1304的处理的信息(标志)附加到比特流。
[0529]
逆量化部1305利用量化控制参数，对量化部1304生成的量化系数进行逆量化，据此，生成预测残差的逆量化系数，将生成的逆量化系数输出到逆变换部1306。
[0530]
逆变换部1306针对在逆量化部1305生成的逆量化系数适用逆变换，从而生成逆变换适用后预测残差。由于该逆变换适用后预测残差是量化后生成的预测残差，因此可以与由变换部1303输出的预测残差不完全一致。
[0531]
加法部1307对由逆变换部1306生成的逆变换适用后预测残差、与量化前的预测残差的生成中所使用的并且由后述的帧内预测或帧间预测生成的预测体积进行相加，来生成重构体积。该重构体积被存放在参照体积存储器1308或参照空间存储器1310。
[0532]
帧内预测部1309利用被存放在参照体积存储器1308的相邻体积的属性信息，生成编码对象体积的预测体积。属性信息中包括体素的颜色信息或反射率。帧内预测部1309生成编码对象体积的颜色信息或反射率的预测值。
[0533]
图44是用于说明帧内预测部1309的工作的图。例如，图44所示，帧内预测部1309根据相邻体积(体积idx＝0)，生成编码对象体积(体积idx＝3)的预测体积。在此，体积idx是针对空间内的体积附加的标识符信息，在各体积被分配不同的值。体积idx的分配的顺序可以与编码顺序相同，也可以与编码顺序不同。例如，作为图44所示的编码对象体积的颜色信息的预测值，帧内预测部1309使用作为相邻体积的体积idx＝0内包含的体素的颜色信息的平均值。在这种情况下，通过从编码对象体积内包含的各体素的颜色信息减去颜色信息的预测值，从而生成预测残差。针对该预测残差执行变换部1303以后的处理。并且，在这种情况下，三维数据编码装置1300将相邻体积信息和预测模式信息附加到比特流。在此，相邻体积信息是示出在预测中使用的相邻体积的信息，例如示出在预测中使用的相邻体积的体积idx。并且，预测模式信息示出预测体积的生成中所使用的模式。模式例如是指，根据相邻体积内的体素的平均值来生成预测值的平均值模式、或根据相邻体积内的体素的中间值来生成预测值的中间值模式等。
[0534]
帧内预测部1309也可以根据多个相邻体积来生成预测体积。例如在图44所示的构成中，帧内预测部1309根据体积idx＝0的体积来生成预测体积0，根据体积idx＝1的体积来
生成预测体积1。于是，帧内预测部1309将预测体积0与预测体积1的平均作为最终的预测体积来生成。在这种情况下，三维数据编码装置1300也可以将预测体积的生成中所使用的多个体积的多个体积idx附加到比特流。
[0535]
图45在模式上示出了本实施方式所涉及的帧间预测处理。帧间预测部1311针对某个时刻t_cur的空间(spc)，使用不同时刻t_lx的已编码空间来进行编码(帧间预测)。在这种情况下，帧间预测部1311针对不同时刻t_lx的已编码空间适用旋转以及平移处理，来进行编码处理。
[0536]
并且，三维数据编码装置1300将与适用了不同时刻t_lx的空间的旋转以及平移处理有关的rt信息附加到比特流。不同时刻t_lx例如是在所述某个时刻t_cur之前的时刻t_l0。此时，三维数据编码装置1300也可以将与适用了时刻t_l0的空间的旋转以及平移处理有关的rt信息rt_l0附加到比特流。
[0537]
或者，不同时刻t_lx例如是在所述某个时刻t_cur之后的时刻t_l1。此时，三维数据编码装置1300可以将与适用了时刻t_l1的空间的旋转以及平移处理有关的rt信息rt_l1附加到比特流。
[0538]
或者，帧间预测部1311参照不同时刻t_l0以及时刻t_l1这双方的空间来进行编码(双预测)。在这种情况下，三维数据编码装置1300可以将与分别适用了空间的旋转以及平移有关的rt信息rt_l0以及rt_l1这双方附加到比特流。
[0539]
另外，以上虽然将t_l0设为t_cur之前的时刻、将t_l1设为t_cur之后的时刻，但是并非受此所限。例如，t_l0与t_l1可以均为t_cur之前的时刻。或者，t_l0与t_l1可以均为t_cur之后的时刻。
[0540]
并且也可以是，三维数据编码装置1300在参照多个不同时刻的空间来进行编码的情况下，将与适用了各个空间的旋转以及平移有关的rt信息附加到比特流。例如，三维数据编码装置1300将参照的多个已编码空间，通过两个参照列表(l0列表以及l1列表)来管理。在将l0列表内的第1参照空间设为l0r0，将l0列表内的第2参照空间设为l0r1，将l1列表内的第1参照空间设为l1r0，将l1列表内的第2参照空间设为l1r1的情况下，三维数据编码装置1300将l0r0的rt信息rt_l0r0、l0r1的rt信息rt_l0r1、l1r0的rt信息rt_l1r0、l1r1的rt信息rt_l1r1附加到比特流。例如，三维数据编码装置1300将这些rt信息附加到比特流的头等。
[0541]
并且也可以是，三维数据编码装置1300在参照多个不同时刻的参照空间来进行编码的情况下，判断是否按照每个参照空间适用旋转以及平移。此时，三维数据编码装置1300可以将示出是否按照每个参照空间毎适用旋转以及平移的信息(rt适用标志等)附加到比特流的头部信息等。例如，三维数据编码装置1300根据编码对象空间，按照将要参照的每个参照空间，利用icp(interactive closest point)算法，算出rt信息以及icp错误值。三维数据编码装置1300在icp错误值为预先规定的一定值以下的情况下，判断为不需要进行旋转以及平移，将rt适用标志设定为off(无效)。另外，三维数据编码装置1300在icp错误值比上述的一定值大的情况下，将rt适用标志设定为on(有效)，将rt信息附加到比特流。
[0542]
图46示出了将rt信息以及rt适用标志附加到头的句法例子。另外，分配到各句法的比特数可以根据该句法能够取的范围来决定。例如，在参照列表l0内包含的参照空间数为8的情况下，可以在maxrefspc_l0中分配3bit。可以按照各句法能取的值来改变分配的比
特数，也可以不受可取的值的影响，而使分配的比特数固定。在使分配的比特数固定的情况下，三维数据编码装置1300可以将该固定比特数附加到其他的头部信息。
[0543]
在此，图46所示的maxrefspc_l0示出参照列表l0内包含的参照空间数。rt_flag_l0[i]是参照列表l0内的参照空间i的rt适用标志。在rt_flag_l0[i]为1的情况下，对参照空间i适用旋转以及平移。在rt_flag_l0[i]为0的情况下，对参照空间i不适用旋转以及平移。
[0544]
r_l0[i]以及t_l0[i]是参照列表l0内的参照空间i的rt信息。r_l0[i]是参照列表l0内的参照空间i的旋转信息。旋转信息示出被适用的旋转处理的内容，例如是旋转矩阵或四元数等。t_l0[i]是参照列表l0内的参照空间i的平移信息。平移信息示出被适用的平移处理的内容，例如是平移向量等。
[0545]
maxrefspc_l1示出参照列表l1内包含的参照空间数。rt_flag_l1[i]是参照列表l1内的参照空间i的rt适用标志。在rt_flag_l1[i]为1的情况下，对参照空间i适用旋转以及平移。在rt_flag_l1[i]为0的情况下，对参照空间i不适用旋转以及平移。
[0546]
r_l1[i]以及t_l1[i]是参照列表l1内的参照空间i的rt信息。r_l1[i]是参照列表l1内的参照空间i的旋转信息。旋转信息示出被适用的旋转处理的内容，例如是旋转矩阵或四元数等。t_l1[i]是参照列表l1内的参照空间i的平移信息。平移信息示出被适用的平移处理的内容，例如是平移向量等。
[0547]
帧间预测部1311利用被存放在参照空间存储器1310的已编码的参照空间的信息，生成编码对象体积的预测体积。如以上所述，帧间预测部1311在生成编码对象体积的预测体积之前，为了使编码对象空间与参照空间的全体的位置关系接近，而在编码对象空间和参照空间利用icp(interactive closest point：迭代最近点)算法来求出rt信息。于是，帧间预测部1311利用求出的rt信息，对参照空间适用旋转以及平移处理，从而得到参照空间b。在此之后，帧间预测部1311利用参照空间b内的信息，生成编码对象空间内的编码对象体积的预测体积。在此，三维数据编码装置1300将为了得到参照空间b而使用的rt信息附加到编码对象空间的头部信息等。
[0548]
这样，帧间预测部1311通过对参照空间适用旋转以及平移处理，从而在使编码对象空间与参照空间的整体上的位置关系接近后，利用参照空间的信息来生成预测体积，这样，能够提高预测体积的精确度。并且，由于能够抑制预测残差，因此能够减少编码量。另外，在此虽然示出了利用编码对象空间和参照空间来进行icp的例子，但是并非受此所限。例如，帧间预测部1311为了减少处理量，也可以利用抽取了体素或点云数的编码对象空间、以及抽取了体素或点云数的参照空间的至少一方来进行icp，从而求出rt信息。
[0549]
并且，帧间预测部1311在从icp的结果得到的icp错误值比预先规定的第1阈值小的情况下，即例如编码对象空间与参照空间的位置关系接近的情况下，可以判断为不需要旋转以及平移处理，而不执行旋转以及平移。在这种情况下，三维数据编码装置1300可以不将rt信息附加到比特流，从而能够抑制额外开销。
[0550]
并且，帧间预测部1311在icp错误值比预先规定的第2阈值大的情况下，判断为在空间上的形状变化大，可以对编码对象空间的所有的体积适用帧内预测。以下，将适用帧内预测的空间称为帧内空间。并且，第2阈值是比上述的第1阈值大的值。并且，并非受限于icp，只要从两个体素集合、或两个点云集合来求rt信息的方法，可以适用任意的方法。
[0551]
并且，在三维数据中含有形状或颜色等属性信息的情况下，作为编码对象空间内的编码对象体积的预测体积，帧间预测部1311例如搜索在参照空间内与编码对象体积的形状或颜色属性信息最近的体积。并且，该参照空间例如是进行了上述的旋转以及平移处理后的参照空间。帧间预测部1311根据通过搜索而得到的体积(参照体积)，来生成预测体积。图47是用于说明预测体积的生成工作的图。帧间预测部1311在针对图47所示的编码对象体积(体积idx＝0)，利用帧间预测来进行编码的情况下，一边依次扫描参照空间内的参照体积，一边搜索编码对象体积与参照体积的差分即预测残差为最小的体积。帧间预测部1311将预测残差最小的体积作为预测体积来选择。编码对象体积与预测体积的预测残差，由变换部1303以后的处理来编码。在此，预测残差是指，编码对象体积的属性信息与预测体积的属性信息的差分。并且，三维数据编码装置1300将作为预测体积而参照的参照空间内的参照体积的体积idx附加到比特流的头等。
[0552]
在图47所示的例子中，参照空间l0r0的体积idx＝4的参照体积，作为编码对象体积的预测体积而被选择。于是，编码对象体积与参照体积的预测残差以及参照体积idx＝4被编码，并被附加到比特流。
[0553]
另外，在此虽然以生成属性信息的预测体积为例进行了说明，针对位置信息的预测体积也可以执行同样的处理。
[0554]
预测控制部1312对采用帧内预测以及帧间预测的哪一个来编码编码对象体积进行控制。在此，将包括帧内预测以及帧间预测的模式称为预测模式。例如，预测控制部1312将通过帧内预测而预测了编码对象体积的情况下的预测残差、与通过帧间预测而预测了的情况下的预测残差，作为评价值来算出，选择评价值小的一方的预测模式。另外可以是，预测控制部1312针对帧内预测的预测残差以及帧间预测的预测残差，分别适用正交变换、量化、以及、熵编码，来算出实际的编码量，将算出的编码量作为评价值，来选择预测模式。并且，也可以将预测残差以外的额外开销信息(参照体积idx信息等)加到评价值中。并且，预测控制部1312在编码对象空间被预先决定为在帧内空间进行编码的情况下，也可以通常选择帧内预测。
[0555]
熵编码部1313通过对来自量化部1304的输入即量化系数进行可变长编码，来生成编码信号(编码比特流)。具体而言，熵编码部1313例如对量化系数进行二值化，对得到的二值信号进行算术编码。
[0556]
接着，对解码由三维数据编码装置1300生成的编码信号的三维数据解码装置进行说明。图48是本实施方式所涉及的三维数据解码装置1400的方框图。该三维数据解码装置1400具备：熵解码部1401、逆量化部1402、逆变换部1403、加法部1404、参照体积存储器1405、帧内预测部1406、参照空间存储器1407、帧间预测部1408、以及预测控制部1409。
[0557]
熵解码部1401对编码信号(编码比特流)进行可变长解码。例如，熵解码部1401对编码信号进行算术解码，生成二值信号，根据生成的二值信号来生成量化系数。
[0558]
逆量化部1402针对从熵解码部1401输入的量化系数，利用被附加到比特流等的量化参数来进行逆量化，从而生成逆量化系数。
[0559]
逆变换部1403针对从逆量化部1402输入的逆量化系数进行逆变换，从而生成预测残差。例如，逆变换部1403根据被附加到比特流的信息，对逆量化系数进行逆正交变换，从而生成预测残差。
[0560]
加法部1404对由逆变换部1403生成的预测残差、与通过帧内预测或帧间预测而生成的预测体积进行相加，来生成重构体积。该重构体积作为解码三维数据被输出，并且被存放到参照体积存储器1405或参照空间存储器1407。
[0561]
帧内预测部1406利用参照体积存储器1405内的参照体积以及被附加到比特流的信息，通过帧内预测来生成预测体积。具体而言，帧内预测部1406获得预测模式信息以及被附加到比特流的相邻体积信息(例如体积idx)，利用相邻体积信息所示的相邻体积，通过以预测模式信息示出的模式来生成预测体积。另外，关于这些处理的详细，除了采用被附加到比特流的信息之外，与上述的帧内预测部1309的处理相同。
[0562]
帧间预测部1408利用参照空间存储器1407内的参照空间以及被附加到比特流的信息，通过帧间预测来生成预测体积。具体而言，帧间预测部1408利用被附加到比特流的每个参照空间的rt信息，针对参照空间适用旋转以及平移处理，利用适用后的参照空间来生成预测体积。另外，在每个参照空间的rt适用标志存在于比特流内的情况下，帧间预测部1408按照rt适用标志，对参照空间适用旋转以及平移处理。另外，关于上述的处理的详细，除了使用被附加到比特流的信息之外，与上述的帧间预测部1311的处理相同。
[0563]
关于是以帧内预测来对解码对象体积进行解码还是以帧间预测来进行解码，将由预测控制部1409来控制。例如，预测控制部1409按照被附加到比特流的且示出将要使用的预测模式的信息，选择帧内预测或帧间预测。另外，预测控制部1409在解码对象空间以帧内空间来进行解码被预先决定的情况下，也可以通常选择帧内预测。
[0564]
以下对本实施方式的变形例进行说明。在本实施方式中，虽然以空间单位来适用旋转以及平移为例进行了说明，不过也可以适用更细小的单位来适用旋转以及平移。例如，三维数据编码装置1300可以将空间分割为子空间，以子空间单位来适用旋转以及平移。在这种情况下，三维数据编码装置1300按照每个子空间来生成rt信息，将生成的rt信息附加到比特流的头等。并且，三维数据编码装置1300可以采用作为编码单位的体积单位来适用旋转以及平移。在这种情况下，三维数据编码装置1300以编码体积单位来生成rt信息，将生成的rt信息附加到比特流的头等。而且，可以对上述进行组合。即，三维数据编码装置1300可以在以大的单位适用旋转以及平移之后，再以细小的单位来适用旋转以及平移。例如可以是，三维数据编码装置1300以空间单位来适用旋转以及平移，针对得到的空间中所包含的多个体积的每一个，适用彼此不同的旋转以及平移。
[0565]
并且，在本实施方式中虽然以对参照空间适用旋转以及平移为例进行了说明，但是并非受此所限。例如可以是，三维数据编码装置1300适用缩放处理，来使三维数据的大小发生变化。并且，三维数据编码装置1300也可以适用旋转、平移以及缩放中的任一个或两个。并且，如以上所述，在分多阶段以不同的单位来适用处理的情况下，各单位中所适用的处理种类可以不同。例如可以是，在空间单位中适用旋转以及平移，在体积单位中适用平移。
[0566]
另外，关于这些变形例，能够同样适用于三维数据解码装置1400。
[0567]
如以上所述，本实施方式所涉及的三维数据编码装置1300进行以下的处理。图48是三维数据编码装置1300进行的帧间预测处理的流程图。
[0568]
首先，三维数据编码装置1300利用对象三维数据(例如编码对象空间)以及不同时刻的参照三维数据(例如参照空间)中包含的三维点的位置信息，来生成预测位置信息(例
如预测体积)(s1301)。具体而言，三维数据编码装置1300通过针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理，从而生成预测位置信息。
[0569]
另外，三维数据编码装置1300以第1单位(例如空间)进行旋转以及平移处理，以比第1单位更细小的第2单位(例如体积)进行预测位置信息的生成。例如可以是，三维数据编码装置1300从旋转以及平移处理后的参照空间中包含的多个体积中，搜索编码对象空间中包含的编码对象体积与位置信息的差为最小的体积，将得到的体积作为预测体积来使用。另外，三维数据编码装置1300也可以对旋转以及平移处理、和预测位置信息的生成以相同的单位来进行。
[0570]
并且可以是，三维数据编码装置1300对参照三维数据中包含的三维点的位置信息，以第1单位(例如空间)来适用第1旋转以及平移处理，对通过第1旋转以及平移处理而得到的三维点的位置信息，以比第1单位细小的第2单位(例如体积)来适用第2旋转以及平移处理，据此生成预测位置信息。
[0571]
在此，三维点的位置信息以及预测位置信息如图41所示，以八叉树结构来表现。例如，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度中的宽度优先的扫描顺序而被表示。或者，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度之中的深度优先的扫描顺序而被表示。
[0572]
并且，如图46所示，三维数据编码装置1300对示出是否针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理的rt适用标志进行编码。即，三维数据编码装置1300生成包括rt适用标志的编码信号(编码比特流)。并且，三维数据编码装置1300对示出旋转以及平移处理的内容的rt信息进行编码。即，三维数据编码装置1300生成包括rt信息的编码信号(编码比特流)。另外可以是，三维数据编码装置1300在由rt适用标志示出适用旋转以及平移处理的情况下，对rt信息进行编码，在由rt适用标志示出不适用旋转以及平移处理的情况下，不对rt信息进行编码。
[0573]
并且，三维数据例如包括三维点的位置信息、以及各三维点的属性信息(颜色信息等)。三维数据编码装置1300利用参照三维数据中包含的三维点的属性信息，生成预测属性信息(s1302)。
[0574]
接着，三维数据编码装置1300利用预测位置信息，来编码对象三维数据中包含的三维点的位置信息。例如，三维数据编码装置1300如图38所示，算出对象三维数据中包含的三维点的位置信息与预测位置信息的差分即差分位置信息(s1303)。
[0575]
并且，三维数据编码装置1300利用预测属性信息，编码对象三维数据中包含的三维点的属性信息。例如，三维数据编码装置1300算出对象三维数据中包含的三维点的属性信息与预测属性信息的差分即差分属性信息(s1304)。接着，三维数据编码装置1300针对算出的差分属性信息进行变换以及量化(s1305)。
[0576]
最后，三维数据编码装置1300对差分位置信息与量化后的差分属性信息进行编码(例如熵编码)(s1306)。即，三维数据编码装置1300生成包括差分位置信息和差分属性信息的编码信号(编码比特流)。
[0577]
另外，在三维数据中不包括属性信息的情况下，三维数据编码装置1300也可以不进行步骤s1302、s1304以及s1305。并且，三维数据编码装置1300也可以仅进行三维点的位置信息的编码与三维点的属性信息的编码之中的一方。
[0578]
并且，图49所示的处理的顺序仅为一个例子，并非受此限。例如，由于针对位置信息的处理(s1301、s1303)、与针对属性信息的处理(s1302、s1304、s1305)彼此是独立的，因此可以通过任意的顺序来执行，也可以是其中的一部分进行并行处理。
[0579]
如以上所述，在本实施方式中，三维数据编码装置1300利用对象三维数据与不同时刻的参照三维数据中包含的三维点的位置信息，来生成预测位置信息，对对象三维数据中包含的三维点的位置信息与预测位置信息的差分即差分位置信息进行编码。据此，由于能够减少编码信号的数据量，因此能够提高编码效率。
[0580]
并且，在本实施方式中，三维数据编码装置1300利用参照三维数据中包含的三维点的属性信息来生成预测属性信息，对对象三维数据中包含的三维点的属性信息与预测属性信息的差分即差分属性信息进行编码。据此，由于能够减少编码信号的数据量，因此能够提高编码效率。
[0581]
例如，三维数据编码装置1300具备处理器和存储器，处理器利用存储器来进行上述的处理。
[0582]
图48是三维数据解码装置1400进行的帧间预测处理的流程图。
[0583]
首先，三维数据解码装置1400根据编码信号(编码比特流)，对差分位置信息与差分属性信息进行解码(例如熵解码)(s1401)。
[0584]
并且，三维数据解码装置1400根据编码信号，对示出是否针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理的rt适用标志进行解码。并且，三维数据解码装置1400对示出旋转以及平移处理的内容的rt信息进行解码。另外，三维数据解码装置1400在由rt适用标志示出适用旋转以及平移处理的情况下，对rt信息进行解码，在由rt适用标志示出不适用旋转以及平移处理的情况下，对rt信息不进行解码。
[0585]
接着，三维数据解码装置1400针对被解码的差分属性信息进行逆量化以及逆变换(s1402)。
[0586]
接着，三维数据解码装置1400利用对象三维数据(例如解码对象空间)和不同时刻的参照三维数据(例如参照空间)中包含的三维点的位置信息，生成预测位置信息(例如预测体积)(s1403)。具体而言，三维数据解码装置1400通过针对参照三维数据中包含的三维点的位置信息适用旋转以及平移处理，来生成预测位置信息。
[0587]
更具体而言，三维数据解码装置1400在由rt适用标志示出适用旋转以及平移处理的情况下，针对rt信息所示的参照三维数据中包含的三维点的位置信息适用旋转以及平移处理。并且，在由rt适用标志示出不适用旋转以及平移处理的情况下，三维数据解码装置1400针对参照三维数据中包含的三维点的位置信息不适用旋转以及平移处理。
[0588]
另外，三维数据解码装置1400可以以第1单位(例如空间)来进行旋转以及平移处理，并且可以以比第1单位细小的第2单位(例如体积)来进行预测位置信息的生成。另外，三维数据解码装置1400也可以针对旋转以及平移处理、以及预测位置信息的生成，以相同的单位来执行。
[0589]
并且可以是，三维数据解码装置1400针对参照三维数据中包含的三维点的位置信息，以第1单位(例如空间)来适用第1旋转以及平移处理，针对通过第1旋转以及平移处理而得到的三维点的位置信息，以比第1单位细小的第2单位(例如体积)来适用第2旋转以及平移处理，据此，生成预测位置信息。
[0590]
在此，三维点的位置信息以及预测位置信息例如图41所示，以八叉树结构来表现。例如，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度之中的宽度优先的扫描顺序而被表示。或者，三维点的位置信息以及预测位置信息以使八叉树结构中的深度与宽度之中的深度优先的扫描顺序而被表示。
[0591]
三维数据解码装置1400利用参照三维数据中包含的三维点的属性信息，来生成预测属性信息(s1404)。
[0592]
接着，三维数据解码装置1400通过利用预测位置信息，对编码信号中包含的编码位置信息进行解码，从而使对象三维数据中包含的三维点的位置信息复原。在此，编码位置信息例如是差分位置信息，三维数据解码装置1400通过对差分位置信息与预测位置信息相加，来使对象三维数据中包含的三维点的位置信息复原(s1405)。
[0593]
并且，三维数据解码装置1400通过利用预测属性信息，对编码信号中包含的编码属性信息进行解码，从而使对象三维数据中包含的三维点的属性信息复原。在此，编码属性信息例如是差分属性信息，三维数据解码装置1400通过对差分属性信息与预测属性信息相加，从而使对象三维数据中包含的三维点的属性信息复原(s1406)。
[0594]
另外可以是，在三维数据中不包含属性信息的情况下，三维数据解码装置1400也可以不执行步骤s1402、s1404以及s1406。并且，三维数据解码装置1400也可以仅进行三维点的位置信息的解码、以及三维点的属性信息的解码中的一方。
[0595]
并且，图50所示的处理的顺序为一个例子，并非受此所限。例如，由于针对位置信息的处理(s1403、s1405)、与针对属性信息的处理(s1402、s1404、s1406)彼此是独立的，因此能够以任意的顺序进行，还可以使其中的一部分进行并行处理。
[0596]
(实施方式8)
[0597]
三维点群的信息包含位置信息(geometry)和属性信息(attribute)。位置信息包含以某个点为基准的坐标(x坐标、y坐标、z坐标)。在对位置信息进行编码的情况下，代替直接对各三维点的坐标进行编码，而使用通过用八叉树表现来表现各三维点的位置并对八叉树的信息进行编码从而削减编码量的方法。
[0598]
另一方面，属性信息包含表示各三维点的颜色信息(rgb、yuv等)、反射率以及法线向量等的信息。例如，三维数据编码装置能够使用与位置信息不同的编码方法对属性信息进行编码。
[0599]
在本实施方式中，对属性信息的编码方法进行说明。另外，在本实施方式中，使用整数值来作为属性信息的值进行说明。例如在颜色信息rgb或yuv的各颜色成分为8bit精度的情况下，各颜色成分取0～255的整数值。在反射率的值为10bit精度的情况下，反射率的值取0～1023的整数值。此外，在属性信息的比特精度为小数精度的情况下，三维数据编码装置也可以对该值乘以缩放值之后舍入为整数值，以使属性信息的值成为整数值。另外，三维数据编码装置也可以将该缩放值附加于比特流的头部等。
[0600]
作为三维点的属性信息的编码方法，考虑计算三维点的属性信息的预测值，并对原来的属性信息的值与预测值的差分(预测残差)进行编码。例如，在三维点p的属性信息的值为ap、预测值为pp的情况下，三维数据编码装置对其差分绝对值diffp＝|ap-pp|进行编码。在该情况下，如果能够高精度地生成预测值pp，则差分绝对值diffp的值变小。因此，例如通过使用值越小则产生比特数越小的编码表来对差分绝对值diffp进行熵编码，能够削
减编码量。
[0601]
作为生成属性信息的预测值的方法，考虑使用位于编码对象的对象三维点的周围的其他三维点即参照三维点的属性信息。在此，参照三维点是指距对象三维点处于预先规定的距离范围内的三维点。例如，在存在对象三维点p＝(x1，y1，z1)和三维点q＝(x2，y2，z2)的情况下，三维数据编码装置计算(式a1)所示的三维点p与三维点q的欧氏距离d(p，q)。
[0602]
【数式1】
[0603][0604]
三维数据编码装置在欧氏距离d(p，q)小于预定的阈值thd的情况下，判定为三维点q的位置接近对象三维点p的位置，判定为在对象三维点p的属性信息的预测值的生成中利用三维点q的属性信息的值。另外，距离计算方法也可以是其他方法，例如也可以使用马氏距离等。另外，三维数据编码装置也可以判定为不将距对象三维点预先规定的距离范围外的三维点用于预测处理。例如，在存在三维点r、且对象三维点p与三维点r的距离d(p，r)为阈值thd以上的情况下，三维数据编码装置也可以判定为不将三维点r用于预测。此外，三维数据编码装置也可以将表示阈值thd的信息附加于比特流的头部等。
[0605]
图51是表示三维点的例子的图。在该例中，对象三维点p与三维点q的距离d(p、q)小于阈值thd。因此，三维数据编码装置将三维点q判定为对象三维点p的参照三维点，判定为在对象三维点p的属性信息ap的预测值pp的生成中利用三维点q的属性信息aq的值。
[0606]
另一方面，对象三维点p与三维点r的距离d(p，r)为阈值thd以上。因此，三维数据编码装置判定为三维点r不是对象三维点p的参照三维点，判定为在对象三维点p的属性信息ap的预测值pp的生成中不利用三维点r的属性信息ar的值。
[0607]
此外，在使用预测值对对象三维点的属性信息进行编码的情况下，三维数据编码装置将已经对属性信息编码及解码完毕的三维点作为参照三维点利用。同样地，在使用预测值对解码对象的对象三维点的属性信息进行解码的情况下，三维数据解码装置将已经对属性信息解码完毕的三维点作为参照三维点利用。由此，能够在编码时和解码时生成相同的预测值，因此能够在解码侧正确地对通过编码生成的三维点的比特流进行解码。
[0608]
另外，在对三维点的属性信息进行编码的情况下，考虑使用三维点的位置信息将各三维点分类为多个阶层之后进行编码。在此，将分类后的各阶层称为lod(level of detail)。使用图52对lod的生成方法进行说明。
[0609]
首先，三维数据编码装置选择初始点a0，并分配给lod0。接着，三维数据编码装置提取距点a0的距离大于lod0的阈值thres_lod[0]的点a1并分配给lod0。接着，三维数据编码装置提取距点a1的距离大于lod0的阈值thres_lod[0]的点a2并分配给lod0。这样，三维数据编码装置以lod0内的各点之间的距离大于阈值thres_lod[0]的方式构成lod0。
[0610]
接着，三维数据编码装置选择还未分配lod的点b0，并分配给lod1。接着，三维数据编码装置提取距点b0的距离大于lod1的阈值thres_lod[1]、且未分配lod的点b1并分配给lod1。接着，三维数据编码装置提取距点b1的距离大于lod1的阈值thres_lod[1]、且未分配lod的点b2并分配给lod1。这样，三维数据编码装置以lod1内的各点之间的距离大于阈值thres_lod[1]的方式构成lod1。
[0611]
接着，三维数据编码装置选择还未分配lod的点c0，并分配给lod2。接着，三维数据
编码装置提取距点c0的距离大于lod2的阈值thres_lod[2]、且未分配lod的点c1并分配给lod2。接着，三维数据编码装置提取距点c1的距离大于lod2的阈值thres_lod[2]、且未分配lod的点c2并分配给lod2。这样，三维数据编码装置以lod2内的各点之间的距离大于阈值thres_lod[2]的方式构成lod2。例如，如图53所示，设定各lod的阈值thres_lod[0]、thres_lod[1]以及thres_lod[2]。
[0612]
另外，三维数据编码装置也可以将表示各lod的阈值的信息附加于比特流的头部等。例如，在图53所示的例子的情况下，三维数据编码装置也可以将阈值thres_lod[0]、thres_lod[1]以及thres_lod[2]附加到头部。
[0613]
另外，三维数据编码装置也可以将未分配lod的所有三维点分配给lod的最下层。在该情况下，三维数据编码装置能够通过不将lod的最下层的阈值附加到头部来削减头部的编码量。例如，在图53所示的例子的情况下，三维数据编码装置将阈值thres_lod[0]和thres_lod[1]附加到头部，不将thres_lod[2]附加到头部。在该情况下，三维数据解码装置也可以将thres_lod[2]的值估计为0。另外，三维数据编码装置也可以将lod的阶层数附加到头部。由此，三维数据解码装置能够使用lod的阶层数来判定最下层的lod。
[0614]
另外，如图53所示，将lod的各层的阈值的值设定为越靠上位层越大，从而越是上位层(越接近lod0的层)则越是成为三维点间的距离远的疏点群(sparse)，越是下位层则越是成为三维点间的距离近的密点群(dense)。另外，在图53所示的例子中，lod0是最上位层。
[0615]
另外，设定各lod时的初始三维点的选择方法也可以依赖于位置信息编码时的编码顺序。例如，三维数据编码装置选择在位置信息编码时最初被编码的三维点作为lod0的初始点a0，以初始点a0为基点，选择点a1、点a2来构成lod0。而且，三维数据编码装置也可以选择在不属于lod0的三维点中最早位置信息被编码的三维点作为lod1的初始点b0。即，三维数据编码装置也可以选择在不属于lodn的上层(lod0～lodn-1)的三维点中，最早位置信息被编码的三维点作为lodn的初始点n0。由此，三维数据解码装置通过在解码时使用同样的初始点选择方法，能够构成与编码时相同的lod，因此能够适当地对比特流进行解码。具体而言，三维数据解码装置选择在不属于lodn的上层的三维点中，最早位置信息被解码的三维点作为lodn的初始点n0。
[0616]
以下，对使用lod的信息生成三维点的属性信息的预测值的手法进行说明。例如，在从lod0所包含的三维点开始依次进行编码的情况下，三维数据编码装置使用lod0及lod1所包含的编码且解码完毕(以下，也简称为“已编码”)的属性信息，生成lod1所包含的对象三维点。这样，三维数据编码装置使用lodn’(n’＜＝n)所包含的已编码的属性信息，生成lodn所包含的三维点的属性信息的预测值。即，三维数据编码装置在lodn所包含的三维点的属性信息的预测值的计算中，不使用lodn的下层所包含的三维点的属性信息。
[0617]
例如，三维数据编码装置通过计算编码对象的对象三维点的周边的已编码的三维点中的n个以下的三维点的属性值的平均值来生成三维点的属性信息的预测值。此外，三维数据编码装置可以将n的值附加到比特流的头部等。另外，三维数据编码装置也可以对每个三维点变更n的值，对每个三维点附加n的值。由此，能够对每个三维点选择适当的n，因此能够提高预测值的精度。因此，能够减小预测残差。另外，三维数据编码装置也可以将n的值附加到比特流的头部，在比特流内固定n的值。由此，不需要对每个三维点对n的值进行编码或解码，因此能够削减处理量。另外，三维数据编码装置也可以对每个lod分别对n的值进行编
码。由此，通过对每个lod选择适当的n，能够提高编码效率。
[0618]
或者，三维数据编码装置也可以通过周围的已编码的n个三维点的属性信息的加权平均值来计算三维点的属性信息的预测值。例如，三维数据编码装置使用对象三维点和周围的n个三维点各自的距离信息来计算权重。
[0619]
三维数据编码装置在对每个lod分别对n的值进行编码的情况下，例如越是lod的上位层则将n的值设定得越大，越是下位层则将n的值设定得越小。在lod的上位层中，属于该层的三维点间的距离远，因此有可能通过将n的值设定得大并选择多个周围的三维点来进行平均化，从而能够提高预测精度。另外，由于在lod的下位层中，属于该层的三维点间的距离近，因此有可能在将n的值设定得小来抑制平均化的处理量的同时进行高效的预测。
[0620]
图54是表示预测值中使用的属性信息的例子的图。如上所述，使用lodn’(n’＜＝n)所包含的已编码的周围点p’来生成lodn所包含的点p的预测值。在此，周围点p’基于与点p的距离来选择。例如，使用点a0、a1、a2、b0、b1的属性信息来生成图54所示的点b2的属性信息的预测值。
[0621]
根据上述n的值，所选择的周围点发生变化。例如在n＝5的情况下，作为点b2的周围点，选择a0、a1、a2、b0、b1。在n＝4的情况下，基于距离信息选择点a0、a1、a2、b1。
[0622]
通过依赖于距离的加权平均来计算预测值。例如，在图54所示的例子中，点a2的预测值a2p如(式a2)以及(式a3)所示，通过点a0以及点a1的属性信息的加权平均来计算。另外，a
i
是点ai的属性信息的值。
[0623]
【数式2】
[0624][0625][0626]
另外，点b2的预测值b2p如(式a4)～(式a6)所示，通过点a0、a1、a2、b0、b1的属性信息的加权平均来计算。另外，b
i
是点bi的属性信息的值。
[0627]
【数式3】
[0628][0629][0630][0631]
另外，三维数据编码装置也可以计算三维点的属性信息的值与从周围点生成的预测值的差分值(预测残差)，对计算出的预测残差进行量化。例如，三维数据编码装置通过将
预测残差除以量化尺度(也称为量化步长)来进行量化。在这种情况下，量化尺度越小，由于量化而可能产生的误差(量化误差)越小。相反，量化尺度越大，量化误差越大。
[0632]
此外，三维数据编码装置也可以对每个lod改变所使用的量化尺度。例如，三维数据编码装置越是上位层，越减小量化尺度，越是下位层，越增大量化尺度。属于上位层的三维点的属性信息的值有可能作为属于下位层的三维点的属性信息的预测值来使用，因此能够减小上位层的量化尺度而抑制在上位层会产生的量化误差，通过提高预测值的精度，能够提高编码效率。此外，三维数据编码装置也可以将对每个lod使用的量化尺度附加到头部等。由此，三维数据解码装置能够正确地对量化尺度进行解码，因此能够适当地对比特流进行解码。
[0633]
此外，三维数据编码装置也可以将作为量化后的预测残差的带符号整数值(带符号量化值)变换为无符号整数值(无符号量化值)。由此，在对预测残差进行熵编码的情况下，不需要考虑负的整数的产生。此外，三维数据编码装置不一定需要将带符号整数值变换为无符号整数值，例如也可以对符号比特另外进行熵编码。
[0634]
通过从原始值减去预测值来计算预测残差。例如，如(式a7)所示，点a2的预测残差a2r通过从点a2的属性信息的值a2减去点a2的预测值a2p来计算。如(式a8)所示，点b2的预测残差b2r通过从点b2的属性信息的值b2减去点b2的预测值b2p来计算。
[0635]
a2r＝a
2-a2p
…
(式a7)
[0636]
b2r＝b
2-b2p
…
(式a8)
[0637]
另外，预测残差通过除以qs(量化步长(quantization step))而被量化。例如，点a2的量化值a2q通过(式a9)来计算。点b2的量化值b2q通过(式a10)来计算。在此，qs_lod0是lod0用的qs，qs_lod1是lod1用的qs。即，可以根据lod变更qs。
[0638]
a2q＝a2r/qs_lod0
…
(式a9)
[0639]
b2q＝b2r/qs_lod1
…
(式a10)
[0640]
此外，如以下所述，三维数据编码装置将作为上述量化值的带符号整数值变换为无符号整数值。在带符号整数值a2q小于0的情况下，三维数据编码装置将无符号整数值a2u设定为-1-(2
×
a2q)。在带符号整数值a2q为0以上的情况下，三维数据编码装置将无符号整数值a2u设定为2
×
a2q。
[0641]
同样地，在带符号整数值b2q小于0的情况下，三维数据编码装置将无符号整数值b2u设定为-1-(2
×
b2q)。在带符号整数值b2q为0以上的情况下，三维数据编码装置将无符号整数值b2u设定为2
×
b2q。
[0642]
此外，三维数据编码装置也可以通过熵编码对量化后的预测残差(无符号整数值)进行编码。例如，也可以在对无符号整数值进行二值化之后，应用二值的算术编码。
[0643]
此外，在该情况下，三维数据编码装置也可以根据预测残差的值来切换二值化方法。例如，在预测残差pu小于阈值r_th的情况下，三维数据编码装置为了表现阈值r_th以所需的固定比特数对预测残差pu进行二值化。另外，在预测残差pu为阈值r_th以上的情况下，三维数据编码装置使用指数哥伦布(exponential-golomb)等对阈值r_th的二值化数据和(pu-r_th)的值进行二值化。
[0644]
例如，在阈值r_th为63、预测残差pu小于63的情况下，三维数据编码装置将预测残差pu以6bit进行二值化。另外，在预测残差pu为63以上的情况下，三维数据编码装置使用指
数哥伦布对阈值r_th的二值数据(111111)和(pu-63)进行二值化，由此进行算术编码。
[0645]
在更具体的例子中，三维数据编码装置在预测残差pu为32的情况下，生成6bit的二值数据(100000)，对该比特串进行算术编码。另外，在预测残差pu为66的情况下，三维数据编码装置生成用指数哥伦布表示阈值r_th的二值数据(111111)和值3(66-63)的比特串(00100)，对该比特串(111111+00100)进行算术编码。
[0646]
这样，三维数据编码装置根据预测残差的大小切换二值化的方法，从而能够在抑制预测残差变大的情况下的二值化比特数的急剧增加的同时进行编码。此外，三维数据编码装置也可以将阈值r_th附加于比特流的头部等。
[0647]
例如，在以高比特率进行编码的情况下，即，在量化尺度小的情况下，量化误差变小，预测精度变高，结果预测残差可能不会变大。因此，在该情况下，三维数据编码装置将阈值r_th设定得大。由此，对阈值r_th的二值化数据进行编码的可能性变低，编码效率提高。相反，在以低比特率进行编码的情况下，即，在量化尺度大的情况下，量化误差变大，预测精度变差，结果有可能预测残差变大。因此，在该情况下，三维数据编码装置将阈值r_th设定得小。由此，能够防止二值化数据的急剧的比特长度增加。
[0648]
另外，三维数据编码装置也可以对每个lod切换阈值r_th，并将每个lod的阈值r_th附加到头部等。即，三维数据编码装置也可以对每个lod切换二值化的方法。例如，在上位层中，由于三维点间的距离远，预测精度变差，结果预测残差有可能变大。因此，三维数据编码装置通过对上位层将阈值r_th设定得小，来防止二值化数据的急剧的比特长度增加。另外，在下位层中，由于三维点间的距离近，预测精度变高，结果有可能预测残差变小。因此，三维数据编码装置通过对阶层将阈值r_th设定得大来提高编码效率。
[0649]
图55是表示指数哥伦布码的一例的图，是表示二值化前的值(多值)与二值化后的比特(编码)的关系的图。另外，也可以使图55所示的0和1反转。
[0650]
另外，三维数据编码装置对预测残差的二值化数据应用算术编码。由此，能够提高编码效率。此外，在应用算术编码时，在二值化数据中，在以n比特进行了二值化的部分即n比特编码(n-bit code)和使用指数哥伦布进行了二值化的部分即剩余编码(remaining code)中，各比特的0和1的出现概率的倾向有可能不同。因此，三维数据编码装置也可以通过n比特编码和剩余编码来切换算术编码的应用方法。
[0651]
例如，对于n比特编码，三维数据编码装置对每个比特使用不同的编码表(概率表)进行算术编码。此时，三维数据编码装置也可以改变对每个比特使用的编码表的数量。例如，三维数据编码装置使用1个编码表来对n比特编码的开头比特b0进行算术编码。另外，三维数据编码装置对下一个比特b1使用2个编码表。此外，三维数据编码装置根据b0的值(0或1)切换比特b1的算术编码中使用的编码表。同样地，三维数据编码装置还对下一个比特b2使用4个编码表。另外，三维数据编码装置根据b0以及b1的值(0～3)，切换比特b2的算术编码中使用的编码表。
[0652]
这样，三维数据编码装置在对n比特编码的各比特bn-1进行算术编码时，使用2
n-1
个编码表。另外，三维数据编码装置根据bn-1之前的比特的值(发生样式)，切换使用的编码表。由此，三维数据编码装置能够对每个比特使用适当的编码表，因此能够提高编码效率。
[0653]
另外，三维数据编码装置也可以削减在各比特中使用的编码表的数量。例如，在对各比特bn-1进行算术编码时，三维数据编码装置也可以根据bn-1之前的m比特(m＜n-1)的
值(发生样式)来切换2
m
个编码表。由此，能够抑制在各比特中使用的编码表的数量，并且提高编码效率。此外，三维数据编码装置也可以根据实际产生的二值化数据的值来更新各编码表中的0和1的发生概率。另外，三维数据编码装置也可以将一部分比特的编码表中的0和1的发生概率固定化。由此，能够抑制发生概率的更新次数，因此能够削减处理量。
[0654]
例如，n比特编码为b0b1b2
…
bn-1的情况下，b0用的编码表是1个(ctb0)。b1用的编码表是2个(ctb10、ctb11)。另外，根据b0的值(0～1)来切换使用的编码表。b2用的编码表是4个(ctb20、ctb21、ctb22、ctb23)。此外，根据b0以及b1的值(0～3)来切换使用的编码表。bn-1用的编码表是2
n-1
个(ctbn0，ctbn1，
…
，ctbn(2
n-1-1))。另外，根据b0b1
…
bn-2的值(0～2
n-1-1)来切换使用的编码表。
[0655]
此外，三维数据编码装置也可以对n比特编码不进行二值化而应用设定0～2
n-1的值的m-ary的算术编码(m＝2
n
)。此外，在三维数据编码装置用m-ary对n比特编码进行算术编码的情况下，三维数据解码装置也可以通过m-ary的算术解码来复原n比特编码。
[0656]
图56是用于说明例如剩余编码是指数哥伦布码的情况下的处理的图。如图56所示，使用指数哥伦布进行了二值化的部分即剩余编码包括prefix部和suffix部。例如，三维数据编码装置在prefix部和suffix部中切换编码表。即，三维数据编码装置使用prefix用的编码表来对prefix部所包含的各比特进行算术编码，使用suffix用的编码表来对suffix部所包含的各比特进行算术编码。
[0657]
此外，三维数据编码装置也可以根据实际产生的二值化数据的值来更新各编码表中的0和1的发生概率。或者，三维数据编码装置也可以将某一个编码表中的0和1的发生概率固定化。由此，能够抑制发生概率的更新次数，因此能够削减处理量。例如，三维数据编码装置也可以对prefix部更新发生概率，对suffix部将发生概率固定化。
[0658]
此外，三维数据编码装置通过逆量化以及重构来对量化后的预测残差进行解码，将解码出的预测残差即解码值利用于编码对象的三维点以后的预测。具体而言，三维数据编码装置通过对量化后的预测残差(量化值)乘以量化尺度来计算逆量化值，将逆量化值和预测值相加而得到解码值(重构值)。
[0659]
例如，点a2的逆量化值a2iq使用点a2的量化值a2q通过(式a11)来计算。点b2的逆量化值b2iq使用点b2的量化值b2q通过(式a12)来计算。在此，qs_lod0是lod0用的qs，qs_lod1是lod1用的qs。即，可以根据lod变更qs。
[0660]
a2iq＝a2q
×
qs_lod0
…
(式a11)
[0661]
b2iq＝b2q
×
qs_lod1
…
(式a12)
[0662]
例如，如(式a13)所示，点a2的解码值a2rec通过对点a2的逆量化值a2iq加上点a2的预测值a2p来计算。如(式a14)所示，点b2的解码值b2rec通过对点b2的逆量化值b2iq加上点b2的预测值b2p来计算。
[0663]
a2rec＝a2iq+a2p
…
(式a13)
[0664]
b2rec＝b2iq+b2p
…
(式a14)
[0665]
以下，对本实施方式的比特流的句法例进行说明。图57是表示本实施方式的属性头部(attribute_header)的句法例的图。属性头部是属性信息的头部信息。如图57所示，属性头部包括阶层数信息(numlod)、三维点数信息(numofpoint[i])、阶层阈值(thres_lod[i])、周围点数信息(numneighorpoint[i])、预测阈值(thd[i])、量化尺度(qs[i])、以及二
值化阈值(r_th[i])。
[0666]
阶层数信息(numlod)表示所使用的lod的阶层数。
[0667]
三维点数信息(numofpoint[i])表示属于阶层i的三维点的数量。此外，三维数据编码装置也可以将表示三维点的总数的三维点总数信息(allnumofpoint)附加于其他的头部。在该情况下，三维数据编码装置也可以不将表示属于最下层的三维点的数量的numofpoint[numlod-1]附加到头部。在该情况下，三维数据解码装置能够通过(式a15)计算numofpoint[numlod-1]。由此，能够削减头部的编码量。
[0668]
【数式4】
[0669][0670]
阶层阈值(thres_lod[i])是用于设定阶层i的阈值。三维数据编码装置以及三维数据解码装置以lodi内的各点之间的距离大于阈值thres_lod[i]的方式构成lodi。另外，三维数据编码装置也可以不将thres_lod[numlod-1](最下层)的值附加到头部。在该情况下，三维数据解码装置将thres_lod[numlod-1]的值估计为0。由此，能够削减头部的编码量。
[0671]
周围点数信息(numneighorpoint[i])表示在属于阶层i的三维点的预测值的生成中使用的周围的点数的上限值。在周围的点数m小于numneighorpoint[i]的情况下(m<numneighorpoint[i])，三维数据编码装置也可以使用m个周围的点数来计算预测值。另外，在不需要在各lod中分开numneighorpoint[i]的值的情况下，三维数据编码装置也可以将在所有的lod中使用的1个周围点数信息(numneighorpoint)附加到头部。
[0672]
预测阈值(thd[i])表示在阶层i中编码或解码对象的对象三维点的预测中使用的周围的三维点与对象三维点的距离的上限值。三维数据编码装置以及三维数据解码装置不将距对象三维点的距离比thd[i]远的三维点用于预测。另外，在不需要在各lod中分开thd[i]的值的情况下，三维数据编码装置也可以将在所有的lod中使用的1个预测阈值(thd)附加到头部。
[0673]
量化尺度(qs[i])表示在阶层i的量化和逆量化中使用的量化尺度。
[0674]
二值化阈值(r_th[i])是用于切换属于阶层i的三维点的预测残差的二值化方法的阈值。例如，三维数据编码装置在预测残差小于阈值r_th的情况下，以固定比特数对预测残差pu进行二值化，在预测残差为阈值r_th以上的情况下，使用指数哥伦布对阈值r_th的二值化数据和(pu-r_th)的值进行二值化。另外，在不需要在各lod中切换r_th[i]的值的情况下，三维数据编码装置也可以将在所有的lod中使用的1个二值化阈值(r_th)附加到头部。
[0675]
此外，r_th[i]也可以是以nbit表示的最大值。例如，在6bit中，r_th为63，在8bit中，r_th为255。另外，三维数据编码装置也可以代替对作为二值化阈值以nbit表示的最大值进行编码，而对比特数进行编码。例如，三维数据编码装置可以在r_th[i]＝63的情况下将值6附加到头部，在r_th[i]＝255的情况下将值8附加到头部。另外，三维数据编码装置也可以定义表示r_th[i]的比特数的最小值(最小比特数)，将相对于最小值的相对比特数附
加到头部。例如，三维数据编码装置可以在r_th[i]＝63且最小比特数为6的情况下将值0附加到头部，在r_th[i]＝255且最小比特数为6的情况下将值2附加到头部。
[0676]
另外，三维数据编码装置也可以对numlod、thres_lod[i]、numneighborpoint[i]、thd[i]、qs[i]以及r_th[i]中的至少一个进行熵编码并附加到头部。例如，三维数据编码装置也可以对各值进行二值化而进行算术编码。另外，为了抑制处理量，三维数据编码装置也可以以固定长度对各值进行编码。
[0677]
此外，三维数据编码装置可以不将numlod、thres_lod[i]、numneighborpoint[i]、thd[i]、qs[i]以及r_th[i]中的至少一个附加到头部。例如，它们中的至少一个的值也可以由标准等的档次(profile)或级别(level)等规定。由此，能够削减头部的比特量。
[0678]
图58是表示本实施方式的属性数据(attribute_data)的句法例的图。该属性数据包括多个三维点的属性信息的编码数据。如图58所示，属性数据包括n比特编码(n-bit code)和剩余编码(remaining code)。
[0679]
n比特编码(n-bit code)是属性信息的值的预测残差的编码数据或其一部分。n比特编码的比特长度依赖于r_th[i]的值。例如在r_th[i]所示的值为63的情况下，n比特编码为6bit，在r_th[i]所示的值为255的情况下，n比特编码为8bit。
[0680]
剩余编码(remaining code)是属性信息的值的预测残差的编码数据中的用指数哥伦布编码后的编码数据。在n比特编码与r_th[i]相同的情况下，对该剩余编码进行编码或解码。另外，三维数据解码装置将n比特编码的值和剩余编码的值相加而对预测残差进行解码。此外，在n比特编码不是与r_th[i]相同的值的情况下，剩余编码也可以不被编码或解码。
[0681]
以下，说明三维数据编码装置中的处理的流程。图59是由三维数据编码装置进行的三维数据编码处理的流程图。
[0682]
首先，三维数据编码装置对位置信息(geometry)进行编码(s3001)。例如，三维数据编码使用八叉树表现来进行编码。
[0683]
三维数据编码装置在位置信息的编码后，在三维点的位置由于量化等而变化的情况下，对变化后的三维点重新分配原来的三维点的属性信息(s3002)。例如，三维数据编码装置通过根据位置的变化量对属性信息的值进行插值来进行重新分配。例如，三维数据编码装置检测n个接近变化后的三维位置的变化前的三维点，对n个三维点的属性信息的值进行加权平均。例如，三维数据编码装置在加权平均中，基于从变化后的三维位置到各n个三维点的距离来决定权重。然后，三维数据编码装置将通过加权平均得到的值决定为变化后的三维点的属性信息的值。另外，在由于量化等而2个以上的三维点变化到同一三维位置的情况下，三维数据编码装置也可以分配变化前的2个以上的三维点的属性信息的平均值作为该变化后的三维点的属性信息的值。
[0684]
接着，三维数据编码装置对重新分配后的属性信息(attribute)进行编码(s3003)。例如，在对多种属性信息进行编码的情况下，三维数据编码装置也可以依次对多种属性信息进行编码。例如，在作为属性信息对颜色和反射率进行编码的情况下，三维数据编码装置也可以生成在颜色的编码结果之后附加了反射率的编码结果的比特流。另外，附加到比特流的属性信息的多个编码结果的顺序不限于此顺序，可以是任何顺序。
[0685]
另外，三维数据编码装置也可以将比特流内的各属性信息的表示编码数据开始部
位的信息附加到头部等。由此，三维数据解码装置能够选择性地对需要解码的属性信息进行解码，因此能够省略不需要解码的属性信息的解码处理。因此，能够削减三维数据解码装置的处理量。此外，三维数据编码装置也可以并行地对多种属性信息进行编码，并将编码结果合并为1个比特流。由此，三维数据编码装置能够高速地对多种属性信息进行编码。
[0686]
图60是属性信息编码处理(s3003)的流程图。首先，三维数据编码装置设定lod(s3011)。即，三维数据编码装置将各三维点分配给多个lod中的任一个。
[0687]
接着，三维数据编码装置开始lod单位的循环(s3012)。即，三维数据编码装置对每个lod反复进行步骤s3013～s3021的处理。
[0688]
接着，三维数据编码装置开始三维点单位的循环(s3013)。即，三维数据编码装置对每个三维点反复进行步骤s3014～s3020的处理。
[0689]
首先，三维数据编码装置搜索在处理对象的对象三维点的预测值的计算中使用的、存在于对象三维点的周围的三维点即多个周围点(s3014)。接着，三维数据编码装置计算多个周围点的属性信息的值的加权平均，并将得到的值设定为预测值p(s3015)。接着，三维数据编码装置计算对象三维点的属性信息与预测值的差分即预测残差(s3016)。接着，三维数据编码装置通过对预测残差进行量化来计算量化值(s3017)。接着，三维数据编码装置对量化值进行算术编码(s3018)。
[0690]
此外，三维数据编码装置通过对量化值进行逆量化来计算逆量化值(s3019)。接着，三维数据编码装置通过对逆量化值加上预测值来生成解码值(s3020)。接着，三维数据编码装置结束三维点单位的循环(s3021)。另外，三维数据编码装置结束lod单位的循环(s3022)。
[0691]
以下，对由上述的三维数据编码装置生成的比特流进行解码的三维数据解码装置中的三维数据解码处理进行说明。
[0692]
三维数据解码装置通过用与三维数据编码装置同样的方法对由三维数据编码装置生成的比特流内的属性信息的二值化数据进行算术解码，生成被解码后的二值化数据。此外，在三维数据编码装置中，在用n比特进行了二值化的部分(n比特编码)和用指数哥伦布进行了二值化的部分(剩余编码)之间切换了算术编码的应用方法的情况下，三维数据解码装置在应用算术解码时，与其相应地进行解码。
[0693]
例如，三维数据解码装置在n比特编码的算术解码方法中，对每个比特使用不同的编码表(解码表)进行算术解码。此时，三维数据解码装置也可以改变对每个比特使用的编码表的数量。例如，对n比特编码的开头比特b0使用1个编码表来进行算术解码。另外，三维数据解码装置对下一个比特b1使用2个编码表。此外，三维数据解码装置根据b0的值(0或1)切换比特b1的算术解码中使用的编码表。同样地，三维数据解码装置进一步对下一个比特b2使用4个编码表。另外，三维数据解码装置根据b0以及b1的值(0～3)，切换比特b2的算术解码中使用的编码表。
[0694]
这样，三维数据解码装置在对n比特编码的各比特bn-1进行算术解码时，使用2
n-1
个编码表。另外，三维数据解码装置根据bn-1之前的比特的值(发生样式)，切换使用的编码表。由此，三维数据解码装置能够对每个比特使用适当的编码表来适当地对提高了编码效率的比特流进行解码。
[0695]
另外，三维数据解码装置也可以削减在各比特中使用的编码表的数量。例如，三维
数据解码装置也可以在对各比特bn-1进行算术解码时，根据bn-1之前的m比特(m＜n-1)的值(发生样式)来切换2
m
个编码表。由此，三维数据解码装置能够在抑制在各比特中使用的编码表的数量的同时适当地对提高了编码效率的比特流进行解码。此外，三维数据解码装置也可以根据实际产生的二值化数据的值来更新各编码表中的0和1的发生概率。另外，三维数据解码装置也可以将一部分比特的编码表中的0和1的发生概率固定化。由此，能够抑制发生概率的更新次数，因此能够削减处理量。
[0696]
例如，n比特编码为b0b1b2
…
bn-1的情况下，b0用的编码表是1个(ctb0)。b1用的编码表是2个(ctb10、ctb11)。此外，根据b0的值(0～1)来切换编码表。b2用的编码表是4个(ctb20、ctb21、ctb22、ctb23)。此外，根据b0和b1的值(0～3)来切换编码表。bn-1用的编码表是2
n-1
个(ctbn0，ctbn1，
…
，ctbn(2
n-1-1))。另外，根据b0b1
…
bn-2的值(0～2
n-1-1)来切换编码表。
[0697]
例如，图61是用于说明剩余编码是指数哥伦布码的情况下的处理的图。如图61所示，三维数据编码装置使用指数哥伦布进行了二值化而编码的部分(剩余编码)包括prefix部和suffix部。例如，三维数据解码装置在prefix部和suffix部中切换编码表。即，三维数据解码装置使用prefix用的编码表来对prefix部所包含的各比特进行算术解码，使用suffix用的编码表来对suffix部所包含的各比特进行算术解码。
[0698]
此外，三维数据解码装置也可以根据在解码时产生的二值化数据的值来更新各编码表中的0和1的发生概率。或者，三维数据解码装置也可以将某一个编码表中的0和1的发生概率固定化。由此，能够抑制发生概率的更新次数，因此能够削减处理量。例如，三维数据解码装置也可以对prefix部更新发生概率，对suffix部将发生概率固定化。
[0699]
另外，三维数据解码装置将算术解码出的预测残差的二值化数据与在三维数据编码装置中使用的编码方法相匹配地进行多值化，由此对量化后的预测残差(无符号整数值)进行解码。三维数据解码装置首先计算通过对n比特编码的二值化数据进行算术解码而解码出的n比特编码的值。接着，三维数据解码装置将n比特编码的值与r_th的值进行比较。
[0700]
在n比特编码的值与r_th的值一致的情况下，三维数据解码装置判定为接下来存在用指数哥伦布进行了编码的比特，对用指数哥伦布进行了编码的二值化数据即剩余编码进行算术解码。然后，三维数据解码装置根据解码出的剩余编码，使用表示剩余编码与该值之间的关系的反推表来计算剩余编码的值。图62是表示表示剩余编码与其值之间的关系的反推表的例子的图。接下来，三维数据解码装置通过将所得到的剩余编码的值与r_th相加而得到进行了多值化的量化后的预测残差。
[0701]
另一方面，在n比特编码的值与r_th的值不一致(值小于r_th)的情况下，三维数据解码装置将n比特编码的值直接决定为进行了多值化的量化后的预测残差。由此，三维数据解码装置能够适当地对在三维数据编码装置中根据预测残差的值切换二值化方法而生成的比特流进行解码。
[0702]
此外，在阈值r_th附加到比特流的头部等的情况下，三维数据解码装置也可以从头部解码阈值r_th的值，并使用解码出的阈值r_th的值来切换解码方法。另外，三维数据解码装置在对每个lod将阈值r_th附加到头部等的情况下，使用解码出的阈值r_th对每个lod切换解码方法。
[0703]
例如，在阈值r_th为63、解码出的n比特编码的值为63的情况下，三维数据解码装
置通过利用指数哥伦布对剩余编码进行解码，从而得到剩余编码的值。例如，在图62所示的例子中，剩余编码为00100，作为剩余编码的值而得到3。接着，三维数据解码装置通过将阈值r_th的值63和剩余编码的值3相加，得到预测残差的值66。
[0704]
另外，在解码出的n比特编码的值为32的情况下，三维数据解码装置将n比特编码的值32设定为预测残差的值。
[0705]
另外，三维数据解码装置通过例如与三维数据编码装置中的处理相反的处理，将解码出的量化后的预测残差从无符号整数值变换为带符号整数值。由此，三维数据解码装置在对预测残差进行熵编码的情况下，能够适当地对不考虑负的整数的产生而生成的比特流进行解码。另外，三维数据解码装置不一定需要将无符号整数值变换为带符号整数值，例如在对将符号比特另外进行熵编码而生成的比特流进行解码的情况下，也可以对符号比特进行解码。
[0706]
三维数据解码装置通过逆量化及重构对变换为带符号整数值的量化后的预测残差进行解码，由此生成解码值。另外，三维数据解码装置将所生成的解码值利用于解码对象的三维点以后的预测。具体而言，三维数据解码装置通过对量化后的预测残差乘以解码出的量化尺度来计算逆量化值，将逆量化值和预测值相加来得到解码值。
[0707]
被解码的无符号整数值(无符号量化值)通过以下的处理变换为带符号整数值。在被解码的无符号整数值a2u的lsb(least significant bit：最低有效位)为1的情况下，三维数据解码装置将带符号整数值a2q设定为-((a2u+1)＞＞1)。在无符号整数值a2u的lsb不是1的情况下，三维数据解码装置将带符号整数值a2q设定为(a2u＞＞1)。
[0708]
同样地，在被解码的无符号整数值b2u的lsb为1的情况下，三维数据解码装置将带符号整数值b2q设定为-((b2u+1)＞＞1)。在无符号整数值n2u的lsb不是1的情况下，三维数据解码装置将带符号整数值b2q设定为(b2u＞＞1)。
[0709]
另外，由三维数据解码装置进行的逆量化及重构处理的详细情况与三维数据编码装置中的逆量化及重构处理相同。
[0710]
以下，说明三维数据解码装置中的处理的流程。图63是由三维数据解码装置进行的三维数据解码处理的流程图。首先，三维数据解码装置从比特流中解码位置信息(geometry)(s3031)。例如，三维数据解码装置使用八叉树表现进行解码。
[0711]
接着，三维数据解码装置从比特流中解码属性信息(attribute)(s3032)。例如，在对多种属性信息进行解码的情况下，三维数据解码装置也可以依次对多种属性信息进行解码。例如，在作为属性信息对颜色和反射率进行解码的情况下，三维数据解码装置按照附加到比特流的顺序，对颜色的编码结果和反射率的编码结果进行解码。例如，在比特流中，在颜色的编码结果之后附加有反射率的编码结果的情况下，三维数据解码装置对颜色的编码结果进行解码，然后对反射率的编码结果进行解码。另外，三维数据解码装置按照怎样的顺序对附加到比特流的属性信息的编码结果进行解码都可以。
[0712]
另外，三维数据解码装置也可以通过对头部进行解码来获得比特流内的各属性信息的表示编码数据开始部位的信息。由此，三维数据解码装置能够选择性地对需要解码的属性信息进行解码，因此能够省略不需要解码的属性信息的解码处理。因此，能够削减三维数据解码装置的处理量。另外，三维数据解码装置也可以并行地对多种属性信息进行解码，将解码结果合并到1个三维点群。由此，三维数据解码装置能够高速地对多种属性信息进行
解码。
[0713]
图64是属性信息解码处理(s3032)的流程图。首先，三维数据解码装置设定lod(s3041)。即，三维数据解码装置将具有被解码的位置信息的多个三维点分别分配给多个lod中的任一个。例如，该分配方法是与在三维数据编码装置中使用的分配方法相同的方法。
[0714]
接着，三维数据解码装置开始lod单位的循环(s3042)。即，三维数据解码装置对每个lod反复进行步骤s3043～s3049的处理。
[0715]
接着，三维数据解码装置开始三维点单位的循环(s3043)。即，三维数据解码装置针对每个三维点反复进行步骤s3044～s3048的处理。
[0716]
首先，三维数据解码装置搜索在处理对象的对象三维点的预测值的计算中使用的、存在于对象三维点的周围的三维点即多个周围点(s3044)。接着，三维数据解码装置计算多个周围点的属性信息的值的加权平均，将得到的值设定为预测值p(s3045)。另外，这些处理与三维数据编码装置中的处理相同。
[0717]
接着，三维数据解码装置从比特流对量化值进行算术解码(s3046)。另外，三维数据解码装置通过对解码出的量化值进行逆量化来计算逆量化值(s3047)。接着，三维数据解码装置通过对逆量化值加上预测值来生成解码值(s3048)。接着，三维数据解码装置结束三维点单位的循环(s3049)。另外，三维数据解码装置结束lod单位的循环(s3050)。
[0718]
接着，对本实施方式的三维数据编码装置以及三维数据解码装置的结构进行说明。图65是表示本实施方式的三维数据编码装置3000的结构的框图。该三维数据编码装置3000具备位置信息编码部3001、属性信息重新分配部3002、以及属性信息编码部3003。
[0719]
属性信息编码部3003对输入点群所包含的多个三维点的位置信息(geometry)进行编码。属性信息重新分配部3002使用位置信息的编码及解码结果，重新分配输入点群所包含的多个三维点的属性信息的值。属性信息编码部3003对重新分配的属性信息(attribute)进行编码。此外，三维数据编码装置3000生成包含被编码的位置信息和被编码的属性信息的比特流。
[0720]
图66是表示本实施方式的三维数据解码装置3010的结构的框图。该三维数据解码装置3010包括位置信息解码部3011和属性信息解码部3012。
[0721]
位置信息解码部3011从比特流中解码多个三维点的位置信息(geometry)。属性信息解码部3012从比特流中解码多个三维点的属性信息(attribute)。另外，三维数据解码装置3010通过将解码出的位置信息与解码出的属性信息结合来生成输出点群。
[0722]
如上所述，本实施方式的三维数据编码装置进行图67中所示的处理。三维数据编码装置对具有属性信息的三维点进行编码。首先，三维数据编码装置计算三维点的属性信息的预测值(s3061)。接下来，三维数据编码装置计算三维点的属性信息与预测值的差分即预测残差(s3062)。接着，三维数据编码装置通过对预测残差进行二值化来生成二值数据(s3063)。接着，三维数据编码装置对二值数据进行算术编码(s3064)。
[0723]
由此，三维数据编码装置通过计算属性信息的预测残差，进而对该预测残差进行二值化和算术编码，从而能够削减属性信息的编码数据的编码量。
[0724]
例如，在算术编码(s3064)中，三维数据编码装置对二值数据的每个比特使用不同的编码表。由此，三维数据编码装置能够提高编码效率。
[0725]
例如，在算术编码(s3064)中，越是二值数据的下位比特，使用的编码表的数量越多。
[0726]
例如，在算术编码(s3064)中，三维数据编码装置根据二值数据所包含的对象比特的上位比特的值，选择在对象比特的算术编码中使用的编码表。由此，三维数据编码装置能够根据上位比特的值选择编码表，因此能够提高编码效率。
[0727]
例如，在二值化(s3063)中，在预测残差小于阈值(r_th)的情况下，三维数据编码装置通过以固定比特数对预测残差进行二值化来生成二值数据，在预测残差为阈值(r_th)以上的情况下，生成包含表示阈值(r_th)的固定比特数的第1编码(n比特编码)、和将从预测残差减去阈值(r_th)而得到的值用指数哥伦布进行二值化而得到的第2编码(剩余编码)的二值数据。三维数据编码装置在算术编码(s3064)中，对第1编码和第2编码使用不同的算术编码方法。
[0728]
由此，三维数据编码装置例如能够通过分别适合于第1编码和第2编码的算术编码方法对第1编码和第2编码进行算术编码，因此能够提高编码效率。
[0729]
例如，三维数据编码装置对预测残差进行量化，在二值化(s3063)中，对被量化的预测残差进行二值化。阈值(r_th)根据量化中的量化尺度而变更。由此，三维数据编码装置能够使用与量化尺度相应的适当的阈值，因此能够提高编码效率。
[0730]
例如，第2编码包括prefix部和suffix部。三维数据编码装置在算术编码(s3064)中，在prefix部和suffix部中使用不同的编码表。由此，三维数据编码装置能够提高编码效率。
[0731]
例如，三维数据编码装置具备处理器和存储器，处理器使用存储器进行上述处理。
[0732]
另外，本实施方式的三维数据解码装置进行图68所示的处理。三维数据解码装置对具有属性信息的三维点进行解码。首先，三维数据解码装置计算三维点的属性信息的预测值(s3071)。接着，三维数据解码装置通过对比特流所包含的编码数据进行算术解码来生成二值数据(s3072)。接着，三维数据解码装置通过对二值数据进行多值化来生成预测残差(s3073)。接着，三维数据解码装置通过将预测值与预测残差相加，计算三维点的属性信息的解码值(s3074)。
[0733]
由此，三维数据解码装置能够计算属性信息的预测残差，进而适当地对通过对该预测残差进行二值化和算术编码而生成的属性信息的比特流进行解码。
[0734]
例如，在算术解码(s3072)中，三维数据解码装置对二值数据的每个比特使用不同的编码表。由此，三维数据解码装置能够适当地对提高了编码效率的比特流进行解码。
[0735]
例如，在算术解码(s3072)中，越是二值数据的下位比特，使用的编码表的数量越多。
[0736]
例如，在算术解码(s3072)中，三维数据解码装置根据二值数据所包含的对象比特的上位比特的值，选择在对象比特的算术解码中使用的编码表。由此，三维数据解码装置能够适当地对提高了编码效率的比特流进行解码。
[0737]
例如，在多值化(s3073)中，三维数据解码装置通过对二值数据所包含的固定比特数的第1编码(n比特编码)进行多值化来生成第1值。三维数据解码装置在第1值小于阈值(r_th)的情况下，将第1值决定为预测残差，在第1值为阈值(r_th)以上的情况下，通过对二值数据所包含的指数哥伦布码即第2编码(剩余编码)进行多值化来生成第2值，并将第1值
与第2值相加，由此生成预测残差。三维数据解码装置在算术解码(s3072)中，对第1编码和第2编码使用不同的算术解码方法。
[0738]
由此，三维数据解码装置能够适当地对提高了编码效率的比特流进行解码。
[0739]
例如，三维数据解码装置对预测残差进行逆量化，在加法运算(s3074)中，将预测值与被逆量化的预测残差相加。阈值(r_th)根据逆量化中的量化尺度而变更。由此，三维数据解码装置能够适当地对提高了编码效率的比特流进行解码。
[0740]
例如，第2编码包括prefix部和suffix部。三维数据解码装置在算术解码(s3072)中，在prefix部和suffix部中使用不同的编码表。由此，三维数据解码装置能够适当地对提高了编码效率的比特流进行解码。
[0741]
例如，三维数据解码装置具备处理器和存储器，处理器使用存储器进行上述的处理。
[0742]
(实施方式9)
[0743]
也可以通过与实施方式8不同的方法来生成预测值。以下，有时将编码对象的三维点称为第1三维点，将其周围的三维点称为第2三维点。
[0744]
例如，在三维点的属性信息的预测值的生成中，也可以将编码对象的三维点的已编码且已解码的周围的三维点中的距离最近的三维点的属性值直接作为预测值来生成。另外，在预测值的生成中，也可以对每个三维点附加预测模式信息(predmode)，通过从多个预测值中选择1个预测值来生成预测值。即，例如，可以考虑在总数m的预测模式中，对预测模式0分配平均值，对预测模式1分配三维点a的属性值、
…
、对预测模式m-1分配三维点z的属性值，将预测中使用的预测模式按每个三维点附加到比特流。这样，也可以是，表示将周围的三维点的属性信息的平均作为预测值来计算的第1预测模式的第1预测模式值小于表示将周围的三维点的属性信息本身作为预测值来计算的第2预测模式的第2预测模式值。在此，在预测模式0中计算出的预测值即“平均值”是编码对象的三维点的周围的三维点的属性值的平均值。
[0745]
图69是表示示出在实施方式9的各预测模式中计算出的预测值的表的第1例的图。图70是表示实施方式9的预测值中使用的属性信息的例子的图。图71是表示示出在实施方式9的各预测模式中计算出的预测值的表的第2例的图。
[0746]
预测模式数m也可以附加于比特流。此外，预测模式数m也可以不附加于比特流而通过标准的档次、级别等来规定值。另外，预测模式数m也可以使用根据预测中使用的三维点数n计算出的值。例如，预测模式数m也可以通过m＝n+1来计算。
[0747]
另外，图69所示的表是在预测中使用的三维点数n＝4、且预测模式数m＝5的情况的例子。可以使用点a0、a1、a2、b1的属性信息来生成点b2的属性信息的预测值。在从多个预测模式选择1个预测模式的情况下，也可以基于从点b2到各点a0、a1、a2、b1的距离信息，选择生成各点a0、a1、a2、b1的属性值作为预测值的预测模式。对编码对象的每个三维点附加预测模式。根据与所附加的预测模式相应的值来计算预测值。
[0748]
图71所示的表与图69同样，是预测中使用的三维点数n＝4、且预测模式数m＝5的情况下的例子。点a2的属性信息的预测值可以使用点a0、a1的属性信息来生成。在从多个预测模式选择1个预测模式的情况下，也可以基于从点a2到各点a0、a1的距离信息，选择生成各点a0、a1的属性值作为预测值的预测模式。对编码对象的每个三维点附加预测模式。根据
与所附加的预测模式相应的值来计算预测值。
[0749]
此外，在如上述的点a2那样相邻点数、即周围的三维点数n不足4个的情况下，也可以将在表中未分配预测值的预测模式设为不可用(not available)。
[0750]
此外，预测模式的值的分配也可以按照距编码对象的三维点的距离顺序来决定。例如，从编码对象的三维点到具有作为预测值使用的属性信息的周围的三维点的距离越近，表示多个预测模式的预测模式值越小。在图69的例子中，表示以点b1、a2、a1、a0的顺序到作为编码对象的三维点的点b2的距离近的情况。例如，在预测值的计算中，在2个以上的预测模式中的预测模式值为“1”所示的预测模式中计算点b1的属性信息作为预测值，在预测模式值为“2”所示的预测模式中计算点a2的属性信息作为预测值。这样，表示计算点b1的属性信息作为预测值的预测模式的预测模式值小于表示将计算点a2的属性信息作为预测值的预测模式的预测模式值，所述点a2位于距点b2的距离比点b1远的位置。
[0751]
由此，能够将小的预测模式值分配给由于距离近而有可能容易预测到且容易选择的某个点，能够削减用于对预测模式值进行编码的比特数。另外，也可以对与编码对象的三维点属于相同的lod的三维点优先分配小的预测模式值。
[0752]
图72是表示示出在实施方式9的各预测模式中计算出的预测值的表的第3例的图。具体而言，第3例是在预测值中使用的属性信息是基于周围的三维点的颜色信息(yuv)的值的情况的例子。这样，用于预测值的属性信息也可以是表示三维点的颜色的颜色信息。
[0753]
如图72所示，在预测模式值为“0”所示的预测模式中计算出的预测值是定义yuv颜色空间的yuv各自的成分的平均。具体而言，该预测值包括：分别与点b1、a2、a1、a0对应的y成分的值即yb1、ya2、ya1、ya0的加权平均yave；分别与点b1、a2、a1、a0对应的u成分的值即ub1、ua2、ua1、ua0的加权平均uave；以及分别与点b1、a2、a1、a0对应的v成分的值即vb1、va2、va1、va0的加权平均vave。另外，在预测模式值为“1”～“4”所示的预测模式下计算出的预测值分别包含周围的三维点b1、a2、a1、a0的颜色信息。颜色信息由y成分、u成分以及v成分的值的组合表示。
[0754]
另外，在图72中，颜色信息用由yuv颜色空间定义的值表示，但不限于yuv颜色空间，也可以用由rgb颜色空间定义的值表示，也可以用由其他颜色空间定义的值表示。
[0755]
这样，也可以是，在预测值的计算中，计算2个以上的平均或属性信息作为预测模式的预测值。另外，2个以上的平均或属性信息也可以分别表示定义颜色空间的2个以上的成分的值。
[0756]
此外，例如，在图72的表中选择了预测模式值为“2”所示的预测模式的情况下，也可以将编码对象的三维点的属性值的y成分、u成分以及v成分分别用作预测值ya2、ua2、va2来进行编码。在这种情况下，作为预测模式值的“2”被附加到比特流。
[0757]
图73是表示示出在实施方式9的各预测模式中计算出的预测值的表的第4例的图。具体而言，第4例是在预测值中使用的属性信息是基于周围的三维点的反射率信息的值的情况的例子。反射率信息例如是表示反射率r的信息。
[0758]
如图73所示，在预测模式值为“0”所示的预测模式下计算出的预测值是分别与点b1、a2、a1、a0对应的反射率rb1、ra2、ra1、ra0的加权平均rave。另外，在预测模式值为“1”～“4”所示的预测模式下计算出的预测值分别为周围的三维点b1、a2、a1、a0的反射率rb1、ra2、ra1、ra0。
[0759]
此外，例如，在图73的表中选择了预测模式值为“3”所示的预测模式的情况下，也可以使用编码对象的三维点的属性值的反射率作为预测值ra1来进行编码。在这种情况下，作为预测模式值的“3”被附加到比特流。
[0760]
如图72和图73所示，属性信息可以包括第1属性信息和与第1属性信息不同种类的第2属性信息。第1属性信息例如是颜色信息。第2属性信息例如是反射率信息。在预测值的计算中，也可以使用第1属性信息来计算第1预测值，并且使用第2属性信息来计算第2预测值。
[0761]
在属性信息如yuv颜色空间、rgb颜色空间等颜色信息那样具有多个成分的情况下，也可以在按每个成分分开的预测模式下计算预测值。例如，在yuv空间的情况下，使用y成分、u成分和v成分的每个预测值可以通过在各个成分中选择的预测模式来计算。例如，也可以分别在用于计算使用了y成分的预测值的预测模式y、用于计算使用了u成分的预测值的预测模式u、以及用于计算使用了v成分的预测值的预测模式v中，选择预测模式值。在该情况下，表示各成分的预测模式的预测模式值使用后述的图74～图76的表的值，这些预测模式值也可以分别附加于比特流。另外，在上述中，对yuv颜色空间进行了说明，但对于rgb颜色空间也能够同样地应用。
[0762]
另外，包含属性信息的多个成分中的2个以上的成分的预测值也可以以共同的预测模式来计算。例如，在yuv颜色空间的情况下，可以分别在用于计算使用了y成分的预测值的预测模式y和用于计算使用了uv成分的预测值的预测模式uv中选择预测模式值。在该情况下，表示各成分的预测模式的预测模式值使用后述的图74以及图77的表的值，这些预测模式值也可以分别附加于比特流。
[0763]
图74是表示示出在实施方式9的各预测模式中计算出的预测值的表的第5例的图。具体而言，第5例是在预测值中使用的属性信息是周围的三维点的颜色信息的y成分的值的情况的例子。
[0764]
如图74所示，在预测模式值为“0”所示的预测模式y中计算出的预测值是分别与点b1、a2、a1、a0对应的y成分的值即yb1、ya2、ya1、ya0的加权平均yave。另外，在预测模式值为“1”～“4”所示的预测模式下计算出的预测值分别为周围的三维点b1、a2、a1、a0的y成分的值yb1、ya2、ya1、ya0。
[0765]
此外，例如，在图74的表中选择了预测模式值为“2”所示的预测模式y的情况下，也可以使用编码对象的三维点的属性值的y成分作为预测值ya2来进行编码。在这种情况下，作为预测模式值的“2”被附加到比特流。
[0766]
图75是表示示出在实施方式9的各预测模式中计算出的预测值的表的第6例的图。具体而言，第6例是在预测值中使用的属性信息是周围的三维点的颜色信息的u成分的值的情况的例子。
[0767]
如图75所示，在预测模式值为“0”所示的预测模式u中计算出的预测值是分别与点b1、a2、a1、a0对应的u成分的值即ub1、ua2、ua1、ua0的加权平均uave。另外，在预测模式值为“1”～“4”所示的预测模式下计算出的预测值分别为周围的三维点b1、a2、a1、a0的u成分的值ub1、ua2、ua1、u0。
[0768]
此外，例如，在图75的表中选择了预测模式值为“1”所示的预测模式u的情况下，也可以使用编码对象的三维点的属性值的u成分作为预测值ub1来进行编码。在这种情况下，
作为预测模式值的“1”被附加到比特流。
[0769]
图76是表示示出在实施方式9的各预测模式中计算出的预测值的表的第7例的图。具体而言，第7例是在预测值中使用的属性信息是周围的三维点的颜色信息的v成分的值的情况的例子。
[0770]
如图76所示，在预测模式值为“0”所示的预测模式v中计算出的预测值是分别与点b1、a2、a1、a0对应的v成分的值即vb1、va2、va1、va0的加权平均vave。另外，在预测模式值为“1”～“4”所示的预测模式下计算出的预测值分别为周围的三维点b1、a2、a1、a0的v成分的值vb1、va2、va1、va0。
[0771]
此外，例如，在图76的表中选择了预测模式值为“4”所示的预测模式v的情况下，也可以使用编码对象的三维点的属性值的v成分作为预测值va0来进行编码。在这种情况下，作为预测模式值的“4”被附加到比特流。
[0772]
图77是表示示出在实施方式9的各预测模式中计算出的预测值的表的第8例的图。具体而言，第8例是在预测值中使用的属性信息是周围的三维点的颜色信息的u成分的值以及v成分的值的情况的例子。
[0773]
如图77所示，在预测模式值为“0”所示的预测模式u中计算出的预测值包括：分别与点b1、a2、a1、a0对应的u成分的值即ub1、ub2、ua1、ua0的加权平均uave；以及分别与点b1、a2、a1、a0对应的v成分的值即vb1、vb2、va1、va0的加权平均vave。另外，在预测模式值为“1”～“4”所示的预测模式下计算出的预测值分别包含周围的三维点b1、a2、a1、a0的u成分的值和v成分的值。
[0774]
此外，例如，在图77的表中选择了预测模式值为“1”所示的预测模式uv的情况下，也可以将编码对象的三维点的属性值的u成分以及v成分分别用作预测值ub1、vb1来进行编码。在这种情况下，作为预测模式值的“1”被附加到比特流。
[0775]
编码时的预测模式也可以通过rd最佳化来选择。例如，可以考虑计算选择了某个预测模式p的情况下的成本cost(p)，并选择cost(p)最小的预测模式p。作为成本cost(p)，例如也可以使用预测模式p的预测值的情况下的预测残差residual(p)、为了对预测模式p进行编码而需要的比特数bit(p)、以及调整参数λ值，通过式d1来计算。
[0776]
cost(p)＝abs(residual(p))+λ
×
bit(p)
…
(式d1)
[0777]
abs(x)表示x的绝对值。
[0778]
也可以代替abs(x)而使用x的2次方值。
[0779]
通过使用上述式d1，能够选择考虑了预测残差的大小和为了对预测模式进行编码所需的比特数之间的平衡的预测模式。此外，调整参数λ也可以根据量化尺度的值而将值设定为不同的值。例如，也可以是，在量化尺度小的情况下(高比特率时)，通过减小λ值，选择预测残差residual(p)变小的预测模式，尽可能地提高预测精度，在量化尺度大的情况下(低比特率时)，通过增大λ值，在考虑用于对预测模式p进行编码所需的比特数bit(p)的同时选择适当的预测模式。
[0780]
此外，量化尺度小的情况例如是比第1量化尺度小的情况。量化尺度大的情况例如是比第1量化尺度以上的第2量化尺度大的情况。另外，也可以是，量化尺度越小，将λ值设定为越小的值。
[0781]
预测残差residual(p)通过从编码对象的三维点的属性值中减去预测模式p的预
测值来计算。另外，也可以代替成本计算时的预测残差residual(p)，对预测残差residual(p)进行量化、逆量化，并与预测值相加来求出解码值，将原来的三维点的属性值与使用了预测模式p的情况的解码值的差分(编码误差)反映到成本值。由此，能够选择编码误差小的预测模式。
[0782]
为了对预测模式p进行编码而所需的比特数bit(p)例如在对预测模式进行二值化而进行编码的情况下，也可以使用二值化后的比特数。例如，在预测模式数m＝5的情况下，如图78所示，也可以使用预测模式数m，以将最大值设为5的截断一元编码(truncated unary code)将表示预测模式的预测模式值进行二值化。在该情况下，在预测模式值为“0”的情况下为1比特，在预测模式值为“1”的情况下为2比特，在预测模式值为“2”的情况下为3比特，在预测模式值为“4”以及“5”的情况下为4比特，分别被用作预测模式值的编码所需的比特数bit(p)。通过使用截断一元编码，预测模式的值越小，则成为越少的比特数。因此，能够削减表示计算出如下预测值的预测模式的预测模式值的编码量，该预测值是在预测模式值为“0”的情况下作为预测值计算出的平均值、或者在预测模式值为“1”的情况下作为预测值计算出的三维点的属性信息，即，离编码对象的三维点距离近的三维点的属性信息那样容易选择的例如cost(p)容易成为最小的预测值。
[0783]
另外，在未决定预测模式数的最大值的情况下，如图79所示，也可以将表示预测模式的预测模式值以一元编码(unary code)进行二值化。另外，在各预测模式的发生概率接近的情况下，如图80所示，也可以用固定编码(fixed code)对表示预测模式的预测模式值进行二值化而削减编码量。
[0784]
此外，作为对表示预测模式p的预测模式值进行编码所需的比特数bit(p)，也可以对表示预测模式p的预测模式值的二值化数据进行算术编码，并将算术编码后的编码量设为bit(p)的值。由此，能够使用更准确的所需比特数bit(p)来计算成本，因此能够选择更适当的预测模式。
[0785]
另外，图78是表示对实施方式9的预测模式值进行二值化并进行编码的情况下的二值化表的第1例的图。具体而言，第1例是在预测模式数m＝5的情况下，通过截断一元编码对预测模式值进行二值化的例子。
[0786]
另外，图79是表示对实施方式9的预测模式值进行二值化并进行编码的情况下的二值化表的第2例的图。具体而言，第2例是在预测模式数m＝5的情况下以一元编码将预测模式值二值化的例子。
[0787]
另外，图80是表示对实施方式9的预测模式值进行二值化并进行编码的情况下的二值化表的第3例的图。具体而言，第3例是在预测模式数m＝5的情况下，以固定编码对预测模式值进行二值化的例子。
[0788]
表示预测模式(predmode)的预测模式值也可以在二值化后进行算术编码并附加于比特流。如上所述，预测模式值例如可以通过使用了预测模式数m的值的截断一元编码进行二值化。在该情况下，预测模式值的二值化后的比特数的最大数成为m-1。
[0789]
另外，二值化后的二值数据也可以使用编码表来进行算术编码。在该情况下，例如，也可以通过对二值数据的每个比特切换编码表来进行编码，从而提高编码效率。另外，为了抑制编码表数，也可以在二值数据中的开头比特one bit中使用one bit用的编码表a进行编码，在剩余的比特remaining bit(剩余编码)的各比特中使用remaining bit用的编
码表b进行编码。例如，在对图81所示的预测模式值为“3”的二值化数据“1110”进行编码的情况下，也可以使用编码表a对开头比特one bit的“1”进行编码，并使用编码表b对剩余的比特remaining bit的“110”的各个比特进行编码。
[0790]
另外，图81是用于对将实施方式9的预测模式二值化并进行编码的情况下的二值化表的二值数据进行编码的例子进行说明的图。图81中的二值化表是在预测模式数m＝5下通过截断一元编码对预测模式值进行二值化的例子。
[0791]
由此，通过在抑制编码表数的同时，根据二值数据的比特位置切换编码表，能够提高编码效率。此外，也可以在进行remaining bit的编码时，进一步对每个比特切换编码表来进行算术编码，或者根据算术编码后的结果来切换该编码表来进行解码。
[0792]
在以使用了预测模式数m的截断一元编码对预测模式值进行二值化而进行编码的情况下，为了能够根据在解码侧解码后的二值数据来确定预测模式，也可以将用于截断一元编码的预测模式数m附加于比特流的头部等。另外，预测模式数的可取的值maxm可以由标准等规定，也可以将maxm-m的值(m＜＝maxm)附加在头部中。另外，预测模式数m也可以不附加到流中，而是由标准等的档次或级别来规定。
[0793]
另外，考虑使用截断一元编码进行了二值化的预测模式值，如上述那样在one bit部和remaining部中切换编码表来进行算术编码。此外，各编码表中的0和1的发生概率也可以根据实际产生的二值数据的值而更新。另外，任意一个编码表中的0和1的发生概率也可以被固定化。由此，也可以抑制发生概率的更新次数而削减处理量。例如，也可以是，one bit部的发生概率被更新，remaining bit部的发生概率被固定。
[0794]
图82是表示实施方式9的预测模式值的编码的一例的流程图。图83是表示实施方式9的预测模式值的解码的一例的流程图。
[0795]
如图82所示，在预测模式值的编码中，首先，将预测模式值通过使用了预测模式数m的截断一元编码进行二值化(s3401)。
[0796]
接着，对截断一元编码的二值数据进行算术编码(s3402)。由此，在比特流中包含二值数据作为预测模式。
[0797]
另外，如图83所示，在预测模式值的解码中，首先，使用预测模式数m对比特流进行算术解码，生成截断一元编码的二值数据(s3403)。
[0798]
接着，根据截断一元编码的二值数据来计算预测模式值(s3404)。
[0799]
作为表示预测模式(predmode)的预测模式值的二值化的方法，示出了通过使用了预测模式数m的值的截断一元编码进行二值化的例子，但未必限于此。例如，也可以通过使用了预测值被分配给预测模式的数量l(l＜＝m)的截断一元编码将预测模式值进行二值化。例如，在预测模式数m＝5的情况下，在某编码对象的三维点的预测中能够利用的周围的三维点为2个的情况下，如图84所示，存在3个预测模式可用，剩余的2个预测模式不可用的情况。例如，如图84所示，在预测模式数m＝5的情况下，有时在位于编码对象的三维点的周围的预测中能够利用的三维点的数量为2个，预测值未分配给表示预测模式值为“3”以及“4”的预测模式。
[0800]
在该情况下，如图85所示，通过将预测模式分配的值l作为最大值，用截断一元编码对预测模式值进行二值化，与用预测模式数m进行截断一元编码的情况相比，有能够削减二值化后的比特数的可能性。例如，在该情况下，由于l＝3，因此作为最大值3，通过用截断
一元编码进行二值化，能够削减比特数。这样，也可以通过将在预测模式中分配了预测值的数量l作为最大值，用截断一元编码进行二值化，从而削减预测模式值的二值化后的比特数。
[0801]
二值化后的二值数据也可以使用编码表来进行算术编码。在该情况下，例如也可以通过对二值数据的每个比特切换编码表来进行编码，从而提高编码效率。另外，为了抑制编码表数，也可以在二值化数据中的开头比特one bit中使用one bit用的编码表a进行编码，在剩余的比特remaining bit的各比特中使用remaining bit用的编码表b进行编码。例如，在对图85所示的预测模式值为“2”的二值化数据“11”进行编码的情况下，也可以使用编码表a对开头比特one bit的“1”进行编码，并使用编码表b对剩余的比特remaining bit的“1”进行编码。
[0802]
另外，图85是用于说明对实施方式9的预测模式二值化并进行编码的情况下的对二值化表的二值数据进行编码的例子的图。图85中的二值化表是在对预测模式分配了预测值的数量l＝3下，用截断一元编码对预测模式值进行二值化的例子。
[0803]
由此，通过在抑制编码表数的同时，根据二值数据的比特位置切换编码表，能够提高编码效率。此外，也可以在进行remaining bit的编码时，进一步对每个比特切换编码表来进行算术编码，或者根据算术编码后的结果来切换该编码表来进行解码。
[0804]
在通过使用了分配了预测值的数量l的截断一元编码对预测模式值进行二值化而进行编码的情况下，也可以通过以能够根据在解码侧解码后的二值数据确定预测模式的方式，通过与编码时同样的方法对预测模式分配预测值来计算出数量l，使用计算出的l对预测模式进行解码。
[0805]
另外，考虑使用截断一元编码进行了二值化的预测模式值，如上述那样在one bit部和remaining部切换编码表来进行算术编码。此外，各编码表中的0和1的发生概率也可以根据实际产生的二值数据的值而更新。另外，任意一个编码表中的0和1的发生概率也可以被固定化。由此，也可以抑制发生概率的更新次数而削减处理量。例如，也可以是，one bit部的发生概率被更新，remaining bit部的发生概率被固定化。
[0806]
图86是表示实施方式9的预测模式值的编码的另一例的流程图。图87是表示实施方式9的预测模式值的解码的另一例的流程图。
[0807]
如图86所示，在预测模式值的编码中，首先，计算预测值被分配给预测模式的数量l(s3411)。
[0808]
接着，将预测模式值通过使用了数量l的截断一元编码进行二值化(s3412)。
[0809]
接着，对截断一元编码的二值数据进行算术编码(s3413)。
[0810]
另外，如图87所示，在预测模式值的解码中，首先，计算预测值被分配给预测模式的数量l(s3414)。
[0811]
接着，使用数量l对比特流进行算术解码，生成截断一元编码的二值数据(s3415)。
[0812]
接着，根据截断一元编码的二值数据来计算预测模式值(s3416)。
[0813]
也可以不对所有的每个属性值附加预测模式值。例如，如果满足某个条件则固定预测模式，不将预测模式值附加到比特流，如果不满足某个条件，则也可以选择预测模式而将预测模式值附加到比特流。例如，如果满足条件a，则可以将预测模式值固定为“0”，根据周围的三维点的平均值计算预测值，如果不满足条件a，则可以从多个预测模式中选择1个
预测模式，将表示所选择的预测模式的预测模式值附加到比特流。
[0814]
作为某个条件a，例如是如下条件：计算编码对象的三维点中的周围n个(已编码、已解码)的三维点的属性值(a[0]～a[n-1])的最大绝对差分值maxdiff，最大绝对差分值maxdiff小于阈值thfix。在周围的三维点的属性值的最大绝对差分值小于阈值thfix的情况下，各三维点的属性值差小，即使选择预测模式，也判定为预测值没有差，将预测模式值固定为“0”而不对预测模式值进行编码，由此能够削减用于对预测模式进行编码的编码量，并且生成适当的预测值。
[0815]
另外，阈值thfix也可以附加于比特流的头部等，编码器也可以改变阈值thfix的值，以便能够进行编码。例如，编码器也可以在高比特率下的编码时，使阈值thfix的值小于低比特率时而附加于头部，通过增加选择预测模式并进行编码的情况，来进行编码以使预测残差哪怕变小一点。另外，编码器在以低比特率进行编码时，使阈值thfix的值大于高比特率时而附加于头部，固定预测模式并进行编码。这样，通过增加在低比特率时预测模式被固定并被编码的情况，能够在抑制对预测模式进行编码的比特量的同时，提高编码效率。另外，阈值thfix也可以不被附加到比特流，而是由标准的档次或级别来规定。
[0816]
用于预测的编码对象的三维点周围的n个三维点是距编码对象的三维点的距离小于阈值thd的已编码以及已解码的n个三维点。n的最大值也可以作为numneighborpoint而附加于比特流。在周围的已编码以及已解码的三维点数小于numneighborpoint的值的情况下等，n的值也可以始终与numneighborpoint的值不一致。
[0817]
示出了如果在预测中使用的编码对象的三维点的周围的三维点的属性值的最大绝对差分值maxdiff小于阈值thfix[i]，则预测模式值被固定为“0”的例子，但不限于此，也可以将预测模式值固定为“0”～“m-1”中的任意一个。另外，也可以将固定的预测模式值附加到比特流。
[0818]
图88是表示在实施方式9的编码时根据条件a决定是否固定预测模式值的处理的一例的流程图。图89是表示实施方式9的解码时根据条件a决定是将预测模式值设为固定的值还是解码的处理的一例的流程图。
[0819]
如图88所示，首先，三维数据编码装置计算编码对象的三维点周围的n个三维点中的属性值的最大绝对差分值maxdiff(s3421)。
[0820]
接着，三维数据编码装置判定最大绝对差分值maxdiff是否小于阈值thfix(s3422)。此外，阈值thfix也可以被编码，并附加到流的头部等。
[0821]
三维数据编码装置在最大绝对差分值maxdiff小于阈值thfix的情况下(s3422的“是”)，将预测模式值决定为“0”(s3423)。
[0822]
另一方面，三维数据编码装置在最大绝对差分值maxdiff为阈值thfix以上的情况下(s3422的“否”)，从多个预测模式中选择1个预测模式(s3424)。稍后将参考图96说明预测模式的选择处理的详细情况。
[0823]
然后，三维数据编码装置对表示所选择的预测模式的预测模式值进行算术编码(s3425)。具体而言，三维数据编码装置通过执行在图82中说明的步骤s3401和s3402来对预测模式值进行算术编码。此外，三维数据编码装置也可以使用预测值所分配的预测模式数，用截断一元编码对预测模式predmode进行二值化而进行算术编码。即，三维数据编码装置也可以通过执行在图86中说明的步骤s3411～s3413来对预测模式值进行算术编码。
[0824]
三维数据编码装置计算在步骤s3423中决定的预测模式或在步骤s3425中选择的预测模式的预测值，并且输出计算出的预测值(s3426)。在使用在步骤s3423中决定的预测模式值的情况下，三维数据编码装置计算周围的n个三维点的属性值的平均作为由预测模式值为“0”所示的预测模式的预测值。
[0825]
另外，如图89所示，首先，三维数据解码装置计算解码对象的三维点周围的n个三维点中的属性值的最大绝对差分值maxdiff(s3431)。另外，最大绝对差分值maxdiff也可以如图90所示那样计算。最大绝对差分值maxdiff例如是计算将周围的n个三维点中的2个作为对而选择的情况下能够获得的所有对的各自的差分的绝对值，是计算出的多个绝对值中的最大值。
[0826]
接着，三维数据解码装置判定最大绝对差分值maxdiff是否小于阈值thfix(s3432)。此外，阈值thfix也可以通过对流的头部等进行解码来设定。
[0827]
三维数据解码装置在最大绝对差分值maxdiff小于阈值thfix的情况下(s3432的“是”)，将预测模式值决定为“0”(s3433)。
[0828]
另一方面，三维数据解码装置在最大绝对差分值maxdiff为阈值thfix以上的情况下(s3432的“否”)，从比特流中对预测模式值进行解码(s3434)。
[0829]
三维数据解码装置计算在步骤s3433中决定的预测模式值或者在步骤s3434中解码出的预测模式值所示的预测模式的预测值，并输出计算出的预测值(s3435)。三维数据解码装置在使用在步骤s3433中决定的预测模式值的情况下，计算周围的n个三维点的属性值的平均作为预测模式值为“0”表示的预测模式的预测值。
[0830]
图91是表示实施方式9的句法的例子的图。依次说明图91的句法中的numlod、numneighborpoint[i]、numpredmode[i]、thfix[i]和numofpoint[i]。
[0831]
numlod表示lod的阶层数。
[0832]
numneighborpoint[i]表示在属于阶层i的三维点的预测值生成中使用的周围的点数的上限值。在周围的点数m小于numneighborpoint[i]的情况下(m<numneighborpoint[i])，预测值也可以使用m个周围的点数来计算。另外，在不需要通过各lod分开numneighborpoint[i]的值的情况下，也可以将1个numneighborpoint附加于头部。
[0833]
numpredmode[i]表示用于预测阶层i的属性值的预测模式的总数(m)。此外，也可以是，预测模式数的可取的值maxm通过标准等来规定值，maxm-m的值(0＜m＜＝maxm)作为numpredmode[i]附加在头部中，用最大值maxm-1的截断一元编码进行二值化而进行编码。另外，预测模式数numpredmode[i]也可以不附加到流中，而是通过标准等的档次或级别来规定值。另外，预测模式数也可以通过numneighborpoint[i]+numpredmode[i]规定。另外，在不需要通过各lod分开numpredmode[i]的值的情况下，也可以将1个numpredmode附加到头部中。
[0834]
thfix[i]表示用于判定是否固定阶层i的预测模式的最大绝对差分值的阈值。如果用于预测的周围三维点的属性值的最大绝对差分值小于thfix[i]，则预测模式被固定为0。此外，thfix[i]也可以不附加到流中而是通过标准等的档次或级别来规定。另外，在不需要通过各lod分开thfix[i]的值的情况下，也可以将1个thfix附加在头部中。
[0835]
numofpoint[i]表示属于阶层i的三维点的数量。另外，在将三维点的总数allnumofpoint附加于其他的头部的情况下，numofpoint[numlod-1](属于最下层的三维点
的数量)不附加于头部，也可以通过下式计算。
[0836]
【数式5】
[0837][0838]
由此，能够削减头部的编码量。
[0839]
此外，作为numpredmode[i]的设定例，由于属于lod的三维点的距离远离，因此也可以越是难以预测到的上位层，将numpredmode[i]的值设定得越大，增加能够选择的预测模式。另外，也可以越是容易预测到的下位层，将numpredmode[i]的值设定得越小，抑制预测模式的编码所需的比特量。通过这些设定，能够在上位层增加能够选择的预测模式而减小预测残差，在下位层中抑制预测模式的编码量，能够提高编码效率。
[0840]
另外，作为thfix[i]的设定例，由于属于lod的三维点的距离远离，因此也可以越是难以预测到的上位层，将thfix[i]的值设定得越小，增加选择预测模式的情况。另外，也可以越是容易预测到的下位层，将thfix[i]的值设定得越大，固定预测模式来抑制预测模式的编码所需的比特量。通过这些设定，能够在上位层中增加选择预测模式的情况来减小预测残差，在下位层中固定预测模式来抑制预测模式的编码量，能够提高编码效率。
[0841]
也可以对上述numlod、numneighborpoint[i]、numpredmode[i]、thfix[i]或numofpoint[i]进行熵编码并附加到头部中。例如，各值也可以被二值化而进行算术编码。另外，为了抑制处理量，各值也可以以固定长度进行编码。
[0842]
图92是表示实施方式9的句法的例子的图。将依次说明图92的句法中的predmode、n-bit code(n比特编码)和remaining code(剩余编码)。
[0843]
predmode表示用于对阶层i的第j个三维点的属性值进行编码、解码的预测模式。predmode取从“0”到“m-1”(m是预测模式的总数)的值。在predmode不在比特流中的情况下(不满足作为条件的maxdiff＞＝thfix[i]&&numpredmode[i]＞1的情况下)，也可以将predmode估计为值0。另外，predmode不限于“0”，也可以从“0”到“m-1”中的任一个值作为估计值。另外，predmode不在比特流中的情况下的估计值也可以另行附加在头部等中。另外，predmode也可以使用预测值所分配的预测模式数，通过截断一元编码进行二值化而进行算术编码。
[0844]
n-bit code表示属性信息的值的预测残差的编码数据。n-bitcode的比特长度依赖于r_th[i]的值。n-bitcode的比特长度例如在r_th[i]所示的值为63的情况下为6比特，在r_th[i]所示的值为255的情况下为8比特。
[0845]
remaining code表示在属性信息的值的预测残差的编码数据中由指数哥伦布码编码后的编码数据。remainingcode在n-bitcode与r_th[i]相同的情况下被解码，将n-bitcode的值和remainingcode的值相加而对预测残差进行解码。此外，在n-bitcode不是与r_th[i]相同的值的情况下，remainingcode也可以不被解码。
[0846]
以下，说明三维数据编码装置中的处理的流程。图93是实施方式9的三维数据编码装置的三维数据编码处理的流程图。
[0847]
首先，三维数据编码装置对位置信息(geometry)进行编码(s3441)。例如，三维数据编码装置使用八叉树表现进行编码。
[0848]
三维数据编码装置在位置信息的编码后，在三维点的位置由于量化等而变化的情
况下，对变化后的三维点重新分配原来的三维点的属性信息(s3442)。例如，三维数据编码装置通过根据位置的变化量对属性信息的值进行插值来进行重新分配。例如，三维数据编码装置检测n个接近变化后的三维位置的变化前的三维点，对n个三维点的属性信息的值进行加权平均。例如，三维数据编码装置在加权平均中，基于从变化后的三维位置到各n个三维点的距离来决定权重。然后，三维数据编码装置将通过加权平均得到的值决定为变化后的三维点的属性信息的值。另外，在由于量化等而2个以上的三维点变化到同一三维位置的情况下，三维数据编码装置也可以分配变化前的2个以上的三维点的属性信息的平均值作为该变化后的三维点的属性信息的值。
[0849]
接着，三维数据编码装置对重新分配后的属性信息(attribute)进行编码(s3443)。例如，在对多种属性信息进行编码的情况下，三维数据编码装置也可以依次对多种属性信息进行编码。例如，在作为属性信息对颜色和反射率进行编码的情况下，三维数据编码装置也可以生成在颜色的编码结果之后附加了反射率的编码结果的比特流。另外，附加到比特流的属性信息的多个编码结果的顺序不限于此顺序，可以是任何顺序。
[0850]
另外，三维数据编码装置也可以将比特流内的各属性信息的表示编码数据开始部位的信息附加到头部等。由此，三维数据解码装置能够选择性地对需要解码的属性信息进行解码，因此能够省略不需要解码的属性信息的解码处理。因此，能够削减三维数据解码装置的处理量。此外，三维数据编码装置也可以并行地对多种属性信息进行编码，并将编码结果合并为1个比特流。由此，三维数据编码装置能够高速地对多种属性信息进行编码。
[0851]
图94是实施方式9的属性信息编码处理(s3443)的流程图。首先，三维数据编码装置设定lod(s3451)。即，三维数据编码装置将各三维点分配给多个lod中的某一个。
[0852]
接着，三维数据编码装置开始lod单位的循环(s3452)。即，三维数据编码装置对每个lod反复进行步骤s3453～s3461的处理。
[0853]
接着，三维数据编码装置开始三维点单位的循环(s3453)。即，三维数据编码装置对每个三维点反复进行步骤s3454～s3460的处理。
[0854]
首先，三维数据编码装置搜索在处理对象的对象三维点的预测值的计算中使用的、存在于对象三维点的周围的三维点即多个周围点(s3454)。
[0855]
接着，三维数据编码装置计算对象三维点的预测值p(s3455)。稍后将使用图95说明预测值p的计算处理的具体例。
[0856]
接着，三维数据编码装置计算对象三维点的属性信息与预测值的差分即预测残差(s3456)。
[0857]
接着，三维数据编码装置通过对预测残差进行量化来计算量化值(s3457)。
[0858]
接着，三维数据编码装置对量化值进行算术编码(s3458)。
[0859]
此外，三维数据编码装置通过对量化值进行逆量化来计算逆量化值(s3459)。
[0860]
接着，三维数据编码装置通过对逆量化值加上预测值来生成解码值(s3460)。
[0861]
接着，三维数据编码装置结束三维点单位的循环(s3461)。
[0862]
另外，三维数据编码装置结束lod单位的循环(s3462)。
[0863]
图95是实施方式9的三维数据编码装置中的预测值的计算处理(s3455)的流程图。
[0864]
首先，三维数据编码装置计算能够利用于处理对象的对象三维点的预测值的预测的、对象三维点的周围的n个三维点的属性值的加权平均，将计算出的加权平均分配给预测
模式值为“0”的预测模式(s3420)。
[0865]
接着，三维数据编码装置通过执行在图88中说明的步骤s3421～s3426，输出对象三维点的预测值。
[0866]
图96是实施方式9的预测模式的选择处理(s3424)的流程图。
[0867]
首先，三维数据编码装置将对象三维点的周围的n个三维点的属性信息从距对象三维点的距离近的点起依次分配从“1”逐一递增至“n”的值作为预测模式值(s3427)。此外，由于预测模式值分配有从“0”到“n”，因此一共生成n+1个预测模式。在n+1超过附加到比特流的最大预测模式数m(numpredmode)的情况下，三维数据编码装置可以生成m个预测模式。
[0868]
接着，三维数据编码装置计算各预测模式的成本，选择成本最小的预测模式(s3428)。
[0869]
图97是实施方式9的选择成本最小的预测模式的处理(s3428)的流程图。
[0870]
首先，三维数据编码装置将i＝0和mincost＝∞设定为初始值(s3471)。所设定的i和mincost的初始值被存储在三维数据编码装置的存储器中。
[0871]
接着，三维数据编码装置例如使用式d1计算第i个预测模式predmode[i]的成本cost[i](s3472)。
[0872]
接着，三维数据编码装置判定计算出的成本cost[i]是否小于存储在存储器中的mincost(s3473)。
[0873]
接着，在计算出的成本cost[i]小于存储器中存储的mincost的情况下(s3473的“是”)，三维数据编码装置设定mincost＝cost[i]，将预测模式设定为predmode[i](s3474)，进入步骤s3475。即，将存储在存储器中的mincost的值更新为cost[i]的值，并且将predmode[i]作为预测模式存储在存储器中。
[0874]
另一方面，在计算出的成本cost[i]为存储器中存储的mincost以上的情况下(s3473的“否”)，三维数据编码装置进入步骤s3475。
[0875]
接着，三维数据编码装置将i的值递增1(s3475)。
[0876]
接着，三维数据编码装置判定i是否小于预测模式数(s3476)。
[0877]
三维数据编码装置在i小于预测模式数的情况下(s3476的“是”)，返回到步骤s3472，在并非如此的情况下(s3476的“否”)，结束选择成本最小的预测模式的处理。
[0878]
以下，说明三维数据解码装置中的处理的流程。图98是实施方式9的三维数据解码装置的三维数据解码处理的流程图。首先，三维数据解码装置从比特流中解码位置信息(geometry)(s3444)。例如，三维数据解码装置使用八叉树表现进行解码。
[0879]
接着，三维数据解码装置从比特流中解码属性信息(attribute)(s3445)。例如，在对多种属性信息进行解码的情况下，三维数据解码装置也可以依次对多种属性信息进行解码。例如，在作为属性信息对颜色和反射率进行解码的情况下，三维数据解码装置按照附加到比特流的顺序，对颜色的编码结果和反射率的编码结果进行解码。例如，在比特流中，在颜色的编码结果之后附加有反射率的编码结果的情况下，三维数据解码装置对颜色的编码结果进行解码，然后对反射率的编码结果进行解码。另外，三维数据解码装置按照怎样的顺序对附加到比特流的属性信息的编码结果进行解码都可以。
[0880]
另外，三维数据解码装置也可以通过对头部等来获得比特流内的各属性信息的表示编码数据开始部位的信息。由此，三维数据解码装置能够选择性地对需要解码的属性信
息进行解码，因此能够省略不需要解码的属性信息的解码处理。因此，能够削减三维数据解码装置的处理量。另外，三维数据解码装置也可以并行地对多种属性信息进行解码，将解码结果合并到1个三维点群。由此，三维数据解码装置能够高速地对多种属性信息进行解码。
[0881]
图99是实施方式9的属性信息解码处理(s3445)的流程图。首先，三维数据解码装置设定lod(s3481)。即，三维数据解码装置将具有解码后的位置信息的多个三维点分别分配给多个lod中的某一个。例如，该分配方法是与在三维数据编码装置中使用的分配方法相同的方法。
[0882]
接着，三维数据解码装置开始lod单位的循环(s3482)。即，三维数据解码装置对每个lod反复进行步骤s3483～s3489的处理。
[0883]
接着，三维数据解码装置开始三维点单位的循环(s3483)。即，三维数据解码装置对每个三维点反复进行步骤s3484～s3488的处理。
[0884]
首先，三维数据解码装置搜索在处理对象的对象三维点的预测值的计算中使用的、存在于对象三维点的周围的三维点即多个周围点(s3484)。另外，该处理与三维数据编码装置中的处理相同。
[0885]
接着，三维数据解码装置计算对象三维点的预测值p(s3485)。
[0886]
接着，三维数据解码装置从比特流中对量化值进行算术解码(s3486)。
[0887]
另外，三维数据解码装置通过对解码后的量化值进行逆量化来计算逆量化值(s3487)。
[0888]
接着，三维数据解码装置通过对逆量化值加上预测值来生成解码值(s3488)。
[0889]
接着，三维数据解码装置结束三维点单位的循环(s3489)。
[0890]
另外，三维数据解码装置结束lod单位的循环(s3490)。
[0891]
图100是实施方式9的三维数据解码装置中的预测值的计算处理(s3485)的流程图。
[0892]
首先，三维数据解码装置计算能够用于处理对象的对象三维点的预测值的预测的、对象三维点的周围的n个三维点的属性值的加权平均，将计算出的加权平均分配给预测模式值为“0”的预测模式(s3430)。
[0893]
接着，三维数据解码装置通过执行在图89中说明的步骤s3431～s3435，输出对象三维点的预测值。
[0894]
另外，也可以代替执行步骤s3430，而在步骤s3432中判定为“是”之后，或者在步骤s3434中解码出的预测模式值为“0”的情况下，计算能够用于处理对象的对象三维点的预测值的预测的、对象三维点的周围的n个三维点的属性值的加权平均作为预测值。由此，在预测模式值为“0”所示的预测模式以外的情况下，不需要计算平均值，能够削减处理量。
[0895]
图101是实施方式9的预测模式的解码处理(s3434)的流程图。
[0896]
首先，三维数据解码装置将对象三维点的周围的n个三维点的属性信息从距对象三维点距离近的点起依次分配从“1”递增1至“n”的值作为预测模式值(s3491)。此外，由于预测模式值分配有从“0”到“n”，因此一共生成n+1个预测模式。在n+1超过附加到比特流的最大预测模式数m(numpredmode)的情况下，三维数据解码装置可以生成m个预测模式。
[0897]
接着，三维数据解码装置使用预测模式数对预测模式进行算术解码(s3492)。具体而言，三维数据解码装置也可以通过执行在图83中说明的步骤s3403以及s3404来对预测模
式进行算术解码。此外，三维数据解码装置也可以通过执行在图87中说明的步骤s3414～s3416来对预测模式进行算术解码。
[0898]
图102是表示实施方式9的三维数据编码装置所具备的属性信息编码部3100的结构的框图。另外，在图102中，示出了三维数据编码装置所具备的位置信息编码部、属性信息重新分配部以及属性信息编码部中的属性信息编码部的详细情况。
[0899]
属性信息编码部3400包括lod生成部3401、周围搜索部3402、预测部3403、预测残差计算部3404、量化部3405、算术编码部3406、逆量化部3407、解码值生成部3408和存储器3409。
[0900]
lod生成部3401使用三维点的位置信息(geometry)生成lod。
[0901]
周围搜索部3402使用lod生成部3401的lod的生成结果和表示各三维点间的距离的距离信息，搜索与各三维点相邻的邻近三维点。
[0902]
预测部3403生成编码对象的对象三维点的属性信息的预测值。具体而言，预测部3403对预测模式值为“0”～“m-1”所示的预测模式分配预测值，选择预测模式。具体而言，预测部3403对所选择的预测模式，将表示预测模式的预测模式值输出到算术编码部。预测部3403例如进行步骤s3455的处理。
[0903]
预测残差计算部3404计算(生成)由预测部3403生成的属性信息的预测值的预测残差。预测残差计算部3404进行步骤s3456的处理。
[0904]
量化部3405对由预测残差计算部3404计算的属性信息的预测残差进行量化。
[0905]
算术编码部3106对由量化部3105量化后的预测残差进行算术编码。算术编码部3406将包括算术编码后的预测残差的比特流输出到例如三维数据解码装置。
[0906]
此外，预测残差也可以在通过算术编码部3406进行算术编码之前，例如通过量化部3405进行二值化。此外，算术编码部3406也可以生成、编码各种头部信息。另外，算术编码部3406可以从预测块(prediction block)获得编码中使用的预测模式，并对其进行算术编码并附加到比特流。
[0907]
逆量化部3407对由量化部3405量化后的预测残差进行逆量化。逆量化部3407进行步骤s3459的处理。
[0908]
解码值生成部3408通过将由预测部3403生成的属性信息的预测值与由逆量化部3407逆量化后的预测残差相加来生成解码值。
[0909]
存储器3409是存储由解码值生成部3408解码的各三维点的属性信息的解码值的存储器。例如，在生成尚未编码的三维点的预测值的情况下，预测部3403利用存储在存储器3409中的各三维点的属性信息的解码值来生成预测值。
[0910]
图103是表示实施方式9的三维数据解码装置所具备的属性信息解码部3410的结构的框图。另外，在图103中，示出了三维数据解码装置所具备的位置信息解码部和属性信息解码部中的属性信息解码部的详细情况。
[0911]
属性信息解码部3410包括lod生成部3411、周围搜索部3412、预测部3413、算术解码部3414、逆量化部3415、解码值生成部3416以及存储器3417。
[0912]
lod生成部3411使用由位置信息解码部(未图示)解码后的三维点的位置信息(geometry信息)生成lod。
[0913]
周围搜索部3412使用lod生成部3411的lod的生成结果和表示各三维点间的距离
的距离信息，搜索与各三维点相邻的邻近三维点。
[0914]
预测部3413生成解码对象的对象三维点的属性信息的预测值。预测部3413例如进行步骤s3485的处理。
[0915]
算术解码部3414对从属性信息编码部3400获得的比特流内的预测残差进行算术解码。算术解码部3414也可以对各种头部信息进行解码。另外，算术解码部3414也可以将算术解码后的预测模式输出到预测部3413。在该情况下，预测部3413也可以使用通过在算术解码部3414中进行算术解码而得到的预测模式来计算预测值。
[0916]
逆量化部3415对算术解码部3414进行算术解码后的预测残差进行逆量化。
[0917]
解码值生成部3416将由预测部3413生成的预测值和由逆量化部3415逆量化后的预测残差相加而生成解码值。解码值生成部3416将解码后的属性信息数据向其他装置输出。
[0918]
存储器3417是存储由解码值生成部3416解码后的各三维点的属性信息的解码值的存储器。例如，预测部3413在生成还未解码的三维点的预测值的情况下，利用存储于存储器3417的各三维点的属性信息的解码值来生成预测值。
[0919]
接着，对本实施方式的三维数据编码装置以及三维数据解码装置的结构进行说明。图104是表示实施方式9的三维数据编码装置3420的结构的框图。该三维数据编码装置3420具备预测模式选择部3421、预测值计算部3422、预测残差计算部3423和编码部3424。预测模式选择部3421使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式。预测值计算部3422计算由预测模式选择部3421选择出的预测模式的预测值。预测残差计算部3423计算第1三维点的属性信息与由预测值计算部3422计算出的预测值的差分即预测残差。编码部3424生成包含所选择的预测模式和计算出的预测残差的比特流。
[0920]
图105是表示实施方式9的三维数据解码装置3430的结构的框图。该三维数据解码装置3430具备获得部3431、预测值计算部3432和解码部3433。获得部3431通过获得比特流来获得预测模式和预测残差。预测值计算部3432计算获得的预测模式的预测值。解码部3433通过将计算出的预测值与获得的预测残差相加，计算出第1三维点的属性信息。
[0921]
本实施方式的三维数据编码装置进行图106所示的处理。
[0922]
三维数据编码装置使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式(s3421a)。接着，三维数据编码装置计算所选择的预测模式的预测值(s3422a)。接着，三维数据编码装置计算第1三维点的属性信息与计算出的预测值的差分即预测残差(s3423a)。接着，三维数据编码装置生成包括所选择的预测模式和计算出的预测残差的比特流(s3424a)。
[0923]
由此，三维数据编码装置能够使用2个以上的预测模式中的1个预测模式的预测值来对属性信息进行编码，因此能够提高属性信息的编码效率。
[0924]
另外，在预测值的计算(s3422a)中，三维数据编码装置在2个以上的预测模式中的第1预测模式中，计算1个以上的第2三维点的属性信息的平均作为预测值，在2个以上的预测模式中的第2预测模式中，计算第2三维点的属性信息作为预测值。
[0925]
另外，表示第1预测模式的第1预测模式值小于表示第2预测模式的第2预测模式
值。比特流包含表示所选择的预测模式的预测模式值作为预测模式。
[0926]
另外，在预测值的计算(s3422a)中，作为预测模式的预测值，计算2个以上的平均或属性信息。
[0927]
另外，属性信息是表示三维点的颜色的颜色信息，2个以上的平均或属性信息分别表示定义颜色空间的2个以上的成分的值。
[0928]
另外，在预测值的计算(s3422a)中，三维数据编码装置在2个以上的预测模式中的第3预测模式中，计算1个第2三维点的属性信息作为预测值，在2个以上的预测模式中的第4预测模式中，计算位于距第1三维点的距离比1个第2三维点远的位置的其他第2三维点的属性信息作为预测值。表示第3预测模式的第3预测模式值小于表示第4预测模式的第4预测模式值。比特流包含表示所选择的预测模式的预测模式值作为预测模式。由此，通过将表示计算容易选择的预测值的预测模式的预测模式值设为小的值，能够削减编码量。
[0929]
另外，属性信息包含第1属性信息和与第1属性信息不同种类的第2属性信息。在预测值的计算(s3422a)中，三维数据编码装置使用第1属性信息计算第1预测值，并且使用第2属性信息计算第2预测值。
[0930]
另外，三维数据编码装置还通过将表示预测模式的预测模式值通过与预测模式的数量相应的截断一元编码进行二值化而生成二值数据。比特流包含二值数据作为预测模式。由此，能够削减表示计算容易选择的预测值的预测模式的预测模式值的编码量。
[0931]
另外，在预测模式的选择(s3421a)中，三维数据编码装置在1个以上的第2三维点的属性信息的最大绝对差分值小于规定的阈值的情况下，选择用于计算1个以上的第2三维点的属性信息的平均作为预测值的预测模式，在最大绝对差分值为规定的阈值以上的情况下，选择2个以上的预测模式中的1个预测模式。由此，能够削减最大绝对差分值小于规定的阈值的情况下的处理量。
[0932]
本实施方式的三维数据解码装置进行图107所示的处理。
[0933]
三维数据解码装置通过获得比特流来获得预测模式和预测残差(s3431a)。接着，三维数据解码装置计算所获得的预测模式的预测值(s3432a)。接下来，三维数据编码装置通过将计算出的预测值与所获得的预测残差相加来计算第1三维点的属性信息(s3433a)。
[0934]
由此，能够削减最大绝对差分值小于规定的阈值的情况下的处理量。
[0935]
另外，在预测值的计算(s3432a)中，三维数据解码装置在2个以上的预测模式中的第1预测模式中，计算第1三维点的周围的1个以上的第2三维点的属性信息的平均作为预测值，在2个以上的预测模式中的第2预测模式中，计算第2三维点的属性信息作为预测值。
[0936]
另外，表示第1预测模式的第1预测模式值小于表示第2预测模式的第2预测模式值。比特流包含表示所选择的预测模式的预测模式值作为预测模式。
[0937]
另外，在预测值的计算(s33432a)中，三维数据解码装置计算2个以上的平均或属性信息作为预测模式的预测值。
[0938]
另外，属性信息是表示三维点的颜色的颜色信息，2个以上的平均或属性信息分别表示定义颜色空间的2个以上的成分的值。
[0939]
另外，在预测值的计算(s3432a)中，在2个以上的预测模式中的第3预测模式中，计算第1三维点的周围的1个以上的第2三维点中的1个第2三维点的属性信息作为预测值，在2个以上的预测模式中的第4预测模式中，计算位于距第1三维点的距离比1个第2三维点远的
位置的其他第2三维点的属性信息作为预测值。表示第3预测模式的第3预测模式值小于表示第4预测模式的第4预测模式值。比特流包含表示所选择的预测模式的预测模式值作为预测模式。由此，通过将表示计算容易选择的预测值的预测模式的预测模式值设为小的值，能够减少对属性信息进行解码所需的时间。
[0940]
另外，属性信息包含第1属性信息和与第1属性信息不同种类的第2属性信息。在预测值的计算(s3432a)中，使用第1属性信息计算第1预测值，并且使用第2属性信息计算第2预测值。
[0941]
另外，在预测模式的获得(s3431a)中，三维数据解码装置获得以与预测模式的数量相应的用截断一元编码进行二值化后的二值数据作为预测模式。
[0942]
另外，在预测值的计算(s3432a)中，在第1三维点的周围的1个以上的第2三维点的属性信息的最大绝对差分值小于规定的阈值的情况下，计算1个以上的第2三维点的属性信息的平均作为预测值，在最大绝对差分值为规定的阈值以上的情况下，计算2个以上的预测模式中的1个预测模式的预测值作为预测值。
[0943]
由此，能够削减最大绝对差分值小于规定的阈值的情况下的处理量。
[0944]
(实施方式10)
[0945]
在使用预测模式总数m的值通过truncated unary code(截断一元编码)对表示预测模式(predmode)的预测模式值进行二值化而进行算术编码的情况下，三维数据编码装置中，根据作为能够用于预测的编码完毕以及解码完毕的三维点的、编码对象的三维点的周围的三维点数，可能产生不分配预测值的预测模式。三维数据编码装置也称为编码器。三维数据解码装置也称为解码器。使用图108～图110进行说明。
[0946]
图108是表示示出在实施方式10的各预测模式中由三维数据编码装置计算出的预测值的表的一例的图。图109是表示对实施方式10的预测模式值进行二值化并进行编码的情况下的二值化表的一例的图。图110是表示示出在实施方式10的各预测模式中由三维数据解码装置计算出的预测值的表的一例的图。
[0947]
例如，在图108中，示出了如下例子：在预测模式总数m＝5下能够用于预测的周围的三维点数n＝2的情况下，作为预测模式的预测值，在预测模式0中分配平均值，在预测模式1和2中分别分配n＝2个三维点的属性值，在预测模式3和预测模式4中不分配预测值。在这种情况下，在不能分配预测值的预测模式3和预测模式4中，考虑分配不定值即not available(不可用)作为预测值。在该情况下，三维数据编码装置为了使用预测模式总数m＝5的值进行编码，能够选择5个预测模式中的任意一个。因此，三维数据编码装置会错误地选择预测模式3或预测模式4，并将表示错误地选择的预测模式3或预测模式4的预测模式值附加到比特流。于是，随后，三维数据解码装置获得包含错误地附加的预测模式值的比特流，并且可以对附加到所获得的比特流的预测模式进行解码。由于这个原因，三维数据解码装置可能不能正确地复原比特流。对此，以下进行说明。
[0948]
例如，如图109所示，即使在错误地选择了不能分配预测值的预测模式3的情况下，三维数据编码装置也能够对表示预测模式3的预测模式值“3”的二值数据即“1110”进行算术编码。算术编码后的二值数据被附加到比特流。另外，在图109的例子中，示出了使用预测模式总数m＝5通过truncated unary code(截断一元码，截断一元编码)对预测模式值进行二值化而得到的二值数据。此外，预测模式值的二值化方法不限于truncated unary code，
也可以以unary code(一元码)或fixed code(固定码)来进行。
[0949]
并且，如图110所示，三维数据解码装置若获得由三维数据编码装置生成的比特流，则通过对比特流中包含的数据进行解码，能够得到作为预测模式值的二值数据的“1110”，能够得到预测模式值“3”。然后，三维数据解码装置通过在预测模式3中计算预测值，来对解码对象的三维点的属性值进行解码。
[0950]
然而，从比特流得到的预测模式3是错误地附加的预测模式，是附加了不定值的预测模式。因此，三维数据解码装置在预测模式3中计算预测值时，有可能计算出与在三维数据编码装置中在预测模式3中计算出的预测值不同的值。即，如果不在编码器侧和解码器侧用共同的计算方法计算预测值，则有可能在由编码器计算出的预测值与由解码器计算出的预测值之间产生不一致。当发生不一致时，也会对解码器侧的以后的预测造成影响，三维数据解码装置有可能不能正确地对比特流进行解码。
[0951]
因此，在不能分配预测值的预测模式中，当设定规定的固定值时，通过在编码器和解码器中预先决定共同的计算方法，即使在编码器使用没有错误地分配预测值的预测模式(设定了初始值的预测模式)来生成预测残差，并将该预测模式附加到比特流的情况下，解码器也能够从比特流中对预测模式进行解码，使用与编码器侧相同的初始值来得到解码值，能够正确地对比特流进行解码。
[0952]
图111是表示示出在实施方式10的各预测模式中由三维数据编码装置计算出的预测值的表的一例的图。图112是表示对实施方式10的预测模式值进行二值化并进行编码的情况下的二值化表的一例的图。图113是表示示出在实施方式10的各预测模式中由三维数据解码装置计算出的预测值的表的一例的图。
[0953]
例如，在图111中，与图108同样地，示出了如下例子：在预测模式总数m＝5下能够用于预测的周围的三维点数n＝2的情况下，作为预测模式的预测值，对预测模式0分配平均值，对预测模式1和2分别分配n＝2个三维点的属性值，对预测模式3和预测模式4不分配预测值。在该情况下，在不能分配预测值的预测模式3以及预测模式4中，设定规定的固定值作为预测值。
[0954]
即，在预测值的计算中，在不能对所选择的预测模式分配基于周围的三维点的属性信息的预测值的情况下，三维数据编码装置计算规定的固定值作为该预测模式的预测值。例如，在预测值的计算中，不能对所选择的预测模式分配基于周围的三维点的属性信息的预测值的情况是由于周围的三维点的数量在规定数量以下而不能对该预测模式分配该预测值的情况。另外，由于处理对象的周围的三维点的数量n为规定数量以下，不能对所选择的预测模式分配基于周围的三维点的属性信息的预测值的情况是指例如在将平均值和周围的三维点的属性信息作为预测值分配的情况，为n+1＜m的情况。
[0955]
例如，如图112所示，即使在错误地选择了不能被分配预测值的预测模式3的情况下，三维数据编码装置也能够对表示预测模式3的预测模式值“3”的二值数据即“1110”进行算术编码。算术编码后的二值数据被附加到比特流。另外，在图112的例子中，示出了使用预测模式总数m＝5通过truncated unary code对预测模式值进行二值化而得到的二值数据。另外，图112是与图109相同的图。
[0956]
并且，如图113所示，三维数据解码装置若获得由三维数据编码装置生成的比特流，则通过对比特流中包含的数据进行解码，能够得到作为预测模式值的二值数据的
“
1110”，能够得到预测模式值“3”。然后，三维数据解码装置在不能分配预测值的预测模式3中计算预测值，因此将规定的固定值作为预测值计算。因此，即使在错误地选择了未分配预测值的预测模式的情况下，也能够使由编码器侧和解码器侧计算出的预测值一致。由此，三维数据解码装置能够正确地对比特流进行解码。
[0957]
这样，三维数据编码装置使用处理对象的三维点的周围的n个三维点的属性信息，计算1个以上的处理对象的三维点的属性信息的预测值。然后，三维数据编码装置对总数m个预测模式分配计算出的1个以上的预测值，将规定的固定值作为预测值分配给不能分配1个以上的预测值的预测模式。
[0958]
另外，规定的固定值是初始值，例如是值0。即，也可以是，三维数据编码装置以及三维数据解码装置在属性值为颜色信息(yuv、rgb)的情况下，将值(0，0，0)设定为初始值，在属性值为反射率的情况下，将值0设定为初始值。
[0959]
此外，作为初始值的设定的方法，三维数据编码装置以及三维数据解码装置对未被分配预测值的预测模式设定初始值，但未必限于此。使用图114和图115对该例子进行说明。
[0960]
图114表示在实施方式10的对预测模式分配预测值的处理中使用的初始表的例子。图115是表示使用实施方式10的初始表生成的、示出在各预测模式下由三维数据编码装置计算出的预测值的表的一例的图。
[0961]
三维数据编码装置以及三维数据解码装置例如通过先将初始值(例如值0)分配给所有的预测模式的预测值来生成初始表。接着，三维数据编码装置以及三维数据解码装置也可以用之后能够在预测中利用的周围的三维点的属性值的平均值或者周围的三维点的属性值来更新各预测模式的预测值。例如，三维数据编码装置以及三维数据解码装置也可以如图114所示的初始表那样，使用对所有的预测模式的预测值设定了初始值的表，如图115所示，生成表示在各预测模式下由三维数据编码装置计算出的预测值的表。接着，三维数据编码装置使用处理对象的三维点周围的n个三维点的属性值，计算各预测模式中的预测值。然后，三维数据编码装置针对各预测模式，用计算出的预测值来更新初始表的初始值。
[0962]
例如，三维数据编码装置以及三维数据解码装置也可以通过以能够用于预测的周围三维点的属性值的平均值来更新预测模式0的初始值，并且用周围的三维点的属性值来更新预测模式1以及预测模式2的初始值，从而生成表示各预测模式的预测值的表。在该情况下，也对不能分配预测值的预测模式分配初始值。
[0963]
这样，在存在m个预测模式，在编码对象的三维点的周围存在n个三维点的情况下，在n+1小于m的情况下，在不能被分配基于n个三维点的属性值的预测值的预测模式中，作为结果，只要设定初始值，则可以对不能被分配预测值的预测模式的预测值设定初始值，也可以通过不能被分配预测值而将初始值确定为预测值。
[0964]
另外，初始值不限于值0，只要在编码器和解码器中使用相同的值，则可以是任意的值。
[0965]
图116是表示实施方式10的预测值的计算处理的一例的流程图。
[0966]
如图116所示，首先，三维数据编码装置计算能够用于处理对象的对象三维点的预测值的预测的、对象三维点周围的n个三维点的属性值的加权平均，将计算出的加权平均分
配给预测模式值为“0”的预测模式(s3901)。
[0967]
接着，三维数据编码装置计算编码对象的三维点周围的n个三维点中的属性值的最大绝对差分值maxdiff(s3902)。
[0968]
接着，三维数据编码装置判定最大绝对差分值maxdiff是否小于阈值thfix(s3903)。此外，阈值thfix也可以被编码，并附加到流的头部等。
[0969]
三维数据编码装置在最大绝对差分值maxdiff小于阈值thfix的情况下(s3903中为“是”)，将预测模式固定标志设为“1”进行算术编码(s3904)，将预测模式值决定为“0”(s3905)。
[0970]
另一方面，三维数据编码装置在最大绝对差分值maxdiff为阈值thfix以上的情况下(s3903中为“否”)，将预测模式固定标志设为“0”进行算术编码(s3906)，从多个预测模式中选择1个预测模式(s3907)。
[0971]
然后，三维数据编码装置对表示所选择的预测模式的预测模式值进行算术编码(s3908)。
[0972]
三维数据编码装置计算在步骤s3905中决定的预测模式或在步骤s3908中选择的预测模式的预测值，并且输出所计算的预测值(s3909)。在使用在步骤s3905中决定的预测模式值的情况下，三维数据编码装置计算周围的n个三维点的属性值的平均作为预测模式值为“0”所示的预测模式的预测值。
[0973]
此外，也可以是，三维数据编码装置使用预测模式总数m通过truncated unary code对预测模式(predmode)进行二值化而进行算术编码。另外，也可以是，三维数据编码装置将表示预测模式总数m的numpredmode编码并附加到头部中。由此，三维数据解码装置通过对头部内的numpredmode进行解码，能够正确地对预测模式(predmode)进行解码。此外，也可以是，在numpredmode＝1的情况下，三维数据解码装置不对predmode进行编码。由此，能够削减numpredmode＝1时的编码量。
[0974]
图117是实施方式10的预测模式的选择处理(s3907)的流程图。
[0975]
首先，三维数据编码装置将对象三维点的周围的n个三维点的属性信息从距对象三维点的距离近的位置起依次分配从“1”递增1至“n”的值作为预测模式值(s3911)。此外，由于预测模式值从“0”至“n”被分配，因此一共生成n+1个预测模式。在n+1超过附加到比特流的最大预测模式数m(numpredmode)的情况下，三维数据编码装置可以生成m个预测模式。
[0976]
接着，三维数据编码装置对不能被分配预测值的预测模式的预测值设定初始值(例如，值“0”)(s3912)。具体而言，三维数据编码装置将不能被分配预测值的预测模式与初始值建立关联地存储在存储器中。
[0977]
接着，三维数据编码装置计算各预测模式的成本，选择成本最小的预测模式(s3913)。
[0978]
图118是实施方式10的选择成本最小的预测模式的处理(s3913)的流程图。图118是与图97的流程图对应的图。
[0979]
首先，三维数据编码装置将i＝0和mincost＝∞设定为初始值(s3921)。所设定的i和mincost的初始值被存储在三维数据编码装置的存储器中。
[0980]
接着，三维数据编码装置例如使用式d1计算第i个预测模式predmode[i]的成本cost[i](s3922)。
[0981]
接着，三维数据编码装置判定计算出的成本cost[i]是否小于存储在存储器中的mincost(s3923)。
[0982]
接着，在计算出的成本cost[i]小于存储器中存储的mincost的情况下(s3923中为“是”)，三维数据编码装置设定mincost＝cost[i]，将预测模式设定为predmode[i](s3924)，进入步骤s3925。即，将存储在存储器中的mincost的值更新为cost[i]的值，并且将predmode[i]作为预测模式存储在存储器中。
[0983]
另一方面，在计算出的成本cost[i]为存储器中存储的mincost以上的情况下(s3923中为“否”)，三维数据编码装置进入步骤s3925。
[0984]
接着，三维数据编码装置将i的值递增1(s3925)。
[0985]
接着，三维数据编码装置判定i是否小于预测模式数(s3926)。
[0986]
在i小于预测模式数的情况下(s3926中为“是”)，三维数据编码装置返回到步骤s3922，在不是这样的情况下(s3926中为“否”)，结束选择成本最小的预测模式的处理。
[0987]
以下，说明三维数据解码装置中的处理的流程。图119是实施方式10的三维数据解码装置的三维数据解码处理的流程图。首先，三维数据解码装置从比特流中解码位置信息(geometry)(s3931)。例如，三维数据解码装置使用八叉树表现进行解码。
[0988]
接着，三维数据解码装置从比特流中解码属性信息(attribute)(s3932)。例如，在对多种属性信息进行解码的情况下，三维数据解码装置也可以依次对多种属性信息进行解码。例如，在作为属性信息对颜色和反射率进行解码的情况下，三维数据解码装置按照附加于比特流的顺序，对颜色的编码结果和反射率的编码结果进行解码。例如，在比特流中，在颜色的编码结果之后附加了反射率的编码结果的情况下，三维数据解码装置对颜色的编码结果进行解码，然后对反射率的编码结果进行解码。另外，三维数据解码装置也可以按照任意顺序对附加于比特流的属性信息的编码结果进行解码。
[0989]
另外，三维数据解码装置也可以通过对头部等进行解码来获得比特流内的各属性信息的表示编码数据开始场所的信息。由此，三维数据解码装置能够选择性地对需要解码的属性信息进行解码，因此能够省略不需要解码的属性信息的解码处理。因此，能够削减三维数据解码装置的处理量。另外，三维数据解码装置也可以并行地对多种属性信息进行解码，将解码结果合并到1个三维点群。由此，三维数据解码装置能够高速地对多种属性信息进行解码。
[0990]
图120是实施方式10的属性信息解码处理(s3932)的流程图。
[0991]
首先，三维数据解码装置设定lod(s3941)。即，三维数据解码装置将具有解码后的位置信息的多个三维点分别分配给多个lod中的任一个。例如，该分配方法是与在三维数据编码装置中使用的分配方法相同的方法。
[0992]
接着，三维数据解码装置开始lod单位的循环(s3942)。即，三维数据解码装置针对每个lod反复进行步骤s3943～s3949的处理。
[0993]
接着，三维数据解码装置开始三维点单位的循环(s3943)。即，三维数据解码装置针对每个三维点反复进行步骤s3944～s3948的处理。
[0994]
首先，三维数据解码装置搜索在处理对象的对象三维点的预测值的计算中使用的、存在于对象三维点的周围的三维点即多个周围点(s3944)。另外，该处理与三维数据编码装置中的处理相同。
[0995]
这里，三维数据解码装置除了将作为每个阶层的三维点数的numofpoint附加于头部等之外，还独立地执行比特流内的预测模式(predmode)的解码处理和计算能够用于lod生成后的预测的周围三维点的处理。具体而言，三维数据解码装置独立地执行lod的生成(s3941)以及周围点的搜索(s3944)、预测值的计算(s3946)、n-bit code以及remaining code的算术解码处理(预测模式与预测残差的解码：s3945)。因此，三维数据解码装置可以并行地处理步骤s3941、s3944、s3946和s3945的每一个。由此，能够削减整体的处理时间。
[0996]
三维数据解码装置从属性信息的比特流中对预测模式和预测残差进行算术解码(s3945)。
[0997]
接着，三维数据解码装置在步骤s3945中得到的预测模式下，计算对象三维点的预测值p(s3946)。稍后将参考图121描述预测值的计算处理的详细。
[0998]
此外，三维数据解码装置通过对解码为预测残差的量化值进行逆量化来计算逆量化值(s3947)。
[0999]
接着，三维数据解码装置通过对逆量化值加上预测值来生成解码值(s3948)。
[1000]
接着，三维数据解码装置结束三维点单位的循环(s3949)。
[1001]
另外，三维数据解码装置结束lod单位的循环(s3950)。
[1002]
图121是实施方式10的预测值的计算处理(s3946)的流程图。
[1003]
首先，三维数据解码装置计算能够用于处理对象的对象三维点的预测值的预测的、对象三维点的周围的n个三维点的属性值的加权平均，将计算出的加权平均分配给预测模式值为“0”的预测模式(s3951)。
[1004]
接着，三维数据解码装置将对象三维点的周围的n个三维点的属性信息从距对象三维点的距离近的位置起依次分配从“1”递增1至“n”的值作为预测模式值(s3952)。此外，由于预测模式值从“0”至“n”被分配，因此一共生成n+1个预测模式。在n+1超过附加到比特流的最大预测模式数m(numpredmode)的情况下，三维数据解码装置可以生成m个预测模式。
[1005]
接着，三维数据解码装置对不能被分配预测值的预测模式的预测值设定初始值(例如，值“0”)(s3953)。具体而言，三维数据解码装置将不能分配预测值的预测模式与初始值建立关联地存储在存储器中。
[1006]
接着，三维数据解码装置输出以在步骤s3945的“对预测模式和预测残差进行解码”中解码出的预测模式值表示的预测模式的预测值(s3954)。
[1007]
此外，代替执行步骤s3953以及步骤s3954，三维数据解码装置也可以判定基于表示预测模式的预测模式值的值(例如，“预测模式值+1”)是否大于基于周围的三维点的属性信息计算出的预测值的数量，在基于预测模式值的值大于预测值的数量的情况下，分配规定的固定值作为该预测模式的预测值。例如，三维数据解码装置也可以在解码出的预测模式(predmode)表示不能被分配预测值的预测模式的情况下(即，predmode＞n)，输出初始值(即，值“0”)作为预测值。另外，三维数据解码装置也可以在解码出的预测模式(predmode)表示不能被分配预测值的预测模式的情况下(即，predmode＞n)，规定为违反标准，输出表示违反规格的错误信号。
[1008]
在图116～图121中，说明了三维数据编码装置以及三维数据解码装置执行对不能被分配预测值的预测模式分配初始值的处理的例子，但也可以如图114以及图115所说明的那样，在生成了初始表后，通过更新预测值来计算各预测模式的预测值。
[1009]
例如，三维数据编码装置也可以代替执行图116～图118中说明的处理中的图116以及图117而执行图122以及图123的处理。
[1010]
图122是表示实施方式10的预测值的计算处理的另一例的流程图。在图122的流程图中与在图116的流程图中的不同点在于进一步执行步骤s3900。另外，与图116的流程图的不同点在于代替步骤s3907而执行步骤s3907a。
[1011]
在该情况下，如图122所示，首先，三维数据编码装置对所有预测模式的预测值设定初始值(例如，值“0”)(s3900)。即，三维数据编码装置生成初始表。
[1012]
接着，三维数据编码装置执行步骤s3901～s3906、s3907a、s3908、以及s3909。在此，使用图123说明与图116不同的步骤s3907a。
[1013]
图123是实施方式10的预测模式的选择处理(s3907a)的流程图。
[1014]
三维数据编码装置执行图117的步骤s3911～s3913中的步骤s3911和s3913。通过执行步骤s3911，以计算出的平均值或属性值更新对应的预测模式的初始值。
[1015]
另外，例如，三维数据解码装置也可以在图12～图14中说明的处理中，代替执行图121中说明的处理而执行图124的处理。
[1016]
图124是实施方式10的预测值的计算处理(s3946a)的流程图。
[1017]
三维数据解码装置对所有的预测模式的预测值设定初始值(例如，值“0”)(s3950)。
[1018]
接着，三维数据解码装置执行图121中的步骤s3951、s3952以及s3954。
[1019]
接着，对本实施方式的三维数据编码装置以及三维数据解码装置的结构进行说明。图125是表示实施方式10的三维数据编码装置3900的结构的框图。该三维数据编码装置3900包括预测模式选择部3901、预测值计算部3902、预测残差计算部3903和编码部3904。
[1020]
预测模式选择部3901使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式。预测值计算部3902计算所选择的预测模式的预测值。预测值计算部3902在预测值的计算中，通过使第2三维点的数量为规定数量以下，在不能对所选择的预测模式分配基于第2三维点的属性信息的预测值的情况下，计算规定的固定值作为该预测模式的预测值。预测残差计算部3903计算第1三维点的属性信息与所计算的预测值之间的差分即预测残差。编码部3904生成包含预测模式和预测残差的比特流。
[1021]
图126是表示实施方式10的三维数据解码装置3910的结构的框图。该三维数据解码装置3910具备获得部3911、预测值计算部3912和解码部3913。获取部3911通过获得比特流来获得多个三维点中的第1三维点的预测模式和预测残差。预测值计算部3912计算获得的预测模式的预测值。预测值计算部3912在预测值的计算中，通过使第1三维点的周围的1个以上的第2三维点的数量为规定数量以下，在不能对所选择的预测模式分配基于第2三维点的属性信息的预测值的情况下，计算规定的固定值作为该预测模式的预测值。解密部3913通过将预测值和预测残差相加来计算第1三维点的属性信息。
[1022]
本实施方式的三维数据编码装置进行图127所示的处理。
[1023]
三维数据编码装置使用第1三维点的周围的1个以上的第2三维点的属性信息，选择用于计算第1三维点的属性信息的预测值的2个以上的预测模式中的1个预测模式(s3961)。接着，三维数据编码装置计算所选择的预测模式的预测值(s3962)。三维数据编码
装置在预测值的计算(s3962)中，通过使第2三维点的数量为规定数量以下，在不能对所选择的预测模式分配基于第2三维点的属性信息的预测值的情况下，计算规定的固定值作为该预测模式的预测值。接下来，三维数据编码装置生成包含预测模式和预测残差的比特流(s3964)。
[1024]
由此，将规定的固定值作为预测值分配给不能被分配1个以上的预测值的预测模式。因此，在所生成的比特流中，根据所选择的预测模式的预测值来计算预测残差，并包含预测模式和预测残差。因此，三维数据解码装置在从所获得的比特流中对处理对象的三维点的属性信息进行解码时，与三维数据编码方法同样地，将规定的固定值作为预测值分配给不能被分配1个以上的预测值的预测模式，因此能够计算与编码时计算出的预测值一致的预测值。因此，三维数据解码装置能够正确地对处理对象的三维点的属性信息进行解码。
[1025]
另外，规定的固定值是初始值。另外，规定的固定值为0。
[1026]
另外，在1个以上的预测值的计算(s3961)中，在2个以上的预测模式中的第1预测模式中，计算1个以上的第2三维点的属性信息的平均作为预测值，在2个以上的预测模式中的第2预测模式中，计算第2三维点的属性信息作为预测值。
[1027]
另外，2个以上的预测模式分别由不同的值的预测模式值表示。表示将平均作为预测值分配的预测模式的预测模式值小于表示将1个以上的第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[1028]
另外，2个以上的预测模式分别由不同的值的预测模式值表示。表示将1个第2三维点的属性信息作为预测值分配的预测模式的预测模式值，小于表示位于距第1三维点的距离比1个第2三维点远的位置的其他第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[1029]
本实施方式的三维数据解码装置进行图128所示的处理。
[1030]
三维数据解码装置通过获得比特流来获得多个三维点中的第1三维点的预测模式和预测残差(s3971)。接着，三维数据解码装置计算所获得的预测模式的预测值(s3972)。三维数据解码装置在预测值的计算(s3972)中，通过使第1三维点的周围的1个以上的第2三维点的数量为规定数量以下，在不能对所获得的预测模式分配基于第2三维点的属性信息的预测值的情况下，计算规定的固定值作为该预测模式的预测值。接着，三维数据解码装置通过将预测值和预测残差相加来计算第1三维点的属性信息(s3973)。
[1031]
由此，在从所获得的比特流中对处理对象的三维点的属性信息进行解码时，与三维数据编码方法同样地，将规定的固定值作为预测值分配给不能被分配1个以上的预测值的预测模式，因此能够计算出与编码时计算出的预测值一致的预测值。因此，能够正确地对处理对象的三维点的属性信息进行解码。
[1032]
另外，规定的固定值是初始值。另外，规定的固定值为0。
[1033]
另外，在1个以上的预测值的计算(s3972)中，在2个以上的预测模式中的第1预测模式中，计算1个以上的第2三维点的属性信息的平均作为预测值，在2个以上的预测模式中的第2预测模式中，计算第2三维点的属性信息作为预测值。
[1034]
另外，2个以上的预测模式分别由不同的值的预测模式值表示。表示将平均作为预测值分配的预测模式的预测模式值小于表示将1个以上的第2三维点的属性信息作为预测值分配的预测模式的预测模式值。
[1035]
另外，2个以上的预测模式分别由不同的值的预测模式值表示。表示将1个第2三维点的属性信息作为预测值来分配的预测模式的预测模式值小于表示位于距第1三维点的距离比1个第2三维点远的位置的其他第2三维点的属性信息作为预测值来分配的预测模式的预测模式值。
[1036]
以上，对本公开的实施方式所涉及的三维数据编码装置以及三维数据解码装置等进行了说明，但本公开并不限定于该实施方式。
[1037]
并且，上述的实施方式的三维数据编码装置以及三维数据解码装置等中包含的各处理部典型的能够作为集成电路的lsi来实现。这些可以分别地制成一个芯片，也可以是其中的一部分或全部被制成一个芯片。
[1038]
并且，集成电路化并非受lsi所限，也可以由专用电路或通用处理器来实现。也可以利用在lsi制造后可编程的fpga(field programmable gate array：现场可编程门阵列)、或能够重构lsi内部的电路部的连接或设定的可重构处理器。
[1039]
并且，在上述的各实施方式中，各构成要素可以由专用的硬件来构成，或者可以通过执行适于各构成要素的软件程序来实现。各构成要素也可以通过cpu或处理器等程序执行部读出被记录在硬盘或半导体存储器等记录介质的软件程序并执行来实现。
[1040]
并且，本公开能够作为由三维数据编码装置以及三维数据解码装置等来执行的三维数据编码方法或三维数据解码方法等来实现。
[1041]
并且，框图中的功能块的分割为一个例子，多个功能块可以作为一个功能块来实现，一个功能块也可以分割为多个，一部分的功能也可以移动到其他的功能块。并且，具有类似的功能的多个功能块的功能也可以由单一的硬件或软件进行并行处理或者进行时间分割处理。
[1042]
并且，关于流程图中的各步骤的执行顺序，是为了对本公开进行具体说明而举出的例子，也可以是上述以外的顺序。并且，上述步骤的一部分也可以与其他的步骤同时(并行)执行。
[1043]
以上基于实施方式对一个或多个形态的三维数据编码装置以及三维数据解码装置等进行了说明，但是，本公开并非受这些实施方式所限。在不脱离本公开的主旨的范围内，将本领域技术人员能够想到的各种变形执行于本实施方式而得到的形态、以及对不同的实施方式中的构成要素进行组合而得到的形态均包含在一个或多个形态的范围内。
[1044]
产业上的可利用性
[1045]
本公开能够适用于三维数据编码装置以及三维数据解码装置。
[1046]
附图标记说明
[1047]
100、400 三维数据编码装置
[1048]
101、201、401、501 获得部
[1049]
102、402 编码区域决定部
[1050]
103 分割部
[1051]
104、644 编码部
[1052]
111 三维数据
[1053]
112、211、413、414、511、634 编码三维数据
[1054]
200、500 三维数据解码装置
[1055]
202 解码开始gos决定部
[1056]
203 解码spc决定部
[1057]
204、625 解码部
[1058]
212、512、513 解码三维数据
[1059]
403 swld提取部
[1060]
404 wld编码部
[1061]
405 swld编码部
[1062]
411 输入三维数据
[1063]
412 提取三维数据
[1064]
502 头部解析部
[1065]
503 wld解码部
[1066]
504 swld解码部
[1067]
620、620a 三维数据制作装置
[1068]
621、641 三维数据制作部
[1069]
622 请求范围决定部
[1070]
623 搜索部
[1071]
624、642 接收部
[1072]
626 合成部
[1073]
631、651 传感器信息
[1074]
632 第1三维数据
[1075]
633 请求范围信息
[1076]
635 第2三维数据
[1077]
636 第3三维数据
[1078]
640 三维数据发送装置
[1079]
643 提取部
[1080]
645 发送部
[1081]
652 第5三维数据
[1082]
654 第6三维数据
[1083]
700 三维信息处理装置
[1084]
701 三维地图获得部
[1085]
702 自身车辆检测数据获得部
[1086]
703 异常情况判断部
[1087]
704 应对工作决定部
[1088]
705 工作控制部
[1089]
711 三维地图
[1090]
712 自身车辆检测三维数据
[1091]
810 三维数据制作装置
[1092]
811 数据接收部
[1093]
812、819 通信部
[1094]
813 接收控制部
[1095]
814、821 格式转换部
[1096]
815 传感器
[1097]
816 三维数据制作部
[1098]
817 三维数据合成部
[1099]
818 三维数据蓄积部
[1100]
820 发送控制部
[1101]
822 数据发送部
[1102]
831、832、834、835、836、837 三维数据
[1103]
833 传感器信息
[1104]
901 服务器
[1105]
902、902a、902b、902c 客户端装置
[1106]
1011、1111 数据接收部
[1107]
1012、1020、1112、1120 通信部
[1108]
1013、1113 接收控制部
[1109]
1014、1019、1114、1119 格式转换部
[1110]
1015 传感器
[1111]
1016、1116 三维数据制作部
[1112]
1017 三维图像处理部
[1113]
1018、1118 三维数据蓄积部
[1114]
1021、1121 发送控制部
[1115]
1022、1122 数据发送部
[1116]
1031、1032、1135 三维地图
[1117]
1033、1037、1132 传感器信息
[1118]
1034、1035、1134 三维数据
[1119]
1117 三维数据合成部
[1120]
1201 三维地图压缩/解码处理部
[1121]
1202 传感器信息压缩/解码处理部
[1122]
1211 三维地图解码处理部
[1123]
1212 传感器信息压缩处理部
[1124]
1300 三维数据编码装置
[1125]
1301 分割部
[1126]
1302 减法部
[1127]
1303 变换部
[1128]
1304 量化部
[1129]
1305、1402 逆量化部
[1130]
1306、1403 逆变换部
[1131]
1307、1404 加法部
[1132]
1308、1405 参照体积存储器
[1133]
1309、1406 帧内预测部
[1134]
1310、1407 参照空间存储器
[1135]
1311、1408 帧间预测部
[1136]
1312、1409 预测控制部
[1137]
1313 熵编码部
[1138]
1400 三维数据解码装置
[1139]
1401 熵解码部
[1140]
3000 三维数据编码装置
[1141]
3001 位置信息编码部
[1142]
3002 属性信息重新分配部
[1143]
3003 属性信息编码部
[1144]
3010 三维数据解码装置
[1145]
3011 位置信息解码部
[1146]
3012 属性信息解码部
[1147]
3400 属性信息编码部
[1148]
3401lod生成部
[1149]
3402 周围搜索部
[1150]
3403 预测部
[1151]
3404 预测残差计算部
[1152]
3405 量化部
[1153]
3406 算术编码部
[1154]
3407 逆量化部
[1155]
3408 解码值生成部
[1156]
3409、3417 存储器
[1157]
3410 属性信息解码部
[1158]
3411lod生成部
[1159]
3412 周围搜索部
[1160]
3413 预测部
[1161]
3414 算术解码部
[1162]
3415 逆量化部
[1163]
3416 信号值生成部
[1164]
3900 三维数据编码装置
[1165]
3901 预测模式选择部
[1166]
3902 预测值计算部
[1167]
3903 预测残差计算部
[1168]
3904 编码部
[1169]
3910 三维数据解码装置
[1170]
3911 获得部
[1171]
3912 预测值计算部
[1172]
3913 解码部