图像处理装置和方法与流程

本公开内容涉及图像处理装置和图像处理方法，并且具体地涉及能够抑制编码效率的降低的图像处理装置和图像处理方法。

背景技术：

常规地，作为用于表示诸如点云的三维结构的3d数据编码方法，已经提出了一种用于将点云的位置和颜色信息按小区域投影到二维平面上并且通过用于二维图像的编码方法对位置和颜色信息进行编码的方法(在下文中，也称为“基于视频的方法”)(例如，参照npl1至npl3)。

引用列表

非专利文献

[npl1]

timgolla和reinhardklein，“real-timepointcloudcompression”，ieee，2015

[npl2]

k.mammou，“video-basedandhierarchicalapproachespointcloudcompression”，mpegm41649，2017年10月

[npl3]

“pcctestmodelcategory2v0”，n17248mpeg输出文件，2017年10月

技术实现要素：

技术问题

然而，常规方法构成了在将点云投影到二维平面上时位置信息和属性信息(颜色信息等)在空间分辨率和相位(位置)上相同的限制。因此，要编码的对象和压缩功能受到限制，可能导致编码效率降低。

鉴于这样的情况已经实现了本公开内容，并且本公开内容的目的是使得能够抑制编码效率的降低。

问题的解决方案

根据本技术的一方面的图像处理装置是一种包括生成比特流的比特流生成部的图像处理装置。该比特流包含：指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及关于几何图像的编码数据、关于纹理图像的编码数据，以及关于占有映射的编码数据。

根据本技术的一方面的图像处理方法是一种包括生成比特流的图像处理方法。该比特流包含：指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及关于几何图像的编码数据、关于纹理图像的编码数据以及关于占有映射的编码数据。

根据本技术的另一方面的图像处理装置是包括拆包部的图像处理装置。拆包部基于指示在比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在比特流中包含的并且通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对几何图像的视频帧、纹理图像的视频帧以及占有映射中的每一个进行拆包。

根据本技术的另一方面的图像处理方法是一种图像处理方法，包括：基于指示在比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在比特流中包含的并且通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对几何图像的视频帧、纹理图像的视频帧以及占有映射中的每一个进行拆包。

在根据本技术的一方面的图像处理装置和图像处理方法中，生成包含以下内容的比特流：指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及关于几何图像的编码数据、关于纹理图像的编码数据，以及关于占有映射的编码数据。

在根据本技术的另一方面的图像处理装置和图像处理方法中，基于指示在比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在比特流中包含的并且通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对几何图像的视频帧、纹理图像的视频帧以及占有映射中的每一个进行拆包。

本发明的有益效果

根据本公开内容，可以处理信息。特别地，可以抑制编码效率的降低。

附图说明

[图1]图1是点云的示例的说明图。

[图2]图2是基于视频的方法的概要的示例的说明图。

[图3]图3是描绘几何图像和占有映射的示例的图。

[图4]图4是占有映射的数据结构的示例的说明图。

[图5]图5是概述实施方式中描述的本技术的图。

[图6]图6是描绘相同补丁区域之中的对应关系的图。

[图7]图7是描绘编码装置的主要配置的示例的框图。

[图8]图8是描绘解码装置的主要配置的示例的框图。

[图9]图9是描绘图像的比较的示例的图。

[图10]图10是示出编码处理的流程的示例的流程图。

[图11]图11是示出打包处理的流程的示例的流程图。

[图12]图12是示出解码处理的流程的示例的流程图。

[图13]图13是示出拆包处理的流程的示例的流程图。

[图14]图14是描绘图像的比较的示例的图。

[图15]图15是示出编码处理的流程的示例的流程图。

[图16]图16是示出打包处理的流程的示例的流程图。

[图17]图17是描绘图像的比较的示例的图。

[图18]图18是示出编码处理的流程的示例的流程图。

[图19]图19是示出打包处理的流程的示例的流程图。

[图20]图20是示出拆包处理的流程的示例的流程图。

[图21]图21是描绘图像的比较的示例的图。

[图22]图22是示出打包处理的流程的示例的流程图。

[图23]图23是示出拆包处理的流程的示例的流程图。

[图24]图24是描绘图像处理的状态的示例的图。

[图25]图25是描绘图像中的坐标的对应关系的示例的图。

[图26]图26是描绘解码装置的主要配置的示例的框图。

[图27]图27是示出编码处理的流程的示例的流程图。

[图28]图28是示出打包处理的流程的示例的流程图。

[图29]图29是示出解码处理的流程的示例的流程图。

[图30]图30是示出点云重构处理的流程的示例的流程图。

[图31]图31是示出拆包重构处理的流程的示例的流程图。

[图32]图32是描绘计算机的主要配置的示例的框图。

具体实施方式

在下文中将描述用于执行本公开内容的方式(在下文中，称为“实施方式”)。注意，将按以下顺序进行描述。

1.基于视频的方法

2.第一实施方式(共用的整体分辨率)

3.第二实施方式(单独的整体分辨率)

4.第三实施方式(共用的补丁位置和分辨率)

5.第四实施方式(单独的补丁位置和分辨率)

6.第五实施方式(拆包和3d重构)

7.注意

<1.基于视频的方法>

<支持技术内容和技术术语的文件等>

本技术中公开的范围不仅包括在实施方式中描述的内容，而且还包括在提交本申请时众所周知的以下非专利文献中描述的内容。

非专利文献1：(如上所述)

非专利文献2：(如上所述)

非专利文献3：(如上所述)

非专利文献4：itu(国际电信联盟)的电信标准化部门，“advancedvideocodingforgenericaudiovisualservices”，h.264，04/2017

非专利文献5：itu(国际电信联盟)的电信标准化部门，“highefficiencyvideocoding”，h.265，12/2016

非专利文献6：jianlechen,elenaalshina,garyj.sullivan,jens-rainer,jillboyce,“algorithmdescriptionofjointexplorationtestmodel4,”jvet-g1001_v1,jointvideoexplorationteam(jvet)ofitu-tsg16wp3和iso/iecjtc1/sc29/wg11第七次会议：torino,it,13-212017年7月

换句话说，以上非专利文献中描述的内容也形成用于确定支持要求的基础。例如，假设在npl5中描述的四叉树块结构和在npl6中描述的qtbt(四叉树加二叉树)块结构在本技术的公开内容范围内，并且即使没有在实施方式中的直接描述也满足权利要求的支持要求。此外，假设诸如解析、语法和语义的技术术语类似地在本技术的公开内容的范围内，并且即使没有在实施方式中直接描述也满足权利要求的支持要求。

<点云>

常规地已经存在诸如点云和网格的数据，所述点云通过关于点组的位置信息、属性信息等表示三维结构，所述网格包括顶点、边和表面并且使用多边形表示来限定三维形状。

在例如点云的情况下，图1的a中描绘的立体结构被表示为图1的b中描绘的许多点的集合(点组)。换句话说，点云数据包括关于该点组中的每个点的位置信息和属性信息(例如，颜色)。因此，数据结构相对简单，并且通过使用足够多的点可以以足够高的精度表示任何立体结构。

<基于视频的方法的概要>

已经提出了基于视频的方法，该方法用于将关于这样的点云的位置信息和颜色信息按小区域投影到二维平面上并且通过用于二维图像的编码方法来对位置信息和颜色信息进行编码。

例如如图2所示，根据该基于视频的方法，输入点云被分成多个段(也称为“区域”或“补丁”)并且按区域被投影到二维平面上。注意，关于点云的每个位置的数据(即，关于每个点的数据)包括如上所述的位置信息(几何(也称为“深度”))和属性信息(纹理)，并且位置信息和属性信息各自按区域被投影到二维平面上。

此外，通过诸如avc(高级视频编码)或hevc(高效视频编码)的用于二维平面图像的编码方法对投影到二维平面上的3d数据(点云)进行编码。

<占有映射>

在通过基于视频的方法将3d数据投影到二维平面上的情况下，除了如上所述的位置信息被投影到其上的二维平面图像(也称为“几何图像”)和属性信息被投影到其上的二维平面图像(也称为“纹理图像”)之外，还生成图3中描绘的占有映射。占有映射是指示在二维平面上的每个位置处是否存在位置信息和属性信息的映射信息。在图3的示例中，并排布置对应位置处的(补丁的)几何图像(深度)和占有映射(占有)。在图3的示例的情况下，占有映射的白色部分(图3中的左侧)指示存在关于几何图像的数据(即，位置信息)的位置(坐标)，并且黑色部分指示不存在关于几何图像的数据(即，位置信息)的位置(坐标)。

图4描绘了占有映射的数据结构的示例。占有映射包含如图4所示的数据

例如，指示每个补丁的范围的坐标信息(u0、v0和u1、v1)被存储在算术编码变量中。换句话说，在占有映射中，每个补丁区域的范围由相对顶点的坐标((u0，v0)和(u1，v1))指示。

<与基于视频的方法相关联的本技术>

将描述与上述基于视频的方法相关联的本技术。图5是要在实施方式中描述的本技术的列表。

在常规方法的情况下，如从该表的顶部起的第一行(除了项目名称的行以外)所示，占有映射、几何图像(几何)和纹理图像(纹理)的大小(分辨率)被限制为相同(1:1:1)。

例如，如图6所示，在占有映射52、纹理图像53和几何图像54中的任何一个中，以相同位置和相同大小布置补丁51。换句话说，在任何图像中，补丁51的相对顶点的坐标是(u0，v0)和(u1，v1)。类似地设置所有补丁。

因此，要编码的对象和压缩的功能受到限制，可能导致编码效率的降低。例如，位置信息与颜色信息之间的维度上不同的3d数据，例如包括网格和纹理的3d数据难以通过该基于视频的方法来编码。也难以使几何图像的分辨率不同于纹理图像的分辨率。此外，难以响应于诸如i图片、p图片和b图片的图片类型来控制分辨率。也难以控制每个区域的分辨率。

对编码施加的这样的限制可能导致编码效率的降低。换句话说，施加在编码上的这样的限制可能导致3d数据的质量降低。

为了解决该问题，生成以下比特流，该比特流包括：指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及关于几何图像的编码数据、关于纹理图像的编码数据以及关于占有映射的编码数据。

例如，图像处理装置包括比特流生成部，其生成以下比特流，该比特流包含：指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及关于几何图像的编码数据、关于纹理图像的编码数据以及关于占有映射的编码数据。

利用该配置，解码侧可以基于指示对应关系的信息正确地掌握几何图像和纹理图像与占有映射之间的对应关系；因此，可以正确地重构3d数据而不使这些图像和映射的分辨率等相同。因此，可以避免上述限制，从而可以执行多样化的编码并且提高编码效率。换句话说，可以抑制编码效率的降低。

此外，基于指示在比特流中包含的通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在比特流中包含的通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对几何图像的视频帧、纹理图像的视频帧以及占有映射中的每一个进行拆包。

例如，提供有拆包部，其基于指示在比特流中包含的通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在比特流中包含的通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对几何图像的视频帧、纹理图像的视频帧以及占有映射中的每一个进行拆包。

通过这样做，可以基于指示对应关系的信息正确地掌握几何图像和纹理图像与占有映射之间的对应关系。因此，可以正确地重构3d数据而不使这些图像和映射的分辨率等相同。因此，可以避免上述限制，从而可以执行多样化的编码并且提高编码效率。换句话说，可以抑制编码效率的降低。

例如，如在从图5的表的顶部起的第二行(除了项目名称的行以外)中描述的“方法1”中那样，几何图像和纹理图像中的每一个的帧级分辨率可以被设置为与占有映射的帧级分辨率不同。注意，几何图像与纹理图像之间的帧级分辨率是相同的。

如果占有映射的分辨率是例如w*h，则可以将几何图像和纹理图像中的每一个的分辨率设置为w*h(w＝αw，h＝βh，1>α>0，并且1>β>0)。

通过这样做，可以响应于图片类型来控制质量，例如进行控制以降低p图片和b图片的质量(分辨率等)并且提高i图片的质量(分辨率等)。因此，可以抑制编码效率的降低。

在该情况下，将变量α和β发信号到比特流(例如，在头部中包含变量α和β)使得解码侧能够正确地掌握几何图像和纹理图像的分辨率。因此，可以正确地重构3d数据。

此外，例如，如在从图5的表的顶部起的第三行(除了项目名称的行以外)中描述的“方法2”中那样，几何图像的分辨率可以被设置为不同于纹理图像的分辨率。

如果占有映射的分辨率是例如w*h，则可以将几何图像的分辨率设置为w*h(w＝αgw，h＝βgh，1>αg>0，并且1>βg>0)，并且可以将纹理图像的分辨率设置为w*h(w＝αtw，h＝βth，1>αt>0，并且1>βt>0)。

通过这样做，可以处理例如几何图像与纹理图像之间的分辨率不同的3d数据。此外，可以鉴于对主观图像质量的影响来执行编码，并且因此抑制编码效率的降低。

在该情况下，将变量αg、βg、αt和βt发信号至比特流(例如，在头部中包含变量αg、βg、αt和βt)使得解码侧能够正确地掌握几何图像和纹理图像的分辨率。因此，可以正确地重构3d数据。

此外，例如，如在从图5的表的顶部起的第四行(除了项目名称的行以外)中描述的“方法3”中那样，几何图像和纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率可以被设置为与占有映射的每个补丁的位置和每个补丁的分辨率不同。注意，几何图像与纹理图像之间的每个补丁的位置和每个补丁的分辨率是相同的。

例如，占有映射上的特定补丁的相对顶点的坐标可以被设置为(u0，v0)和(u1，v1)，几何图像和纹理图像上的补丁的相对顶点的坐标可以被设置为(u'0，v'0)和(u'1，v'1)，并且可以使坐标彼此对应。换句话说，可以使指示每个图像上的补丁的范围的信息彼此对应。

通过这样做，例如，可以按区域进行图像质量(分辨率)的调整。因此，可以提高随后视频编解码器的编码效率。

在该情况下，信息u'0，v'0和u'1，v'1可以被添加到(使对应于)关于占有映射上的每个补丁的信息(图4)。例如，该信息u'0，v'0和u'1，v'1可以被添加到关于在上述算术编码变量中包含的每个补丁的信息，例如u0，v0和u1，v1。这使得可以管理每个补丁的相对顶点的坐标。因此，解码侧可以容易地掌握与每个图像上的期望补丁对应的区域(的范围)。

此外，例如，如在从图5的表的顶部起的第五行(除了项目名称的行以外)中描述的“方法4”中那样，几何图像的每个补丁的位置和每个补丁的分辨率可以被设置为与纹理图像的每个补丁的位置和每个补丁的分辨率不同。

例如，占有映射上的特定补丁的相对顶点的坐标可以被设置为(u0，v0)和(u1，v1)，几何图像上的补丁的相对顶点的坐标可以被设置为(ug0，vg0)和(ug1，vg1)，纹理图像上的补丁的相对顶点的坐标可以被设置为(ut0，vt0)和(ut1，vt1)，并且可以使坐标彼此对应。换句话说，可以使指示每个图像上的补丁的范围的信息彼此对应。

通过这样做，例如，可以按区域进行图像质量(分辨率)的调整。因此，可以提高随后视频编解码器的编码效率。还可以处理几何图像与纹理图像之间的分辨率不同的3d数据。此外，可以鉴于对主观图像质量的影响来执行编码，并且因此抑制编码效率的降低。

在该情况下，关于ug0,vg0、ug1，vg1、ut0,vt0和ut1,vt1的信息可以被添加到(使对应于)关于占有映射上的每个补丁的信息(图4)。例如，关于ug0，vg0、ug1，vg1、ut0,vt0和ut1，vt1的该信息可以被添加到关于在上述算术编码变量中包含的每个补丁的信息，例如u0，v0和u1，v1。这使得可以管理每个补丁的相对顶点的坐标。因此，解码侧可以容易地掌握与每个图像上的期望补丁对应的区域(的范围)。

注意，在解码侧使用如上所述改变了其分辨率、位置等的几何图像和纹理图像来重构3d数据的情况下，可以通过与将几何图像和纹理图像的位置和分辨率设置为与占有映射的位置和分辨率相同并且然后执行拆包的常规方法类似的方法来重构3d数据。

然而，如果使图像上的像素级位置彼此对应，则可以通过执行拆包来重构3d数据，而无需如例如在从图5的表的顶部起的第六行(除了项目名称的行以外)中描述的“方法5”中那样对几何图像和纹理图像的图像进行调整(位置和分辨率的转换)。因此，可以抑制解码侧的处理负荷的增长。

在该情况下，例如，指示占有映射与几何图像和纹理图像之间的像素级对应关系的表信息被添加到占有映射。这使得可以使用该表信息正确地重构3d数据。

<编码装置>

接下来，将描述用于实现如上所述方法的配置。图7是描绘作为应用了本技术的图像处理装置的一方面的编码装置的配置的示例的框图。图7中描绘的编码装置100是将诸如点云的3d数据投影到二维平面上并且通过用于二维图像的编码方法执行编码的装置。

编码装置100实现例如npl1至npl6中描述的技术，并且通过符合这些文献中的任何文献中描述的标准的方法来执行3d数据编码。

注意，诸如处理部和数据流的主要配置在图7中示出并且不必是所有配置。换句话说，在编码装置100中可以存在未在图7中被描述为块的处理部，或者可以存在未在图7中由箭头等指示的处理和数据流。

如图7所示，编码装置100具有补丁分解部111、打包部112、辅助补丁信息压缩部113、几何视频编码部114、纹理视频编码部115、omap编码部116和复用器117。

补丁分解部111执行与3d数据的分解相关联的处理。例如，补丁分解部111获取表示输入到编码装置100的三维结构(例如，点云)的3d数据(箭头131)。此外，补丁分解部111将所获取的3d数据分解为多个补丁、将3d数据按补丁投影到二维平面上，并且生成几何图像、纹理图像和占有映射。

补丁分解部111将这些图像和映射提供给打包部112(箭头132)。此外，补丁分解部111将作为与分解相关联的信息的辅助补丁信息提供给辅助补丁信息压缩部113(箭头133)。

打包部112执行与数据打包相关联的处理。例如，打包部112获取从补丁分解部111提供的几何图像、纹理图像和占有映射(箭头132)。此外，打包部112将所获取的几何图像、纹理图像和占有映射中的每一个打包为视频帧。

打包部112将所生成的视频帧提供给随后的处理部。例如，打包部112将所生成的几何图像的视频帧提供给几何视频编码部114(箭头134)。此外，例如，打包部112将所生成的纹理图像的视频帧提供给纹理视频编码部115(箭头136)。此外，例如，打包部112将所生成的占有映射的视频帧提供给omap编码部116(箭头139)。

辅助补丁信息压缩部113执行与辅助补丁信息的压缩相关联的处理。例如，辅助补丁信息压缩部113获取从补丁分解部111提供的数据(箭头133)。辅助补丁信息压缩部113对所获取的数据中包含的辅助补丁信息进行编码(压缩)。辅助补丁信息压缩部113将关于辅助补丁信息的所获得的编码数据提供给复用器117(箭头140)。

几何视频编码部114执行与几何图像的视频帧的编码相关联的处理。例如，几何视频编码部114获取从打包部112提供的几何图像的视频帧(箭头134)。此外，几何视频编码部114通过诸如avc或hevc的用于二维图像的任何编码方法来对几何图像的所获取的视频帧进行编码。几何视频编码部114将通过编码获得的编码数据(关于几何图像的视频帧的编码数据)提供给复用器117(箭头141)。

纹理视频编码部115执行与纹理图像的视频帧的编码相关联的处理。例如，纹理视频编码部115获取从打包部112提供的纹理图像的视频帧(箭头136)。此外，纹理视频编码部115通过诸如avc或hevc的用于二维图像的任何编码方法来对纹理图像的所获取的视频帧进行编码。纹理视频编码部115将通过编码获得的编码数据(关于纹理图像的视频帧的编码数据)提供给复用器117(箭头142)。

omap编码部116执行与占有映射的视频帧的编码相关联的处理。例如，omap编码部116获取从打包部112提供的占有映射的视频帧(箭头139)。此外，omap编码部116通过诸如avc或hevc的用于二维图像的任何编码方法来对占有映射的所获取的视频帧进行编码。omap编码部116将通过编码获得的编码数据(关于占有映射的视频帧的编码数据)提供给复用器117(箭头143)。

复用器117执行与复用相关联的处理。例如，复用器117获取从辅助补丁信息压缩部113提供的关于辅助补丁信息的编码数据(箭头140)。此外，例如，复用器117获取从几何视频编码部114提供的关于几何图像的视频帧的编码数据(箭头141)。此外，例如，复用器117获取从纹理视频编码部115提供的关于纹理图像的视频帧的编码数据(箭头142)。此外，例如，复用器117获取从omap编码部116提供的关于占有映射的视频帧的编码数据(箭头143)。

复用器117对这些获取的信息的片段进行复用并且生成比特流。复用器117将所生成的比特流输出至编码装置100的外部(箭头144)。

如图7所示，打包部112具有几何打包部121、纹理打包部122、omap打包部123和复用器124。

几何打包部121执行与几何图像的打包相关联的处理。例如，几何打包部121获取从补丁分解部111提供的几何图像(箭头132)。几何打包部121将所获取的几何图像打包为视频帧。几何打包部121将几何图像的所获得的视频帧提供给几何视频编码部114(箭头134)。此外，几何打包部121将与几何图像相关联的信息(例如，诸如地址的信息)提供给复用器124(箭头135)。

纹理打包部122执行与纹理图像的打包相关联的处理。例如，纹理打包部122获取从补丁分解部111提供的纹理图像(箭头132)。纹理打包部122将所获取的纹理图像打包为视频帧。纹理打包部122将纹理图像的所获得的视频帧提供给纹理视频编码部115(箭头136)。此外，纹理打包部122将与纹理图像相关联的信息(例如，诸如地址的信息)提供给复用器124(箭头137)。

omap打包部123执行与占有映射的打包相关联的处理。例如，omap打包部123获取从补丁分解部111提供的占有映射(箭头132)。omap打包部123将所获取的占有映射打包为视频帧。omap打包部123将占有映射的所获得的视频帧提供给复用器124(箭头138)。

复用器124执行与复用相关联的处理。例如，复用器124从几何打包部121获取与几何图像相关联的信息(箭头135)。此外，复用器124从纹理打包部122获取与纹理图像相关联的信息(箭头137)。此外，复用器124从omap打包部123获取关于占有映射的视频帧等的信息(箭头138)。

复用器124对那些信息片段进行复用。换句话说，复用器124将与几何图像和纹理图像相关联的信息嵌入到占有映射的视频帧中。复用器124向omap编码部116提供以该方式将与几何图像和纹理图像相关联的信息复用到其中的占有映射的视频帧(箭头139)。

以该方式，打包部112通过彼此独立的打包部来打包几何图像、纹理图像和占有映射。换句话说，打包部112可以彼此独立地打包几何图像、纹理图像和占有映射。换句话说，打包部112可以对几何图像、纹理图像和占有映射中的每一个进行打包使得例如几何图像和纹理图像中的每一个的帧级分辨率、几何图像和纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率等与占有映射中的情况不同。

<解码装置>

图8是描绘作为应用了本技术的图像处理装置的一方面的解码装置的配置的示例的框图。图8所示的解码装置200是对通过将诸如点云的3d数据投影到二维平面上并且通过用于二维图像的解码方法对所投影的数据进行编码而获得的编码数据进行解码并且将解码后的数据投影到三维空间上的装置。

解码装置200实现例如npl1至npl6中描述的技术，并且通过符合这些文献中的任何文献中描述的标准的方法来执行3d数据的编码数据的解码。

注意，诸如处理部和数据流的主要配置在图8中示出，并且不必是所有配置。换句话说，在解码装置200中可以存在图8中未示出为框的处理部，或者可以存在图8中未通过箭头等指示的处理和数据流。

如图8所示，解码装置200具有解复用器211、辅助补丁信息解码部212、几何视频解码部213、纹理视频解码部214、omap解码部215、拆包部216以及3d重构部217。

解复用器211执行与数据解复用相关联的处理。例如，解复用器211获取输入到解码装置200的比特流(箭头231)。该比特流由例如编码装置100提供。解复用器211对该比特流进行解复用、提取关于辅助补丁信息的编码数据，并且将编码后的数据提供给辅助补丁信息解码部212(箭头232)。此外，解复用器211通过解复用从比特流中提取与几何图像的视频帧有关的编码数据，并且将编码后的数据提供给几何视频解码部213(箭头233)。此外，解复用器211通过解复用从比特流中提取与纹理图像的视频帧有关的编码数据，并且将编码后的数据提供给纹理视频解码部214(箭头234)。此外，解复用器211通过解复用从比特流中提取与占有映射的视频帧有关的编码数据，并且将编码后的数据提供给omap解码部215(箭头235)。

辅助补丁信息解码部212执行与关于辅助补丁信息的编码数据的解码相关联的处理。例如，辅助补丁信息解码部212获取从解复用器211提供的关于辅助补丁信息的编码数据(箭头232)。此外，辅助补丁信息解码部212对所获取的数据中包含的关于辅助补丁信息的编码数据进行解码。辅助补丁信息解码部212将通过解码获得的辅助补丁信息提供给3d重构部217(箭头236)。

几何视频解码部213执行与关于几何图像的视频帧的编码数据的解码相关联的处理。例如，几何视频解码部213获取从解复用器211提供的关于几何图像的视频帧的编码数据(箭头233)。此外，例如，几何视频解码部213对所获取的编码数据进行解码并且获得几何图像的视频帧。几何视频解码部213将几何图像的视频帧提供给拆包部216(箭头237)。

纹理视频解码部214执行与关于纹理图像的视频帧的编码数据的解码相关联的处理。例如，纹理视频解码部214获取从解复用器211提供的关于纹理图像的视频帧的编码数据(箭头234)。此外，例如，纹理视频解码部214对所获取的编码数据进行解码并且获得纹理图像的视频帧。纹理视频解码部214将纹理图像的视频帧提供给拆包部216(箭头238)。

omap解码部215执行与关于占有映射的视频帧的编码数据的解码相关联的处理。例如，omap解码部215获取从解复用器211提供的关于占有映射的视频帧的编码数据(箭头235)。此外，例如，omap解码部215对所获取的编码数据进行解码并且获得占有映射的视频帧。omap解码部215将占有映射的视频帧提供给拆包部216(箭头239)。

拆包部216执行与拆包相关联的处理。例如，拆包部216从几何视频解码部213获取几何图像的视频帧(箭头237)，从纹理视频解码部214获取纹理的视频帧(箭头238)，并且从omap解码部215获取占有映射的视频帧(箭头239)。拆包部216对这些视频帧中的每一个进行拆包。拆包部216将通过拆包而获得的几何图像、纹理图像和占有映射提供给3d重构部217(箭头245)。

3d重构部217执行与3d数据的重构相关联的处理。例如，3d重构部217获取从辅助补丁信息解码部212提供的辅助补丁信息(箭头236)。此外，3d重构部217获取从拆包部216提供的几何图像、纹理图像和占有映射(箭头245)。3d重构部217基于这些信息片段重构3d数据。3d重构部217将通过这样的处理获得的3d数据输出至解码装置200的外部(箭头246)。

该3d数据被提供给例如显示部以显示3d数据的图像，被记录在记录介质中和/或经由通信被提供给另一装置。

如图8所示，拆包部216具有解复用器221、几何图像处理部222、纹理图像处理部223和拆包部224。

解复用器221执行与解复用相关联的处理。例如，解复用器221获取从omap解码部215提供的占有映射的视频帧(箭头239)。解复用器221对占有映射的视频帧进行解复用，并且提取与几何图像相关联的信息和与纹理图像相关联的信息。与几何图像相关联的信息和与纹理图像相关联的信息各自包含例如地址信息。

解复用器221将与几何图像相关联的所提取的信息提供给几何图像处理部222(箭头240)。此外，解复用器221将与纹理图像相关联的所提取的信息提供给纹理图像处理部223(箭头241)。此外，解复用器221将占有映射的视频帧提供给拆包部224(箭头242)。

几何图像处理部222对几何图像执行与图像处理相关联的处理。例如，几何图像处理部222获取从几何视频解码部213提供的几何图像的视频帧(箭头237)。此外，几何图像处理部222获取从解复用器221提供的与几何图像相关联的信息(箭头240)。

几何图像处理部222基于那些信息片段对几何图像的视频帧执行图像处理。例如，几何图像处理部222更新几何图像的视频帧使得通过图像处理将几何图像的整体分辨率和几何图像的每个补丁的位置和每个补丁的分辨率设置为与占有映射的情况相同。几何图像处理部222将几何图像的已经经受图像处理的视频帧提供给拆包部224(箭头243)。

此外，纹理图像处理部223对纹理图像执行与图像处理相关联的处理。例如，纹理图像处理部223获取从纹理视频解码部214提供的纹理图像的视频帧(箭头238)。此外，纹理图像处理部223获取从解复用器221提供的与纹理图像相关联的信息(箭头241)。

纹理图像处理部223基于那些信息片段对纹理图像的视频帧执行图像处理。例如，纹理图像处理部223更新纹理图像的视频帧使得通过图像处理将纹理图像的整体分辨率和纹理图像的每个补丁的位置和每个补丁的分辨率设置为与占有映射的情况相同。纹理图像处理部223将纹理图像的已经经受图像处理的视频帧提供给拆包部224(箭头244)。

拆包部224执行与拆包相关联的处理。例如，拆包部224获取从解复用器221提供的占有映射的视频帧(箭头242)。此外，拆包部224获取从几何图像处理部222提供的几何图像的视频帧(箭头243)。此外，拆包部224获取从纹理图像处理部223提供的纹理图像的视频帧(箭头244)。

拆包部224对那些视频帧中的每一个进行拆包。换句话说，拆包部224对几何图像的视频帧进行拆包并且获得几何图像。此外，拆包部224对纹理图像的视频帧进行拆包并且获得纹理图像。此外，拆包部224对占有映射的视频帧进行拆包并且获得占有映射。

拆包部224将通过这样的处理获得的数据(例如是关于几何图像、纹理图像和占有映射的信息)提供给3d重构部217(箭头245)。

换句话说，拆包部216更新几何图像和纹理图像使得将几何图像和纹理图像的分辨率和几何图像和纹理图像的每个补丁的位置和每个补丁的分辨率等设置为与占有映射的情况相同。换句话说，拆包部216(拆包部224)在几何图像、纹理图像和占有映射在图像的整体分辨率以及每个补丁的位置和每个补丁的分辨率等上相同的状态(例如，图6的示例中的状态)下执行拆包。因此，拆包部216可以正确地执行拆包。

接下来，将描述图5中所示的方法的细节。

<2.第一实施方式>

<共用整体分辨率>

将描述图5的表中描绘的方法1。在该情况下，几何图像和纹理图像中的每一个的帧级分辨率与占有映射的分辨率不同。例如，如图9所示，占有映射301的尺寸是w*h并且几何图像302和纹理图像303中的每一个的尺寸是αw*βh。

在这样的情况下，编码装置100中的复用器124通过执行复用来生成以下比特流，该比特流包含指示几何图像和纹理图像与占有映射之间的分辨率的对应关系的信息，以及关于几何图像的编码数据、关于纹理图像的编码数据和关于占有映射的编码数据。

指示分辨率的对应关系的该信息包含指示水平方向的分辨率的对应关系的信息和指示竖直方向的分辨率的对应关系的信息。指示水平方向上的分辨率的对应关系的该信息包含例如上述变量α。此外，指示竖直方向上的分辨率的对应关系的该信息包含例如上述变量β。换句话说，例如将变量α和β发信号给比特流(存储在比特流中并且提供给解码侧)。这样的信息可以被存储在例如比特流的头部中。

<编码处理的流程>

将参照图10的流程图描述在该情况下由编码装置100执行的编码处理的流程的示例。

当编码处理开始时，在步骤s101中补丁分解部111将输入的3d数据分解为补丁，将3d数据按补丁投影到二维平面上，并且生成几何图像、纹理图像和占有映射。在步骤s102中，辅助补丁信息压缩部113压缩辅助补丁信息。

在步骤s103中，打包部112对在步骤s101中获得的几何图像、纹理图像和占有映射中的每一个进行打包。

在步骤s104中，几何视频编码部114通过诸如avc或hevc的用于二维图像的任何编码方法对作为通过在步骤s103中打包几何图像而获得的几何图像的视频帧的几何视频帧进行编码。

在步骤s105中，纹理视频编码部115通过诸如avc或hevc的用于二维图像的任何编码方法对作为在步骤s103中通过打包纹理图像而获得的纹理图像的视频帧的颜色视频帧进行编码。

在步骤s106中，omap编码部116通过诸如avc或hevc的用于二维图像的任何编码方法来对步骤s103中通过打包占有映射而获得的占有映射进行编码。

在步骤s107中，复用器117对在步骤s102、s104、s105和s106中获得的各种数据进行复用，并且生成包含各种数据的比特流。

在步骤s108中，复用器117将与几何图像和纹理图像中的每一个的(帧级)分辨率相关联的信息添加到比特流的头部。例如，作为这样的信息，复用器117将指示几何图像和纹理图像与占有映射之间的分辨率的对应关系的信息添加到比特流(的头部)。

在步骤s109中，复用器117将如上所述生成的比特流(即，包含与几何图像和纹理图像中的每一个的分辨率相关联的信息的比特流)输出至编码装置100的外部。

在步骤s109中的处理结束时，编码处理结束。

<打包处理流程>

接下来，将参照图11的流程图描述在图10的步骤s103中执行的打包处理的流程的示例。

当打包处理开始时，在步骤s121中几何打包部121打包几何图像。

在步骤s122中，纹理打包部122打包纹理图像。

在步骤s123中，omap打包部123打包占有映射。

在步骤s124中，几何打包部121(或纹理打包部122)生成与几何图像或纹理图像的帧级分辨率相关联的信息。例如，几何打包部121(或纹理打包部122)将指示几何图形或纹理图像与占有映射之间的分辨率的对应关系的信息生成为这样的信息。如上所述，该信息被包含在比特流中(用信号发送给比特流)。

当步骤s124中的处理结束时，打包处理结束，并且处理返回至图10。

通过执行上述一系列处理，编码装置100可以设置与占有映射的分辨率不同的几何图像和纹理图像中的每一个的帧级分辨率。此外，编码装置100可以生成以下比特流，该比特流包含与每个这样的图像有关的编码数据以及与几何图像和纹理图像中的每一个的帧级分辨率相关联的信息。

因此，可以响应于图片类型来控制质量，例如进行控制以降低p图片和b图片的质量(分辨率等)并且提高i图片的质量(分辨率等)。因此，可以抑制编码效率的降低。

<解码处理的流程>

在对如上所述生成的比特流进行解码的情况下，解码装置200中的拆包部216基于在比特流中包含的并且指示几何图像和纹理图像与占有映射之间的分辨率的对应关系的信息来将几何图像和纹理图像中的每一个的分辨率改变为与占有映射的分辨率相同，并且对分辨率改变的几何图像的视频帧、分辨率改变的纹理图像的视频帧以及占有映射中的每一个进行拆包。

将参照图12的流程图描述在该情况下由解码装置200执行的解码处理的流程的示例。

当解码处理开始时，在步骤s141中，解码装置200中的解复用器211对输入比特流进行解复用，并且从比特流中提取关于辅助补丁信息的编码数据、关于几何图像的视频帧的编码数据、关于纹理图像的视频帧的编码数据、关于占有映射的编码数据等。

在步骤s142中，辅助补丁信息解码部212对在步骤s141中提取的关于辅助补丁信息的编码数据进行解码。在步骤s143中，几何视频解码部213对步骤s141中提取的关于几何视频帧的编码数据进行解码。

在步骤s144中，纹理视频解码部214对步骤s141中提取的关于颜色视频帧的编码数据进行解码。在步骤s145中，omap解码部215对步骤s141中提取的关于占有映射的编码数据进行解码。

在步骤s146中，拆包部216对在步骤s143中获取的几何视频帧、在步骤s144中获取的颜色视频帧和在步骤s145中获取的占有映射中的每一个进行拆包。

在步骤s147中，3d重构部217基于通过在步骤s146中对几何视频帧、颜色视频帧和占有映射中的每一个进行拆包而获得的各种信息来重构点云。

在步骤s147中的处理结束时，解码处理结束。

<拆包处理流程>

接下来，将参照图13的流程图描述在图12的步骤s146中执行的拆包处理的流程的示例。

当拆包处理开始时，在步骤s161中，几何图像处理部222执行图像处理以使几何图像的分辨率与占有映射的分辨率相同。

在步骤s162中，纹理图像处理部223执行图像处理以使纹理图像的分辨率与占有映射的分辨率相同。

在步骤s163中，拆包部224对通过步骤s161和s162中的处理在分辨率(大小)上相同的几何图像(几何视频帧)、纹理图像(颜色视频帧)和占有映射进行拆包。

当步骤s163中的处理结束时，拆包处理结束，并且处理返回至图12。

通过执行上述一系列处理，拆包部216可以在使几何图像、纹理图像和占有映射的分辨率相同的同时执行拆包。因此，拆包部224可以通过与常规方法类似的方法容易地执行拆包。

因此，可以响应于图片类型来控制质量，例如进行控制以降低p图片和b图片的质量(分辨率等)并且提高i图片的质量(分辨率等)。因此，可以抑制编码效率的降低。

<3.第二实施方式>

<单独的整体分辨率>

将描述图5的表中描绘的方法2。在该情况下，几何图像和纹理图像中的每一个的帧级分辨率与占有映射的分辨率不同。此外，几何图像的分辨率与纹理图像的分辨率不同。例如，如图14中所示，占有映射321的大小为w*h、几何图像322的大小为αgw*βgh，并且纹理图像323的大小为αtw*βth。

在这样的情况下，编码装置100中的复用器124通过执行复用来生成以下比特流，该比特流包含指示几何图像与占有映射之间的分辨率的对应关系的信息、指示纹理图像与占有映射之间的分辨率的对应关系的信息、关于几何图像的编码数据、关于纹理图像的编码数据和关于占有映射的编码数据。

例如，指示几何图像与占有映射之间的分辨率的对应关系的信息包含上述变量αg和βg。此外，指示纹理图像与占有映射之间的分辨率的对应关系的信息包含上述变量αt和βt。换句话说，这些变量αg、βg、αt和βt例如被通过信号发送至比特流(存储在比特流中并且提供给解码侧)。这样的信息可以被存储在例如比特流的头部中。

<编码处理的流程>

将参照图15的流程图描述在该情况下由编码装置100执行的编码处理的流程的示例。

当编码处理开始时，在步骤s181中，补丁分解部111将输入的3d数据分解为补丁，将3d数据按补丁投影到二维平面上，并且生成几何图像、纹理图像和占有映射。在步骤s182中，辅助补丁信息压缩部113压缩辅助补丁信息。

在步骤s183中，打包部112对在步骤s181中获得的几何图像、纹理图像和占有映射中的每一个进行打包。

在步骤s184中，几何视频编码部114通过诸如avc或hevc的用于二维图像的任何编码方法对作为通过在步骤s183中对几何图像进行打包而获得的几何图像的视频帧的几何视频帧进行编码。

在步骤s185中，纹理视频编码部115通过诸如avc或hevc的用于二维图像的任何编码方法对作为通过在步骤s183中对纹理图像进行打包而获得的纹理图像的视频帧的颜色视频帧进行编码。

在步骤s186中，omap编码部116通过用于二维图像的任何编码方法例如avc或hevc来对步骤s183中通过对占有映射进行打包而获得的占有映射进行编码。

在步骤s187中，复用器117对在步骤s182、s184、s185和s186中获得的各种数据进行复用，并且生成包含各种数据的比特流。

在步骤s188中，复用器117将与几何图像的(帧级)分辨率相关联的信息和与纹理图像的(帧级)分辨率相关联的信息添加到比特流的头部。例如，作为这样的信息，复用器117将指示几何图像与占有映射之间的分辨率的对应关系的信息和指示纹理图像与占有映射之间的分辨率的对应关系的信息添加到比特流(的头部)。

在步骤s189中，复用器117将如上所述生成的比特流(即，包含与几何图像的分辨率相关联的信息和与纹理图像的分辨率相关联的信息的比特流)输出至编码装置100的外部。

在步骤s189中的处理结束时，编码处理结束。

<打包处理流程>

接下来，将参照图16的流程图描述在图15的步骤s183中执行的打包处理的流程的示例。

当打包处理开始时，在步骤s201中几何打包部121对几何图像进行打包。

在步骤s202中，纹理打包部122对纹理图像进行打包。

在步骤s203中，omap打包部123对占有映射进行打包。

在步骤s204中，几何打包部121生成与几何图像的帧级分辨率相关联的信息。例如，几何打包部121将指示几何图形与占有映射之间的分辨率的对应关系的信息生成为这样的信息。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

在步骤s205中，纹理打包部122生成与纹理图像的帧级分辨率相关联的信息。例如，纹理打包部122将指示纹理图像与占有映射之间的分辨率的对应关系的信息生成为这样的信息。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

当步骤s205中的处理结束时，打包处理结束，并且处理返回至图15。

通过执行上述一系列处理，编码装置100可以将几何图像的帧级分辨率设置为与占有映射的分辨率不同。此外，编码装置100可以将纹理图像的帧级分辨率设置为与占有映射的分辨率不同。

此外，编码装置100可以生成以下比特流，该比特流包含关于每个这样的图像的编码数据、与几何图像的帧级分辨率相关联的信息和与纹理图像的帧级分辨率相关联的信息。

因此，可以处理例如几何图像与纹理图像之间的分辨率不同的3d数据。此外，可以鉴于对主观图像质量的影响来执行编码，并且因此抑制编码效率的降低。

<解码处理和拆包处理>

在对如上所述生成的比特流进行解码的情况下，解码装置200中的拆包部216基于在比特流中包含的并且指示几何图像与占有映射之间的分辨率的对应关系的信息来将几何图像的分辨率改变为与占有映射的分辨率相同，基于在比特流中包含的并且指示纹理图像与占有映射之间的分辨率的对应关系的信息将纹理图像的分辨率改变为与占有映射的分辨率相同，并且对分辨率改变的几何图像的视频帧、分辨率改变的纹理图像的视频帧以及占有映射中的每一个进行拆包。

注意，在该情况下的解码处理和拆包处理可以与第一实施方式的情况类似地执行。因此，省略了解码处理和拆包处理的描述。

通过执行上述一系列处理，拆包部216可以在使几何图像、纹理图像和占有映射的分辨率相同的同时进行拆包。因此，拆包部224可以通过与常规方法类似的方法容易地执行拆包。

因此，可以处理例如几何图像与纹理图像之间的分辨率不同的3d数据。此外，可以鉴于对主观图像质量的影响来执行编码，并且因此抑制编码效率的降低。

<4.第三实施方式>

<常见补丁位置和分辨率>

将描述图5的表中描绘的方法3。在该情况下，几何图像和纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率与占有映射的每个补丁的位置和每个补丁的分辨率不同。注意，几何图像与纹理图像之间的每个补丁的位置和每个补丁的分辨率是相同的。

如例如图17所示，在占有映射331上的预定补丁范围的相对顶点的坐标是(u0，v0)和(u1，v1)，并且在几何图像332和纹理图像333中的每一个上的补丁范围的相对顶点的坐标是(u'0，v'0)和(u'1，v'1)。

在这样的情况下，编码装置100中的复用器124通过执行复用来生成以下比特流，该比特流包含指示几何图像和纹理图像中的每一个与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，以及关于几何图像的编码数据、关于纹理图像的编码数据和关于占有映射的编码数据。

例如,指示每个补丁的位置和每个补丁的分辨率的对应关系的该信息可以包含补丁的矩形区域的相对顶点的坐标。指示每个补丁的位置和每个补丁的分辨率中的对应关系的该信息可以包含例如上述的u'0，v'0，u'1，v'1等。换句话说，这些坐标u'0，v'0和u'1，v'1例如被用信号发送至比特流(存储在比特流中并且提供给解码侧)。这样的信息可以被添加到例如关于占有映射上的每个补丁的信息。

<编码处理的流程>

将参照图18的流程图描述在该情况下由编码装置100执行的编码处理的流程的示例。

当编码处理开始时，在步骤s221中补丁分解部111将输入的3d数据分解为补丁，将3d数据按补丁投影到二维平面上，并且生成几何图像、纹理图像和占有映射。在步骤s222中，辅助补丁信息压缩部113压缩辅助补丁信息。

在步骤s223中，打包部112对在步骤s221中获得的几何图像、纹理图像和占有映射中的每一个进行打包。

在步骤s224中，几何视频编码部114通过诸如avc或hevc的用于二维图像的任何编码方法对作为通过在步骤s223中对几何图像进行打包而获得的几何图像的视频帧的几何视频帧进行编码。

在步骤s225中，纹理视频编码部115通过诸如avc或hevc的用于二维图像的任何编码方法对作为通过在步骤s223中对纹理图像进行打包而获得的纹理图像的视频帧的颜色视频帧进行编码。

在步骤s226中，omap编码部116通过诸如avc或hevc的用于二维图像的任何编码方法来对通过在步骤s223中对占有映射进行打包而获得的占有映射进行编码。

在步骤s227中，复用器117对在步骤s222、s224、s225和s226中获得的各种数据进行复用，并且生成包含各种数据的比特流。

在步骤s228中，复用器117将如上所述生成的比特流(即，包含与几何图像和纹理图像中的每一个的分辨率相关联的信息的比特流)输出至编码装置100的外部。

当步骤s228中的处理结束时，编码处理结束。

<打包处理的流程>

接下来，将参照图19的流程图描述在图18的步骤s223中执行的打包处理的流程的示例。

当打包处理开始时，在步骤s241中几何打包部121对几何图像进行打包。

在步骤s242中，纹理打包部122对纹理图像进行打包。

在步骤s243中，omap打包部123对占有映射进行打包。

在步骤s244中，复用器124将与几何图像(纹理图像)上的每个补丁的坐标相关联的信息添加到占有映射，并且使几何图像(纹理图像)上的每个补丁的坐标对应于占有映射上的坐标。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

当步骤s244中的处理结束时，打包处理结束，并且处理返回至图18。

通过执行上述一系列处理，编码装置100可以将几何图像和纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率设置为与占有映射上的每个补丁的每个补丁的位置和每个补丁的分辨率不同。此外，编码装置100可以生成以下比特流，该比特流包含关于每个这样的图像的编码数据以及指示几何图像和纹理图像中的每一个与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息。

因此，可以例如按区域对图像质量(分辨率)进行调整。因此，可以提高随后视频编解码器的编码效率。

<解码处理的流程>

在对如上所述生成的比特流进行解码的情况下，解码装置200中的拆包部216基于比特流中包含的并且指示每个补丁的位置和每个补丁的分辨率的对应关系的信息，将几何图像和纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率改变为与占有映射的每个补丁的位置和每个补丁的分辨率相同，并且对在改变每个补丁的位置和每个补丁的分辨率之后的几何图像的视频帧、在改变每个补丁的位置和每个补丁的分辨率之后的纹理图像的视频帧以及占有映射中的每一个进行拆包。

注意，在该情况下的解码处理可以与第一实施方式的情况类似地被执行。因此，省略了解码处理的描述。

<拆包处理的流程>

接下来，将参照图20的流程图描述在图12的步骤s146中执行的拆包处理的流程的示例。

当拆包处理开始时，在步骤s261中，几何图像处理部222(或纹理图像处理部223)从未处理的补丁中选择要处理的补丁。

在步骤s262中，几何图像处理部222(或纹理图像处理部223)从占有映射获取在几何图像(或纹理图像)和占有映射上要处理的补丁的坐标。

在步骤s263中，几何图像处理部222对几何视频帧执行图像处理，以使在几何图像上的要处理的补丁的位置和分辨率与在占有映射上的要处理的补丁的位置和分辨率相同。

在步骤s264中，纹理图像处理部223对颜色视频帧执行图像处理，以使在纹理图像上的要处理的补丁的位置和分辨率与在占有映射上的要处理的补丁的位置和分辨率相同。

在步骤s265中，几何图像处理部222(或纹理图像处理部223)确定是否完成对所有补丁的处理。在确定存在未处理的补丁的情况下，处理返回至步骤s261并且针对新的未处理的补丁重复随后的一系列处理。

此外，在步骤s265中确定完成对所有补丁的处理的情况下，处理进入到步骤s266。换句话说，在该状态下，几何图像(和纹理图像)上所有补丁的位置和分辨率与占有映射上的位置和分辨率一致。

在步骤s266中，拆包部224对几何图像(几何视频帧)、纹理图像(颜色视频帧)和占有映射进行拆包。

当步骤s266中的处理结束时，拆包处理结束，并且处理返回至图12。

通过执行上述一系列处理，拆包部216可以在使几何图像、纹理图像和占有映射上的所有补丁在位置和分辨率上相同的同时执行拆包。因此，拆包部224可以通过与常规方法类似的方法容易地执行拆包。

因此，可以例如按区域调整图像质量(分辨率)。因此，可以提高随后视频编解码器的编码效率。

<5.第四实施方式>

<单独的补丁位置和分辨率>

将描述图5的表中描绘的方法4。在该情况下，几何图像和纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率与占有映射的每个补丁的位置和每个补丁的分辨率不同。此外，几何图像的每个补丁的位置和每个补丁的分辨率与纹理图像的每个补丁的位置和每个补丁的分辨率不同。

例如，如图21所示，在占有映射341上的预定补丁范围的相对顶点的坐标是(u0，v0)和(u1，v1)，几何图像342上的补丁范围的相对顶点的坐标是(ug0，vg0)和(ug1，vg1)，并且纹理图像343上的补丁范围的相对顶点的坐标是(ut0，vt0)和(ut1，vt1)。

在这样的情况下，编码装置100中的复用器124通过执行复用来生成以下比特流，该比特流包含指示几何图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息、指示纹理图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息、关于几何图像的编码数据、关于纹理图像的编码数据和关于占有映射的编码数据。

例如，指示几何图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息包含上述坐标ug0，vg0和ug1，vg1。此外，指示纹理图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息可以包含上述坐标ut0，vt0和ut1，vt1。换句话说，这些坐标ug0，vg0、ug1，vg1、ut0，vt0和ut1，vt1可以被用信号发送至比特流(被存储在比特流中并且提供给解码侧)。这样的信息可以被添加到例如关于占有映射上的每个补丁的信息。

<编码处理的流程>

在该情况下，编码装置100执行的编码处理可以与第三实施方式的情况(图18)类似地被执行。因此，省略对编码处理的描述。

<打包处理的流程>

接下来，将参照图22的流程图描述在该情况下的图18的步骤s223中执行的打包处理的流程的示例。

当打包处理开始时，在步骤s281中几何打包部121对几何图像进行打包。

在步骤s282中，纹理打包部122对纹理图像进行打包。

在步骤s283中，omap打包部123对占有映射进行打包。

在步骤s284中，复用器124将与几何图像上的每个补丁的坐标相关联的信息添加到占有映射，并且使几何图像上的每个补丁的坐标对应于占有映射上的坐标。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

在步骤s285中，复用器124将与纹理图像上的每个补丁的坐标相关联的信息添加到占有映射，并且使纹理图像上的每个补丁的坐标对应于占有映射上的坐标。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

当步骤s285中的处理结束时，打包处理结束，并且处理返回至图18。

通过执行上述一系列处理，编码装置100可以设置与占有映射的每个补丁的位置和每个补丁的分辨率不同的几何图像的每个补丁的位置和每个补丁的分辨率。此外，编码装置100可以设置与占有映射的每个补丁的位置和每个补丁的分辨率不同的纹理图像的每个补丁的位置和每个补丁的分辨率。

此外，编码装置100可以生成以下比特流，该比特流包含关于每个这样的图像的编码数据、指示几何图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，以及指示纹理图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息。

因此，可以例如按区域对图像质量(分辨率)进行调整。因此，可以提高随后视频编解码器的编码效率。还可以处理与几何图像与纹理图像之间的分辨率不同的3d数据。此外，可以鉴于对主观图像质量的影响来执行编码，并且因此抑制编码效率的降低。

<解码处理的流程>

在对如上所述生成的比特流进行解码的情况下，解码装置200中的拆包部216基于比特流中包含的并且指示几何图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，将几何图像的每个补丁的位置和每个补丁的分辨率改变为与占有映射的每个补丁的位置和每个补丁的分辨率相同，基于比特流中包含的并且指示纹理图像与占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息将纹理图像的每个补丁的位置和每个补丁的分辨率改变为与占有映射的每个补丁的位置和每个补丁的分辨率相同，并且对在改变每个补丁的位置和每个补丁的分辨率之后的几何图像的视频帧、在改变每个补丁的位置和每个补丁的分辨率之后的纹理图像的视频帧以及占有映射中的每一个进行拆包。

注意，在该情况下的解码处理可以与第一实施方式的情况类似地被执行。因此，省略了解码处理的描述。

<拆包处理的流程>

接下来，将参照图23的流程图描述在图12的步骤s146中执行的拆包处理的流程的示例。

当拆包处理开始时，在步骤s301中，几何图像处理部222(或纹理图像处理部223)从未处理的补丁中选择要处理的补丁。

在步骤s302中，几何图像处理部222(或纹理图像处理部223)从占有映射获取在几何图像或纹理图像和占有映射上的要处理的补丁的坐标。

在步骤s303中，几何图像处理部222对几何视频帧执行图像处理以使在几何图像上的要处理的补丁的位置和分辨率与在占有映射上的要处理的补丁的位置和分辨率相同。

在步骤s304中，纹理图像处理部223对颜色视频帧执行图像处理以使在纹理图像上的要处理的补丁的位置和分辨率与在占有映射上的要处理的补丁的位置和分辨率相同。

在步骤s305中，几何图像处理部222(或纹理图像处理部223)确定是否完成对所有补丁的处理。在确定存在未处理的补丁的情况下，处理返回至步骤s301并且针对新的未处理的补丁重复随后的一系列处理。

此外，在步骤s305中确定完成对所有补丁的处理的情况下，处理进入到步骤s306。换句话说，在该状态下，几何图像和纹理图像上所有补丁的位置和分辨率与占有映射上的位置和分辨率一致。

在步骤s306中，拆包部224对几何图像(几何视频帧)、纹理图像(颜色视频帧)和占有映射进行拆包。

当步骤s306中的处理结束时，拆包处理结束，并且处理返回至图12。

通过执行上述一系列处理，拆包部216可以在使几何图像、纹理图像和占有映射上的所有补丁在位置和分辨率上相同的同时执行拆包。因此，拆包部224可以通过与常规方法类似的方法容易地执行拆包。

因此，可以例如按区域对图像质量(分辨率)进行调整。因此，可以提高随后视频编解码器的编码效率。还可以处理几何图像与纹理图像之间的分辨率不同的3d数据。此外，可以鉴于对主观图像质量的影响来执行编码，并且因此抑制编码效率的降低。

<6.第五实施方式>

<拆包和3d重构>

将描述图5的表中描绘的方法5。在该情况下，通过执行拆包来重构3d数据，而无需对几何图像和纹理图像的图像进行调整(位置和分辨率的转换)。然而，在该情况下，例如，指示占有映射与几何图像之间以及占有映射与纹理图像之间的每个像素对应关系的表信息被添加到占有映射，并且解码侧可以基于表信息使这些图像的位置在像素级上彼此对应。

将以上述方法3为例进行描述。如例如图24中所描绘的，假设占有映射361上的预定补丁范围的相对顶点的坐标是(u0，v0)和(u1，v1)，并且纹理图像362上的补丁范围的相对顶点的坐标是(u'0，v'0)和(u'1，v'1)。在该情况下，更新纹理图像362上的该补丁的位置和分辨率使得纹理图像362上的该补丁的位置和分辨率与如纹理363中的占有映射361上的位置和分辨率相同。

因此，在该情况下，类似于常规技术可以正确地执行拆包，但是需要用于更新上述位置和分辨率的图像处理。

相比之下，如果如在图25的占有映射371、几何图像372和纹理图像373中那样在图像之间保持每个像素的对应关系，则可以通过执行拆包来重构3d数据而无需执行图24中所示的图像处理。

换句话说，在该情况下，编码装置100生成关于占有映射与几何图像之间以及占有映射与纹理图像之间的每个像素对应关系的表信息，并且将表信息添加到比特流(例如，占有映射)。此外，解码装置200基于表信息执行拆包和3d重构，而不执行用于更新几何图像和纹理图像的位置和分辨率的图像处理。

编码装置100可以通过与参照图7描述的配置类似的配置来执行这样的处理。

<解码装置>

图26是示出在该情况下的解码装置200的主要配置的示例的框图。与图8的情况类似，在该情况下的解码装置200是通过用于二维图像的解码方法对通过将诸如点云的3d数据投影到二维平面上并且对所投影的数据进行编码而获得的编码数据进行解码并且将解码后的数据投影到三维空间上的装置。

如图26所示，除了解码装置200具有作为拆包部216的替换的拆包部411之外，在该情况下的解码装置200在配置上基本上类似于图8所示的情况。

拆包部411是类似于拆包部224的处理部，并且执行与拆包相关联的处理。例如，拆包部411获取从几何视频解码部213提供的几何视频帧(箭头237)。此外，拆包部411获取从纹理视频解码部214提供的颜色视频帧(箭头238)。此外，拆包部411获取从omap解码部215提供的占有映射(箭头239)。

拆包部411对那些视频帧中的每一个进行拆包。换句话说，拆包部411对几何视频帧进行拆包，并且获得几何图像。此外，拆包部411对颜色视频帧进行拆包，并且获得纹理图像。此外，拆包部411对占有映射的视频帧进行拆包并且获得占有映射。

拆包部411将通过这样的处理获得的数据(例如是关于几何图像、纹理图像和占有映射的信息)提供给3d重构部217(箭头431)。

注意，提供给该3d重构部217的几何图像、纹理图像和占有映射在帧级分辨率或每个补丁的位置和每个补丁的分辨率上不同。

因此，3d重构部217获取在比特流中包含的关于占有映射与几何图像之间以及占有映射与纹理图像之间的每个像素对应关系的表信息，并且基于该表信息重构3d数据。从而可以正确地重构3d数据。

换句话说，3d重构部217基于指示比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或比特流中包含的并且通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，根据几何图像、纹理图像以及占有映射来重构3d数据。

例如，图像处理装置包括重构部，所述重构部基于指示比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或比特流中包含的并且通过将关于3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，根据几何图像、纹理图像以及占有映射来重构3d数据。

通过这样做，可以通过执行拆包来重构3d数据，而无需对几何图像和纹理图像的图像进行调整(位置和分辨率的转换)。因此，可以抑制解码侧的处理负荷的增长。

注意，指示几何图像或纹理图像中的至少一个与占有映射之间的对应关系的信息可以包含指示几何图像与占有映射之间的每个像素的位置的对应关系的信息以及指示纹理图像与占有映射之间的每个像素的位置的对应关系的信息。

<编码处理的流程>

将参照图27的流程图描述在该情况下由编码装置100执行的编码处理的流程的示例。

当编码处理开始时，在步骤s321中补丁分解部111将输入的3d数据分解为补丁、将3d数据按补丁投影到二维平面上，并且生成几何图像、纹理图像和占有映射。在步骤s322中，辅助补丁信息压缩部113压缩辅助补丁信息。

在步骤s323中，打包部112对在步骤s321中获得的几何图像、纹理图像和占有映射中的每一个进行打包。

在步骤s324中，几何视频编码部114通过诸如avc或hevc的用于二维图像的任何编码方法来对作为通过在步骤s323中对几何图像进行打包而获得的几何图像的视频帧的几何视频帧进行编码。

在步骤s325中，纹理视频编码部115通过诸如avc或hevc的用于二维图像的任何编码方法来对作为通过在步骤s323中对纹理图像进行打包而获得的纹理图像的视频帧的颜色视频帧进行编码。

在步骤s326中，omap编码部116通过诸如avc或hevc的用于二维图像的任何编码方法来对步骤s323中通过对占有映射进行打包而获得的占有映射进行编码。

在步骤s327中，复用器117对在步骤s322、s324、s325和s326中获得的各种数据进行复用，并且生成包含各种数据的比特流。

在步骤s328中，复用器117将指示几何图像与占有映射之间的像素的对应关系的信息和指示纹理图像与占有映射之间的像素的对应关系的信息添加到比特流的头部。

在步骤s329中，复用器117将如上所述生成的比特流(即，包含指示几何图像与占有映射之间的像素的对应关系的信息和指示纹理图像与占有映射之间的像素的对应关系的信息的比特流)输出至编码装置100的外部。

当在步骤s329中的处理结束时，编码处理结束。

<打包处理的流程>

接下来，将参照图28的流程图描述在图27的步骤s323中执行的打包处理的流程的示例。

当打包处理开始时，在步骤s341中几何打包部121对几何图像进行打包。

在步骤s342中，纹理打包部122对纹理图像进行打包。

在步骤s343中，omap打包部123对占有映射进行打包。

在步骤s344中，几何打包部121生成指示几何图形与占有映射之间的像素的对应关系的信息。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

在步骤s345中，纹理打包部122生成指示纹理图形与占有映射之间的像素的对应关系的信息。如上所述，该信息被包含在比特流中(用信号发送至比特流)。

当步骤s345中的处理结束时，打包处理结束，并且处理返回至图27。

通过执行如上所述的一系列处理，编码装置100可以生成关于占有映射与几何图像之间的每个像素对应关系以及占有映射与纹理图像之间的每个像素对应关系的表信息，并且将表信息添加到比特流(例如，占有映射)。

因此，可以抑制解码侧的处理负荷的增长。

<解码处理的流程>

将参照图29的流程图描述在该情况下(图26)由解码装置200执行的解码处理的流程的示例。

当解码处理开始时，在步骤s361中，解码装置200中的解复用器211对输入比特流进行解复用并且从比特流中提取关于辅助补丁信息的编码数据、关于几何图像的视频帧的编码数据、关于纹理图像的视频帧的编码数据、关于占有映射的编码数据等。

在步骤s362中，辅助补丁信息解码部212对在步骤s361中提取的关于辅助补丁信息的编码数据进行解码。在步骤s363中，几何视频解码部213对在步骤s361中提取的关于几何视频帧的编码数据进行解码。

在步骤s364中，纹理视频解码部214对在步骤s361中提取的关于颜色视频帧的编码数据进行解码。在步骤s365中，omap解码部215对在步骤s361中提取的关于占有映射的编码数据进行解码。

在步骤s366中，拆包部411对在步骤s363中获得的几何视频帧、在步骤s364中获取的颜色视频帧以及在步骤s365中获取的占有映射中的每一个进行拆包。

在步骤s367中，3d重构部217基于通过在步骤s366中对几何视频帧、颜色视频帧和占有映射中的每一个进行拆包而获得的各种信息来重构点云。

当步骤s367中的处理结束时，解码处理结束。

<点云重构处理的流程>

接下来，将参照图30的流程图描述在图29的步骤s367中执行的点云重构处理的流程的示例。

当点云重构处理开始时，在步骤s381中，3d重构部217从未处理的补丁中选择要处理的补丁。

在步骤s382中，3d重构部217将占有映射上的未处理的补丁的坐标选择为要处理的对象。

在步骤s383中，3d重构部217获取与占有映射上要处理的坐标对应的几何图像的像素值。

在步骤s384中，3d重构部217获取与占有映射上的要处理的坐标对应的纹理图像的像素值。

在步骤s385中，3d重构部217基于在步骤s383和s384中获得的像素值来重构点。换句话说，3d重构部217生成关于点云中的点的位置信息和属性信息。

在步骤s386中，3d重构部217确定是否完成对要处理的补丁的所有像素的处理。在确定存在未处理的像素的情况下，处理返回到步骤s382并且重复随后的一系列处理。

在步骤s386中确定针对要处理的补丁完成对所有像素的处理的情况下，处理进入到步骤s387。

在步骤s387中，3d重构部217确定是否完成对所有补丁的处理。在确定存在未处理的补丁的情况下，处理返回至步骤s381，并且重复随后的一系列处理。换句话说，要处理的补丁被更新为下一补丁，并且对补丁重复类似的处理。

在步骤s387中确定完成对所有补丁的处理的情况下，结束点云重构处理，并且处理返回至图29。

通过执行如上所述的一系列处理，解码装置200可以通过执行拆包来重构3d数据，而无需对几何图像和纹理图像的图像进行调整(位置和分辨率的转换)。因此，可以抑制解码侧的处理负荷的增长。

<拆包重构处理的流程>

注意，图29的步骤s366中的拆包和图29的步骤s367中的点云重构可以并行地执行。例如，这些类型的处理可以作为诸如拆包重构处理的一种类型的处理来执行。

换句话说，拆包部411可以对几何图像的视频帧、纹理图像的视频帧和占有映射中的每一个进行拆包，并且3d重构部217可以与拆包并行地重构3d数据。

这使得可以更有效地执行解码处理并且抑制负载的增长。

<拆包重构处理的流程>

在以该方式执行处理的情况下，将参照图31的流程图描述作为步骤s366和s367中的一系列处理的替选方式的由解码装置200执行的拆包重构处理的流程的示例。

当拆包重构处理开始时，在步骤s401中，拆包部411从未处理的补丁中选择要处理的补丁。

在步骤s402中，拆包部411对要处理的补丁进行拆包。

在步骤s403中，3d重构部217将占有映射上的未处理补丁的坐标选择为要处理的对象。

在步骤s404中，3d重构部217获取与占有映射上的要处理的坐标对应的几何图像的像素值。

在步骤s405中，3d重构部217获取与占有映射上的要处理的坐标对应的纹理图像的像素值。

在步骤s406中，3d重构部217基于在步骤s404和s405中获得的像素值来重构点。换句话说，3d重构部217生成关于点云中的点的位置信息和属性信息。

在步骤s407中，3d重构部217确定是否完成对要处理的补丁的所有像素的处理。在确定存在未处理的像素的情况下，处理返回至步骤s403并且重复随后的一系列处理。

在步骤s407中确定针对要处理的补丁完成对所有像素的处理的情况下，处理进入到步骤s408。

在步骤s408中，拆包部411确定是否完成对所有补丁的处理。在确定存在未处理的补丁的情况下，处理返回至步骤s401并且重复随后的一系列处理。换句话说，要处理的补丁被更新为下一补丁，并且对补丁重复类似的处理。

在步骤s408中确定完成对所有补丁的处理的情况下，拆包重构处理结束，并且处理返回至图29。

通过执行如上所述的一系列处理，解码装置200可以通过执行拆包来重构3d数据，而无需对几何图像和纹理图像的图像进行调整(位置和分辨率的转换)。此外，解码装置200可以并行地执行拆包和3d数据重构。因此，可以抑制解码侧的处理负荷的增长。

<7.注意>

<控制信息>

迄今为止在实施方式中描述的与本技术有关的控制信息可以从编码侧被发送至解码侧。例如，可以发送用于控制是否允许(或禁止)应用上述本技术的控制信息(例如，enabled_flag)。替选地，例如，可以发送用于指定允许(或禁止)应用上述本技术的范围(例如，块大小、片、图片、序列、分量、视图和层的上限和下限之一或其两者)的控制信息。

<计算机>

上述一系列处理可以通过硬件来执行或者通过软件来执行。在通过软件执行一系列处理的情况下，将配置软件的程序安装到计算机中。在本文中，计算机的类型包括结合到专用硬件中的计算机、能够通过将各种程序安装到计算机中来执行各种功能的计算机，例如通用个人计算机。

图32是描绘通过程序执行上述的一系列处理的计算机的硬件的配置的示例的框图。

在图32所示的计算机900中，cpu(中央处理单元)901、rom(只读存储器)902和ram(随机存取存储器)903通过总线904彼此连接。

输入/输出接口910也连接至总线904。输入部911、输出部912、存储部913、通信部914和驱动器915连接至输入/输出接口910。

输入部911包括例如键盘、鼠标、麦克风、触摸板以及输入端子。输出部912包括例如显示器、扬声器以及输出端子。存储部913包括例如硬盘、ram盘以及非易失性存储器。通信部914包括例如网络接口。驱动器915驱动可移除介质921，例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，cpu901经由输入/输出接口910和总线904将存储在例如存储部913中的程序加载至ram903，并且执行该程序，由此执行上述一系列处理。cpu901执行各种处理所需的数据等也适当地存储在ram903中。

可以通过例如将程序记录在作为封装介质等的可移除介质921中来应用由计算机(cpu901)执行的程序。在那种情况下，通过将可移除介质921附接至驱动器915，可以经由输入/输出接口910将程序安装到存储部913中。

此外，该程序可以经由诸如局域网、因特网或数字卫星服务的有线或无线传输介质来提供。在那种情况下，程序可以由通信部914接收并且被安装到存储部913中。

在另一替选方式中，该程序可以被预先安装到rom902或存储部913中。

<应用本技术的对象>

尽管以上描述了将本技术应用于点云数据的编码的情况，但是本技术的应用不限于该情况，并且本技术可应用于任何标准下的3d数据的编码。换句话说，在不与上述本技术矛盾的情况下，编码方案、解码方案等中的各种类型的处理以及诸如3d数据和元数据的各种数据可以具有任何规范。此外，在不与本技术矛盾的情况下，可以省略上述处理和规范的一部分。

此外，本技术可应用于任何配置，而已经作为应用了本技术的示例在上面描述了编码装置100和解码装置200。

例如，本技术可应用于在卫星广播、有线tv等的有线广播、因特网上分发以及通过蜂窝通信分发到终端中的诸如发射机和接收机(例如，电视接收机和蜂窝电话)的各种电子设备，以及用于在诸如光盘、磁盘和闪存的介质中记录图像并且从这些存储介质再现图像的装置(例如，硬盘记录器和摄像装置)。

此外，本技术被实现为下述装置的配置的一部分，例如用作系统lsi(大规模集成)的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、通过另外向该单元添加其他功能而获得的集合(例如，视频集合)。

例如，本技术还可应用于包括多个装置的网络系统。例如，本技术可以实现为用于使多个装置以共享或协作方式经由网络执行处理的云计算。例如，本技术可以在用于向诸如计算机、av(视听)装置、移动信息处理终端或iot(物联网)设备的任何终端提供与图像(移动图像)相关联的服务的云服务中执行。

注意，在本说明书中，系统是指多个组成元件(装置、模块(部件)等)的集合，而不管所有组成元件是否被设置在同一壳体中。因此，被容置在不同壳体中并且经由网络彼此连接的多个装置以及其中多个模块被容置在一个壳体中的一个装置两者都可以被称为“系统”。

<本技术可应用的领域和使用应用>

应用本技术的系统、装置、处理部等可以在任何领域中使用，例如，运输、医疗、犯罪预防、农业、家畜、采矿、美容、工厂、消费电子、天气和自然监测的领域。此外，本技术的使用应用可以任意确定。

例如，本技术可应用于用于提供收听和观看内容的系统或设备。此外，本技术可应用于例如用于诸如交通状况的监视和自主驾驶控制的运输的系统或设备。此外，本技术可应用于例如用于安全的系统或设备。此外，本技术可应用于例如用于对机器等进行自动控制的系统或设备。此外，本技术可应用于例如用于农业和畜牧业的系统或设备。此外，本技术可应用于例如用于监视诸如火山、森林和海洋、野生动物等的自然状态的系统或设备。此外，本技术可应用于例如用于运动的系统或设备。

<其他>

注意，在本说明书中，“标志”是用于区别多个状态的信息，并且不仅包括用于在将真(1)和假(0)两个状态彼此区分时使用的信息，而且还包括能够将三个或更多个状态彼此区分的信息。因此，该“标志”可能取的值可以是诸如1或2的二进制值，或者可以是三个或更多个值。换句话说，配置该“标志”的位数是任意的，并且可以是一个或者可以是两个或更多个。此外，不仅假设在比特流中包含识别信息(包括标志)的形式，而且假设在比特流中包含相对于形成特定基础的信息的关于识别信息的差异信息的形式；因此，在本说明书中，“标志”或“识别信息”不仅包括信息，而且包括相对于形成基础的信息的差异信息。

此外，与编码数据(比特流)有关的各种信息(例如，元数据)可以以任何形式被发送或记录，只要各种信息与编码数据相关联即可。术语“相关联”在本文中意味着例如允许在处理一个数据时使用(链接)其他数据。换句话说，彼此相关联的数据可以被编译为一个数据或单独的数据片段。例如，与编码数据(图像)相关联的信息可以在与用于发送编码数据(图像)的传输线路不同的传输线路上发送。此外，与编码数据(图像)相关联的信息可以被记录在例如与记录编码数据(图像)的记录介质不同的记录介质中(或者在同一记录介质中的不同记录区域中)。注意，该“关联”可以不是全部数据的关联，而可以是部分数据的关联。例如，图像与对应于图像的信息可以在诸如多个帧、一个帧或帧的一部分的任意单元中彼此相关联。

注意，在本说明书中，诸如“组合“、“复用”、“添加”、“集成”、“包含/包括”、“存储”、“并入”、“塞入”和“插入”的术语意味着将多个事物编译成一个，例如将编码数据和元数据编译到一个数据中，并且意味着用于上述“相关联”的一种方法。

此外，本技术的实施方式不限于上述实施方式，并且可以在不背离本技术的精神的情况下进行各种改变。

例如，被描述为一个装置(或一个处理部)的配置可以被划分并且被配置为多个装置(或处理部)。相反，上面描述为多个装置(或处理部)的配置可以被编译并且被配置为一个装置(或一个处理部)。此外，不言而喻，可以将除了上述每个装置(或每个处理部)的配置之外的配置添加到每个装置(或每个处理部)的配置中。此外，如果配置或操作与整个系统基本相同，则特定装置(或特定处理部)的配置的一部分可以包括在其他装置(或其他处理部)的配置中。

此外，上述程序可以由例如任意装置执行。在那种情况下，该装置包括能够获得必要信息的必要功能(功能块等)就足够了。

此外，一个流程图中的每个步骤可以例如由一个装置执行或由多个装置以共享的方式执行。此外，在一个步骤包括多个类型的处理的情况下，多个类型的处理可以由一个装置执行或由多个装置以共享的方式执行。换句话说，在一个步骤中包括的多个类型的处理可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以被编译到一个步骤中并且共同地被执行。

此外，例如，由计算机执行的程序可以被配置成使得描述程序的步骤中的一系列处理按照本说明书中描述的顺序按时间顺序执行，或者并行地或在必要的定时例如调用的定时处单独执行。换句话说，除非出现矛盾，否则可以以与上述顺序不同的顺序执行步骤中的一系列处理。此外，描述该程序的步骤中的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合执行。

此外，除非出现矛盾，与本技术有关的多个本技术可以单独并且独立地执行。不言而喻，可以以组合方式实现多个任意的本技术。例如，在任何实施方式中描述的本技术的部分或全部可以与在另一实施方式中描述的本技术的部分或全部组合并且可以执行该组合。此外，上述任意本技术的一部分或全部可以与以上未描述的其他技术组合，并且可以执行技术的组合。

注意，本技术可以被如下配置。

(1)一种图像处理装置，包括：

生成比特流的比特流生成部，所述比特流包含：

指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于所述3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及

关于所述几何图像的编码数据、关于所述纹理图像的编码数据以及关于所述占有映射的编码数据。

(2)根据(1)所述的图像处理装置，其中，

指示所述对应关系的信息包含指示所述几何图像和所述纹理图像与所述占有映射之间的分辨率的对应关系的信息。

(3)根据(2)所述的图像处理装置，其中，

指示分辨率的对应关系的信息包含指示水平方向的分辨率的对应关系的信息和指示竖直方向的分辨率的对应关系的信息。

(4)根据(1)至(3)中任一项所述的图像处理装置，其中，

指示所述对应关系的信息包含：

指示所述几何图像与所述占有映射之间的分辨率的对应关系的信息，以及

指示所述纹理图像与所述占有映射之间的分辨率的对应关系的信息。

(5)根据(1)至(4)中任一项所述的图像处理装置，其中，

指示所述对应关系的信息包含指示所述几何图像和所述纹理图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息。

(6)根据(5)所述的图像处理装置，其中，

指示每个补丁的位置和每个补丁的分辨率的对应关系的信息包含每个补丁的矩形区域的相对顶点的坐标。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，

指示所述对应关系的信息包含：

指示所述几何图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，以及

指示所述纹理图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息。

(8)根据(1)至(7)中任一项所述的图像处理装置，还包括：

编码部，其对所述几何图像、所述纹理图像和所述占有映射中的每一个进行编码，其中，

所述比特流生成部生成包含以下项的比特流：指示所述对应关系的信息、通过由所述编码部对所述几何图像、所述纹理图像以及所述占有映射进行编码而获得的关于所述几何图像的编码数据、关于所述纹理图像的编码数据以及关于所述占有映射的编码数据。

(9)根据(8)所述的图像处理装置，还包括：

打包部，其对所述几何图像、所述纹理图像和所述占有映射中的每一个进行打包，其中，

所述编码部对由所述打包部打包的所述几何图像的视频帧、所述纹理图像的视频帧和所述占有映射中的每一个进行编码。

(10)根据(1)至(9)中任一项所述的图像处理装置，其中，

所述3d数据包括点云。

(11)一种图像处理方法，包括：

生成比特流，所述比特流包含：

指示通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或通过将关于所述3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息；以及

关于所述几何图像的编码数据、关于所述纹理图像的编码数据以及关于所述占有映射的编码数据。

(21)一种图像处理装置，包括：

拆包部，其基于指示在比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在所述比特流中包含的并且通过将关于所述3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对所述几何图像的视频帧、所述纹理图像的视频帧以及所述占有映射中的每一个进行拆包。

(22)根据(21)所述的图像处理装置，其中，

指示所述对应关系的信息包含指示所述几何图像和所述纹理图像与所述占有映射之间的分辨率的对应关系的信息，并且

所述拆包部：

基于指示分辨率的对应关系的信息，将所述几何图像和所述纹理图像中的每一个的分辨率改变为与所述占有映射的分辨率相同，以及

对分辨率改变后的几何图像的视频帧、分辨率改变后的纹理图像的视频帧和所述占有映射中的每一个进行拆包。

(23)根据(21)或(22)所述的图像处理装置，其中，

指示所述对应关系的信息包含：

指示所述几何图像与所述占有映射之间的分辨率的对应关系的信息，以及

指示所述纹理图像与所述占有映射之间的分辨率的对应关系的信息，并且

所述拆包部：

基于指示所述几何图像与所述占有映射之间的分辨率的对应关系的信息将所述几何图像的分辨率改变为与所述占有映射的分辨率相同，

基于指示所述纹理图像与所述占有映射之间的分辨率的对应关系的信息将所述纹理图像的分辨率改变为与所述占有映射的分辨率相同，以及

对分辨率改变后的几何图像的视频帧、分辨率改变后的纹理图像的视频帧和所述占有映射中的每一个进行拆包。

(24)根据(21)至(23)中任一项所述的图像处理装置，其中，

指示所述对应关系的信息包含指示所述几何图像和所述纹理图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，并且

所述拆包部：

基于指示每个补丁的位置和每个补丁的分辨率的对应关系的信息将所述几何图像和所述纹理图像中的每一个的每个补丁的位置和每个补丁的分辨率改变为与所述占有映射的每个补丁的位置和每个补丁的分辨率相同，以及

对改变所述每个补丁的位置和所述每个补丁的分辨率之后的几何图像的视频帧、改变所述每个补丁的位置和所述每个补丁的分辨率之后的纹理图像的视频帧以及所述占有映射中的每一个进行拆包。

(25)根据(21)至(24)中任一项所述的图像处理装置，其中，

指示所述对应关系的信息包含：

指示所述几何图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，以及

指示所述纹理图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息，并且

所述拆包部：

基于指示所述几何图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息将所述几何图像的每个补丁的位置和每个补丁的分辨率改变为与所述占有映射的每个补丁的位置和每个补丁的分辨率相同，

基于指示所述纹理图像与所述占有映射之间的每个补丁的位置和每个补丁的分辨率的对应关系的信息将所述纹理图像的每个补丁的位置和每个补丁的分辨率改变为与所述占有映射的每个补丁的位置和每个补丁的分辨率相同，以及

对改变所述每个补丁的位置和所述每个补丁的分辨率之后的几何图像的视频帧、改变所述每个补丁的位置和所述每个补丁的分辨率之后的纹理图像的视频帧以及所述占有映射中的每一个进行拆包。

(26)根据(21)至(25)中任一项所述的图像处理装置，还包括：

解码部，其对关于所述几何图像的视频帧的编码数据、关于所述纹理图像的视频帧的编码数据和关于所述占有映射的编码数据中的每一个进行解码，其中，

所述拆包部对通过由所述解码部对关于所述几何图像的视频帧的编码数据、关于所述纹理图像的视频帧的编码数据和关于所述占有映射的编码数据中的每一个进行解码而获得的所述几何图像的视频帧、所述纹理图像的视频帧和所述占有映射中的每一个进行拆包。

(27)根据(26)所述的图像处理装置，还包括：

提取部，其从所述比特流中提取关于所述几何图像的视频帧的编码数据、关于所述纹理图像的视频帧的编码数据和关于所述占有映射的编码数据，其中

所述解码部对由所述提取部从所述比特流中提取的关于所述几何图像的视频帧的编码数据、关于所述纹理图像的视频帧的编码数据和关于所述占有映射的编码数据中的每一个进行解码。

(28)根据(21)至(27)中任一项所述的图像处理装置，其中，

所述3d数据包括点云。

(29)一种图像处理方法，包括：

基于指示在比特流中包含的并且通过将关于表示三维结构的3d数据的位置信息投影到二维平面上而获得的几何图像或在所述比特流中包含的并且通过将关于所述3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，对所述几何图像的视频帧、所述纹理图像的视频帧以及所述占有映射中的每一个进行拆包。

(31)一种图像处理装置，包括：

重构部，其基于指示在比特流中包含的并且通过将关于3d数据的位置信息投影到二维平面上而获得的几何图像或在所述比特流中包含的并且通过将关于所述3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，根据所述几何图像、所述纹理图像以及所述占有映射来重构表示三维结构的3d数据。

(32)根据(31)所述的图像处理装置，其中，

指示所述对应关系的信息包含：

指示所述几何图像与所述占有映射之间的每个像素位置的对应关系的信息，以及

指示所述纹理图像与所述占有映射之间的每个像素位置的对应关系的信息。

(33)根据(31)或(32)所述的图像处理装置，还包括：

拆包部，其对所述几何图像的视频帧、所述纹理图像的视频帧和所述占有映射中的每一个进行拆包，其中，

所述重构部与由所述拆包部对所述几何图像的视频帧、所述纹理图像的视频帧和所述占有映射中的每一个的拆包并行地重构所述3d数据。

(34)根据(31)至(33)中任一项所述的图像处理装置，其中，

所述3d数据包括点云。

(35)一种图像处理方法，包括：

基于指示在比特流中包含的并且通过将关于3d数据的位置信息投影到二维平面上而获得的几何图像或在所述比特流中包含的并且通过将关于所述3d数据的属性信息投影到二维平面上而获得的纹理图像中的至少一个与作为指示在每个位置处是否存在数据的映射信息的占有映射之间的对应关系的信息，根据所述几何图像、所述纹理图像以及所述占有映射来重构表示三维结构的3d数据。

附图标记列表

100：编码装置

111：补丁分解部

112：打包部

113：辅助补丁信息压缩部

114：几何视频编码部

115：纹理视频编码部

116：omap编码部

117：复用器

121：几何打包部

122：纹理打包部

123：omap打包部

124：复用器

200：解码装置

211：解复用器

212：辅助补丁信息解码部

213：几何视频解码部

214：纹理视频解码部

215：omap解码部

216：拆包部

217：3d重构部

221：解复用器

222：几何图像处理部

223：纹理图像处理部

224：拆包部

411：拆包部